Изображение:
За сайтовете-агрегатори в сферата на електронната търговия е изключително важно да се поддържа актуална информация. В противен случай изчезва основното им предимство – възможността да се виждат най-релевантните данни на едно място.
За да се реши този проблем, е необходимо да се използва техника за уеб-скрейпинг. Нейната същност е, че се създава специален софтуер – краулър, който обикаля нужните сайтове от списъка, извлича информация от тях и я зарежда на сайта-агрегатор.
Проблемът е, че често собствениците на сайтове, от които агрегаторите вземат данни, изобщо не искат да предоставят лесно достъп. Това може да се разбере – ако информацията за цената в интернет-магазин попадне на сайта на агрегатора и се окаже по-висока от тези на конкурентите, представени там – бизнесът ще загуби клиенти.
Методи за противодействие на скрейпинга
Затова често собствениците на такива сайтове противодействат на скрейпинга – тоест на свалянето на техните данни. Те могат да идентифицират заявките, които изпращат бот-краулерите по IP-адреса. Обикновено този софтуер използва така наречените сървърни IP, които лесно могат да бъдат изчислени и блокирани.
Освен това, вместо блокиране на заявките, често се използва и друг метод – на идентифицираните ботове им се показва нерелевантна информация. Например, завишават или занижават цените на стоките или изменят техните описания.
Пример, който често се посочва в тази връзка – цените на самолетните билети. Наистина, доста често авиокомпаниите и туристическите агенции могат да показват различни резултати за едни и същи полети в зависимост от IP-адреса. Реален случай: търсене на самолетен полет от Маями до Лондон на една и съща дата с IP-адрес от Източна Европа и Азия дава различни резултати.
При IP-адрес от Източна Европа цената изглежда така:
А за IP-адрес от Азия така:
Както се вижда, цената за един и същ полет значително се различава – разликата е $76, което наистина е много. За сайта-агрегатор няма нищо по-лошо от това – ако е представена неверна информация, потребителите няма да го използват. Освен това, ако на агрегатора за конкретен продукт има една цена, а при преминаване към сайта на продавача тя се променя – това също негативно влияе на репутацията на проекта.
Решение: използване на резидентни прокси
Да се избегнат проблеми при скрейпинг на данни за нуждите на агрегацията може с помощта на резидентни прокси. Сървърни IP адреси се предоставят от хостинг операторите. Да се установи принадлежността на адреса към конкретен пул на доставчик е доста просто - всеки IP адрес има ASN номер, в който е съдържана тази информация.
Съществуват множество услуги за анализ на ASN номера. Често те се интегрират с антибот системи, които блокират достъпа на краулери или манипулират данните, предоставяни в отговор на техните заявки.
Да се заобиколят такива системи помагат резидентните IP адреси. Такива IP адреси интернет доставчиците предоставят на собствениците на жилища, с съответните бележки във всички свързани бази данни. Съществуват специални услуги за резидентни прокси, които позволяват използването на резидентни адреси. – точно такава услуга.
Запитванията, които краулерите на сайтовете-агрегатори изпращат с резидентни IP адреси, изглеждат така, сякаш идват от обикновени потребители от определен регион. А обикновените посетители никой не блокира – в случая на интернет магазините това са потенциални клиенти.
В крайна сметка, използването на ротираните прокси от Infatica позволява на сайтовете-агрегатори да получават гарантирано точни данни и да избягват блокировки и затруднения с парсинга.
Други статии по темата за използването на резидентни прокси за бизнес:
Източник: habr.com
