Изображение:
За сайтовете-агрегатори в сферата на електронната търговия е изключително важно да поддържат актуална информация. В противен случай изчезва основното им предимство – възможността да виждате най-релевантните данни на едно място.
За да се реши този проблем, е необходимо да се използва техниката на уеб-скрейпинг. Смисълът е в това, че се създава специален софтуер – краулер, който преминава през нужните сайтове от списъка, парсва информация от тях и я зарежда на сайта-агрегатор.
Проблемът е, че често собствениците на сайтове, от които агрегаторите вземат данни, изобщо не желаят да предоставят лесно достъп до тях. Това може да се разбере – ако информацията за цената в интернет-магазина попадне на сайт агрегатор и се окаже по-висока от тази на конкурентите, представени там – бизнесът ще загуби клиенти.
Методи за противопоставяне на скрейпинга
Затова често собствениците на такива сайтове се противопоставят на скрейпинга – т.е. свалянето на техните данни. Те могат да идентифицират запитванията, които изпращат ботове-краулери, по IP-адреса. Обикновено такъв софтуер използва т.нар. сървърни IP, които лесно могат да бъдат изчислени и блокирани.
Освен това, вместо блокиране на запитвания, често се използва и друг метод – на идентифицираните ботове се показва нерелевантна информация. Например, цените на стоките могат да се завишават или занижават, или техните описания могат да се променят.
Пример, който често се дава в тази връзка, са цените на авиобилетите. Наистина, доста често авиокомпании и туристически агенции показват различни резултати за едни и същи полети в зависимост от IP-адреса. Реален случай: търсене на авиаперелет от Маями до Лондон на една и съща дата с IP-адрес от Източна Европа и Азия дава различни резултати.
В случай на IP-адрес от Източна Европа цената изглежда така:
А за IP-адрес от Азия така:
Както се вижда, цената за един и същ полет значително се различава – разликата е $76, което е наистина много. Няма нищо по-лошо за сайта-агрегатор от това – ако на него бъде представена неверна информация, потребителите няма да го използват. Освен това, ако на агрегатора за конкретен продукт е посочена една цена, а при преминаване на сайта на продавача тя се променя – това също негативно влияе на репутацията на проекта.
Решение: използване на резидентни прокси
Избягването на проблеми при скрейпинг на данни за нуждите на тяхната агрегация може да се постигне чрез използването на резидентни прокси. Сървърните IP адреси се предоставят от хостинг доставчици. Определянето на принадлежността на адреса към конкретен пул е доста просто – всеки IP има ASN номер, в който се съдържа тази информация.
Има множество услуги за анализ на ASN номера. Често те се интегрират с антибот системи, които блокират достъпа на краулери или манипулират данните, които връщат в отговор на техните заявки.
Обходът на такива системи се осъществява с помощта на резидентни IP адреси. Тези IP адреси интернет доставчиците предоставят на собствениците на жилища, с подходящи бележки във всички свързани бази данни. Съществуват специализирани услуги за резидентни прокси, които позволяват използването на резидентни адреси. – точно такава услуга.
Заявките, които краулерите на сайтове-агрегатори изпращат от резидентни IP, изглеждат така, сякаш идват от обикновени потребители от определен регион. А обикновените посетители не се блокират – в случай на интернет магазини, те са потенциални клиенти.
В крайна сметка, използването на ротационни прокси от Infatica позволява на сайтовете-агрегатори да получават гарантирано точни данни и да избягват блокировки и затруднения с парсинга.
Други статии по темата за използването на резидентни прокси за бизнес:
Източник: habr.com
