🥇Jak vyřešit problémy webů-aggregátorů pomocí rezidentních proxy

Obrázek: Pexels

Pro webové agregátory v oblasti elektronického obchodu je nesmírně důležité udržovat aktuální informace. Jinak ztrácejí svou hlavní výhodu – možnost vidět nejrelevantnější data na jednom místě.

Abychom tento úkol vyřešili, je nutné využít techniku webového scraping. Její podstata spočívá v tom, že se vytváří speciální software – crawler, který prochází požadované webové stránky ze seznamu, parsuje informace z nich a nahrává je na webový agregátor.

Problém je v tom, že často majitelé webových stránek, ze kterých agregátory čerpají data, zdaleka nechtějí tak snadno poskytovat přístup. To je pochopitelné – pokud se informace o ceně v internetovém obchodě dostane na webový agregátor a bude vyšší než u konkurentů, kteří jsou tam také zastoupeni, podnik ztratí zákazníky.

Metody proti scraping

Proto často majitelé takových webů proti scrapingovým metodám odporují – tedy proti stahování svých dat. Mohou rozpoznávat požadavky, které zasílají boty-crawleři podle IP adresy. Obvykle takový software používá tzv. serverové IP, které lze snadno identifikovat a zablokovat.

Kromě toho se namísto blokování požadavků často používá i jiná metoda – zjištěným botům se zobrazují nerelevantní informace. Například se zvyšují nebo snižují ceny zboží nebo se mění jejich popisy.

Příklad, který se v této souvislosti často uvádí – ceny letenek. Oprávněně, zejména letecké společnosti a cestovní kanceláře mohou často zobrazovat různé výsledky pro stejné lety v závislosti na IP adrese. Skutečný případ: hledání letenky z Miami do Londýna na stejné datum z IP adresy ve východní Evropě a Asii vrací různé výsledky.

V případě IP adresy ve východní Evropě cena vypadá takto:

A pro IP adresu z Asie takto:

Jak je vidět, cena za stejný let se výrazně liší – rozdíl činí 76 USD, což je opravdu hodně. Pro webový agregátor není nic horšího než to, pokud na něm budou prezentovány nesprávné informace, uživatelé jej nebudou používat. Kromě toho, pokud má agregátor pro konkrétní zboží jednu cenu, a po přechodu na web prodávajícího se změní – to také negativně ovlivňuje reputaci projektu.

Řešení: využití rezidentních proxy

Problémům se scrapováním dat pro potřeby jejich agregace se lze vyhnout pomocí použití rezidentních proxy. Serverové IP adresy poskytují hostingoví poskytovatelé. Zjistit příslušnost adresy k určitému poskytovateli je docela jednoduché – každá IP má ASN číslo, které obsahuje tyto informace.

Existuje spousta služeb pro analýzu ASN čísel. Často se integrují s antibot systémy, které blokují přístup crawlerům nebo manipulují s daty vracenými na jejich žádosti.

Obejít takové systémy pomáhají rezidentní IP adresy. Takové IP internetoví poskytovatelé poskytují vlastníkům nemovitostí, s odpovídajícími poznámkami ve všech souvisejících databázích. Existují speciální služby rezidentních proxy, které umožňují používat rezidentní adresy. Infatica – taková služba.

Žádosti, které crawleři webů-aggregátorů posílají z rezidentních IP, vypadají tak, jako by pocházely od běžných uživatelů z určité oblasti. A běžné návštěvníky nikdo neblokuje – v případě internetových obchodů jsou to potenciální zákazníci.

Použití rotovaných proxy od Infatica umožňuje webům-aggregátorům získávat zaručeně přesné údaje a vyhýbat se blokacím a obtížím s parsováním.