Imagine:
Pentru site-urile agregatoare din domeniul comerțului electronic, este extrem de important să se mențină informațiile actualizate. Altfel, își pierd principalul avantaj – posibilitatea de a vedea cele mai relevante date într-un singur loc.
Pentru a rezolva această problemă, este necesară folosirea tehnicii de web scraping. Ideea este că se creează un software special – un crawler, care parcurge site-urile dintr-o listă, extrage informațiile de pe acestea și le încarcă pe site-ul agregator.
Problema este că, adesea, proprietarii site-urilor de la care agregatoarele își obțin datele nu doresc deloc să le ofere acces atât de ușor. Acest lucru poate fi înțeles – dacă informațiile despre prețuri de pe un magazin online ajung pe un site agregator și se dovedesc a fi mai mari decât la concurenții prezentați acolo, afacerea pierde clienți.
Metode de contracarare a scraping-ului
Prin urmare, proprietarii acestor site-uri adesea se opun scraping-ului – adică descărcării datelor lor. Ei pot identifica cererile pe care le trimit crawler-ele de tip bot prin adresa IP. În general, astfel de software utilizează așa-numitele IP-uri de server, care sunt ușor de calculat și de blocat.
În plus, în loc de blocarea cererilor, se folosește adesea o altă metodă – bot-urile identificate sunt direcționate către informații nerelevante. De exemplu, prețurile produselor sunt supralicitate sau subestimate sau descrierile acestora sunt modificate.
Un exemplu frecvent menționat în acest sens sunt prețurile biletelor de avion. Într-adevăr, foarte des companiile aeriene și agențiile de turism pot afișa rezultate diferite pentru aceleași zboruri, în funcție de adresa IP. Un caz real: căutarea unui zbor din Miami către Londra pentru aceeași dată folosind o adresă IP din Europa de Est și Asia returnează rezultate diferite.
În cazul unei adrese IP din Europa de Est, prețul arată astfel:
Iar pentru adresa IP din Asia, astfel:
După cum se observă, prețul pentru același zbor diferă semnificativ – diferența este de $76, ceea ce este, într-adevăr, mult. Pentru un site agregator, nu există nimic mai rău decât atât – dacă va prezenta informații greșite, utilizatorii nu vor dori să îl folosească. În plus, dacă pe agregator pentru un anumit produs este un preț, iar când se accesează site-ul vânzătorului acesta se schimbă – acest lucru afectează, de asemenea, reputația proiectului.
Soluția: utilizarea de proxy-uri rezidențiale
Pentru a evita problemele în timpul scraping-ului de date pentru nevoile de agregare, se pot folosi proxy-uri rezidente. IP-urile serverelor sunt furnizate de furnizorii de hosting. Identificarea apartenenței unei adrese la un anumit furnizor este destul de simplă – fiecare IP are un număr ASN, care conține aceste informații.
Există o mulțime de servicii pentru analiza numerelor ASN. Adesea, acestea sunt integrate cu sistemele anti-bot, care blochează accesul crawler-ilor sau falsifică datele returnate la solicitările lor.
Pentru a ocoli aceste sisteme, ajută IP-urile rezidente. Aceste IP-uri sunt emise de furnizorii de internet proprietarilor de locuințe, cu mențiuni corespunzătoare în toate bazele de date legate. Există servicii speciale de proxy-uri rezidente care permit utilizarea adreselor rezidente. – acesta este un astfel de serviciu.
Solicitările pe care crawler-ii site-urilor de agregare le trimit de la IP-urile rezidente arată de parcă ar proveni de la utilizatori obișnuiți dintr-o anumită regiune. Iar vizitatorii obișnuiți nu sunt blocați – în cazul magazinelor online, aceștia sunt clienți potențiali.
Prin urmare, utilizarea proxy-urilor rotative de la Infatica permite site-urilor de agregare să obțină date precise garantate și să evite blocările și dificultățile de parsing.
Alte articole pe tema utilizării proxy-urilor rezidente pentru afaceri:
Sursa: habr.com
