🥇Kuidas lahendada aggregeerimisveebisaitide probleeme elukoha proxyde abil

Pilt: Pexels

E-kaubanduse aggregeerimisveebisaitide jaoks on ülioluline hoida teave ajakohasena. Vastasel juhul kaob nende peamine eelis – võimalus näha kõige asjakohasemat teavet ühes kohas.

Selle ülesande lahendamiseks on vajalik kasutada veebiskreipimise tehnikat. Selle olemus seisneb selles, et luuakse spetsiaalne tarkvara – kraudler, mis külastab sihtmärkide nimekirja kuuluvaid veebisaite, kraabib sealt teavet ja laadib selle aggregeerimisveebisaidile.

Probleemiks on see, et sageli ei soovi veebisaitide omanikud, kellelt aggregeerijad andmeid võtavad, anda neile nii lihtsalt juurdepääsu. Seda on mõistetav – kui internetipoe hinnaandmed satuvad aggregeerimisveebisaidile ja on kõrgemad kui seal esindatavatel konkurentidel, kaotab ettevõte kliente.

Meetodid skreipimise vastu

Seetõttu vastandavad sageli selliste veebisaitide omanikud skreipingule – st oma andmete laadimise takistamisele. Nad võivad tuvastada botide-kraudlerite saadetud päringud IP-aadressi järgi. Tüüpiliselt kasutab selline tarkvara nn serveri IP-sid, mille tuvastamine ja blokeerimine on lihtne.

Lisaks päringute blokeerimisele kasutatakse sageli ka teist meetodit – tuvastatud botidele näidatakse ebasobivat teavet. Näiteks tõstetakse või alandatakse toodete hindu või muudetakse nende kirjeldusi.

Tihti tuuakse näiteks lennupiletite hinnad. Tõepoolest, lennufirmad ja reisibürood võivad sama lennu puhul erinevaid tulemusi kuvada sõltuvalt IP-aadressist. Reaalne juhtum: lennupileti otsing Miami ja Londoni vahel samal kuupäeval Eastern Euroopa ja Aasia IP-aadressilt toob tagasi erinevad tulemused.

Ida-Euroopa IP-aadressi puhul näeb hind välja selline:

Ja Aasia IP-aadressi puhul niimoodi:

Nagu näha, erineb ühe ja sama lennu hind oluliselt – vahe on $76, mis on tõeliselt palju. Aggregeerimisveebile ei ole midagi hullemat kui vale teave – kui seal esitatakse valeinfo, ei kasuta külastajad seda. Lisaks, kui aggregeerimisel on konkreetse toote jaoks hind, kuid müügisaitidel muutub see, mõjutab see samuti projekti mainet negatiivselt.

Lahendus: elamise proxyde kasutamine

Andmete kraapimise probleemide vältimiseks nende kogumise vajadustele saab kasutada elukoha vahelisi proxy-servereid. Serveri IP-aadresse pakuvad hostimisettevõtted. Selgitada aadressi kuuluvust konkreetse teenusepakkuja hulka on üsna lihtne - igal IP-l on ASN-number, mis sisaldab seda teavet.

On palju teenuseid ASN-numbrite analüüsimiseks. Sageli integreeritakse need antiboti süsteemidega, mis blokeerivad kraapijate juurdepääsu või valetavad andmeid, mis edastatakse vastusena nende päringutele.

Selliste süsteemide ületamiseks aitavad elukoha IP-aadressid. Sellised IP-d jagavad internetiteenuse pakkujad koduomanikele, olles seotud kõigi vastava andmebaasi märgetega. Eksisteerivad spetsiaalsed elukoha proxy-teenused, mis võimaldavad kasutada elukoha aadresse. Infatica Just selline teenus.

Kraapijate päringud, mis saadetakse elukoha IP-delt, näevad välja nagu tavalistelt kasutajatelt, kes tulevad teatud piirkonnast. Tavalisi külastajaid ei blokeerita - veebipoodide puhul on need potentsiaalsed kliendid.

Kokkuvõttes võimaldab Infatica kasutamine pööratavaid proxy-servereid aggregeerimisveebisaitidel saada garanteeritud täpsed andmed ja vältida blokeerimist ning raskusi kraapimisega.