🥇Kuidas lahendada veebikogujate probleeme elanike puhverserveritega

Pilt: Pexels

E-kaubanduse agregaatide jaoks on äärmiselt oluline hoida teave ajakohasena. Ilma selleta kaob nende peamine eelis – võimalus näha kõige relevantsemaid andmeid ühes kohas.

Selle ülesande lahendamiseks tuleb kasutada veebiskreipimise tehnikat. Selle sisu seisneb spetsiaalse tarkvara – krauderi – loomises, mis külastab vajalikke veebisaite nimekirjast, skreebib sealt teabe ja laadib selle agregaatveebisaidile.

Probleem on selles, et sageli ei soovi selliste veebisaitide omanikud, et nende andmetele nii lihtsalt juurdepääs antaks. Seda on mõistetav – kui teave hinnast veebipoes ilmub agregaatveebisaidile ja on kõrgem kui konkurentidel, kes seal samuti esindatud on, kaotab ettevõte kliente.

Meetodid skreipimise takistamiseks

Seetõttu vastustavad selliste veebisaitide omanikud sageli skreipimist – st oma andmete allalaadimist. Nad võivad tuvastada päringuid, mille botkrauderi saadab IP-aadressi kaudu. Tüüpiliselt kasutab selline tarkvara nn serveri IP-sid, mida on lihtne arvutada ja blokeerida.

Lisaks kasutatakse sageli alternatiivset meetodit, milles tuvastatud robotitele näidatakse ebaolulist teavet. Näiteks tõstetakse või alandatakse toodete hindu või muudetakse nende kirjeldusi.

Sage näide on lennupiletite hinnad. Tõepoolest, sageli võivad lennufirmad ja reisibürood näidata erinevaid tulemusi sama reisilennu jaoks sõltuvalt IP-aadressist. Reaalne olukord: lennu otsing Miami ja Londoni vahel samal kuupäeval idapoolse Euroopa või Aasia IP-aadressilt annab erinevaid tulemusi.

Idapoolse Euroopa IP-aadressi puhul näeb hind välja selline:

Ja Aasia IP-aadressi puhul nii:

Kuidas näha, on sama reisilennu hind oluliselt erinev – vahe on $76, mis on tõeliselt palju. Agregaatorile pole midagi hullemat, kui vale teave – kui sellel on vale teave, ei kasuta kasutajad seda. Samuti, kui agregaatoril on konkreetse toote hind üks, kuid müüja saidile minnes see muutub – mõjutab see samuti projekti mainet negatiivselt.

Lahendus: elukohapõhised proksi

Andmete skreeppimisega, mille eesmärk on nende kogumine, saad vältida probleeme elukohapõhiste prokside kasutamisega. Serveri IP-d pakuvad hostimisettevõtted. Ühegi konkreetse teenuse pakkuja IP kuuluvuse määramine on üsna lihtne – iga IP-l on ASN-number, milles sisaldub see teave.

On olemas palju teenuseid ASN-numberite analüüsimiseks. Sageli integreeritakse need antiboti süsteemidega, mis blokeerivad kraanide juurdepääsu või manipuleerivad nende päringutele vastuseks antud andmetega.

Selliseid süsteeme aitavad ületada elukohapõhised IP-aadressid. Selliseid IP-sid väljastavad internetiteenuse pakkujad koduomanikele, millel on vastavad märkused kõikides seotud andmebaasides. On olemas spetsiaalsed elukohapõhiste prokside teenused, mis võimaldavad kasutada elukohapõhiseid aadresse. Infatica – just selline teenus.

Kogemustega, mis veebikogujate robotid saadavad elanike IP-elt, näivad need tulevat tavalistelt kasutajatelt teatud piirkonnast. Tavalisi külastajaid ei blokeerita – veebipoodide puhul on see potentsiaalsed kliendid.

Seetõttu võimaldavad Infatica rotseerivad puhverserverid veebikogujatel saada garanteeritult täpseid andmeid ning vältida blokeerimisi ja andmete töötlemisega seotud raskusi.