Bild:
För aggregatorwebbplatser inom e-handel Ă€r det oerhört viktigt att hĂ„lla informationen aktuell. Annars försvinner deras frĂ€msta fördel â möjligheten att se de mest relevanta uppgifterna pĂ„ ett och samma stĂ€lle.
För att lösa detta problem mĂ„ste tekniken web scraping anvĂ€ndas. Den gĂ„r ut pĂ„ att sĂ€rskild programvara â en crawler â skapas, som besöker de nödvĂ€ndiga webbplatserna frĂ„n en lista, hĂ€mtar information frĂ„n dem och laddar upp den pĂ„ aggregatorwebbplatsen.
Problemet Ă€r att webbplatsĂ€gare som aggregatörer hĂ€mtar data frĂ„n ofta inte vill ge dem tillgĂ„ng sĂ„ lĂ€tt. Detta kan man förstĂ„ â om informationen om priser i en nĂ€tbutik hamnar pĂ„ en aggregatorwebbplats och Ă€r högre Ă€n hos konkurrenterna, förlorar verksamheten kunder.
Metoder för att motverka scraping
DĂ€rför motverkar ofta Ă€garna av sĂ„dana webbplatser scraping â det vill sĂ€ga nedladdning av sina data. De kan upptĂ€cka förfrĂ„gningarna som botar crawler skickar via IP-adressen. Vanligtvis anvĂ€nder sĂ„dan programvara sĂ„ kallade server-IP, som enkelt kan berĂ€knas och blockeras.
Dessutom anvĂ€nds ofta en annan metod istĂ€llet för att blockera förfrĂ„gningarna â de identifierade botarna visar irrelevant information. Till exempel, de höjer eller sĂ€nker priserna pĂ„ produkter eller Ă€ndrar deras beskrivningar.
Ett exempel som ofta nĂ€mns i detta sammanhang Ă€r priserna pĂ„ flygbiljetter. Faktum Ă€r att flygbolag och resebyrĂ„er ofta kan visa olika resultat för samma flyg beroende pĂ„ IP-adressen. Ett verkligt fall: att söka efter en flygning frĂ„n Miami till London pĂ„ samma datum med en IP-adress frĂ„n Ăsteuropa och Asien ger olika resultat.
För en IP-adress i Ăsteuropa ser priset ut sĂ„ hĂ€r:
Och för en IP-adress frÄn Asien sÄ hÀr:
Som vi ser sĂ„ skiljer sig priset för samma flyg avsevĂ€rt â skillnaden Ă€r $76, vilket verkligen Ă€r mycket. För en aggregatorwebbplats finns inget vĂ€rre Ă€n detta â om den presenterar fel information kommer anvĂ€ndarna inte att anvĂ€nda den. Dessutom, om det pĂ„ aggregatwebbplatsen finns ett pris för en specifik produkt, men det Ă€ndras nĂ€r man gĂ„r till Ă„terförsĂ€ljarens webbplats â pĂ„verkar det ocksĂ„ projektets rykte negativt.
Lösning: anvÀndning av bostadsproxies
För att undvika problem med dataskrapning för aggregatbehov kan man anvĂ€nda sig av residensproxyer. Server-IP adresser tillhandahĂ„lls av hostingleverantörer. Att identifiera om en adress tillhör en specifik leverantör Ă€r ganska enkelt â varje IP har ett ASN-nummer som innehĂ„ller denna information.
Det finns mÄnga tjÀnster för att analysera ASN-nummer. Ofta integreras de med anti-bot-system som blockerar Ätkomst för crawlers eller manipulerar de data som returneras som svar pÄ deras förfrÄgningar.
Att kringgĂ„ sĂ„dana system hjĂ€lper residens-IP-adresser. Dessa IP adresser ges av internetleverantörer till hushĂ„ll, med motsvarande markeringar i alla relaterade databaser. Det finns specialiserade tjĂ€nster för residensproxyer som möjliggör anvĂ€ndning av residensadresser. â det Ă€r precis en sĂ„dan tjĂ€nst.
FörfrĂ„gningar som crawlers frĂ„n aggregatorsajter skickar med residens-IP ser ut att komma frĂ„n vanliga anvĂ€ndare i ett specifikt omrĂ„de. Och vanliga besökare blockeras inte â i fallet med webbutiker Ă€r det potentiella kunder.
Som ett resultat tillÄter anvÀndningen av roterande proxyer frÄn Infatica aggregatorsajter att fÄ garanterat korrekta data och undvika blockeringsproblem och svÄrigheter med parsing.
Andra artiklar om anvÀndning av residensproxyer för företag:
KĂ€lla: habr.com
