{"id":37302,"date":"2019-10-31T22:16:52","date_gmt":"2019-10-31T19:16:52","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi\/"},"modified":"2019-10-31T22:16:52","modified_gmt":"2019-10-31T19:16:52","slug":"kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","title":{"rendered":"Hur man l\u00f6ser problem med aggregatorsajter med hj\u00e4lp av residensproxyer","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Hur<\/a><\/noindex><\/p>\n

Bild: Pexels<\/a><\/noindex><\/i><\/p>\n

F\u00f6r aggregatorwebbplatser inom e-handel \u00e4r det oerh\u00f6rt viktigt att h\u00e5lla informationen aktuell. Annars f\u00f6rsvinner deras fr\u00e4msta f\u00f6rdel \u2013 m\u00f6jligheten att se de mest relevanta uppgifterna p\u00e5 ett och samma st\u00e4lle. <\/p>\n

F\u00f6r att l\u00f6sa detta problem m\u00e5ste tekniken web scraping anv\u00e4ndas. Den g\u00e5r ut p\u00e5 att s\u00e4rskild programvara \u2013 en crawler \u2013 skapas, som bes\u00f6ker de n\u00f6dv\u00e4ndiga webbplatserna fr\u00e5n en lista, h\u00e4mtar information fr\u00e5n dem och laddar upp den p\u00e5 aggregatorwebbplatsen.<\/p>\n

Problemet \u00e4r att webbplats\u00e4gare som aggregat\u00f6rer h\u00e4mtar data fr\u00e5n ofta inte vill ge dem tillg\u00e5ng s\u00e5 l\u00e4tt. Detta kan man f\u00f6rst\u00e5 \u2013 om informationen om priser i en n\u00e4tbutik hamnar p\u00e5 en aggregatorwebbplats och \u00e4r h\u00f6gre \u00e4n hos konkurrenterna, f\u00f6rlorar verksamheten kunder. <\/a><\/noindex><\/p>\n

Metoder f\u00f6r att motverka scraping<\/h2>\n

\nD\u00e4rf\u00f6r motverkar ofta \u00e4garna av s\u00e5dana webbplatser scraping \u2013 det vill s\u00e4ga nedladdning av sina data. De kan uppt\u00e4cka f\u00f6rfr\u00e5gningarna som botar crawler skickar via IP-adressen. Vanligtvis anv\u00e4nder s\u00e5dan programvara s\u00e5 kallade server-IP, som enkelt kan ber\u00e4knas och blockeras.<\/p>\n

Dessutom anv\u00e4nds ofta en annan metod ist\u00e4llet f\u00f6r att blockera f\u00f6rfr\u00e5gningarna \u2013 de identifierade botarna visar irrelevant information. Till exempel, de h\u00f6jer eller s\u00e4nker priserna p\u00e5 produkter eller \u00e4ndrar deras beskrivningar.<\/p>\n

Ett exempel som ofta n\u00e4mns i detta sammanhang \u00e4r priserna p\u00e5 flygbiljetter. Faktum \u00e4r att flygbolag och resebyr\u00e5er ofta kan visa olika resultat f\u00f6r samma flyg beroende p\u00e5 IP-adressen. Ett verkligt fall: att s\u00f6ka efter en flygning fr\u00e5n Miami till London p\u00e5 samma datum med en IP-adress fr\u00e5n \u00d6steuropa och Asien ger olika resultat. <\/p>\n

F\u00f6r en IP-adress i \u00d6steuropa ser priset ut s\u00e5 h\u00e4r:<\/p>\n

\"Hur
\n
\nOch f\u00f6r en IP-adress fr\u00e5n Asien s\u00e5 h\u00e4r:<\/p>\n

\"Hur
\n
\nSom vi ser s\u00e5 skiljer sig priset f\u00f6r samma flyg avsev\u00e4rt \u2013 skillnaden \u00e4r $76, vilket verkligen \u00e4r mycket. F\u00f6r en aggregatorwebbplats finns inget v\u00e4rre \u00e4n detta \u2013 om den presenterar fel information kommer anv\u00e4ndarna inte att anv\u00e4nda den. Dessutom, om det p\u00e5 aggregatwebbplatsen finns ett pris f\u00f6r en specifik produkt, men det \u00e4ndras n\u00e4r man g\u00e5r till \u00e5terf\u00f6rs\u00e4ljarens webbplats \u2013 p\u00e5verkar det ocks\u00e5 projektets rykte negativt.<\/p>\n

L\u00f6sning: anv\u00e4ndning av bostadsproxies<\/h2>\n

\nF\u00f6r att undvika problem med dataskrapning f\u00f6r aggregatbehov kan man anv\u00e4nda sig av residensproxyer. Server-IP adresser tillhandah\u00e5lls av hostingleverant\u00f6rer. Att identifiera om en adress tillh\u00f6r en specifik leverant\u00f6r \u00e4r ganska enkelt \u2013 varje IP har ett ASN-nummer som inneh\u00e5ller denna information.<\/p>\n

Det finns m\u00e5nga tj\u00e4nster f\u00f6r att analysera ASN-nummer. Ofta integreras de med anti-bot-system som blockerar \u00e5tkomst f\u00f6r crawlers eller manipulerar de data som returneras som svar p\u00e5 deras f\u00f6rfr\u00e5gningar. <\/p>\n

Att kringg\u00e5 s\u00e5dana system hj\u00e4lper residens-IP-adresser. Dessa IP adresser ges av internetleverant\u00f6rer till hush\u00e5ll, med motsvarande markeringar i alla relaterade databaser. Det finns specialiserade tj\u00e4nster f\u00f6r residensproxyer som m\u00f6jligg\u00f6r anv\u00e4ndning av residensadresser. Infatica<\/a><\/noindex> \u2013 det \u00e4r precis en s\u00e5dan tj\u00e4nst.<\/p>\n

F\u00f6rfr\u00e5gningar som crawlers fr\u00e5n aggregatorsajter skickar med residens-IP ser ut att komma fr\u00e5n vanliga anv\u00e4ndare i ett specifikt omr\u00e5de. Och vanliga bes\u00f6kare blockeras inte \u2013 i fallet med webbutiker \u00e4r det potentiella kunder.<\/p>\n

Som ett resultat till\u00e5ter anv\u00e4ndningen av roterande proxyer fr\u00e5n Infatica aggregatorsajter att f\u00e5 garanterat korrekta data och undvika blockeringsproblem och sv\u00e5righeter med parsing. <\/p>\n

Andra artiklar om anv\u00e4ndning av residensproxyer f\u00f6r f\u00f6retag:
\n<\/h2>\n

<\/p>\n