{"id":37302,"date":"2019-10-31T22:16:52","date_gmt":"2019-10-31T19:16:52","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi\/"},"modified":"2019-10-31T22:16:52","modified_gmt":"2019-10-31T19:16:52","slug":"kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","title":{"rendered":"Wie man Probleme mit Aggregator-Webseiten mittels residenter Proxys l\u00f6st","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Wie<\/a><\/noindex><\/p>\n

Bild: Pexels<\/a><\/noindex><\/i><\/p>\n

F\u00fcr Aggregator-Websites im E-Commerce ist es \u00e4u\u00dferst wichtig, aktuelle Informationen bereit zu halten. Andernfalls entf\u00e4llt ihr Hauptvorteil \u2013 die M\u00f6glichkeit, die relevantesten Daten an einem Ort einzusehen. <\/p>\n

Um dieses Ziel zu erreichen, ist der Einsatz von Web-Scraping-Techniken erforderlich. Dabei wird spezielle Software \u2013 ein Crawler \u2013 erstellt, der die ben\u00f6tigten Websites aus einer Liste besucht, Informationen von ihnen extrahiert und auf die Aggregator-Website hochl\u00e4dt.<\/p>\n

Das Problem besteht darin, dass die Eigent\u00fcmer der Websites, von denen die Aggregatoren Daten beziehen, oft keinen leichten Zugang gew\u00e4hren wollen. Das ist verst\u00e4ndlich \u2013 wenn Informationen \u00fcber Preise in einem Online-Shop auf einer Aggregator-Website erscheinen und h\u00f6her sind als die der dort ebenfalls angezeigten Wettbewerber, verliert das Unternehmen Kunden. <\/a><\/noindex><\/p>\n

Methoden zur Bek\u00e4mpfung des Scraping<\/h2>\n

\nDaher widersetzen sich h\u00e4ufig die Eigent\u00fcmer solcher Websites dem Scraping \u2013 also dem Herunterladen ihrer Daten. Sie k\u00f6nnen die Anfragen, die von Crawler-Bots gesendet werden, anhand der IP-Adressen identifizieren. In der Regel verwenden solche Softwarel\u00f6sungen sogenannte Server-IP-Adressen, die leicht ermittelt und blockiert werden k\u00f6nnen.<\/p>\n

Dar\u00fcber hinaus wird anstelle der Blockierung von Anfragen h\u00e4ufig eine andere Methode verwendet \u2013 identifizierte Bots sehen irrelevante Informationen. Zum Beispiel werden die Preise f\u00fcr Produkte entweder erh\u00f6ht oder gesenkt, oder ihre Beschreibungen werden ge\u00e4ndert.<\/p>\n

Ein h\u00e4ufig genanntes Beispiel in diesem Zusammenhang sind die Preise f\u00fcr Flugtickets. Tats\u00e4chlich zeigen Fluggesellschaften und Reiseagenturen h\u00e4ufig unterschiedliche Ergebnisse f\u00fcr die gleichen Fl\u00fcge, abh\u00e4ngig von der IP-Adresse. Ein reales Beispiel: Die Suche nach einem Flug von Miami nach London am gleichen Datum mit einer IP-Adresse aus Osteuropa und Asien liefert unterschiedliche Ergebnisse. <\/p>\n

Im Falle einer IP-Adresse aus Osteuropa sieht der Preis so aus:<\/p>\n

\"Wie
\n
\nUnd f\u00fcr eine IP-Adresse aus Asien so:<\/p>\n

\"Wie
\n
\nWie zu sehen ist, unterscheidet sich der Preis f\u00fcr denselben Flug erheblich \u2013 die Differenz betr\u00e4gt 76 $, was wirklich viel ist. F\u00fcr eine Vergleichsseite gibt es nichts Schlimmeres, als falsche Informationen anzuzeigen; in diesem Fall werden die Nutzer die Seite nicht mehr besuchen. Dar\u00fcber hinaus wirkt sich auch negativ auf den Ruf des Projekts aus, wenn auf dem Aggregator f\u00fcr ein bestimmtes Produkt ein Preis angezeigt wird, der sich beim Wechsel zur Verkaufsseite \u00e4ndert.<\/p>\n

L\u00f6sung: Nutzung von Residential Proxys<\/h2>\n

\nUm Probleme beim Datenscraping f\u00fcr die Aggregation zu vermeiden, k\u00f6nnen Residential Proxys verwendet werden. Die Server-IP-Adressen werden von Hosting-Anbietern bereitgestellt. Es ist ziemlich einfach, die Zugeh\u00f6rigkeit einer Adresse zu einem bestimmten Anbieter zu erkennen \u2013 jede IP hat eine ASN-Nummer, die diese Informationen enth\u00e4lt.<\/p>\n

Es gibt zahlreiche Dienste zur Analyse von ASN-Nummern. Oft werden sie in Antibot-Systeme integriert, die den Zugang f\u00fcr Crawler blockieren oder die Antworten auf ihre Anfragen manipulieren. <\/p>\n

Residential IP-Adressen helfen, solche Systeme zu umgehen. Diese IPs werden von Internetanbietern an Wohnungseigent\u00fcmer vergeben und sind in den entsprechenden Datenbanken entsprechend gekennzeichnet. Es gibt spezielle Residential Proxy-Dienste, die es Nutzern erm\u00f6glichen, von Residential-Adressen Gebrauch zu machen. Infatica<\/a><\/noindex> \u2013 genau so ein Dienst.<\/p>\n

Anfragen, die von Crawlern aggregierter Websites \u00fcber residente IPs gesendet werden, erscheinen so, als ob sie von normalen Nutzern aus einer bestimmten Region stammen. Normale Besucher werden jedoch nicht blockiert \u2013 in der Fall von Online-Shops sind dies potenzielle Kunden.<\/p>\n

Die Nutzung rotierender Proxys von Infatica erm\u00f6glicht es aggregierten Websites, garantierte pr\u00e4zise Daten zu erhalten und Blockierungen sowie Parser-Schwierigkeiten zu vermeiden. <\/p>\n

Weitere Artikel zum Thema Nutzung von residenten Proxys f\u00fcr Unternehmen:
\n<\/h2>\n

<\/p>\n