Bild:
FĂŒr Aggregator-Websites im E-Commerce ist es Ă€uĂerst wichtig, aktuelle Informationen bereit zu halten. Andernfalls entfĂ€llt ihr Hauptvorteil â die Möglichkeit, die relevantesten Daten an einem Ort einzusehen.
Um dieses Ziel zu erreichen, ist der Einsatz von Web-Scraping-Techniken erforderlich. Dabei wird spezielle Software â ein Crawler â erstellt, der die benötigten Websites aus einer Liste besucht, Informationen von ihnen extrahiert und auf die Aggregator-Website hochlĂ€dt.
Das Problem besteht darin, dass die EigentĂŒmer der Websites, von denen die Aggregatoren Daten beziehen, oft keinen leichten Zugang gewĂ€hren wollen. Das ist verstĂ€ndlich â wenn Informationen ĂŒber Preise in einem Online-Shop auf einer Aggregator-Website erscheinen und höher sind als die der dort ebenfalls angezeigten Wettbewerber, verliert das Unternehmen Kunden.
Methoden zur BekÀmpfung des Scraping
Daher widersetzen sich hĂ€ufig die EigentĂŒmer solcher Websites dem Scraping â also dem Herunterladen ihrer Daten. Sie können die Anfragen, die von Crawler-Bots gesendet werden, anhand der IP-Adressen identifizieren. In der Regel verwenden solche Softwarelösungen sogenannte Server-IP-Adressen, die leicht ermittelt und blockiert werden können.
DarĂŒber hinaus wird anstelle der Blockierung von Anfragen hĂ€ufig eine andere Methode verwendet â identifizierte Bots sehen irrelevante Informationen. Zum Beispiel werden die Preise fĂŒr Produkte entweder erhöht oder gesenkt, oder ihre Beschreibungen werden geĂ€ndert.
Ein hĂ€ufig genanntes Beispiel in diesem Zusammenhang sind die Preise fĂŒr Flugtickets. TatsĂ€chlich zeigen Fluggesellschaften und Reiseagenturen hĂ€ufig unterschiedliche Ergebnisse fĂŒr die gleichen FlĂŒge, abhĂ€ngig von der IP-Adresse. Ein reales Beispiel: Die Suche nach einem Flug von Miami nach London am gleichen Datum mit einer IP-Adresse aus Osteuropa und Asien liefert unterschiedliche Ergebnisse.
Im Falle einer IP-Adresse aus Osteuropa sieht der Preis so aus:
Und fĂŒr eine IP-Adresse aus Asien so:
Wie zu sehen ist, unterscheidet sich der Preis fĂŒr denselben Flug erheblich â die Differenz betrĂ€gt 76 $, was wirklich viel ist. FĂŒr eine Vergleichsseite gibt es nichts Schlimmeres, als falsche Informationen anzuzeigen; in diesem Fall werden die Nutzer die Seite nicht mehr besuchen. DarĂŒber hinaus wirkt sich auch negativ auf den Ruf des Projekts aus, wenn auf dem Aggregator fĂŒr ein bestimmtes Produkt ein Preis angezeigt wird, der sich beim Wechsel zur Verkaufsseite Ă€ndert.
Lösung: Nutzung von Residential Proxys
Um Probleme beim Datenscraping fĂŒr die Aggregation zu vermeiden, können Residential Proxys verwendet werden. Die Server-IP-Adressen werden von Hosting-Anbietern bereitgestellt. Es ist ziemlich einfach, die Zugehörigkeit einer Adresse zu einem bestimmten Anbieter zu erkennen â jede IP hat eine ASN-Nummer, die diese Informationen enthĂ€lt.
Es gibt zahlreiche Dienste zur Analyse von ASN-Nummern. Oft werden sie in Antibot-Systeme integriert, die den Zugang fĂŒr Crawler blockieren oder die Antworten auf ihre Anfragen manipulieren.
Residential IP-Adressen helfen, solche Systeme zu umgehen. Diese IPs werden von Internetanbietern an WohnungseigentĂŒmer vergeben und sind in den entsprechenden Datenbanken entsprechend gekennzeichnet. Es gibt spezielle Residential Proxy-Dienste, die es Nutzern ermöglichen, von Residential-Adressen Gebrauch zu machen. â genau so ein Dienst.
Anfragen, die von Crawlern aggregierter Websites ĂŒber residente IPs gesendet werden, erscheinen so, als ob sie von normalen Nutzern aus einer bestimmten Region stammen. Normale Besucher werden jedoch nicht blockiert â in der Fall von Online-Shops sind dies potenzielle Kunden.
Die Nutzung rotierender Proxys von Infatica ermöglicht es aggregierten Websites, garantierte prÀzise Daten zu erhalten und Blockierungen sowie Parser-Schwierigkeiten zu vermeiden.
Weitere Artikel zum Thema Nutzung von residenten Proxys fĂŒr Unternehmen:
Quelle: habr.com
