{"id":37302,"date":"2019-10-31T22:16:52","date_gmt":"2019-10-31T19:16:52","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi\/"},"modified":"2019-10-31T22:16:52","modified_gmt":"2019-10-31T19:16:52","slug":"kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","title":{"rendered":"Wie man die Probleme von Aggregator-Websites mit Resident-Proxys l\u00f6st","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Wie<\/a><\/noindex><\/p>\n

Bild: Pexels<\/a><\/noindex><\/i><\/p>\n

F\u00fcr Aggregator-Websites im Bereich E-Commerce ist es von entscheidender Bedeutung, aktuelle Informationen bereitzustellen. Andernfalls entf\u00e4llt ihr haupts\u00e4chlicher Vorteil \u2013 die M\u00f6glichkeit, die relevantesten Daten an einem Ort zu sehen. <\/p>\n

Um diese Aufgabe zu l\u00f6sen, ist es notwendig, die Technik des Web-Scrapings zu verwenden. Dabei wird spezielle Software \u2013 ein Crawler \u2013 erstellt, der die erforderlichen Websites aus einer Liste durchl\u00e4uft, Informationen von ihnen extrahiert und auf der Aggregator-Website hochl\u00e4dt.<\/p>\n

Das Problem besteht darin, dass die Eigent\u00fcmer der Websites, von denen die Aggregatoren Daten beziehen, oft nicht so einfach Zugang gew\u00e4hren wollen. Das ist verst\u00e4ndlich \u2013 wenn die Preisinformationen eines Online-Shops auf der Aggregator-Website angezeigt werden und h\u00f6her sind als die der dort ebenfalls dargestellten Wettbewerber, verliert das Unternehmen Kunden. <\/a><\/noindex><\/p>\n

Methoden zur Bek\u00e4mpfung von Scraping<\/h2>\n

\nDaher wehren sich h\u00e4ufig die Eigent\u00fcmer solcher Websites gegen das Scraping \u2013 das hei\u00dft, gegen das Herunterladen ihrer Daten. Sie k\u00f6nnen Anfragen erkennen, die von Bot-Crawlern gesendet werden, basierend auf der IP-Adresse. In der Regel verwenden solche Software sogenannte Server-IP-Adressen, die leicht zu identifizieren und zu blockieren sind.<\/p>\n

Zus\u00e4tzlich zur Blockierung von Anfragen wird h\u00e4ufig eine andere Methode verwendet \u2013 identifizierte Bots erhalten irrelevante Informationen angezeigt. Zum Beispiel werden die Preise f\u00fcr Produkte erh\u00f6ht oder gesenkt, oder ihre Beschreibungen werden ge\u00e4ndert.<\/p>\n

Ein h\u00e4ufiges Beispiel in diesem Zusammenhang sind die Preise f\u00fcr Flugtickets. Tats\u00e4chlich k\u00f6nnen Fluggesellschaften und Reiseb\u00fcros oft unterschiedliche Ergebnisse f\u00fcr die gleichen Fl\u00fcge je nach IP-Adresse anzeigen. Ein tats\u00e4chlicher Fall: Die Suche nach einem Flug von Miami nach London an demselben Datum mit einer IP-Adresse aus Osteuropa und Asien liefert unterschiedliche Ergebnisse. <\/p>\n

Im Falle einer IP-Adresse in Osteuropa sieht der Preis wie folgt aus:<\/p>\n

\"Wie
\n
\nUnd f\u00fcr eine IP-Adresse aus Asien so:<\/p>\n

\"Wie
\n
\nWie zu sehen ist, unterscheidet sich der Preis f\u00fcr den gleichen Flug erheblich \u2013 die Differenz betr\u00e4gt 76 USD, was wirklich viel ist. F\u00fcr eine Aggregator-Website gibt es nichts Schlimmeres \u2013 wenn falsche Informationen angezeigt werden, werden die Nutzer sie nicht nutzen. Zudem wirkt sich negativ auf den Ruf des Projekts aus, wenn auf dem Aggregator f\u00fcr ein bestimmtes Produkt ein Preis angezeigt wird und dieser sich beim Wechsel zur Website des Verk\u00e4ufers \u00e4ndert.<\/p>\n

L\u00f6sung: Verwendung von Residential Proxies<\/h2>\n

\nUm Probleme beim Scraping von Daten f\u00fcr deren Aggregation zu vermeiden, k\u00f6nnen residente Proxys verwendet werden. Server-IP-Adressen werden von Hosting-Anbietern bereitgestellt. Es ist recht einfach, die Zugeh\u00f6rigkeit einer Adresse zu einem bestimmten Anbieter zu erkennen \u2013 jede IP hat eine ASN-Nummer, die diese Informationen enth\u00e4lt.<\/p>\n

Es gibt viele Dienste zur Analyse von ASN-Nummern. Oft werden sie in Antibot-Systeme integriert, die den Zugang f\u00fcr Crawler blockieren oder die bei Anfragen zur\u00fcckgegebenen Daten manipulieren. <\/p>\n

Residente IP-Adressen helfen, solche Systeme zu umgehen. Solche IPs werden von Internetanbietern an Wohnungsbesitzer vergeben, mit entsprechenden Notizen in allen zugeh\u00f6rigen Datenbanken. Es gibt spezielle Dienste f\u00fcr residente Proxys, die es erm\u00f6glichen, residente Adressen zu nutzen. Infatica<\/a><\/noindex> \u2013 genau so ein Dienst.<\/p>\n

Anfragen, die Crawler von Aggregator-Websites \u00fcber residente IPs senden, erscheinen so, als k\u00e4men sie von normalen Nutzern aus einer bestimmten Region. Normale Besucher werden jedoch nicht blockiert \u2013 im Fall von Online-Shops sind das potenzielle Kunden.<\/p>\n

Insgesamt erm\u00f6glicht die Nutzung von rotierenden Proxys von Infatica Aggregator-Websites, garantierte genaue Daten zu erhalten und Blockierungen sowie Schwierigkeiten beim Parsen zu vermeiden. <\/p>\n

Weitere Artikel zum Thema Nutzung residenter Proxys f\u00fcr Unternehmen:
\n<\/h2>\n

<\/p>\n