{"id":37302,"date":"2019-10-31T22:16:52","date_gmt":"2019-10-31T19:16:52","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi\/"},"modified":"2019-10-31T22:16:52","modified_gmt":"2019-10-31T19:16:52","slug":"kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","title":{"rendered":"Hoe de problemen van aggregatorsites op te lossen met residenti\u00eble proxies.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Hoe<\/a><\/noindex><\/p>\n

Afbeelding: Pexels<\/a><\/noindex><\/i><\/p>\n

Voor aggregator websites in de e-commerce is het van cruciaal belang om actuele informatie te onderhouden. Anders vervalt hun belangrijkste voordeel: de mogelijkheid om de meest relevante gegevens op \u00e9\u00e9n plek te zien. <\/p>\n

Om deze taak op te lossen, is het nodig om webscraping-technieken te gebruiken. Het idee is dat er speciale software wordt gemaakt - een crawler, die de benodigde websites in de lijst bezoekt, informatie van hen verzamelt en deze op de aggregatorwebsite uploadt.<\/p>\n

Het probleem is dat de website-eigenaren van wie de gegevens door de aggregators worden verkregen, vaak niet zo gemakkelijk toegang willen geven. Dit is begrijpelijk - als de prijsinformatie in een online winkel op de aggregatorwebsite verschijnt en hoger is dan die van concurrenten die daar ook worden gepresenteerd, verliest het bedrijf klanten. <\/a><\/noindex><\/p>\n

Tegenmaathandelingsmethoden tegen scraping<\/h2>\n

\nDaarom verzetten website-eigenaren zich vaak tegen scraping - dat wil zeggen, tegen het downloaden van hun gegevens. Ze kunnen verzoeken identificeren die bots-crawlers per IP-adres verzenden. Gewoonlijk gebruiken dergelijke software zogenaamde server-IP's, die gemakkelijk te berekenen en te blokkeren zijn.<\/p>\n

Bovendien wordt in plaats van het blokkeren van verzoeken vaak een andere methode gebruikt: ge\u00efdentificeerde bots krijgen irrelevante informatie te zien. Bijvoorbeeld door prijzen van producten te verhogen of te verlagen of hun beschrijvingen te wijzigen.<\/p>\n

Een voorbeeld dat vaak in dit verband wordt genoemd, zijn de prijzen voor vliegtickets. Inderdaad, luchtvaartmaatschappijen en reisagentschappen kunnen vaak verschillende resultaten tonen voor dezelfde vluchten, afhankelijk van het IP-adres. Echte situatie: het zoeken naar een vlucht van Miami naar Londen op dezelfde datum met een IP-adres uit Oost-Europa en Azi\u00eb levert verschillende resultaten op. <\/p>\n

Bij een IP-adres in Oost-Europa ziet de prijs er zo uit:<\/p>\n

\"Hoe
\n
\nEn voor een IP-adres uit Azi\u00eb zo:<\/p>\n

\"Hoe
\n
\nZoals te zien is, verschilt de prijs voor dezelfde vlucht aanzienlijk - het prijsverschil bedraagt $76, wat behoorlijk veel is. Voor een aggregatorwebsite is er niets erger dan dit - als hier foutieve informatie wordt gepresenteerd, zullen gebruikers deze niet gebruiken. Bovendien, als op de aggregator een bepaalde prijs voor een product staat, en als deze verandert bij het doorklikken naar de verkoperswebsite, heeft dit ook een negatieve invloed op de reputatie van het project.<\/p>\n

Oplossing: het gebruik van residenti\u00eble proxies<\/h2>\n

\nProblemen bij dataskraping voor aggregatiebehoeften kunnen worden voorkomen door gebruik te maken van residenti\u00eble proxies. Server-IP's worden geleverd door hostingproviders. Het is vrij eenvoudig om vast te stellen of een adres tot een specifiek providerpool behoort - elk IP heeft een ASN-nummer, waarin deze informatie is opgenomen.<\/p>\n

Er zijn veel diensten voor het analyseren van ASN-nummers. Vaak worden ze ge\u00efntegreerd met anti-bot systemen die de toegang voor crawlers blokkeren of de gegevens die in reactie op hun verzoeken worden gegeven vervalsen. <\/p>\n

Residenti\u00eble IP-adressen helpen om dergelijke systemen te omzeilen. Dergelijke IP's worden door internetproviders uitgegeven aan huiseigenaren, met de relevante aantekeningen in alle bijbehorende databases. Er zijn speciale diensten voor residenti\u00eble proxies die het mogelijk maken om gebruik te maken van residenti\u00eble adressen. Infatica<\/a><\/noindex> Dit is precies zo'n dienst.<\/p>\n

Verzoeken die crawlers van aggregatorwebsites met residenti\u00eble IP's verzenden, lijken alsof ze afkomstig zijn van gewone gebruikers uit een specifieke regio. Gewone bezoekers worden namelijk niet geblokkeerd - in het geval van webwinkels zijn dit potenti\u00eble klanten.<\/p>\n

Het gebruik van roterende proxies van Infatica stelt aggregatorwebsites in staat om gegarandeerd nauwkeurige gegevens te verkrijgen en blokkades en problemen met parsing te vermijden. <\/p>\n

Andere artikelen over het gebruik van residenti\u00eble proxies voor bedrijven:
\n<\/h2>\n

<\/p>\n