{"id":37302,"date":"2019-10-31T22:16:52","date_gmt":"2019-10-31T19:16:52","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi\/"},"modified":"2019-10-31T22:16:52","modified_gmt":"2019-10-31T19:16:52","slug":"kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","title":{"rendered":"Comment r\u00e9soudre les probl\u00e8mes des sites agr\u00e9gateurs avec des proxies r\u00e9sidentiels","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Comment<\/a><\/noindex><\/p>\n

Image : Pexels<\/a><\/noindex><\/i><\/p>\n

Pour les sites agr\u00e9gateurs dans le domaine du commerce \u00e9lectronique, il est crucial de maintenir des informations \u00e0 jour. Sinon, leur principal avantage dispara\u00eet : la possibilit\u00e9 de voir les donn\u00e9es les plus pertinentes en un seul endroit. <\/p>\n

Pour r\u00e9soudre ce probl\u00e8me, il est n\u00e9cessaire d'utiliser la technique du web scraping. Le principe consiste \u00e0 cr\u00e9er un logiciel sp\u00e9cial \u2013 un crawler, qui parcourt les sites n\u00e9cessaires de la liste, extrait les informations et les t\u00e9l\u00e9charge sur le site agr\u00e9gateur.<\/p>\n

Le probl\u00e8me est que souvent, les propri\u00e9taires des sites dont les donn\u00e9es sont collect\u00e9es par les agr\u00e9gateurs ne souhaitent pas leur donner un acc\u00e8s aussi facile. On peut le comprendre : si les informations sur les prix dans une boutique en ligne apparaissent sur un site agr\u00e9gateur et sont plus \u00e9lev\u00e9es que celles des concurrents \u00e9galement pr\u00e9sent\u00e9s, l'entreprise perdra des clients. <\/a><\/noindex><\/p>\n

M\u00e9thodes de lutte contre le scraping<\/h2>\n

\nAinsi, il arrive souvent que les propri\u00e9taires de ces sites s'opposent au scraping \u2013 c'est-\u00e0-dire au t\u00e9l\u00e9chargement de leurs donn\u00e9es. Ils peuvent d\u00e9tecter les requ\u00eates envoy\u00e9es par les bots crawlers selon leur adresse IP. En g\u00e9n\u00e9ral, ce logiciel utilise ce qu'on appelle des IP serveur, qui sont facilement identifiables et bloquables.<\/p>\n

De plus, au lieu de bloquer les requ\u00eates, une autre m\u00e9thode est souvent utilis\u00e9e : les bots identifi\u00e9s se voient montrer des informations non pertinentes. Par exemple, les prix des produits peuvent \u00eatre gonfl\u00e9s ou r\u00e9duits, ou leurs descriptions modifi\u00e9es.<\/p>\n

Un exemple souvent cit\u00e9 \u00e0 cet \u00e9gard est celui des prix des billets d'avion. En effet, il est assez fr\u00e9quent que les compagnies a\u00e9riennes et les agences de voyages affichent des r\u00e9sultats diff\u00e9rents pour les m\u00eames vols en fonction de l'adresse IP. Un cas r\u00e9el : la recherche d'un vol de Miami \u00e0 Londres \u00e0 la m\u00eame date avec une adresse IP d'Europe de l'Est et d'Asie renvoie des r\u00e9sultats diff\u00e9rents. <\/p>\n

Pour l'adresse IP d'Europe de l'Est, le prix appara\u00eet comme suit :<\/p>\n

\"Comment
\n
\nEt pour une adresse IP d'Asie, cela donne :<\/p>\n

\"Comment
\n
\nComme on peut le voir, le prix pour le m\u00eame vol diff\u00e8re consid\u00e9rablement \u2013 la diff\u00e9rence est de 76 $, ce qui est vraiment beaucoup. Pour un site agr\u00e9gateur, il n'y a rien de pire que cela : s'il pr\u00e9sente de fausses informations, les utilisateurs ne l'utiliseront pas. De plus, si sur l'agr\u00e9gateur un produit affiche un prix et qu'en cliquant sur le site du vendeur il change, cela affecte \u00e9galement n\u00e9gativement la r\u00e9putation du projet.<\/p>\n

Solution : utilisation de proxies r\u00e9sidentiels<\/h2>\n

\n\u00c9viter les probl\u00e8mes lors du scraping de donn\u00e9es pour l'agr\u00e9gation peut \u00eatre r\u00e9alis\u00e9 gr\u00e2ce \u00e0 l'utilisation de proxies r\u00e9sidentiels. Les IP serveurs sont fournies par des h\u00e9bergeurs. Il est assez simple de d\u00e9terminer l'appartenance d'une adresse \u00e0 un pool d'un fournisseur particulier - chaque IP a un num\u00e9ro ASN qui contient cette information.<\/p>\n

Il existe de nombreux services pour analyser les num\u00e9ros ASN. Souvent, ils s'int\u00e8grent \u00e0 des syst\u00e8mes anti-bots qui bloquent l'acc\u00e8s aux crawlers ou falsifient les donn\u00e9es renvoy\u00e9es en r\u00e9ponse \u00e0 leurs requ\u00eates. <\/p>\n

Les adresses IP r\u00e9sidentielle aident \u00e0 contourner ces syst\u00e8mes. Ces IP sont attribu\u00e9es par les fournisseurs d'acc\u00e8s Internet aux propri\u00e9taires de logements, avec les notes appropri\u00e9es dans toutes les bases de donn\u00e9es associ\u00e9es. Il existe des services sp\u00e9ciaux de proxies r\u00e9sidentiels qui permettent d'utiliser des adresses r\u00e9sidentielles. Infatica<\/a><\/noindex> \u2013 c'est justement ce service.<\/p>\n

Les requ\u00eates que les crawlers de sites agr\u00e9gateurs envoient via des IP r\u00e9sidentiels semblent provenir d'utilisateurs ordinaires d'une r\u00e9gion donn\u00e9e. Et aucun blocage n'est appliqu\u00e9 aux visiteurs normaux \u2013 dans le cas des magasins en ligne, ce sont des clients potentiels.<\/p>\n

En fin de compte, l'utilisation de proxies rotatifs d'Infatica permet aux sites agr\u00e9gateurs d'obtenir des donn\u00e9es pr\u00e9cises garantie et d'\u00e9viter les blocages et les difficult\u00e9s de parsing. <\/p>\n

D'autres articles sur le sujet de l'utilisation de proxies r\u00e9sidentiels pour les affaires :
\n<\/h2>\n

<\/p>\n