{"id":37302,"date":"2019-10-31T22:16:52","date_gmt":"2019-10-31T19:16:52","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi\/"},"modified":"2019-10-31T22:16:52","modified_gmt":"2019-10-31T19:16:52","slug":"kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","status":"publish","type":"post","link":"https:\/\/prohoster.info\/ro\/blog\/administrirovanie\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","title":{"rendered":"Cum s\u0103 rezolvi problemele site-urilor agregatoare cu ajutorul proxy-urilor reziden\u021biale","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Cum<\/a><\/noindex><\/p>\n

Imagine: Pexels<\/a><\/noindex><\/i><\/p>\n

Pentru site-urile agregatoare din domeniul comer\u021bului electronic, este extrem de important s\u0103 se men\u021bin\u0103 informa\u021biile actualizate. Altfel, \u00ee\u0219i pierd principalul avantaj \u2013 posibilitatea de a vedea cele mai relevante date \u00eentr-un singur loc. <\/p>\n

Pentru a rezolva aceast\u0103 problem\u0103, este necesar\u0103 folosirea tehnicii de web scraping. Ideea este c\u0103 se creeaz\u0103 un software special \u2013 un crawler, care parcurge site-urile dintr-o list\u0103, extrage informa\u021biile de pe acestea \u0219i le \u00eencarc\u0103 pe site-ul agregator.<\/p>\n

Problema este c\u0103, adesea, proprietarii site-urilor de la care agregatoarele \u00ee\u0219i ob\u021bin datele nu doresc deloc s\u0103 le ofere acces at\u00e2t de u\u0219or. Acest lucru poate fi \u00een\u021beles \u2013 dac\u0103 informa\u021biile despre pre\u021buri de pe un magazin online ajung pe un site agregator \u0219i se dovedesc a fi mai mari dec\u00e2t la concuren\u021bii prezenta\u021bi acolo, afacerea pierde clien\u021bi. <\/a><\/noindex><\/p>\n

Metode de contracarare a scraping-ului<\/h2>\n

\nPrin urmare, proprietarii acestor site-uri adesea se opun scraping-ului \u2013 adic\u0103 desc\u0103rc\u0103rii datelor lor. Ei pot identifica cererile pe care le trimit crawler-ele de tip bot prin adresa IP. \u00cen general, astfel de software utilizeaz\u0103 a\u0219a-numitele IP-uri de server, care sunt u\u0219or de calculat \u0219i de blocat.<\/p>\n

\u00cen plus, \u00een loc de blocarea cererilor, se folose\u0219te adesea o alt\u0103 metod\u0103 \u2013 bot-urile identificate sunt direc\u021bionate c\u0103tre informa\u021bii nerelevante. De exemplu, pre\u021burile produselor sunt supralicitate sau subestimate sau descrierile acestora sunt modificate.<\/p>\n

Un exemplu frecvent men\u021bionat \u00een acest sens sunt pre\u021burile biletelor de avion. \u00centr-adev\u0103r, foarte des companiile aeriene \u0219i agen\u021biile de turism pot afi\u0219a rezultate diferite pentru acelea\u0219i zboruri, \u00een func\u021bie de adresa IP. Un caz real: c\u0103utarea unui zbor din Miami c\u0103tre Londra pentru aceea\u0219i dat\u0103 folosind o adres\u0103 IP din Europa de Est \u0219i Asia returneaz\u0103 rezultate diferite. <\/p>\n

\u00cen cazul unei adrese IP din Europa de Est, pre\u021bul arat\u0103 astfel:<\/p>\n

\"Cum
\n
\nIar pentru adresa IP din Asia, astfel:<\/p>\n

\"Cum
\n
\nDup\u0103 cum se observ\u0103, pre\u021bul pentru acela\u0219i zbor difer\u0103 semnificativ \u2013 diferen\u021ba este de $76, ceea ce este, \u00eentr-adev\u0103r, mult. Pentru un site agregator, nu exist\u0103 nimic mai r\u0103u dec\u00e2t at\u00e2t \u2013 dac\u0103 va prezenta informa\u021bii gre\u0219ite, utilizatorii nu vor dori s\u0103 \u00eel foloseasc\u0103. \u00cen plus, dac\u0103 pe agregator pentru un anumit produs este un pre\u021b, iar c\u00e2nd se acceseaz\u0103 site-ul v\u00e2nz\u0103torului acesta se schimb\u0103 \u2013 acest lucru afecteaz\u0103, de asemenea, reputa\u021bia proiectului.<\/p>\n

Solu\u021bia: utilizarea de proxy-uri reziden\u021biale<\/h2>\n

\nPentru a evita problemele \u00een timpul scraping-ului de date pentru nevoile de agregare, se pot folosi proxy-uri rezidente. IP-urile serverelor sunt furnizate de furnizorii de hosting. Identificarea apartenen\u021bei unei adrese la un anumit furnizor este destul de simpl\u0103 \u2013 fiecare IP are un num\u0103r ASN, care con\u021bine aceste informa\u021bii.<\/p>\n

Exist\u0103 o mul\u021bime de servicii pentru analiza numerelor ASN. Adesea, acestea sunt integrate cu sistemele anti-bot, care blocheaz\u0103 accesul crawler-ilor sau falsific\u0103 datele returnate la solicit\u0103rile lor. <\/p>\n

Pentru a ocoli aceste sisteme, ajut\u0103 IP-urile rezidente. Aceste IP-uri sunt emise de furnizorii de internet proprietarilor de locuin\u021be, cu men\u021biuni corespunz\u0103toare \u00een toate bazele de date legate. Exist\u0103 servicii speciale de proxy-uri rezidente care permit utilizarea adreselor rezidente. Infatica<\/a><\/noindex> \u2013 acesta este un astfel de serviciu.<\/p>\n

Solicit\u0103rile pe care crawler-ii site-urilor de agregare le trimit de la IP-urile rezidente arat\u0103 de parc\u0103 ar proveni de la utilizatori obi\u0219nui\u021bi dintr-o anumit\u0103 regiune. Iar vizitatorii obi\u0219nui\u021bi nu sunt bloca\u021bi \u2013 \u00een cazul magazinelor online, ace\u0219tia sunt clien\u021bi poten\u021biali.<\/p>\n

Prin urmare, utilizarea proxy-urilor rotative de la Infatica permite site-urilor de agregare s\u0103 ob\u021bin\u0103 date precise garantate \u0219i s\u0103 evite bloc\u0103rile \u0219i dificult\u0103\u021bile de parsing. <\/p>\n

Alte articole pe tema utiliz\u0103rii proxy-urilor rezidente pentru afaceri:
\n<\/h2>\n

<\/p>\n