Imazhi:
PĂ«r faqet e agregatorĂ«ve nĂ« fushĂ«n e tregtisĂ« elektronike, Ă«shtĂ« jashtĂ«zakonisht e rĂ«ndĂ«sishme tĂ« mbahen informacionet e pĂ«rditĂ«suara. Ndryshe, humbet pĂ«rparĂ«sia e tyre kryesore â mundĂ«sia pĂ«r tĂ« parĂ« tĂ« dhĂ«nat mĂ« relevante nĂ« njĂ« vend.
PĂ«r tĂ« zgjidhur kĂ«tĂ« problem Ă«shtĂ« e nevojshme tĂ« pĂ«rdoret teknika e web scraping. Thelbi i saj Ă«shtĂ« se krijohet njĂ« soft i veçantĂ« â crawler, i cili shkon nĂ« faqet e nevojshme nga lista, parse informacionin prej tyre dhe e ngarkon atĂ« nĂ« faqen-agregator.
Problemi Ă«shtĂ« se shpesh pronarĂ«t e faqeve nga tĂ« cilat merr tĂ« dhĂ«na agregatori, nĂ« fakt nuk e duan kĂ«tĂ« lehtĂ«si nĂ« dhĂ«nien e aksesit. NjĂ« arsye Ă«shtĂ« e kuptueshme â nĂ«se informacioni mbi çmimin nĂ« njĂ« dyqan online arrin nĂ« faqen agregator dhe del mĂ« e lartĂ« se tek konkurruesit e tjerĂ« tĂ« listuar atje â biznesi do tĂ« humbasĂ« blerĂ«s.
Metodat e kundërshtimit të scraping-ut
Prandaj, shpesh pronarĂ«t e tillĂ« tĂ« faqeve pĂ«rballen me scraping-un â dmth, shkarkimin e tĂ« dhĂ«nave tĂ« tyre. Ata mund tĂ« identifikojnĂ« kĂ«rkesat qĂ« i dĂ«rgojnĂ« botĂ«t-crawler pĂ«rmes adresĂ«s IP. Zakonisht, ky soft pĂ«rdor adresat IP serive, tĂ« cilat janĂ« tĂ« lehta pĂ«r tu llogaritur dhe bllokuar.
PĂ«r mĂ« tepĂ«r, nĂ« vend tĂ« bllokimit tĂ« kĂ«rkesave shpesh pĂ«rdoret njĂ« metodĂ« tjetĂ«r â pĂ«r botĂ«t e identifikuara ua tregojnĂ« informacionin jo-relevant. PĂ«r shembull, rrisin ose ulin çmimet e produkteve ose ndryshojnĂ« pĂ«rshkrimet e tyre.
Një shembull që shpesh përmendet në këtë kontekst është çmimet e biletave të aeroplanëve. Në të vërtetë, mjaft shpesh kompanitë ajrore dhe agjencitë e turizmit mund të tregojnë rezultate të ndryshme për të njëjtat fluturime në varësi të adresës IP. Një rast real: kërkimi për një fluturim nga Miami në Londër në një datë të njëjtë nga një adresë IP në Europën Lindore dhe Azinë jep rezultate të ndryshme.
Në rastin e adresës IP në Europën Lindore, çmimi duket kështu:
Dhe për adresën IP nga Azia kështu:
Siç shihet, çmimi pĂ«r fluturimin e njĂ«jtĂ« ndryshon ndjeshĂ«m â diferenca Ă«shtĂ« $76, qĂ« Ă«shtĂ« vĂ«rtet shumĂ«. PĂ«r njĂ« faqe-agregator nuk ka gjĂ« mĂ« tĂ« keqe se kjo â nĂ«se nĂ« tĂ« do tĂ« paraqitet informacion i pasaktĂ«, pĂ«rdoruesit nuk do ta pĂ«rdorin atĂ«. PĂ«r mĂ« tepĂ«r, nĂ«se nĂ« agregator pĂ«r njĂ« produkt tĂ« caktuar ka njĂ« çmim, ndĂ«rsa kur kalon nĂ« faqen e shitĂ«sit ai ndryshon â kjo gjithashtu ndikon negativisht nĂ« reputacionin e projektit.
Zgjidhja: përdorimi i proxy-eve rezidente
PĂ«r tĂ« shmangur problemet gjatĂ« skrapimit tĂ« tĂ« dhĂ«nave pĂ«r qĂ«llime agregimi, mund tĂ« pĂ«rdoren proxy rezidente. IP-tĂ« serverit ofrohen nga ofruesit e hostimit. TĂ« identifikohet pĂ«rkatĂ«sia e adresĂ«s nĂ« grupin e caktuar tĂ« ofruesit Ă«shtĂ« mjaft e thjeshtĂ« â çdo IP ka njĂ« numĂ«r ASN, nĂ« tĂ« cilin pĂ«rmbahen kĂ«to informacione.
Ka shumë shërbime për analizën e numrave ASN. Shpesh ato integrohen me sistemet anti-bot, të cilat bllokojnë qasje nga krerët e faqeve ose manipulojnë të dhënat që u kujtohen në përgjigje të kërkesave të tyre.
Për të kaluar këto sisteme ndihmojnë adresat IP rezidente. Këto IP jepen nga ofruesit e internetit pronarëve të banesave, me shënime përkatëse në të gjitha bazat e të dhënave të lidhura. Ekzistojnë shërbime speciale të proxy rezidente, të cilat lejojnë përdorimin e adresave rezidente. Ky është një shërbim i tillë.
KĂ«rkesat qĂ« krerĂ«t e faqeve agregatore dĂ«rgojnĂ« nga IP-tĂ« rezidente duken sikur vijnĂ« nga pĂ«rdorues normalĂ« nga njĂ« rajon i caktuar. AsnjĂ« vizitor normal nuk bllokohet â nĂ« rastin e dyqaneve online, ata janĂ« klientĂ« potencialĂ«.
Si rezultat, përdorimi i proxy-ve të rotuar nga Infatica i lejon faqeve të agregatoreve të marrin të dhëna të sakta të garantuara dhe të shmangin bllokimet dhe vështirësitë me parsimimin.
Artikuj të tjerë mbi temën e përdorimit të proxy-ve rezidente për biznesin:
Burimi: habr.com
