Imazhi:
PĂ«r sajnĂ« e faqeve tĂ« agregatĂ«ve nĂ« sektorin e tregtisĂ« elektronike, Ă«shtĂ« thelbĂ«sore tĂ« mbahen informacionet e pĂ«rditĂ«suara. NĂ« tĂ« kundĂ«rt, humbet pĂ«rparĂ«sia e tyre kryesore â mundĂ«sia pĂ«r tĂ« parĂ« tĂ« dhĂ«na sa mĂ« relevante nĂ« njĂ« vend.
PĂ«r tĂ« zgjidhur kĂ«tĂ« problem, Ă«shtĂ« e nevojshme tĂ« pĂ«rdoret teknika e web scraping. Kjo pĂ«rfshin krijimin e njĂ« softi tĂ« veçantĂ« â crawler, i cili shkon nĂ« faqet e nevojshme nga lista, analizojnĂ« informacionin dhe e ngarkon atĂ« nĂ« faqen agregatore.
Problemi Ă«shtĂ« se shpesh pronarĂ«t e faqeve nga tĂ« cilat marrin tĂ« dhĂ«na agregatorĂ«t, nuk duan ta japin lehtĂ« qasjen. Kjo Ă«shtĂ« e kuptueshme â nĂ«se informacioni mbi çmimin nĂ« njĂ« dyqan online del nĂ« njĂ« faqe agregatore dhe Ă«shtĂ« mĂ« i lartĂ« se te konkurrentĂ«t e pranishĂ«m atje, biznesi humbet blerĂ«s.
Metodat e luftimit të scraping-ut
Prandaj, shpesh pronarĂ«t e kĂ«tyre faqeve kundĂ«rshtojnĂ« scraping-un â kjo Ă«shtĂ«, shkarkimin e tĂ« dhĂ«nave tĂ« tyre. Ata mund tĂ« identifikojnĂ« kĂ«rkesat qĂ« dĂ«rgojnĂ« botĂ«-kraulat sipas adresĂ«s IP. Zakonisht, ky soft pĂ«rdor ato qĂ« quhen IP serverĂ«sh, tĂ« cilat janĂ« lehtĂ«sisht tĂ« llogaritura dhe tĂ« bllokuar.
PĂ«r mĂ« tepĂ«r, nĂ« vend tĂ« bllokimit tĂ« kĂ«rkesave shpesh pĂ«rdoret njĂ« metodĂ« tjetĂ«r â botohet informacion jo-relevant pĂ«r botĂ«t e zbuluara. PĂ«r shembull, çmimet e produkteve mund tĂ« rriten ose ulen, apo pĂ«rshkrimet e tyre mund tĂ« ndryshohen.
Një shembull i zakonshëm në këtë kontekst është çmimi i biletave të fluturimeve. Me të vërtetë, shpesh kompanitë ajrore dhe agjencitë turistike mund të tregojnë rezultate të ndryshme për fluturime të njëjta në varësi të adresës IP. Një rast real: kërkimi për një fluturim nga Miami në Londër në të njëjtën datë me adresën IP nga Europa Lindore dhe Azia jep rezultate të ndryshme.
Për adresën IP nga Europa Lindore, çmimi duket kështu:
Dhe për adresën IP nga Azia kështu:
Siç Ă«shtĂ« e dukshme, çmimi pĂ«r tĂ« njĂ«jtĂ«n fluturim ndryshon ndjeshĂ«m â diferenca Ă«shtĂ« $76, e cila Ă«shtĂ« me tĂ« vĂ«rtetĂ« shumĂ«. PĂ«r njĂ« faqe agregatore, nuk ka asgjĂ« mĂ« tĂ« keqe se kjo â nĂ«se informacioni i saj Ă«shtĂ« i pasaktĂ«, pĂ«rdoruesit nuk do ta pĂ«rdorin atĂ«. PĂ«r mĂ« tepĂ«r, nĂ«se nĂ« agregator pĂ«r njĂ« produkt tĂ« caktuar ka njĂ« çmim, ndĂ«rsa kur kalon nĂ« faqen e shitĂ«sit ai ndryshon â kjo gjithashtu ndikon negativisht nĂ« reputacionin e projektit.
Zgjidhja: përdorimi i proxy-ve rezidentë
PĂ«r tĂ« evituar problemet me scraping-un e tĂ« dhĂ«nave pĂ«r nevojat e tyre tĂ« agregatĂ«s, mund tĂ« pĂ«rdoren proxy rezidentĂ«. IP-tĂ« e serverĂ«ve jepen nga ofruesit e hostimit. TĂ« identifikosh pĂ«rkatĂ«sinĂ« e njĂ« adrese nĂ« grupin e njĂ« ofruesi tĂ« caktuar Ă«shtĂ« mjaft e thjeshtĂ« â çdo IP ka njĂ« numĂ«r ASN, ku pĂ«rmbahen kĂ«to informata.
Ka shumë shërbime për analizën e numrave ASN. Shpesh ato integrohen me sisteme antobot që bllokojnë qasjen për kraulat ose manipulojnë të dhënat që jepen në përgjigje të kërkesave të tyre.
PĂ«r tâi shpĂ«tuar kĂ«tyre sistemeve ndihmojnĂ« adresat IP rezidente. KĂ«to IP, ofrohen nga ofruesit e internetit pĂ«r pronarĂ«t e banesave, me shĂ«nime tĂ« pĂ«rshtatshme nĂ« tĂ« gjitha bazat e tĂ« dhĂ«nave tĂ« lidhura. EkzistojnĂ« shĂ«rbime speciale tĂ« proxy-ve rezidentĂ« qĂ« lejojnĂ« pĂ«rdorimin e adresave rezidente. â ky Ă«shtĂ« njĂ« shĂ«rbim i tillĂ«.
KĂ«rkesat qĂ« kraulat e faqeve agregatore dĂ«rgojnĂ« me IP rezidente, duken sikur vijnĂ« nga pĂ«rdorues normalĂ« nga njĂ« rajon i caktuar. Askush nuk bllokon vizitorĂ«t e zakonshĂ«m â nĂ« rastin e dyqaneve online, ata janĂ« klientĂ« potencialĂ«.
Përfundimisht, përdorimi i proxy-ve rotuese nga Infatica lejon faqeve agregatore të marrin të dhëna të sakta me të vërtetë dhe të evitojnë bllokimet dhe vështirësitë me parsing-un.
Artikuj të tjerë në temën e përdorimit të proxy-ve rezidente për biznesin:
Burimi: habr.com
