{"id":37302,"date":"2019-10-31T22:16:52","date_gmt":"2019-10-31T19:16:52","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi\/"},"modified":"2019-10-31T22:16:52","modified_gmt":"2019-10-31T19:16:52","slug":"kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sk\/blog\/administrirovanie\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","title":{"rendered":"Ako vyrie\u0161i\u0165 probl\u00e9my str\u00e1nok-agr\u00e9g\u00e1torov pomocou rezidentn\u00fdch proxy","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Ako<\/a><\/noindex><\/p>\n

Obr\u00e1zok: Pexels<\/a><\/noindex><\/i><\/p>\n

Pre agreg\u00e1tory v oblasti elektronick\u00e9ho obchodu je mimoriadne d\u00f4le\u017eit\u00e9 udr\u017eiava\u0165 aktu\u00e1lne inform\u00e1cie. V opa\u010dnom pr\u00edpade str\u00e1ca svoju hlavn\u00fa v\u00fdhodu \u2013 mo\u017enos\u0165 vidie\u0165 najrelevantnej\u0161ie \u00fadaje na jednom mieste. <\/p>\n

Na vyrie\u0161enie tohto probl\u00e9mu je potrebn\u00e9 pou\u017ei\u0165 techniku webov\u00e9ho scraping-u. Jej podstata spo\u010d\u00edva v vytvoren\u00ed \u0161peci\u00e1lneho softv\u00e9ru \u2013 crawlera, ktor\u00fd prech\u00e1dza potrebn\u00e9 webov\u00e9 str\u00e1nky zo zoznamu, \u0165a\u017eko parsuje inform\u00e1cie z nich a nahr\u00e1va ich na str\u00e1nku agreg\u00e1tora.<\/p>\n

Probl\u00e9m je v tom, \u017ee vlastn\u00edci webov\u00fdch str\u00e1nok, z ktor\u00fdch agreg\u00e1tory ber\u00fa \u00fadaje, \u010dasto nechc\u00fa tak \u013eahko poskytova\u0165 pr\u00edstup. Je to mo\u017en\u00e9 pochopi\u0165 \u2013 ak sa inform\u00e1cie o cene v internetovom obchode dostan\u00fa na str\u00e1nku agreg\u00e1tora a bud\u00fa vy\u0161\u0161ie ako u konkurencie, ktor\u00e1 je tam rovnak\u00e1, podnik strat\u00ed z\u00e1kazn\u00edkov. <\/a><\/noindex><\/p>\n

Met\u00f3dy proti scraping-u<\/h2>\n

\nPreto sa \u010dasto vlastn\u00edci tak\u00fdchto str\u00e1nok br\u00e1nia scraping-u \u2013 teda s\u0165ahovaniu svojich \u00fadajov. M\u00f4\u017eu identifikova\u0165 po\u017eiadavky, ktor\u00e9 odosielaj\u00fa boty-crawleri pod\u013ea IP adresy. Zvy\u010dajne tak\u00fdto softv\u00e9r pou\u017e\u00edva tzv. serverov\u00e9 IP, ktor\u00e9 s\u00fa \u013eahko vypo\u010d\u00edtate\u013en\u00e9 a blokovate\u013en\u00e9.<\/p>\n

Naviac, namiesto blokovania po\u017eiadaviek sa \u010dasto pou\u017e\u00edva aj in\u00e1 met\u00f3da \u2013 identifikovan\u00fdm botom sa zobrazuje nerelevantn\u00e1 inform\u00e1cia. Napr\u00edklad, zvy\u0161uj\u00fa alebo zni\u017euj\u00fa ceny na tovar alebo menia ich popisy.<\/p>\n

Pr\u00edklad, ktor\u00fd sa \u010dasto uv\u00e1dza v tejto s\u00favislosti \u2013 ceny leteniek. Naozaj, ve\u013emi \u010dasto leteck\u00e9 spolo\u010dnosti a cestovn\u00e9 kancel\u00e1rie m\u00f4\u017eu zobrazova\u0165 r\u00f4zne v\u00fdsledky pre rovnak\u00e9 lety v z\u00e1vislosti od IP adresy. Skuto\u010dn\u00fd pr\u00edpad: h\u013eadanie letenky z Miami do Lond\u00fdna na ten ist\u00fd d\u00e1tum z IP adresy vo v\u00fdchodnej Eur\u00f3pe a \u00c1zii vracia r\u00f4zne v\u00fdsledky. <\/p>\n

V pr\u00edpade IP adresy vo v\u00fdchodnej Eur\u00f3pe cena vyzer\u00e1 takto:<\/p>\n

\"Ako
\n
\nA pre IP adresu z \u00c1zie takto:<\/p>\n

\"Ako
\n
\nAko je vidie\u0165, cena za ten ist\u00fd let sa v\u00fdrazne l\u00ed\u0161i \u2013 rozdiel \u010din\u00ed 76 dol\u00e1rov, \u010do je naozaj ve\u013ea. Pre str\u00e1nku agreg\u00e1tora nie je ni\u010d hor\u0161ie ako to \u2013 ak bud\u00fa na nej zverejnen\u00e9 nespr\u00e1vne inform\u00e1cie, pou\u017e\u00edvatelia ju nebud\u00fa vyu\u017e\u00edva\u0165. Okrem toho, ak m\u00e1 agreg\u00e1tor pre konkr\u00e9tny tovar jednu cenu, a pri prechode na str\u00e1nku predajcu sa t\u00e1to men\u00ed \u2013 to tie\u017e negat\u00edvne ovplyv\u0148uje poves\u0165 projektu.<\/p>\n

Rie\u0161enie: pou\u017e\u00edvanie rezidentn\u00fdch proxy<\/h2>\n

\nVyhn\u00fa\u0165 sa probl\u00e9mom pri skenovan\u00ed d\u00e1t na potreby ich agreg\u00e1cie je mo\u017en\u00e9 pomocou rezidentn\u00fdch proxy. Serverov\u00e9 IP adresy poskytuj\u00fa hostingov\u00ed poskytovatelia. Zisti\u0165, ku ktor\u00e9mu poskytovate\u013eovi patr\u00ed konkr\u00e9tna adresa, je pomerne jednoduch\u00e9 \u2013 ka\u017ed\u00e9 IP m\u00e1 ASN \u010d\u00edslo, v ktorom s\u00fa tieto inform\u00e1cie obsiahnut\u00e9.<\/p>\n

Existuje mno\u017estvo slu\u017eieb na anal\u00fdzu ASN \u010d\u00edsiel. \u010casto s\u00fa integrovan\u00e9 s antispamov\u00fdmi syst\u00e9mami, ktor\u00e9 blokuj\u00fa pr\u00edstup crawlerom alebo zmanipuluj\u00fa \u00fadaje posielan\u00e9 v odpovediach na ich po\u017eiadavky. <\/p>\n

Ob\u00eds\u0165 tak\u00e9to syst\u00e9my pom\u00e1haj\u00fa rezidentn\u00e9 IP adresy. Tieto IP internetov\u00ed poskytovatelia vyd\u00e1vaj\u00fa majite\u013eom nehnute\u013enost\u00ed, s pr\u00edslu\u0161n\u00fdmi ozna\u010deniami vo v\u0161etk\u00fdch s\u00favisiacich datab\u00e1zach. Existuj\u00fa \u0161peci\u00e1lne slu\u017eby rezidentn\u00fdch proxy, ktor\u00e9 umo\u017e\u0148uj\u00fa pou\u017e\u00edva\u0165 rezidentn\u00e9 adresy. Infatica<\/a><\/noindex> \u2013 presne tak\u00e1to slu\u017eba.<\/p>\n

\u017diadosti, ktor\u00e9 crawleri str\u00e1nok-aggreg\u00e1torov odosielaj\u00fa z rezidentn\u00fdch IP, vyzeraj\u00fa akoby prich\u00e1dzali od be\u017en\u00fdch u\u017e\u00edvate\u013eov z ur\u010dit\u00e9ho regi\u00f3nu. A be\u017en\u00fdch n\u00e1v\u0161tevn\u00edkov nikto neblokuje \u2013 v pr\u00edpade internetov\u00fdch obchodov s\u00fa to potenci\u00e1lni z\u00e1kazn\u00edci.<\/p>\n

Pou\u017e\u00edvanie rotovan\u00fdch proxy od Infatica preto umo\u017e\u0148uje str\u00e1nkam-aggreg\u00e1torom z\u00edska\u0165 zaru\u010dene presn\u00e9 \u00fadaje a vyhn\u00fa\u0165 sa blokovaniu a probl\u00e9mom so skenovan\u00edm. <\/p>\n

\u010eal\u0161ie \u010dl\u00e1nky na t\u00e9mu vyu\u017e\u00edvania rezidentn\u00fdch proxy pre podnikanie:
\n<\/h2>\n

<\/p>\n