{"id":37302,"date":"2019-10-31T22:16:52","date_gmt":"2019-10-31T19:16:52","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi\/"},"modified":"2019-10-31T22:16:52","modified_gmt":"2019-10-31T19:16:52","slug":"kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","status":"publish","type":"post","link":"https:\/\/prohoster.info\/cs\/blog\/administrirovanie\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","title":{"rendered":"Jak vy\u0159e\u0161it probl\u00e9my web\u016f-aggreg\u00e1tor\u016f s pomoc\u00ed rezidentn\u00edch proxy","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Jak<\/a><\/noindex><\/p>\n

Obr\u00e1zek: Pexels<\/a><\/noindex><\/i><\/p>\n

Pro webov\u00e9 agreg\u00e1tory v oblasti elektronick\u00e9ho obchodu je nesm\u00edrn\u011b d\u016fle\u017eit\u00e9 udr\u017eovat aktu\u00e1ln\u00ed informace. Jinak ztr\u00e1cej\u00ed svou hlavn\u00ed v\u00fdhodu \u2013 mo\u017enost vid\u011bt nejrelevantn\u011bj\u0161\u00ed data na jednom m\u00edst\u011b. <\/p>\n

Abychom tento \u00fakol vy\u0159e\u0161ili, je nutn\u00e9 vyu\u017e\u00edt techniku webov\u00e9ho scraping. Jej\u00ed podstata spo\u010d\u00edv\u00e1 v tom, \u017ee se vytv\u00e1\u0159\u00ed speci\u00e1ln\u00ed software \u2013 crawler, kter\u00fd proch\u00e1z\u00ed po\u017eadovan\u00e9 webov\u00e9 str\u00e1nky ze seznamu, parsuje informace z nich a nahr\u00e1v\u00e1 je na webov\u00fd agreg\u00e1tor.<\/p>\n

Probl\u00e9m je v tom, \u017ee \u010dasto majitel\u00e9 webov\u00fdch str\u00e1nek, ze kter\u00fdch agreg\u00e1tory \u010derpaj\u00ed data, zdaleka necht\u011bj\u00ed tak snadno poskytovat p\u0159\u00edstup. To je pochopiteln\u00e9 \u2013 pokud se informace o cen\u011b v internetov\u00e9m obchod\u011b dostane na webov\u00fd agreg\u00e1tor a bude vy\u0161\u0161\u00ed ne\u017e u konkurent\u016f, kte\u0159\u00ed jsou tam tak\u00e9 zastoupeni, podnik ztrat\u00ed z\u00e1kazn\u00edky. <\/a><\/noindex><\/p>\n

Metody proti scraping<\/h2>\n

\nProto \u010dasto majitel\u00e9 takov\u00fdch web\u016f proti scrapingov\u00fdm metod\u00e1m odporuj\u00ed \u2013 tedy proti stahov\u00e1n\u00ed sv\u00fdch dat. Mohou rozpozn\u00e1vat po\u017eadavky, kter\u00e9 zas\u00edlaj\u00ed boty-crawle\u0159i podle IP adresy. Obvykle takov\u00fd software pou\u017e\u00edv\u00e1 tzv. serverov\u00e9 IP, kter\u00e9 lze snadno identifikovat a zablokovat.<\/p>\n

Krom\u011b toho se nam\u00edsto blokov\u00e1n\u00ed po\u017eadavk\u016f \u010dasto pou\u017e\u00edv\u00e1 i jin\u00e1 metoda \u2013 zji\u0161t\u011bn\u00fdm bot\u016fm se zobrazuj\u00ed nerelevantn\u00ed informace. Nap\u0159\u00edklad se zvy\u0161uj\u00ed nebo sni\u017euj\u00ed ceny zbo\u017e\u00ed nebo se m\u011bn\u00ed jejich popisy.<\/p>\n

P\u0159\u00edklad, kter\u00fd se v t\u00e9to souvislosti \u010dasto uv\u00e1d\u00ed \u2013 ceny letenek. Opr\u00e1vn\u011bn\u011b, zejm\u00e9na leteck\u00e9 spole\u010dnosti a cestovn\u00ed kancel\u00e1\u0159e mohou \u010dasto zobrazovat r\u016fzn\u00e9 v\u00fdsledky pro stejn\u00e9 lety v z\u00e1vislosti na IP adrese. Skute\u010dn\u00fd p\u0159\u00edpad: hled\u00e1n\u00ed letenky z Miami do Lond\u00fdna na stejn\u00e9 datum z IP adresy ve v\u00fdchodn\u00ed Evrop\u011b a Asii vrac\u00ed r\u016fzn\u00e9 v\u00fdsledky. <\/p>\n

V p\u0159\u00edpad\u011b IP adresy ve v\u00fdchodn\u00ed Evrop\u011b cena vypad\u00e1 takto:<\/p>\n

\"Jak
\n
\nA pro IP adresu z Asie takto:<\/p>\n

\"Jak
\n
\nJak je vid\u011bt, cena za stejn\u00fd let se v\u00fdrazn\u011b li\u0161\u00ed \u2013 rozd\u00edl \u010din\u00ed 76 USD, co\u017e je opravdu hodn\u011b. Pro webov\u00fd agreg\u00e1tor nen\u00ed nic hor\u0161\u00edho ne\u017e to, pokud na n\u011bm budou prezentov\u00e1ny nespr\u00e1vn\u00e9 informace, u\u017eivatel\u00e9 jej nebudou pou\u017e\u00edvat. Krom\u011b toho, pokud m\u00e1 agreg\u00e1tor pro konkr\u00e9tn\u00ed zbo\u017e\u00ed jednu cenu, a po p\u0159echodu na web prod\u00e1vaj\u00edc\u00edho se zm\u011bn\u00ed \u2013 to tak\u00e9 negativn\u011b ovliv\u0148uje reputaci projektu.<\/p>\n

\u0158e\u0161en\u00ed: vyu\u017eit\u00ed rezidentn\u00edch proxy<\/h2>\n

\nProbl\u00e9m\u016fm se scrapov\u00e1n\u00edm dat pro pot\u0159eby jejich agregace se lze vyhnout pomoc\u00ed pou\u017eit\u00ed rezidentn\u00edch proxy. Serverov\u00e9 IP adresy poskytuj\u00ed hostingov\u00ed poskytovatel\u00e9. Zjistit p\u0159\u00edslu\u0161nost adresy k ur\u010dit\u00e9mu poskytovateli je docela jednoduch\u00e9 \u2013 ka\u017ed\u00e1 IP m\u00e1 ASN \u010d\u00edslo, kter\u00e9 obsahuje tyto informace.<\/p>\n

Existuje spousta slu\u017eeb pro anal\u00fdzu ASN \u010d\u00edsel. \u010casto se integruj\u00ed s antibot syst\u00e9my, kter\u00e9 blokuj\u00ed p\u0159\u00edstup crawler\u016fm nebo manipuluj\u00ed s daty vracen\u00fdmi na jejich \u017e\u00e1dosti. <\/p>\n

Obej\u00edt takov\u00e9 syst\u00e9my pom\u00e1haj\u00ed rezidentn\u00ed IP adresy. Takov\u00e9 IP internetov\u00ed poskytovatel\u00e9 poskytuj\u00ed vlastn\u00edk\u016fm nemovitost\u00ed, s odpov\u00eddaj\u00edc\u00edmi pozn\u00e1mkami ve v\u0161ech souvisej\u00edc\u00edch datab\u00e1z\u00edch. Existuj\u00ed speci\u00e1ln\u00ed slu\u017eby rezidentn\u00edch proxy, kter\u00e9 umo\u017e\u0148uj\u00ed pou\u017e\u00edvat rezidentn\u00ed adresy. Infatica<\/a><\/noindex> \u2013 takov\u00e1 slu\u017eba.<\/p>\n

\u017d\u00e1dosti, kter\u00e9 crawle\u0159i web\u016f-aggreg\u00e1tor\u016f pos\u00edlaj\u00ed z rezidentn\u00edch IP, vypadaj\u00ed tak, jako by poch\u00e1zely od b\u011b\u017en\u00fdch u\u017eivatel\u016f z ur\u010dit\u00e9 oblasti. A b\u011b\u017en\u00e9 n\u00e1v\u0161t\u011bvn\u00edky nikdo neblokuje \u2013 v p\u0159\u00edpad\u011b internetov\u00fdch obchod\u016f jsou to potenci\u00e1ln\u00ed z\u00e1kazn\u00edci.<\/p>\n

Pou\u017eit\u00ed rotovan\u00fdch proxy od Infatica umo\u017e\u0148uje web\u016fm-aggreg\u00e1tor\u016fm z\u00edsk\u00e1vat zaru\u010den\u011b p\u0159esn\u00e9 \u00fadaje a vyh\u00fdbat se blokac\u00edm a obt\u00ed\u017e\u00edm s parsov\u00e1n\u00edm. <\/p>\n

Dal\u0161\u00ed \u010dl\u00e1nky na t\u00e9ma pou\u017eit\u00ed rezidentn\u00edch proxy pro podnik\u00e1n\u00ed:
\n<\/h2>\n

<\/p>\n