{"id":37302,"date":"2019-10-31T22:16:52","date_gmt":"2019-10-31T19:16:52","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi\/"},"modified":"2019-10-31T22:16:52","modified_gmt":"2019-10-31T19:16:52","slug":"kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","title":{"rendered":"Jak rozwi\u0105za\u0107 problemy z agregatorami stron za pomoc\u0105 proxy rezydencyjnych","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Jak<\/a><\/noindex><\/p>\n

Obraz: Pexels<\/a><\/noindex><\/i><\/p>\n

Dla witryn agreguj\u0105cych w dziedzinie e-commerce niezwykle wa\u017cne jest, aby utrzymywa\u0107 aktualne informacje. W przeciwnym razie znikaj\u0105 ich g\u0142\u00f3wne atuty \u2013 mo\u017cliwo\u015b\u0107 zobaczenia najbardziej relevantnych danych w jednym miejscu. <\/p>\n

Aby rozwi\u0105za\u0107 ten problem, nale\u017cy zastosowa\u0107 technik\u0119 web scrapingu. Polega ona na stworzeniu specjalnego oprogramowania \u2013 crawliera, kt\u00f3ry przeszukuje odpowiednie strony z listy, parsuje z nich informacje i \u0142aduje je na stron\u0119 agregatora.<\/p>\n

Problem polega na tym, \u017ce cz\u0119sto w\u0142a\u015bciciele stron, z kt\u00f3rych korzystaj\u0105 agregatory, wcale nie chc\u0105 w ten spos\u00f3b \u0142atwo udost\u0119pnia\u0107 swoich danych. Mo\u017cna to zrozumie\u0107 \u2013 je\u015bli informacja o cenie w sklepie internetowym trafi na stron\u0119 agregatora i oka\u017ce si\u0119 wy\u017csza ni\u017c u konkurencji wy\u015bwietlanej tam\u017ce \u2013 firma traci klient\u00f3w. <\/a><\/noindex><\/p>\n

Metody przeciwdzia\u0142ania scrapowaniu<\/h2>\n

\nDlatego cz\u0119sto w\u0142a\u015bciciele takich stron przeciwdzia\u0142aj\u0105 scrapowaniu \u2013 tzn. pobieraniu swoich danych. Mog\u0105 wykrywa\u0107 zapytania, kt\u00f3re wysy\u0142aj\u0105 boty-crawlery po adresie IP. Zwykle takie oprogramowanie korzysta z tzw. adres\u00f3w IP serwer\u00f3w, kt\u00f3re \u0142atwo obliczy\u0107 i zablokowa\u0107.<\/p>\n

Ponadto, zamiast blokowania zapyta\u0144, cz\u0119sto stosuje si\u0119 inn\u0105 metod\u0119 \u2013 wykrytym botom pokazuje si\u0119 nierelatywne informacje. Na przyk\u0142ad, zawy\u017ca si\u0119 lub zani\u017ca ceny na towary lub zmienia si\u0119 ich opisy.<\/p>\n

Przyk\u0142ad, kt\u00f3ry cz\u0119sto si\u0119 podaje w tym kontek\u015bcie \u2013 ceny na bilety lotnicze. Rzeczywi\u015bcie, do\u015b\u0107 cz\u0119sto linie lotnicze i biura podr\u00f3\u017cy mog\u0105 pokazywa\u0107 r\u00f3\u017cne wyniki dla tych samych lot\u00f3w w zale\u017cno\u015bci od adresu IP. Rzeczywisty przypadek: wyszukiwanie lotu z Miami do Londynu na t\u0119 sam\u0105 dat\u0119 z adresu IP w Europie Wschodniej i Azji zwraca r\u00f3\u017cne wyniki. <\/p>\n

W przypadku adresu IP w Europie Wschodniej cena wygl\u0105da nast\u0119puj\u0105co:<\/p>\n

\"Jak
\n
\nA dla adresu IP z Azji jest taka:<\/p>\n

\"Jak
\n
\nJak wida\u0107, cena za ten sam lot znacznie si\u0119 r\u00f3\u017cni \u2013 r\u00f3\u017cnica wynosi 76 $, co rzeczywi\u015bcie jest sporo. Dla strony agregatora nie ma nic gorszego ni\u017c to \u2013 je\u017celi b\u0119dzie prezentowa\u0142 b\u0142\u0119dne informacje, u\u017cytkownicy przestan\u0105 go u\u017cywa\u0107. Ponadto, je\u015bli na agregatorze dla konkretnego towaru jest jedna cena, a przy przej\u015bciu na stron\u0119 sprzedawcy zmienia si\u0119 ona \u2013 r\u00f3wnie\u017c negatywnie wp\u0142ywa to na reputacj\u0119 projektu.<\/p>\n

Rozwi\u0105zanie: wykorzystanie proxy rezydenckich<\/h2>\n

\nAby unikn\u0105\u0107 problem\u00f3w z skanowaniem danych na potrzeby ich agregacji, mo\u017cna skorzysta\u0107 z u\u017cycia resident proxy. Serwerowe IP s\u0105 dostarczane przez dostawc\u00f3w hostingu. Ustalenie przynale\u017cno\u015bci adresu do puli konkretnego dostawcy jest do\u015b\u0107 proste \u2013 ka\u017cde IP ma numer ASN, w kt\u00f3rym zawarte s\u0105 te informacje.<\/p>\n

Istnieje wiele us\u0142ug do analizy numer\u00f3w ASN. Cz\u0119sto integruj\u0105 si\u0119 z systemami antybotowymi, kt\u00f3re blokuj\u0105 dost\u0119p crawlerom lub fa\u0142szuj\u0105 dane, kt\u00f3re zwracaj\u0105 w odpowiedzi na ich zapytania. <\/p>\n

Obej\u015b\u0107 takie systemy pomagaj\u0105 resident IP. Takie IP s\u0105 wydawane przez dostawc\u00f3w internetowych w\u0142a\u015bcicielom nieruchomo\u015bci, z odpowiednimi oznaczeniami we wszystkich zwi\u0105zanych bazach danych. Istniej\u0105 specjalne us\u0142ugi resident proxy, kt\u00f3re umo\u017cliwiaj\u0105 korzystanie z adres\u00f3w resident. Infatica<\/a><\/noindex> \u2013 to w\u0142a\u015bnie taki serwis.<\/p>\n

Zapytania, kt\u00f3re crawlerzy stron agregator\u00f3w wysy\u0142aj\u0105 z resident IP, wygl\u0105daj\u0105 tak, jakby pochodzi\u0142y od zwyk\u0142ych u\u017cytkownik\u00f3w z okre\u015blonego regionu. A zwyk\u0142ych odwiedzaj\u0105cych nikt nie blokuje \u2013 w przypadku sklep\u00f3w internetowych to potencjalni klienci.<\/p>\n

W efekcie u\u017cycie rotowanych proxy od Infatica pozwala stronom agregatorom otrzymywa\u0107 gwarantowanie dok\u0142adne dane i unika\u0107 zablokowa\u0144 oraz trudno\u015bci z parsowaniem. <\/p>\n

Inne artyku\u0142y na temat wykorzystania resident proxy w biznesie:
\n<\/h2>\n

<\/p>\n