{"id":37302,"date":"2019-10-31T22:16:52","date_gmt":"2019-10-31T19:16:52","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi\/"},"modified":"2019-10-31T22:16:52","modified_gmt":"2019-10-31T19:16:52","slug":"kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","title":{"rendered":"Hogyan lehet megoldani az aggreg\u00e1toroldalak probl\u00e9m\u00e1it lak\u00f3helyi proxyk seg\u00edts\u00e9g\u00e9vel","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Hogyan<\/a><\/noindex><\/p>\n

K\u00e9p: Pexels<\/a><\/noindex><\/i><\/p>\n

Az elektronikus kereskedelemhez kapcsol\u00f3d\u00f3 aggreg\u00e1toroldalak sz\u00e1m\u00e1ra elengedhetetlen, hogy naprak\u00e9sz inform\u00e1ci\u00f3kat tartsanak fenn. Ellenkez\u0151 esetben elt\u0171nik a legfontosabb el\u0151ny\u00fck - a legrelev\u00e1nsabb adatok egy helyen val\u00f3 megtekint\u00e9s\u00e9nek lehet\u0151s\u00e9ge. <\/p>\n

E feladat megold\u00e1s\u00e1hoz web-scraping technik\u00e1t kell alkalmazni. Ennek l\u00e9nyege, hogy l\u00e9trehoznak egy speci\u00e1lis szoftvert - crawlj\u00e1t, amely v\u00e9gigj\u00e1rja a sz\u00fcks\u00e9ges webhelyeket egy list\u00e1b\u00f3l, begy\u0171jti az inform\u00e1ci\u00f3kat t\u0151l\u00fck, \u00e9s felt\u00f6lti az aggreg\u00e1toroldalra.<\/p>\n

A probl\u00e9ma az, hogy a weboldalak tulajdonosai, akikt\u0151l az aggreg\u00e1torok adatokat nyernek, gyakran nem szeretn\u00e9k k\u00f6nnyen hozz\u00e1f\u00e9rhet\u0151v\u00e9 tenni azokat. Ezt meg lehet \u00e9rteni \u2013 ha az online boltban l\u00e9v\u0151 \u00e1r az aggreg\u00e1toroldalon magasabb lesz, mint a konkurenci\u00e1\u00e9, amely szint\u00e9n ott van \u2013 a v\u00e1llalkoz\u00e1s v\u00e1s\u00e1rl\u00f3kat vesz\u00edt. <\/a><\/noindex><\/p>\n

A scraping ellen\u00e1ll\u00e1s m\u00f3dszerei<\/h2>\n

\nEz\u00e9rt gyakran az ilyen weboldalak tulajdonosai ellen\u00e1llnak a scrapingnek \u2013 azaz az adataik let\u00f6lt\u00e9s\u00e9nek. K\u00e9pesek azonos\u00edtani azokat a k\u00e9r\u00e9seket, amelyeket a botok, crawlj\u00e1t k\u00fcldenek IP-c\u00edm alapj\u00e1n. \u00c1ltal\u00e1ban ezek a szoftverek \u00fagynevezett szerver IP-ket haszn\u00e1lnak, amelyeket k\u00f6nnyen ki lehet sz\u00e1m\u00edtani \u00e9s blokkolni.<\/p>\n

Tov\u00e1bb\u00e1, a k\u00e9r\u00e9sek blokkol\u00e1sa helyett gyakran m\u00e1s m\u00f3dszert is alkalmaznak \u2013 azonos\u00edtott botok sz\u00e1m\u00e1ra irrelev\u00e1ns inform\u00e1ci\u00f3t mutatnak. P\u00e9ld\u00e1ul a term\u00e9kek \u00e1rait t\u00fal\u00e9rt\u00e9kelik vagy al\u00e1becs\u00fclik, vagy m\u00f3dos\u00edtj\u00e1k a le\u00edr\u00e1saikat.<\/p>\n

Ezen a t\u00e9ren gyakran emlegetett p\u00e9lda a rep\u00fcl\u0151jegy \u00e1rak. Val\u00f3ban, a l\u00e9git\u00e1rsas\u00e1gok \u00e9s utaz\u00e1si \u00fcgyn\u00f6ks\u00e9gek gyakran elt\u00e9r\u0151 eredm\u00e9nyeket mutathatnak ugyanazokhoz a j\u00e1ratokhoz az IP-c\u00edmt\u0151l f\u00fcgg\u0151en. Val\u00f3s eset: rep\u00fcl\u0151j\u00e1rat keres\u00e9se Miamib\u00f3l Londonba ugyanarra a d\u00e1tumra a kelet-eur\u00f3pai \u00e9s \u00e1zsiai IP-c\u00edmmel elt\u00e9r\u0151 eredm\u00e9nyeket ad. <\/p>\n

Kelet-eur\u00f3pai IP-c\u00edm eset\u00e9n az \u00e1r \u00edgy n\u00e9z ki:<\/p>\n

\"Hogyan
\n
\n\u00c1zsiai IP-c\u00edm eset\u00e9n pedig \u00edgy:<\/p>\n

\"Hogyan
\n
\nAmint l\u00e1that\u00f3, az azonos rep\u00fcl\u0151jegy \u00e1ra jelent\u0151sen elt\u00e9r \u2013 a k\u00fcl\u00f6nbs\u00e9g 76 doll\u00e1r, ami val\u00f3ban sok. Az aggreg\u00e1tor webhely\u00e9nek nem lehet rosszabb ann\u00e1l, ha hib\u00e1s inform\u00e1ci\u00f3kat k\u00f6z\u00f6l, mivel a felhaszn\u00e1l\u00f3k nem fogj\u00e1k haszn\u00e1lni. Ezen k\u00edv\u00fcl, ha az aggregatoron egy term\u00e9k \u00e1ra van, \u00e9s amikor a keresked\u0151 webhely\u00e9re l\u00e9p\u00fcnk, az megv\u00e1ltozik \u2013 ez is negat\u00edvan befoly\u00e1solja a projekt h\u00edrnev\u00e9t.<\/p>\n

Megold\u00e1s: rezidens proxyk haszn\u00e1lata<\/h2>\n

\nAz adatgy\u0171jt\u00e9si probl\u00e9m\u00e1k elker\u00fcl\u00e9s\u00e9re rezidens proxyk alkalmaz\u00e1s\u00e1val van lehet\u0151s\u00e9g. A szerver IP-ket a hoszting szolg\u00e1ltat\u00f3k biztos\u00edtj\u00e1k. Az IP c\u00edm egy adott szolg\u00e1ltat\u00f3nak val\u00f3 hozz\u00e1tartoz\u00e1s\u00e1t viszonylag k\u00f6nny\u0171 meghat\u00e1rozni \u2013 minden IP-nek van ASN-sz\u00e1ma, amely tartalmazza ezt az inform\u00e1ci\u00f3t.<\/p>\n

Sz\u00e1mos szolg\u00e1ltat\u00e1s l\u00e9tezik az ASN-sz\u00e1mok elemz\u00e9s\u00e9re. Gyakran integr\u00e1lj\u00e1k \u0151ket olyan anti-bot rendszerekkel, amelyek blokkolj\u00e1k a crawler-ek hozz\u00e1f\u00e9r\u00e9s\u00e9t, vagy manipul\u00e1lj\u00e1k a v\u00e1laszk\u00e9nt k\u00fcld\u00f6tt adatokat. <\/p>\n

Az ilyen rendszerek megker\u00fcl\u00e9s\u00e9re rezidens IP-c\u00edmek seg\u00edtenek. Ezeket az internet szolg\u00e1ltat\u00f3k a lak\u00e1stulajdonosoknak adj\u00e1k ki, a kapcsol\u00f3d\u00f3 adatb\u00e1zisokban megfelel\u0151 jelz\u00e9sekkel. L\u00e9teznek olyan speci\u00e1lis rezidens proxy szolg\u00e1ltat\u00e1sok, amelyek lehet\u0151v\u00e9 teszik a rezidens IP-c\u00edmek haszn\u00e1lat\u00e1t. Infatica<\/a><\/noindex> \u2013 \u00e9ppen egy ilyen szolg\u00e1ltat\u00e1s.<\/p>\n

A crawler-ek, amelyek az aggreg\u00e1tor oldalakr\u00f3l k\u00fcldenek k\u00e9relmeket rezidens IP-kr\u0151l, \u00fagy t\u0171nnek, mintha \u00e1tlagos felhaszn\u00e1l\u00f3kt\u00f3l \u00e9rkezn\u00e9nek egy adott r\u00e9gi\u00f3b\u00f3l. \u00c9s az \u00e1tlagos l\u00e1togat\u00f3kat senki sem blokkolja \u2013 online bolt eset\u00e9n potenci\u00e1lis \u00fcgyfelekr\u0151l van sz\u00f3.<\/p>\n

Ennek eredm\u00e9nyek\u00e9nt az Infatica rot\u00e1l\u00f3 proxyinak haszn\u00e1lata lehet\u0151v\u00e9 teszi az aggreg\u00e1tor webhelyek sz\u00e1m\u00e1ra, hogy garant\u00e1ltan pontos adatokat kapjanak, elker\u00fclj\u00e9k a blokkol\u00e1sokat \u00e9s a parsing neh\u00e9zs\u00e9geit. <\/p>\n

Tov\u00e1bbi cikkek a rezidens proxyk \u00fczleti haszn\u00e1lat\u00e1r\u00f3l:
\n<\/h2>\n

<\/p>\n