Маскіраванне IP-адрасы можа патрабавацца для розных задач – ад доступу да заблакаванага кантэнту да абыходу антыбот-сістэм пошукавікаў і іншых анлайн-рэсурсаў. Я знайшоў цікавы аб тым, як гэтую тэхналогію можна прымяняць для вырашэння карпаратыўных задач, і падрыхтаваў яго адаптаваны пераклад.
Існуе некалькі варыянтаў рэалізацыі проксі:
- Рэзідэнтныя проксі - Рэзідэнтнымі называюць IP-адрасы, якія інтэрнэт-правайдэры выдаюць уладальнікам жылля, яны адзначаюцца ў базах дадзеных рэгіянальных інтэрнэт-рэгістраў (RIR). Рэзідэнтныя проксі выкарыстоўваюць менавіта такія IP, таму запыты з іх неадрозныя ад тых, што адпраўлены рэальнымі карыстальнікамі.
- Серверныя проксі (data center proxy). Такія проксі ніяк не звязаныя з правайдэрамі інтэрнэту для фізічных асоб. Адрасы дадзенага тыпу выдаюць хостынг-правайдэры, якія закупілі пулы адрасоў.
- Shared-проксі. У гэтым выпадку адзін проксі выкарыстоўваецца адразу некалькімі карыстальнікамі адначасова; могуць быць як сервернымі, так і якія прадстаўляюцца правайдэрамі для сваіх карыстачоў.
- Прыватныя проксі. У выпадку прыватнага або выдзеленага (dedicated) проксі доступ да IP-адрасу ёсць толькі ў аднаго карыстальніка. Такія проксі падаюць як спецыялізаваныя сэрвісы, так і хосцеры, правайдэры інтэрнэту і VPN-сэрвісы.
Ва ўсіх гэтых варыянтаў ёсць свае плюсы, але для карпаратыўнага выкарыстання ўсё часцей ужываюць рэзідэнтныя проксі. Галоўная прычына гэтага ў тым, што такія проксі выкарыстоўваюць рэальныя адрасы розных інтэрнэт-правайдэраў у розных лакацыях (краінах, штатах/рэгіёнах і гарадах). У выніку з кім бы ні вялося ўзаемадзеянне, яно выглядае так, быццам бы яго ажыццяўляе рэальны карыстач. Ніякаму анлайн-сэрвісу не прыйдзе ў галаву блакаваць запыты з рэальных адрасоў, бо гэта можа быць зварот ад патэнцыйнага кліента.
Гэта адчыняе для кампаній цэлы шэраг магчымасцяў. Пагаворым аб тым, як яны выкарыстоўваюць рэзідэнтныя проксі для вырашэння бізнес-задач.
Навошта бізнэсу проксі
Па дадзеных кампаніі Distil Networks, якая займаецца барацьбой з ботавым трафікам, у сённяшнім інтэрнэце да 40% вэб-трафіку генеруецца не людзьмі.
Пры гэтым далёка не ўсе боты ставяцца да добрых (накшталт краулераў пошукавых сістэм), ад шматлікіх ботаў уладальнікі сайтаў імкнуцца абараніцца, каб не дазволіць ім атрымаць доступ да дадзеных самога рэсурсу ці пазнаць важную інфармацыю для бізнэсу.
Колькасць робатаў, якім звычайна не перашкаджаюць, у 2017 годзе складала 20,40%, а яшчэ 21,80% робатаў лічыліся "дрэннымі": уладальнікі сайтаў імкнуліся іх забаніць.
Навошта ж кампаніі могуць спрабаваць абыходзіць такія блакіроўкі?
Атрыманне рэальнай інфармацыі з сайтаў канкурэнтаў
Адзін з асноўных напрамкаў выкарыстання рэзідэнтных проксі - канкурэнтная разведка. Сёння існуюць прылады, якія дазваляюць лёгка адсачыць выкарыстанне серверных проксі - пулы адрасоў проксі-правайдэраў вядомыя, таму іх можна без працы заблакаваць. Многія папулярныя анлайн-сэрвісы - напрыклад, Amazon, Netflix, Hulu - рэалізуюць сістэмы блакіровак па дыяпазонах IP-адрасоў хостынг-правайдэраў.
У выпадку з выкарыстаннем рэзідэнтнага проксі любы запыт выглядае так, быццам яго адправіў звычайны карыстач. У тым выпадку, калі неабходна адпраўляць вялікую колькасць запытаў, з дапамогай рэзідэнтных проксі можна адпраўляць іх з адрасоў з любых краін, гарадоў і звязаных з імі інтэрнэт-правайдэрамі.
Абарона брэнда
Яшчэ адно практычнае прымяненне рэзідэнтных проксі - абарона брэнда і барацьба з кантрафактам. Да прыкладу, вытворцы лекаў - скажам, прэпарата Viagra - заўсёды змагаюцца з прадаўцамі кантрафактных джэнерыкаў.
Прадаўцы такіх рэплік звычайна абмяжоўваюць доступ да сваіх сайтаў з краін, дзе размешчаны афіцыйныя прадстаўніцтвы вытворцы: гэта абцяжарвае выяўленне гандляроў падробкамі і прад'яўленне ім юрыдычных патрабаванняў. З дапамогай рэзідэнтных проксі з адрасамі з той жа краіны, што і сайт па продажы кантрафакту, гэтую задачу можна лёгка вырашыць.
Тэставанне новых функцый і маніторынг прадукцыйнасці
Іншы важны напрамак выкарыстання рэзідэнтных проксі - тэставанне новых функцыі на сваіх сайтах або ў прыкладаннях - гэта дазваляе ўбачыць вачыма звычайнага карыстальніка. Адпраўка вялікай колькасці запытаў з IP-адрасоў з розных краін і гарадоў таксама дазваляе пратэставаць працу прыкладанняў пад вялікімі нагрузкамі.
Таксама гэтая функцыя карысная для маніторынгу прадукцыйнасці. Міжнародным сэрвісам важна разумець, напрыклад, наколькі хутка загружаецца сайт для карыстальнікаў з пэўных краін. Выкарыстанне ў сістэме маніторынгу прадукцыйнасці рэзідэнтных проксі дапамагае атрымаць найбольш рэлевантную інфармацыю.
Аптымізацыя маркетынгу і рэкламы
Яшчэ адно прымяненне рэзідэнтных проксі - тэсціраванне рэкламных кампаній. З рэзідэнтным проксі можна ўбачыць, як тая ці іншая аб'ява выглядае, напрыклад, у пошукавай выдачы для жыхароў пэўнага рэгіёну і ці паказваецца яна наогул.
Акрамя таго, пры прасоўванні на розных рынках рэзідэнтныя проксі дапамагаюць зразумець, наколькі эфектыўна працуе, да прыкладу, пошукавая аптымізацыя: ці ўваходзіць сайт у топ пошукавікаў па патрэбных запытах на мэтавых мовах і як мяняюцца яго пазіцыі з часам.
Пошукавыя сістэмы вельмі негатыўна ставяцца да збору даных з дапамогай іх рэсурсаў. Таму яны ўвесь час удасканальваюць механізмы для вызначэння зборшчыкаў дадзеных і эфектыўна іх блакуюць. У выніку выкарыстанне для збору дадзеных з пошукавых сістэм зараз цалкам немагчыма.
Выкананне ж вялікай колькасці аднолькавых пошукавых запытаў праз рэзідэнтныя проксі заблакаваць немагчыма - пошукавікі не могуць абмяжоўваць доступ для рэальных карыстальнікаў. Таму гэтая прылада выдатна падыходзіць для гарантаванага збору дадзеных з пошукавых сістэм.
Рэзідэнтныя проксі карысныя і для аналізу рэкламных і маркетынгавых актыўнасцяў канкурэнтаў і іх эфектыўнасці. Гэтую тэхналогію выкарыстоўваюць як самі кампаніі, так і агенцтвы, якія займаюцца прасоўваннем на заказ.
Агрэгацыя кантэнту
У эпоху Big Data мноства бізнэсаў пабудаваны на агрэгацыі кантэнту з розных сайтаў і звядзенні яго разам на ўласнай платформе. Такім кампаніям таксама часта даводзіцца выкарыстоўваць рэзідэнтныя проксі, інакш падтрымліваць актуальную базу дадзеных аб коштах, напрыклад, на тавары пэўных катэгорый у розных інтэрнэт-крамах будзе цяжка: рызыка бана занадта вялікі.
Напрыклад, каб стварыць рэгулярна абнаўляецца параўнальную табліцу з коштамі на пыласосы ў інтэрнэт-крамах, патрэбен бот, які будзе ўвесь час заходзіць на патрэбныя старонкі гэтых рэсурсаў і абнаўляць іх. Для абыходу антыбот-сістэм у такім разе найболей эфектыўным будзе выкарыстанне гэтай прылады.
Збор і аналіз дадзеных пад замову
У апошнія некалькі гадоў актыўна развіваюцца кампаніі, якія прафесійна займаюцца зборам і аналізам даных пад заказ. Адзін з яркіх гульцоў гэтага рынку - праект PromptCloud - распрацоўвае ўласныя інструменты-кроулеры, якія збіраюць інфармацыю для далейшага выкарыстання ў маркетынгу, продажах або канкурэнтным аналізе.
Лагічна, што робатаў такіх кампаній таксама ўвесь час лазяць, але дзякуючы выкарыстанню рэзідэнтных IP рабіць гэта эфектыўна немагчыма.
Эканомія на атрыманні лакальных скідак
Апроч іншага, наяўнасць прыватных лакальных IP-адрасоў можа спрыяць эканоміі рэсурсаў. Напрыклад, многія сайты браніравання білетаў і гасцініц адлюстроўваюць геатаргетаваныя акцыі. Скарыстацца імі могуць толькі кліенты з канкрэтных рэгіёнаў.
Калі ж кампаніі трэба арганізаваць камандзіроўку ў такую краіну, то з дапамогай рэзідэнтнага проксі яна можа паспрабаваць знайсці больш выгадныя кошты і зэканоміць.
Заключэнне
Магчымасць імітаваць запыты ад рэальных карыстальнікаў з сапраўдным лакальным IP-адрасам аказваецца вельмі карыснай, у тым ліку для бізнесу. Кампаніі ўжываюць рэзідэнтныя проксі для збору дадзеных, розных тэстаў, працы з патрэбнымі, але заблакаванымі рэсурсамі і гэтак далей.
Крыніца: habr.com