Маскування IP-адреси може бути потрібне для різних завдань – від доступу до заблокованого контенту до обходу антибот-систем пошуковиків та інших онлайн-ресурсів. Я знайшов цікавий про те, як цю технологію можна застосовувати для вирішення корпоративних завдань, та підготував його адаптований переклад.
Існує кілька варіантів реалізації проксі:
- Резидентні проксі – резидентними називають IP-адреси, які інтернет-провайдери видають власникам житла, вони зазначаються у базах даних регіональних інтернет-реєстрів (RIR). Резидентні проксі використовують саме такі IP, тому запити з них не відрізняються від надісланих реальними користувачами.
- Серверні проксі (data center proxy). Такі проксі не пов'язані з провайдерами інтернету для фізичних осіб. Адреси цього типу видають хостинг-провайдери, які закупили пули адрес.
- Shared-проксі. У цьому випадку один проксі використовується відразу декількома користувачами одночасно; можуть бути як серверними, так і провайдерами для своїх користувачів.
- Приватні проксі. У разі приватної або виділеної (dedicated) проксі доступ до IP-адреси є лише в одного користувача. Такі проксі надають спеціалізовані сервіси, так і хостери, провайдери інтернету і VPN-сервіси.
Всі ці варіанти мають свої плюси, але для корпоративного використання все частіше застосовують резидентні проксі. Головна причина цього в тому, що такі проксі використовують реальні адреси різних інтернет-провайдерів у різних локаціях (країнах, штатах/регіонах та містах). У результаті з ким би не велося взаємодія, воно виглядає так, ніби його здійснює реальний користувач. Ніякому онлайн-сервісу не спаде на думку блокувати запити з реальних адрес, адже це може бути звернення від потенційного клієнта.
Це відкриває для компаній низку можливостей. Поговоримо про те, як вони використовують резидентні проксі для вирішення бізнес-завдань.
Навіщо бізнесу проксі
За даними компанії Distil Networks, яка займається боротьбою з ботовим трафіком, у сьогоднішньому інтернеті до 40% веб-трафіку генерується не людьми.
При цьому далеко не всі боти відносяться до хороших (на зразок краулерів пошукових систем), від багатьох ботів власники сайтів прагнуть захиститися, щоб не дозволити їм отримати доступ до даних самого ресурсу або дізнатися важливу інформацію для бізнесу.
Кількість роботів, яким зазвичай не перешкоджають, у 2017 році становила 20,40%, а ще 21,80% роботів вважалися «поганими»: власники сайтів намагалися їх забанити.
Навіщо компанії можуть намагатися обходити такі блокування?
Отримання реальної інформації з сайтів конкурентів
Один із основних напрямків використання резидентних проксі – конкурентна розвідка. Сьогодні існують інструменти, які дозволяють легко відстежити використання серверних проксі – пули адрес проксі-провайдерів відомі, тому їх можна легко заблокувати. Багато популярних онлайн-сервісів - наприклад, Amazon, Netflix, Hulu - реалізують системи блокувань по діапазонах IP-адрес хостинг-провайдерів.
У разі використання резидентного проксі будь-який запит виглядає так, ніби його відправив звичайний користувач. У разі, якщо потрібно надсилати велику кількість запитів, за допомогою резидентних проксі можна надсилати їх з адрес з будь-яких країн, міст і пов'язаних з ними інтернет-провайдерами.
Захист бренду
Ще одне практичне застосування резидентних проксі – захист бренду та боротьба з контрафактом. Наприклад, виробники ліків – скажімо, препарату Viagra – завжди борються із продавцями контрафактних дженериків.
Продавці таких реплік зазвичай обмежують доступ до своїх сайтів із країн, де розташовані офіційні представництва виробника: це ускладнює виявлення торговців підробками та пред'явлення їм юридичних вимог. За допомогою резидентних проксі з адресами тієї ж країни, що і сайт з продажу контрафакту, це завдання можна легко вирішити.
Тестування нових функцій та моніторинг продуктивності
Інший важливий напрямок використання резидентних проксі - тестування нових функції на своїх сайтах або в додатках - це дозволяє побачити очима звичайного користувача. Надсилання великої кількості запитів з IP-адрес з різних країн і міст також дозволяє протестувати роботу додатків під великими навантаженнями.
Також ця функція є корисною для моніторингу продуктивності. Міжнародним сервісам важливо розуміти, наприклад, наскільки швидко завантажується сайт для користувачів із певних країн. Використання в системі моніторингу продуктивності резидентного проксі допомагає отримати найбільш релевантну інформацію.
Оптимізація маркетингу та реклами
Ще одне застосування резидентних проксі – тестування рекламних кампаній. З резидентним проксі можна побачити, як те чи інше оголошення виглядає, наприклад, у пошуковій видачі для мешканців певного регіону і чи показується воно взагалі.
Крім того, при просуванні на різних ринках резидентні проксі допомагають зрозуміти, наскільки ефективно працює, наприклад, пошукова оптимізація: чи входить сайт до топ-пошуковиків за потрібними запитами цільовими мовами і як змінюються його позиції з часом.
Пошукові системи вкрай негативно ставляться до збору даних за допомогою їхнього ресурсу. Тому вони постійно вдосконалюють механізми для визначення збирачів даних та ефективно їх блокують. У результаті використання для збору даних із пошукових систем зараз цілком неможливе.
Виконання великої кількості однакових пошукових запитів через резидентні проксі заблокувати неможливо – пошукові системи не можуть обмежувати доступ для реальних користувачів. Тому цей інструмент відмінно підходить для гарантованого збору даних із пошукових систем.
Резидентні проксі корисні й у аналізу рекламних і маркетингових активностей конкурентів та його ефективності. Цю технологію використовують як самі компанії, так і агентства, що займаються просуванням на замовлення.
Агрегація контенту
В епоху Big Data безліч бізнесів побудовано на агрегації контенту з різних сайтів і зведенні його на власній платформі. Таким компаніям часто доводиться використовувати резидентні проксі, інакше підтримувати актуальну базу даних про ціни, наприклад, на товари певних категорій у різних інтернет-магазинах буде важко: ризик бана занадто великий.
Наприклад, щоб створити порівняльну таблицю, що регулярно оновлюється, з цінами на пилососи в інтернет-магазинах, потрібен бот, який буде постійно заходити на потрібні сторінки цих ресурсів і оновлювати їх. Для обходу антибот-систем у разі найбільш ефективним буде використання цього інструмента.
Збір та аналіз даних на замовлення
В останні кілька років активно розвиваються компанії, які професійно займаються збиранням та аналізом даних на замовлення. Один із яскравих гравців цього ринку – проект PromptCloud – розробляє власні інструменти-кроулери, які збирають інформацію для подальшого використання у маркетингу, продажу чи конкурентному аналізі.
Логічно, що роботів таких компаній також постійно банять, але завдяки використанню резидентних IP робити це ефективно неможливо.
Економія на отримання локальних знижок
Крім іншого, наявність приватних локальних IP-адрес може сприяти економії ресурсів. Наприклад, багато сайтів бронювання квитків та готелів відображають геотаргетовані акції. Скористатися ними можуть лише клієнти із конкретних регіонів.
Якщо ж компанії потрібно організувати відрядження в таку країну, то за допомогою резидентного проксі воно може спробувати знайти вигідніші ціни та заощадити.
Висновок
Можливість імітувати запити від реальних користувачів зі справжньою локальною IP-адресою виявляється дуже корисною, у тому числі для бізнесу. Компанії застосовують резидентні проксі для збору даних, різних тестів, роботи з потрібними, але заблокованими ресурсами тощо.
Джерело: habr.com