🥇回顾：使用住宅代理解决企业问题的六种方法

各种任务可能需要 IP 地址屏蔽 - 从访问被阻止的内容到绕过搜索引擎和其他在线资源的反机器人系统。我觉得很有趣邮寄关于如何使用这项技术来解决企业问题，并准备了其改编的翻译。

有多种实现代理的选项：

住宅代理 – 常驻 IP 地址是互联网提供商向房主发放的地址；它们记录在地区互联网注册机构 (RIR) 的数据库中。住宅代理正是使用这些 IP，因此来自它们的请求与真实用户发送的请求无法区分。
服务器代理（数据中心代理）。此类代理与个人互联网提供商没有任何关系。此类地址由购买了地址池的托管提供商颁发。
共享代理。 在这种情况下，一个代理被多个用户同时使用；可以基于服务器或由提供商为其用户提供。
私人代理。如果是私有或专用代理，则只有一个用户可以访问该 IP 地址。此类代理由专业服务和托管商、互联网提供商和 VPN 服务提供。

所有这些选项都有其优点，但对于企业用途，越来越多地使用住宅代理。其主要原因是此类代理使用不同地点（国家、州/地区和城市）的不同互联网提供商的真实地址。因此，无论与谁进行交互，看起来都像是由真实用户进行的。没有在线服务会考虑阻止来自真实地址的请求，因为它可能是来自潜在客户端的请求。

这为公司带来了一系列机会。我们来谈谈他们如何使用住宅代理来解决业务问题。

为什么企业需要代理？

据反机器人流量公司 Distil Networks 称，在当今的互联网上，高达 40% 的网络流量不是由人产生的。

同时，并非所有机器人都是好的（如搜索引擎爬虫）；网站所有者试图保护自己免受许多机器人的侵害，以防止它们访问资源本身的数据或了解业务的重要信息。

2017 年，通常未被阻止的机器人数量为 20,40%，另外 21,80% 的机器人被认为是“坏”的：网站所有者试图禁止它们。

为什么公司会试图绕过这种封锁？

常驻代理的主要使用领域之一是竞争情报。如今，有一些工具可以轻松跟踪服务器代理的使用情况 - 代理提供商的地址池是已知的，因此可以轻松阻止它们。许多流行的在线服务 - 例如 Amazon、Netflix、Hulu - 实施基于托管提供商的 IP 地址范围的阻止系统。

使用常驻代理时，任何请求看起来都像是由普通用户发送的。如果您需要发送大量请求，可以使用住宅代理从任何国家、城市和与之关联的互联网提供商的地址发送请求。

常驻代理的另一个实际用途是品牌保护和打击假冒。例如，药品制造商（例如伟哥药品）总是与假冒仿制药的销售商作斗争。

此类仿制品的销售商通常会限制制造商官方代表处所在国家/地区访问其网站：这使得识别假冒经销商并向他们提出法律索赔变得困难。使用地址与销售假冒商品的网站位于同一国家/地区的常驻代理，可以轻松解决此问题。

使用住宅代理的另一个重要领域是在您的网站或应用程序上测试新功能 - 这使您可以通过普通用户的眼睛了解一切是如何工作的。从不同国家和城市的IP地址发送大量请求还可以让您测试应用程序在重负载下的运行情况。

此功能对于监控性能也很有用。例如，对于国际服务来说，了解某个国家/地区的用户加载网站的速度有多快非常重要。在性能监控系统中使用驻留代理有助于获取最相关的信息。

常驻代理的另一个用途是测试广告活动。通过住宅代理，您可以查看特定广告的外观，例如，在特定地区居民的搜索结果中以及是否显示该广告。

此外，在不同市场进行推广时，常驻代理有助于了解搜索引擎优化的效果如何：该网站是否是目标语言所需查询的顶级搜索引擎之一，以及其位置如何随时间变化。

搜索引擎对于利用其资源收集数据持极其消极的态度。因此，他们不断完善机制来识别数据收集者并有效阻止他们。结果，现在使用搜索引擎来收集数据是完全不可能的。

通过常驻代理阻止大量相同搜索查询的执行是不可能的——搜索引擎无法限制真实用户的访问。因此，该工具非常适合保证从搜索引擎收集数据。

住宅代理对于分析竞争对手的广告和营销活动及其有效性也很有用。该技术由公司本身和参与定制促销的机构使用。

在大数据时代，许多企业都建立在聚合来自不同网站的内容并将其整合到自己的平台上的基础上。此类公司通常还必须使用常驻代理，否则将很难维护最新的价格数据库，例如，对于不同在线商店中的某些类别的商品：禁令的风险太大。

例如，要创建定期更新的在线商店吸尘器价格比较表，您需要一个机器人来不断访问这些资源的必要页面并更新它们。在这种情况下，绕过反机器人系统的最有效方法是使用此工具。

过去几年，专业收集和分析订单数据的公司一直在积极发展。 PromptCloud 项目是这个市场上最聪明的参与者之一，它开发了自己的爬虫工具，用于收集信息以进一步用于营销、销售或竞争分析。

逻辑上，来自此类公司的机器人程序也不断被禁止，但由于使用常驻IP，这是不可能有效做到的。

除此之外，拥有私有本地 IP 地址可以帮助节省资源。例如，许多航班和酒店预订网站都会显示针对地理区域的促销活动。只有特定地区的客户才能使用它们。

如果一家公司需要组织去这样一个国家的商务旅行，那么在常驻代理人的帮助下，它可以尝试找到更好的价格并省钱。

事实证明，使用真实本地 IP 地址模拟真实用户请求的能力非常有用，包括对于商业而言。公司使用常驻代理来收集数据、执行各种测试、使用必要但受阻的资源等等。

来源： habr.com