图片：
如今，互联网上所有内容的很大一部分都是使用 CDN 网络分发的。 同时，研究各种审查机构如何扩大对此类网络的影响。 马萨诸塞大学的科学家 使用中国当局的做法作为示例来阻止 CDN 内容的可能方法，并且还开发了绕过此类阻止的工具。
我们准备了一份审查材料，其中包含本实验的主要结论和结果。
介绍
审查制度是对互联网言论自由和信息自由获取的全球性威胁。 这在很大程度上是可能的，因为互联网借用了上世纪70年代电话网络的“端到端通信”模式。 这使您可以仅根据 IP 地址来阻止对内容或用户通信的访问，而无需付出大量努力或成本。 这里有多种方法，从使用禁止内容阻止地址本身到阻止用户使用 DNS 操作识别它的能力。
然而，互联网的发展也导致了新的信息传播方式的出现。 其中之一是使用缓存内容来提高性能并加快通信速度。 如今，CDN 提供商处理世界上大量的流量 - 仅该领域的领导者 Akamai 就占据了全球静态 Web 流量的 30%。
CDN 网络是一种以最快速度传送互联网内容的分布式系统。 典型的 CDN 网络由位于不同地理位置的服务器组成，这些服务器缓存内容以将其提供给距离该服务器最近的用户。 这使您可以显着提高在线通信的速度。
除了改善最终用户的体验之外，CDN 托管还可以通过减少基础设施的负载来帮助内容创建者扩展其项目。
审查 CDN 内容
尽管 CDN 流量已经占据了互联网上传输的所有信息的很大一部分，但仍然几乎没有研究现实世界中的审查机构如何对其进行控制。
该研究的作者首先探索可应用于 CDN 的审查技术。 然后他们研究了中国当局使用的实际机制。
首先，我们来谈谈可能的审查方法以及使用它们来控制 CDN 的可能性。
IP过滤
这是最简单、最便宜的互联网审查技术。 使用这种方法，审查者可以识别托管禁止内容的资源的 IP 地址并将其列入黑名单。 然后，受控制的互联网提供商将停止传送发送到这些地址的数据包。
基于 IP 的封锁是审查互联网的最常见方法之一。 大多数商业网络设备都配备了无需大量计算工作即可实现此类阻塞的功能。
但由于技术本身的一些特性，这种方法不太适合拦截CDN流量：
- 分布式缓存 – 为了确保内容的最佳可用性并优化性能，CDN 网络将用户内容缓存在位于地理位置分散的大量边缘服务器上。 为了根据 IP 过滤此类内容，审查者需要找出所有边缘服务器的地址并将其列入黑名单。 这将破坏该方法的主要属性，因为它的主要优点是，在通常的方案中，阻止一台服务器允许您立即“切断”大量人员对禁止内容的访问。
- 共享IP – 商业 CDN 提供商在许多客户端之间共享其基础设施（即边缘服务器、地图系统等）。 因此，被禁止的 CDN 内容将从与非禁止内容相同的 IP 地址加载。 因此，任何 IP 过滤尝试都会导致大量审查机构不感兴趣的网站和内容被屏蔽。
- 高度动态的 IP 分配 – 为了优化负载平衡并提高服务质量，边缘服务器和最终用户的映射非常快速且动态地执行。 例如，Akamai 每分钟都会更新返回的 IP 地址。 这将使地址几乎不可能与禁止的内容相关联。
DNS干扰
除了IP过滤之外，另一种流行的审查方法是DNS干扰。 这种方法涉及审查机构的行动，旨在阻止用户识别含有禁止内容的资源的 IP 地址。 也就是说，干预发生在域名解析级别。 有多种方法可以做到这一点，包括劫持 DNS 连接、使用 DNS 中毒技术以及阻止对禁止站点的 DNS 请求。
这是一种非常有效的阻止方法，但如果您使用非标准 DNS 解析方法（例如带外通道），则可以绕过它。 因此，审查机构通常将 DNS 拦截与 IP 过滤结合起来。 但是，如上所述，IP 过滤对于审查 CDN 内容并不有效。
使用 DPI 按 URL/关键字过滤
现代网络活动监控设备可用于分析传输数据包中的特定 URL 和关键字。 该技术称为DPI（深度数据包检测）。 此类系统会发现提及违禁词语和资源，然后干扰在线交流。 结果，数据包被简单地丢弃。
此方法很有效，但更复杂且占用资源，因为它需要对某些流中发送的所有数据包进行碎片整理。
CDN 内容可以像“常规”内容一样免受此类过滤 - 在这两种情况下，使用加密（即 HTTPS）都会有所帮助。
除了使用 DPI 查找被禁止资源的关键字或 URL 之外，这些工具还可以用于更高级的分析。 这些方法包括在线/离线流量的统计分析和识别协议的分析。 这些方法极其耗费资源，目前根本没有证据表明审查机构在足够严重的程度上使用了这些方法。
CDN 提供商的自我审查
如果审查者是国家，那么它完全有机会禁止那些不遵守当地内容访问法律的 CDN 提供商在该国运营。 自我审查是无法以任何方式抵制的——因此，如果 CDN 提供商公司有兴趣在某个国家/地区运营，它将被迫遵守当地法律，即使这些法律限制言论自由。
中国如何审查 CDN 内容
中国的防火墙被理所当然地认为是确保互联网审查的最有效和最先进的系统。
研究方法论
科学家们使用位于中国境内的 Linux 节点进行了实验。 他们还可以访问国外的几台计算机。 首先，研究人员检查该节点是否受到与其他中国用户类似的审查 - 为此，他们尝试从这台机器打开各种禁止的网站。 因此证实了相同级别审查制度的存在。
在中国被屏蔽的使用 CDN 的网站列表取自 GreatFire.org。 然后分析每种情况下的阻塞方法。
公开数据显示，中国CDN市场上唯一拥有自己基础设施的主要参与者是Akamai。 参与该研究的其他提供商：CloudFlare、Amazon CloudFront、EdgeCast、Fastly 和 SoftLayer。
在实验过程中，研究人员找到了该国境内 Akamai 边缘服务器的地址，然后尝试通过它们获取缓存的允许内容。 无法访问禁止的内容（返回了 HTTP 403 Forbidden 错误）——显然该公司正在进行自我审查，以保持在该国运营的能力。 与此同时，这些资源在国外仍然开放。
中国没有基础设施的互联网服务提供商不会对本地用户进行自我审查。
对于其他提供商，最常用的阻止方法是 DNS 过滤 - 对被阻止站点的请求被解析为不正确的 IP 地址。 同时，防火墙不会阻止 CDN 边缘服务器本身，因为它们存储禁止和允许的信息。
如果在未加密流量的情况下，当局能够使用 DPI 阻止网站的各个页面，那么在使用 HTTPS 时，他们只能拒绝对整个域的访问。 这也会导致允许的内容被阻止。
此外，中国还有自己的CDN提供商，包括ChinaCache、网宿科技和CDNetworks等网络。 所有这些公司都完全遵守该国的法律并阻止禁止的内容。
CacheBrowser：CDN绕过工具
分析表明，审查机构很难屏蔽 CDN 内容。 因此，研究人员决定更进一步，开发一款不使用代理技术的在线区块绕过工具。
该工具的基本思想是审查者必须干扰 DNS 来阻止 CDN，但实际上您不必使用域名解析来加载 CDN 内容。 因此，用户可以通过直接联系已经缓存的边缘服务器来获取他需要的内容。
下图显示了系统设计。
客户端软件安装在用户的计算机上，并使用常规浏览器访问内容。
当已请求 URL 或内容时，浏览器会向本地 DNS 系统 (LocalDNS) 发出请求以获取托管 IP 地址。 常规 DNS 仅查询尚未存在于 LocalDNS 数据库中的域。 Scraper 模块不断地遍历所请求的 URL，并在列表中搜索可能被阻止的域名。 然后，Scraper 调用 Resolver 模块来解析新发现的被阻止的域，该模块执行该任务并向 LocalDNS 添加一个条目。 然后，浏览器的 DNS 缓存将被清除，以删除被阻止域的现有 DNS 记录。
如果 Resolver 模块无法确定该域属于哪个 CDN 提供商，它将向 Bootstrapper 模块寻求帮助。
在实践中如何运作
该产品的客户端软件是针对Linux实现的，但也可以轻松移植到Windows。 使用常规 Mozilla 作为浏览器
火狐。 Scraper 和 Resolver 模块是用 Python 编写的，Customer-to-CDN 和 CDN-toIP 数据库存储在 .txt 文件中。 LocalDNS 数据库是 Linux 中的常规 /etc/hosts 文件。
因此，对于像这样被阻止的 URL 该脚本将从 /etc/hosts 文件获取边缘服务器 IP 地址，并发送 HTTP GET 请求以访问带有 Host HTTP 标头字段的 BlockedURL.html：
blocked.com/ and User-Agent: Mozilla/5.0 (Windows
NT 5.1; rv:14.0) Gecko/20100101 Firefox/14.0.1Bootstrapper 模块是使用免费工具 digwebinterface.com 实现的。 该 DNS 解析器无法被阻止，并代表不同网络区域中多个地理分布的 DNS 服务器应答 DNS 查询。
使用这个工具，研究人员成功地从他们的中国节点访问了 Facebook，尽管该社交网络在中国早已被封锁。
结论
实验表明，利用审查员在尝试阻止 CDN 内容时遇到的问题，可以创建一个绕过阻止的系统。 即使在拥有最强大的在线审查系统之一的中国，该工具也可以让您绕过封锁。
有关使用主题的其他文章 商业用途：
来源： habr.com