圖片：
如今，網路上所有內容的很大一部分都是使用 CDN 網路分發的。 同時，研究各種審查機構如何擴大對此類網路的影響。 馬薩諸塞大學的科學家 使用中國當局的做法作為範例來阻止 CDN 內容的可能方法，並且還開發了繞過此類阻止的工具。
我們準備了一份審查資料，其中包含本實驗的主要結論和結果。
介紹
審查制度是對網路言論自由和資訊自由取得的全球性威脅。 這在很大程度上是可能的，因為網路借用了上世紀70年代電話網路的「端到端通訊」模式。 這使您可以僅根據 IP 位址來阻止對內容或用戶通訊的訪問，而無需付出大量努力或成本。 這裡有多種方法，從使用禁止內容封鎖位址本身到阻止使用者使用 DNS 操作識別它的能力。
然而，網路的發展也導致了新的資訊傳播方式的出現。 其中之一是使用快取內容來提高效能並加快通訊速度。 如今，CDN 供應商處理世界上大量的流量 - 僅該領域的領導者 Akamai 就佔據了全球靜態 Web 流量的 30%。
CDN 網路是一種以最快速度傳送網路內容的分散式系統。 典型的 CDN 網路由位於不同地理位置的伺服器組成，這些伺服器會快取內容以將其提供給距離該伺服器最近的使用者。 這使您可以顯著提高線上通訊的速度。
除了改善最終用戶的體驗之外，CDN 託管還可以透過減少基礎設施的負載來幫助內容創作者擴展其專案。
審查 CDN 內容
儘管 CDN 流量已經佔據了互聯網上傳輸的所有資訊的很大一部分，但仍然幾乎沒有研究現實世界中的審查機構如何對其進行控制。
研究的作者首先探索可應用於 CDN 的審查技術。 然後他們研究了中國當局使用的實際機制。
首先，我們來談談可能的審查方法以及使用它們來控制 CDN 的可能性。
IP過濾
這是最簡單、最便宜的網路審查技術。 使用這種方法，審查者可以識別託管禁止內容的資源的 IP 位址並將其列入黑名單。 然後，受控制的網路供應商將停止傳送傳送到這些位址的資料包。
基於 IP 的封鎖是審查網際網路最常見的方法之一。 大多數商業網路設備都配備了無需大量計算工作即可實現此類阻止的功能。
但由於技術本身的一些特性，這種方法不太適合攔截CDN流量：
- 分散式快取 – 為了確保內容的最佳可用性並優化效能，CDN 網路將使用者內容快取在位於地理位置分散的大量邊緣伺服器上。 為了根據 IP 過濾此類內容，審查者需要找出所有邊緣伺服器的位址並將其列入黑名單。 這將破壞該方法的主要屬性，因為它的主要優點是，在通常的方案中，阻止一台伺服器允許您立即「切斷」大量人員對禁止內容的存取。
- 共享IP – 商業 CDN 供應商在許多用戶端之間共用其基礎架構（即邊緣伺服器、地圖系統等）。 因此，被禁止的 CDN 內容將從與非禁止內容相同的 IP 位址載入。 因此，任何 IP 過濾嘗試都會導致大量審查機構不感興趣的網站和內容被封鎖。
- 高度動態的 IP 分配 – 為了優化負載平衡並提高服務質量，邊緣伺服器和最終用戶的映射非常快速且動態地執行。 例如，Akamai 每分鐘都會更新傳回的 IP 位址。 這將使地址幾乎不可能與禁止的內容相關聯。
DNS幹擾
除了IP過濾之外，另一種流行的審查方法是DNS幹擾。 這種方法涉及審查機構的行動，旨在阻止使用者識別含有禁止內容的資源的 IP 位址。 也就是說，幹預發生在網域解析層級。 有幾種方法可以做到這一點，包括劫持 DNS 連線、使用 DNS 中毒技術以及阻止對禁止網站的 DNS 請求。
這是一種非常有效的阻止方法，但如果您使用非標準 DNS 解析方法（例如帶外通道），則可以繞過它。 因此，審查機構通常將 DNS 攔截與 IP 過濾結合。 但是，如上所述，IP 過濾對於審查 CDN 內容並不有效。
使用 DPI 按 URL/關鍵字過濾
現代網路活動監控設備可用於分析傳輸資料包中的特定 URL 和關鍵字。 該技術稱為DPI（深度資料包檢測）。 此類系統會發現提及違禁詞語和資源，然後幹擾線上交流。 結果，數據包被簡單地丟棄。
此方法很有效，但更複雜且佔用資源，因為它需要對某些流中發送的所有資料包進行碎片整理。
CDN 內容可以像「常規」內容一樣免受此類過濾 - 在這兩種情況下，使用加密（即 HTTPS）都會有所幫助。
除了使用 DPI 來尋找被禁止資源的關鍵字或 URL 之外，這些工具還可以用於更進階的分析。 這些方法包括在線/離線流量的統計分析和識別協議的分析。 這些方法極為耗費資源，目前根本沒有證據顯示審查機構在足夠嚴重的程度上使用了這些方法。
CDN 提供者的自我審查
如果審查者是國家，那麼它完全有機會禁止那些不遵守當地內容存取法律的 CDN 提供者在該國運營。 自我審查是無法以任何方式抵制的——因此，如果 CDN 提供者公司有興趣在某個國家/地區運營，它將被迫遵守當地法律，即使這些法律限制言論自由。
中國如何審查 CDN 內容
中國的防火牆被理所當然地認為是確保網路審查的最有效和最先進的系統。
研究方法論
科學家使用位於中國境內的 Linux 節點進行了實驗。 他們還可以訪問國外的幾台電腦。 首先，研究人員檢查該節點是否受到與其他中國用戶類似的審查 - 為此，他們嘗試從這台機器打開各種禁止的網站。 因此證實了相同級別審查制度的存在。
在中國被封鎖的使用 CDN 的網站列表取自 GreatFire.org。 然後分析每種情況下的阻塞方法。
公開數據顯示，中國CDN市場上唯一擁有自己基礎設施的主要參與者是Akamai。 參與研究的其他提供者：CloudFlare、Amazon CloudFront、EdgeCast、Fastly 和 SoftLayer。
在實驗過程中，研究人員找到了該國境內 Akamai 邊緣伺服器的位址，然後嘗試透過它們來取得快取的允許內容。 無法存取禁止的內容（返回了 HTTP 403 Forbidden 錯誤）——顯然該公司正在進行自我審查，以保持在該國運營的能力。 同時，這些資源在國外仍然開放。
中國沒有基礎設施的網路服務供應商不會對本地用戶進行自我審查。
對於其他供應商，最常用的封鎖方法是 DNS 過濾 - 對被封鎖網站的請求被解析為不正確的 IP 位址。 同時，防火牆不會阻止 CDN 邊緣伺服器本身，因為它們儲存禁止和允許的資訊。
如果在未加密流量的情況下，當局能夠使用 DPI 阻止網站的各個頁面，那麼在使用 HTTPS 時，他們只能拒絕對整個網域的存取。 這也會導致允許的內容被阻止。
此外，中國還有自己的CDN供應商，包括ChinaCache、網宿科技和CDNetworks等網路。 所有這些公司都完全遵守該國的法律並阻止禁止的內容。
CacheBrowser：CDN繞過工具
分析表明，審查機構很難屏蔽 CDN 內容。 因此，研究人員決定更進一步，開發一款不使用代理技術的線上區塊繞過工具。
該工具的基本概念是審查者必須幹擾 DNS 來阻止 CDN，但實際上您不必使用網域解析來下載 CDN 內容。 因此，用戶可以透過直接聯繫已經快取的邊緣伺服器來獲取他需要的內容。
下圖顯示了系統設計。
客戶端軟體安裝在使用者的電腦上，並使用常規瀏覽器存取內容。
當已要求 URL 或內容時，瀏覽器會向本機 DNS 系統 (LocalDNS) 發出請求以取得託管 IP 位址。 常規 DNS 僅查詢尚未存在於 LocalDNS 資料庫中的網域。 Scraper 模組不斷遍歷所要求的 URL，並在清單中搜尋可能被封鎖的網域名稱。 然後，Scraper 呼叫 Resolver 模組來解析新發現的被封鎖的域，該模組執行該任務並向 LocalDNS 新增一個條目。 然後，瀏覽器的 DNS 快取將被清除，以刪除被封鎖網域的現有 DNS 記錄。
如果 Resolver 模組無法確定該網域屬於哪個 CDN 供應商，它將向 Bootstrapper 模組尋求協助。
在實踐中如何運作
該產品的用戶端軟體是針對Linux實現的，但也可以輕鬆移植到Windows。 使用常規 Mozilla 作為瀏覽器
火狐。 Scraper 和 Resolver 模組是用 Python 編寫的，Customer-to-CDN 和 CDN-toIP 資料庫儲存在 .txt 檔案中。 LocalDNS 資料庫是 Linux 中的常規 /etc/hosts 檔案。
因此，對於像這樣被封鎖的 URL 該腳本將從 /etc/hosts 檔案取得邊緣伺服器 IP 位址，並發送 HTTP GET 請求以存取帶有 Host HTTP 標頭欄位的 BlockedURL.html：
blocked.com/ and User-Agent: Mozilla/5.0 (Windows
NT 5.1; rv:14.0) Gecko/20100101 Firefox/14.0.1Bootstrapper 模組是使用免費工具 digwebinterface.com 實現的。 此 DNS 解析器無法被阻止，它代表不同網路區域中多個地理分佈的 DNS 伺服器應答 DNS 查詢。
使用這個工具，研究人員成功地從他們的中國節點訪問了 Facebook，儘管該社交網路在中國早已被封鎖。
結論
實驗表明，利用審查員在嘗試阻止 CDN 內容時遇到的問題，可以創建一個繞過阻止的系統。 即使在擁有最強大的線上審查系統之一的中國，該工具也可以讓您繞過封鎖。
有關使用主題的其他文章 商業用途：
來源： www.habr.com