CacheBrowser の実験: コンテンツ キャッシュを使用してプロキシなしで中国のファイアウォールをバイパスする

画像： Unsplash

現在、インターネット上のすべてのコンテンツのかなりの部分が CDN ネットワークを使用して配信されています。 同時に、さまざまな検閲者がそのようなネットワークに対してどのように影響力を拡大しているかについても研究します。 マサチューセッツ大学の科学者 分析した 中国当局の実践例を用いて CDN コンテンツをブロックする可能性のある方法を検証し、そのようなブロックを回避するツールも開発しました。

この実験の主な結論と結果を記載したレビュー資料を用意しました。

導入

検閲は、インターネット上の言論の自由と情報への自由なアクセスに対する世界的な脅威です。 これは主に、インターネットが前世紀の 70 年代の電話ネットワークから「エンドツーエンド通信」モデルを借用したという事実によって可能になっています。 これにより、多大な労力やコストをかけずに、IP アドレスに基づいてコンテンツへのアクセスやユーザー通信をブロックできます。 ここには、禁止されたコンテンツでアドレス自体をブロックする方法から、DNS 操作を使用してユーザーがアドレスを認識できないようにする方法まで、いくつかの方法があります。

しかし、インターネットの発展により、新しい情報伝達方法も登場しました。 その 30 つは、キャッシュされたコンテンツを使用してパフォーマンスを向上させ、通信を高速化することです。 現在、CDN プロバイダーは世界中のすべてのトラフィックのかなりの量を処理しています。このセグメントのリーダーである Akamai だけで、世界の静的 Web トラフィックの最大 XNUMX% を占めています。

CDN ネットワークは、インターネット コンテンツを最大速度で配信するための分散システムです。 一般的な CDN ネットワークは、地理的に異なる場所にあるサーバーで構成されており、コンテンツをキャッシュして、そのサーバーに最も近いユーザーにコンテンツを提供します。 これにより、オンライン通信の速度が大幅に向上します。

CDN ホスティングは、エンド ユーザーのエクスペリエンスを向上させるだけでなく、コンテンツ作成者がインフラストラクチャの負荷を軽減してプロジェクトを拡張するのにも役立ちます。

CDN コンテンツの検閲

CDN トラフィックはすでにインターネット上で送信されるすべての情報のかなりの部分を占めているという事実にもかかわらず、現実世界の検閲官がその制御にどのようにアプローチしているかについては、まだほとんど研究されていません。

この研究の著者らは、CDN に適用できる検閲技術を調査することから始めました。 次に、中国当局が実際に使用しているメカニズムを研究しました。

まず、考えられる検閲方法と、それを CDN の制御に使用する可能性について話しましょう。

IPフィルタリング

これは、インターネットを検閲するための最も単純で最も安価な手法です。 このアプローチを使用して、検閲者は、禁止されたコンテンツをホストしているリソースの IP アドレスを特定し、ブラックリストに登録します。 その後、制御されたインターネット プロバイダーは、そのようなアドレスに送信されたパケットの配信を停止します。

IP ベースのブロッキングは、インターネットを検閲する最も一般的な方法の XNUMX つです。 ほとんどの商用ネットワーク デバイスには、多大な計算作業を行わずにこのようなブロッキングを実装する機能が装備されています。

ただし、この方法は、テクノロジー自体のいくつかの特性により、CDN トラフィックのブロックにはあまり適していません。

• 分散キャッシュ – コンテンツの最高の可用性を確保し、パフォーマンスを最適化するために、CDN ネットワークは、地理的に分散した場所にある多数のエッジ サーバーにユーザー コンテンツをキャッシュします。 このようなコンテンツを IP に基づいてフィルタリングするには、検閲者がすべてのエッジ サーバーのアドレスを見つけてブラックリストに登録する必要があります。 これは、この方法の主要な特性を損なうことになります。その主な利点は、通常のスキームでは、XNUMX つのサーバーをブロックすることで、禁止されているコンテンツへの多数のユーザーのアクセスを一度に「遮断」できることだからです。
• 共有IP – 商用 CDN プロバイダーは、多くのクライアント間でインフラストラクチャ (つまり、エッジ サーバー、マッピング システムなど) を共有します。 その結果、禁止された CDN コンテンツは、禁止されていないコンテンツと同じ IP アドレスからロードされます。 その結果、IP フィルタリングを試みると、検閲官にとって興味のない膨大な数のサイトやコンテンツがブロックされることになります。
• 非常に動的なIP割り当て – 負荷分散を最適化し、サービス品質を向上させるために、エッジサーバーとエンドユーザーのマッピングは非常に迅速かつ動的に実行されます。 たとえば、Akamai は返された IP アドレスを XNUMX 分ごとに更新します。 これにより、アドレスを禁止されたコンテンツに関連付けることはほぼ不可能になります。

DNS干渉

IP フィルタリングのほかに、もう XNUMX つの一般的な検閲方法は DNS 干渉です。 このアプローチには、禁止されたコンテンツを含むリソースの IP アドレスをユーザーが認識できないようにすることを目的とした検閲官による措置が含まれます。 つまり、介入はドメイン名解決レベルで発生します。 これを行うには、DNS 接続のハイジャック、DNS ポイズニング技術の使用、禁止されたサイトへの DNS リクエストのブロックなど、いくつかの方法があります。

これは非常に効果的なブロック方法ですが、帯域外チャネルなど、非標準の DNS 解決方法を使用している場合はバイパスされる可能性があります。 したがって、検閲者は通常、DNS ブロックと IP フィルタリングを組み合わせます。 ただし、前述したように、IP フィルタリングは CDN コンテンツの検閲には効果的ではありません。

DPIを使用したURL/キーワードによるフィルタリング

最新のネットワーク アクティビティ監視装置を使用すると、送信されたデータ パケット内の特定の URL やキーワードを分析できます。 この技術は DPI (ディープ パケット インスペクション) と呼ばれます。 このようなシステムは、禁止された単語やリソースへの言及を検出すると、オンライン コミュニケーションを妨害します。 その結果、パケットは単純にドロップされます。

この方法は効果的ですが、特定のストリーム内で送信されるすべてのデータ パケットの最適化が必要なため、より複雑でリソースを大量に消費します。

CDN コンテンツは、「通常の」コンテンツと同じ方法でそのようなフィルタリングから保護できます。どちらの場合も、暗号化 (HTTPS など) の使用が役に立ちます。

これらのツールは、DPI を使用して禁止されたリソースのキーワードや URL を検索するだけでなく、より高度な分析にも使用できます。 これらの方法には、オンライン/オフライン トラフィックの統計分析や識別プロトコルの分析が含まれます。 これらの方法は非常にリソースを大量に消費するため、現時点では検閲官がこれらの方法を十分に深刻な程度に使用したという証拠はまったくありません。

CDNプロバイダーの自己検閲

検閲官が州である場合、検閲官は、コンテンツへのアクセスを管理する現地法に従わない CDN プロバイダーがその国で活動することを禁止するあらゆる機会を有します。 自己検閲にはいかなる形でも抵抗することはできません。したがって、CDN プロバイダー企業が特定の国での事業に関心がある場合、たとえ言論の自由が制限されているとしても、現地の法律に従うことが強制されます。

中国が CDN コンテンツを検閲する方法

中国のグレート ファイアウォールは、インターネット検閲を確実にするための最も効果的かつ先進的なシステムであると当然考えられています。

研究方法

科学者たちは中国国内にある Linux ノードを使用して実験を実施しました。 彼らはまた、国外の複数のコンピュータにもアクセスできました。 まず研究者らは、そのノードが他の中国人ユーザーに適用されているのと同様の検閲を受けているかどうかを確認した。これを行うために、このマシンからさまざまな禁止されているサイトを開こうとした。 したがって、同レベルの検閲の存在が確認された。

CDN を使用する中国でブロックされた Web サイトのリストは GreatFire.org から取得したものです。 次に、それぞれの場合のブロック方法を分析しました。

公開データによると、中国で独自のインフラストラクチャを持つ CDN 市場の主要プレーヤーは Akamai だけです。 この調査に参加している他のプロバイダー: CloudFlare、Amazon CloudFront、EdgeCast、Fastly、SoftLayer。

実験中、研究者らは国内の Akamai エッジサーバーのアドレスを特定し、それらを介してキャッシュされた許可されたコンテンツを取得しようとしました。 禁止されたコンテンツにアクセスすることはできませんでした (HTTP 403 Forbidden エラーが返されました) - どうやら、同社は国内での営業能力を維持するために自己検閲を行っているようです。 同時に、これらのリソースへのアクセスは国外でも開かれたままでした。

中国にインフラストラクチャを持たない ISP は、地元ユーザーを自己検閲しません。

他のプロバイダーの場合、最も一般的に使用されているブロック方法は DNS フィルターであり、ブロックされたサイトへのリクエストは誤った IP アドレスに解決されます。 同時に、CDN エッジ サーバーには禁止された情報と許可された情報の両方が保存されるため、ファイアウォールは CDN エッジ サーバー自体をブロックしません。

また、暗号化されていないトラフィックの場合、当局が DPI を使用してサイトの個々のページをブロックできる場合、HTTPS を使用する場合、当局はドメイン全体へのアクセスを全体として拒否することしかできません。 これは、許可されたコンテンツのブロックにもつながります。

さらに、中国には、ChinaCache、ChinaNetCenter、CDNetworks などのネットワークを含む独自の CDN プロバイダーがあります。 これらの企業はすべて、国の法律を完全に遵守し、禁止されているコンテンツをブロックしています。

CacheBrowser: CDN バイパス ツール

分析が示したように、検閲官が CDN コンテンツをブロックすることは非常に困難です。 そこで、研究者らはさらに進んで、プロキシ技術を使用しないオンライン ブロック バイパス ツールを開発することにしました。

このツールの基本的な考え方は、CDN をブロックするには検閲官が DNS に干渉する必要があるというものですが、実際には CDN コンテンツを読み込むためにドメイン名解決を使用する必要はありません。 したがって、ユーザーは、既にキャッシュされているエッジ サーバーに直接アクセスすることで、必要なコンテンツを取得できます。

以下の図はシステム設計を示しています。

クライアント ソフトウェアはユーザーのコンピュータにインストールされ、通常のブラウザを使用してコンテンツにアクセスします。

URL またはコンテンツがすでにリクエストされている場合、ブラウザはローカル DNS システム (LocalDNS) にリクエストを発行して、ホスティング IP アドレスを取得します。 通常の DNS は、LocalDNS データベースにまだ存在しないドメインについてのみクエリされます。 Scraper モジュールは、要求された URL を継続的に調べて、ブロックされている可能性のあるドメイン名をリストから検索します。 次に、Scraper は Resolver モジュールを呼び出して、新しく検出されたブロックされたドメインを解決します。このモジュールはタスクを実行し、エントリを LocalDNS に追加します。 その後、ブラウザの DNS キャッシュがクリアされ、ブロックされたドメインの既存の DNS レコードが削除されます。

リゾルバー モジュールは、ドメインがどの CDN プロバイダーに属しているかを特定できない場合、ブートストラップ モジュールに助けを求めます。

実際の仕組み

本製品のクライアントソフトウェアはLinux向けに実装されていますが、Windows向けにも簡単に移植できます。 通常の Mozilla をブラウザとして使用します
ファイアーフォックス。 スクレイパー モジュールとリゾルバー モジュールは Python で書かれており、Customer-to-CDN および CDN-toIP データベースは .txt ファイルに保存されます。 LocalDNS データベースは、Linux の通常の /etc/hosts ファイルです。

その結果、次のようなブロックされた URL の場合、 ブロックされた.com スクリプトは、/etc/hosts ファイルからエッジ サーバーの IP アドレスを取得し、Host HTTP ヘッダー フィールドを含む BlockedURL.html にアクセスするための HTTP GET リクエストを送信します。

blocked.com/ and User-Agent: Mozilla/5.0 (Windows
NT 5.1; rv:14.0) Gecko/20100101 Firefox/14.0.1

Bootstrapper モジュールは、無料ツール digwebinterface.com を使用して実装されます。 この DNS リゾルバーはブロックできず、異なるネットワーク領域に地理的に分散された複数の DNS サーバーに代わって DNS クエリに応答します。

中国では長らくソーシャルネットワークがブロックされていたにもかかわらず、研究者らはこのツールを使用して中国のノードからFacebookにアクセスすることに成功した。

まとめ

この実験では、検閲官が CDN コンテンツをブロックしようとするときに経験する問題を利用して、ブロックを回避するシステムを作成できることが示されました。 このツールを使用すると、最も強力なオンライン検閲システムの XNUMX つを持つ中国でもブロックを回避できます。

使用に関するトピックに関するその他の記事 常駐プロキシ ビジネスのための：

• 住宅用プロキシがビジネスにどのように役立つか: データ マイニングの分野で Infatica を使用した実際のケース
• 解析中。 SOCKS プロキシはどのように機能するか: 長所、短所、他のテクノロジーとの違い
• ビジネス向けのプロキシ ネットワークの選び方: 3 つの実践的なヒント

出所： habr.com