グレートチャイニーズファイアウォールをどのように突破したか (パート 3)

Привет！
すべての良い物語には終わりが来ます。 そして、中国のファイアウォールを素早く通過するためのソリューションをどのように考え出したかという私たちのストーリーも例外ではありません。 したがって、最後のものを急いで共有したいと思います。 最後の部分 このトピックについて

前のパートでは、私たちが考え出した多くのテストベンチと、それらがもたらした結果について説明しました。 そして、何を追加するとよいかについて決定しました CDN！ 粘度をスキームに組み込みます。

Alibaba Cloud CDN、Tencent Cloud CDN、Akamai をどのようにテストしたか、そして最終的にどうなったかを説明します。 そしてもちろん、要約しましょう。

アリババクラウドCDN

私たちは Alibaba Cloud でホストされており、Alibaba Cloud の IPSEC と CEN を使用しています。 まず彼らの解決策を試すのが論理的でしょう。

Alibaba Cloud には、私たちに適した XNUMX 種類の製品があります。 CDN и DCDN。 最初のオプションは、特定のドメイン (サブドメイン) のクラシック CDN です。 XNUMX 番目のオプションは次のことを表します CDNの動的ルート (私はこれを動的 CDN と呼んでいます)、フルサイト モード (ワイルドカード ドメインの場合) で有効にすることができます。また、静的コンテンツをキャッシュし、動的コンテンツ自体を高速化します。つまり、ページのダイナミクスもプロバイダーを通じて読み込まれます。高速ネットワーク。 これは私たちにとって重要です。なぜなら、私たちのサイトは基本的に動的であり、多くのサブドメインを使用しており、「アスタリスク」 (*.semrushchina.cn) に対して CDN を一度セットアップする方が便利だからです。

私たちはこの製品を中国プロジェクトの初期段階ですでに目にしていましたが、その時はまだ機能しておらず、開発者はこの製品が間もなくすべての顧客に提供されると約束しました。 そして彼はそうしました。

DCDN では次のことができます。

• 証明書を使用して SSL 終了を構成します。
• 動的コンテンツの高速化を可能にし、
• 静的ファイルのキャッシュを柔軟に構成します。
• キャッシュをパージし、
• Webソケットを転送し、
• 圧縮や HTML Beautifier も有効にします。

一般に、大人や大規模な CDN プロバイダーの場合とすべてが同じです。

オリジン (CDN エッジ サーバーが移動する場所) を指定したら、残っているのは、アスタリスクの CNAME を作成することだけです。 all.semrushchina.cn.w.kunluncan.com (この CNAME は Alibaba Cloud コンソールで受信されました)、CDN は機能します。

テスト結果に基づくと、この CDN は非常に役に立ちました。 統計を以下に示します。

ソリューション
稼働時間
中央値
75パーセンタイル
95パーセンタイル

CloudFlare
86.6
18s
30s
60s

IPsec
99.79
18s
21s
30s

CEN
99.75
16s
21s
27s

CEN/IPsec + GLB
99.79
13s
16s
25s

アリ CDN + CEN/IPsec + GLB
99.75
10s
12.8s
17.3s

これらは、特に最初の数値と比較すると、非常に良好な結果です。 しかし、当社の Web サイト www.semrush.com の米国版のブラウザ テストは、米国から平均 8.3 秒 (非常におおよその値) で実行されることがわかっていました。 改善の余地はあります。 さらに、テストしてみると興味深い CDN プロバイダーもありました。

したがって、私たちはスムーズに中国市場の別の巨人に移ります - テンセント.

Tencent Cloud

Tencent はクラウドを開発しているところです。これは少数の製品からもわかります。 これを使用している間、CDN だけでなく、ネットワーク インフラストラクチャ全体もテストしたいと考えました。

• CEN に似たものはありますか?
• IPSEC は彼らにとってどのように機能するのでしょうか? 速いですか、稼働時間はどれくらいですか?
• 彼らはエニーキャストを持っていますか？

これらの質問を個別に見てみましょう。

アナログ CEN

テンセントには製品があります クラウドコネクトネットワーク (CCN)、中国国内外のリージョンを含む、さまざまなリージョンの VPC に接続できるようになります。 この製品は現在社内ベータ版であるため、接続を求めるチケットを作成する必要があります。 サポートから、グローバル アカウント (中国国民や法人のことではありません) はベータ テスト プログラムに参加できず、一般に中国国内の地域と中国外の地域を接続できないことがわかりました。 1-0 アリ・クラウド有利

IPSEC

テンセントの最南端の地域は、 広州。 トンネルを組み立てて、GCP の香港リージョンに接続しました (当時、このリージョンはすでに利用可能になっていました)。 深圳から香港に至る阿里雲の10番目のトンネルも同時に嵩上げされた。 Tencent ネットワークを経由すると、深センから香港、アリまでの遅延 (120 ミリ秒、何?) よりも香港までの遅延 (XNUMX ミリ秒) の方が一般的に優れていることがわかりました。 しかし、これは、テンセントとこのトンネルを介して作業することを目的としたサイトの作業を決して高速化するものではありませんでした。これ自体が驚くべき事実であり、次のことを再度証明しました: 遅延 - 中国にとって、これは実際に価値のある指標ではありません中国のファイアウォールを通過するソリューションを開発する際には注意してください。

エニーキャスト インターネット アクセラレーション

エニーキャスト IP 経由での作業を可能にするもう XNUMX つの製品は、 AIA。 ただし、グローバルアカウントでは利用できないので説明しませんが、このような製品があることを知っておくと便利かもしれません。

しかし、CDN テストでは非常に興味深い結果が示されました。 Tencent の CDN はフルサイトでは有効にできず、特定のドメインでのみ有効になります。 ドメインを作成し、トラフィックを送信しました。

このCDNには次のような機能があることが判明しました。 国境を越えたトラフィックの最適化。 この機能により、トラフィックが中国のファイアウォールを通過する際のコストが削減されます。 として Origin Google GLB(GLBエニーキャスト)のIPアドレスを指定しました。 したがって、プロジェクトのアーキテクチャを簡素化したいと考えました。

結果は非常に良好で、Ali Cloud CDN のレベルで、場合によってはそれ以上でした。 テストが成功すると、インフラストラクチャ、トンネル、CEN、仮想マシンなどの大部分を放棄できるため、これは驚くべきことです。

私たちが喜んでいたのも長くはなく、問題が明らかになりました。インターネット プロバイダーであるチャイナ モバイルのキャッチポイントでのテストが失敗したのです。 どの場所からでも、Tencent の CDN 経由でタイムアウトを受け取りました。 テクニカルサポートに問い合わせても何も解決しませんでした。 私たちはこの問題を XNUMX 日ほど解決しようと試みましたが、何も解決しませんでした。

その時私は中国にいましたが、このプロバイダーのネットワーク上で公衆 Wi-Fi を見つけることができず、問題を個人的に確認できませんでした。 それ以外の場合は、すべてが高速で良好に見えました。
しかし、チャイナモバイルがXNUMX大通信事業者のXNUMXつであるという事実により、トラフィックをAli CDNに戻すことを余儀なくされました。
しかし、全体として、これは、この問題のより長いテストとトラブルシューティングに値する、かなり興味深い解決策でした。

アカマイ

私たちが最後にテストした CDN プロバイダーは、 アカマイ。 これは中国にネットワークを持つ巨大プロバイダーです。 もちろん、それを乗り越えることはできませんでした。

私たちは最初から、ドメインを切り替えてネットワーク上でどのように動作するかを確認できるよう、試用期間について Akamai と合意しました。 すべてのテストの結果を「良かった点」と「気に入らなかった点」の形で説明し、テスト結果も示します。

何が好きでしたか：

• Akamai の担当者はすべての質問に非常に親切で、テストのすべての段階で私たちに同行してくれました。 私たちは常に自分たちの側で何かを改善しようと努めていました。 彼らは良い技術的なアドバイスをくれました。
• Akamai は、Ali Cloud CDN 経由のソリューションよりも約 10 ～ 15% 遅いです。 印象的なのは、Origin for Akamai で GLB の IP アドレスを指定したことです。これは、トラフィックが当社のソリューションを通過しなかったことを意味します (インフラストラクチャの一部を放棄できる可能性があります)。 しかし、それでも、テスト結果は、このソリューションが現在のバージョンよりも劣っていることを示しました (以下の比較結果)。
• 中国で Origin GLB と Origin の両方をテストしました。 どちらのオプションもほぼ同じです。
• あり 確実なルート (自動ルーティング最適化)。 Origin でテスト オブジェクトをホストすると、Akamai の Edge サーバーがそれを取得しようとします (通常の GET)。 これらのリクエストに対して、速度やその他の指標が測定され、これに基づいて Akamai ネットワークがルートを最適化し、サイトのトラフィックが高速化されます。この機能を有効にすると、サイトの速度に大きな影響を与えることは明らかでした。
• Web インターフェイスでの構成のバージョン管理は優れています。 バージョンを比較したり、差分を確認したりできます。 以前のバージョンを表示します。
• 最初に新しいバージョンをロールアウトできるのは、本番環境と同じネットワークである Akamai ステージング ネットワーク上のみです。この方法のみが実際のユーザーに影響を与えません。 このテストでは、ローカル マシン上で DNS レコードを偽装する必要があります。
• ネットワーク経由での大きな静的ファイル、および明らかにその他のファイルのダウンロード速度が非常に高速です。 「コールド」キャッシュからのファイルは、Ali CDN の「コールド」キャッシュからの同じファイルよりも何倍も高速に取得されます。 「ホット」キャッシュからの速度は、プラスまたはマイナスですでに同じです。

アリ CDN テスト:

root@shenzhen1:~# curl -o /dev/null -w@curl_time https://en.semrushchina.cn/my_reports/build/scripts/simpleInit.js?v=1551879212
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 5757k    0 5757k    0     0   513k      0 --:--:--  0:00:11 --:--:--  526k
time_namelookup:  0.004286
time_connect:  0.030107
time_appconnect:  0.117525
time_pretransfer:  0.117606
time_redirect:  0.000000
time_starttransfer:  0.840348
----------
time_total:  11.208119
----------
size_download:  5895467 Bytes
speed_download:  525999.000B/s

アカマイのテスト:

root@shenzhen1:~# curl -o /dev/null -w@curl_time https://www.semrushchina.cn/my_reports/build/scripts/simpleInit.js?v=1551879212
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 5757k    0 5757k    0     0  1824k      0 --:--:--  0:00:03 --:--:-- 1825k
time_namelookup:  0.509005
time_connect:  0.528261
time_appconnect:  0.577235
time_pretransfer:  0.577324
time_redirect:  0.000000
time_starttransfer:  1.327013
----------
time_total:  3.154850
----------
size_download:  5895467 Bytes
speed_download:  1868699.000B/s

上記の例の状況はさまざまな要因に依存していることがわかりました。 この点を書いている時点で、再度テストを実行しました。 両方のプラットフォームの結果はほぼ同じでした。 これは、中国のインターネットは、大手通信事業者やクラウドプロバイダーであっても、時々異なる動作をすることを示しています。

前の点に、Akamai にとって大きなプラスを付け加えておきます。Ali が高いパフォーマンスと非常に低いパフォーマンスの同様のフラッシュを示した場合 (これは、Ali CDN、Ali CEN、および Ali IPSEC に当てはまります)、Akamai は、いつでも、関係なく、彼らのネットワークをテストしたところ、すべてが安定して動作しました。
Akamai は中国で多くのサービスをカバーしており、多くのプロバイダーと連携しています。

気に入らなかったもの：

• 私は Web インターフェイスとその動作方法が気に入らないのです。とても貧弱です。 でも基本的には慣れます（たぶん）。
• テスト結果は当サイトよりも悪いです。
• テスト中には、当社のサイトよりも多くのエラーが発生します (稼働時間は下記を参照)。
• 中国には独自の DNS サーバーはありません。 したがって、DNS 解決タイムアウトによるテストで多くのエラーが発生します。
• IP 範囲が提供されていない -> 正しい IP 範囲を登録する方法がない set_real_ip_from 当社のサーバー上で。

メトリック (~3626 回の実行、稼働時間を除くすべてのメトリック (ミリ秒単位)、XNUMX つの期間の統計):

CDNプロバイダー
中央値
視聴者の３８%が
視聴者の３８%が
レスポンス
ウェブページの応答
稼働時間
DNS
お問合せ
待つ
負荷
SSL

アリCDN
9195
10749
17489
1,715
10,745
99.531
57
17
927
479
200

アカマイ
9783
11887
19888
2,352
11,550
98.980
424
91
1408
381
50

パーセンタイルによる分布 (ミリ秒単位):

百分位数
アカマイ
アリCDN

10
7,092
6,942

20
7,775
7,583

30
8,446
8,092

40
9,146
8,596

50
9,783
9,195

60
10,497
9,770

70
11,371
10,383

80
12,670
11,255

90
15,882
13,165

100
91,592
91,596

結論は次のとおりです。Akamai のオプションは実行可能ですが、Ali CDN と組み合わせた独自のソリューションと同じ安定性と速度は提供されません。

小さなメモ

ストーリーに載っていない瞬間もありましたが、それについても書いていきたいと思います。

北京+東京および香港

上で述べたように、香港 (HK) への IPSEC トンネルをテストしました。 ただし、CEN から HK までのテストも行いました。 費用も少し安くなりますし、距離が 100 km 程度の都市間でどのように機能するのか疑問に思っていました。 興味深いことに、これらの都市間の遅延は、元のバージョン (台湾まで) よりも 100 ミリ秒長いことがわかりました。 スピード、安定性も台湾の方が優れていました。 その結果、香港をバックアップ IPSEC 地域として残しました。

さらに、次のインストールを試みました。

• 北京の顧客の契約解除、
• IPSEC と CEN を東京へ、
• Ali CDN では、北京のサーバーが発信元として示されていました。

このスキームはそれほど安定していませんでしたが、速度の点では一般に私たちのソリューションに劣りませんでした。 トンネルに関しては、安定しているはずのCENでも断続的な低下が見られました。 したがって、私たちは古いスキームに戻り、このステージングを解体しました。

以下は、さまざまなチャネルのさまざまなリージョン間のレイテンシーに関する統計です。 もしかしたら誰かが興味を持ってくれるかもしれません。

IPsec
アリ cn-北京 <—> GCP アジア北東 1 — 193ms
Ali cn-深セン <—> GCP asia-east2 — 91ms
Ali cn-深セン <—> GCP us-east4 — 200ms

CEN
アリ cn-beijing <—> アリ ap-northeast-1 — 54ms (!)
アリ cn-深セン <—> アリ cn-香港 — 6ms (!)
アリ cn-深セン <—> アリ us-east1 — 216ms

中国のインターネットに関する一般情報

記事の最初の部分で説明したインターネットの問題への追加として。

• 中国のインターネットは国内ではかなり速いです。
  • この結論は、多数の人が使用するさまざまな場所での公衆 Wi-Fi ネットワークのテストに基づいて作成されました。
  • 中国国内のサーバーへのダウンロード速度とアップロード速度は、それぞれ約 20 Mbit/s と 5 ～ 10 Mbit/s でした。
  • 中国国外のサーバーへの速度は非常に遅く、1 Mbit/s 未満です。
• 中国のインターネットはあまり安定していません。
  • 構成が変更されない限り、サイトはすぐに開く場合もあれば、ゆっくり開く場合もあります (別の日の同じ時間に)。 これは semrushchina.cn の例で確認しました。 これは、時間帯や星の位置などに応じて、このように動作したり、あのように動作したりする Ali CDN によるものと考えられます。
• モバイル インターネットは、ほとんどどこでも 4G または 4G+ です。 地下鉄でもエレベーターでも、つまりどこにでもあります。
• 中国のユーザーが .cn ゾーンのドメインのみを信頼するというのは迷信です。 私たちはこれをユーザーから直接学びました。
  • その方法がわかります http://baidu.cn www.baidu.com にリダイレクトします (中国本土でも)。
• 実際、多くのリソースがブロックされています。 原始的: google.com、Facebook、Twitter。 ただし、多くの Google リソースは機能します (もちろん、すべての Wi-Fi で機能するわけではありませんし、VPN は使用されません (ルーター側でももちろんです)。
• ブロックされている企業の多くの「技術」ドメインも機能しています。 これは、Google やその他のブロックされているように見えるリソースを常に無謀に遮断すべきではないことを意味します。 禁止されているドメインのリストを探す必要があります。
• 主要なインターネット通信事業者は、チャイナユニコム、チャイナテレコム、チャイナモバイルの XNUMX 社だけです。 さらに小規模なものもありますが、市場シェアは微々たるものです

ボーナス: 最終的なソリューションの図

合計

プロジェクト開始から5.5年が経過しました。 まずは、私たちのサイトが中国からの通常の動作を拒否し、単に GET Curl を実行するのに XNUMX 秒かかったという事実から始めました。

次に、最初のソリューション (Cloudflare) でこれらのインジケーターを使用します。

ソリューション
稼働時間
中央値
75パーセンタイル
95パーセンタイル

CloudFlare
86.6
18s
30s
60s

最終的に次のような結果に達しました (先月の統計)。

ソリューション
稼働時間
中央値
75パーセンタイル
95パーセンタイル

アリ CDN + CEN/IPsec + GLB
99.86
8.8s
9.5s
13.7s

ご覧のとおり、まだ 100% の稼働率を達成することはできていませんが、何かを考え出し、その結果については新しい記事でお知らせします :)

三部作を最後まで読んでくださった方に敬意を表します。 私がやったときと同じように、このすべてが興味深いと感じていただければ幸いです。

PS 前編

Часть1
Часть2

出所： habr.com