Cloudflareは第XNUMX世代エッジサーバーにAMDのプロセッサを選択

毎日、11 億以上の一意の IP アドレスが Cloudflare ネットワークを通過します。 100 秒あたり 95 万を超える HTTP リクエストを処理します。 彼女はインターネット人口の 200% から 90 ミリ秒以内にいます。 当社のネットワークは XNUMX か国以上の XNUMX 都市にまたがっており、当社のエンジニア チームは非常に高速で信頼性の高いインフラストラクチャを構築しています。

私たちは自分たちの仕事に大きな誇りを持っており、インターネットをより良く、より安全な場所にすることに全力で取り組んでいます。 Cloudflareのハードウェアエンジニアは、サーバーとそのコンポーネントを深く理解しており、パフォーマンスを最大化するために最適なハードウェアを理解して選択します。

当社のソフトウェアスタックは高負荷のコンピューティングを処理し、CPU への依存度が高いため、当社のエンジニアはスタックのあらゆるレベルで Cloudflare の効率と信頼性を継続的に最適化する必要があります。 サーバー側で処理能力を向上させる最も簡単な方法は、CPU コアを追加することです。 サーバーに搭載できるコアが増えるほど、より多くのデータを処理できます。 当社の製品とクライアントの種類は時間の経過とともに増加しており、リクエストの増加によりサーバーのパフォーマンスの向上が必要になるため、これは当社にとって重要です。 パフォーマンスを向上させるには、コアの密度を高める必要がありました。そして、これがまさに私たちが達成したことです。 以下に、コア数を含む、2015 年以降に導入したサーバーのプロセッサに関する詳細なデータを示します。

-
Gen 6
Gen 7
Gen 8
Gen 9

はじめに
2015
2016
2017
2018

CPU
インテルXeon E5-2630 v3
インテルXeon E5-2630 v4
Intel Xeon Silver 4116
インテル Xeon プラチナ 6162

物理コア
2 x 8
2 x 10
2 x 12
2 x 24

TDP
2 X 85W
2 X 85W
2 X 85W
2 X 150W

コアあたりの TDP
10.65W
8.50W
7.08W
6.25W

2018 年、第 9 世代ではサーバーあたりの合計コア数が大幅に増加しました。 第 33 世代と比較して環境への影響が 8% 削減され、ラックあたりの容量とコンピューティング能力を向上させる機会が得られました。 放熱に関する設計要件 (熱設計電力、TDP) は、時間の経過とともにエネルギー効率も向上していることを強調するために言及されています。 この指標は私たちにとって重要です。まず、大気中への炭素排出量を減らしたいと考えています。 次に、データセンターからのエネルギーを最大限に活用したいと考えています。 しかし、私たちは努力する必要があることを知っています。

私たちの主な定義指標は、ワットあたりのリクエスト数です。 コアを追加することで XNUMX 秒あたりのリクエスト数を増やすことができますが、電力バジェットの範囲内に抑える必要があります。 データセンターの電力インフラストラクチャによって制限されており、選択した配電モジュールと合わせて、各サーバー ラックに一定の上限が与えられます。 ラックにサーバーを追加すると、消費電力が増加します。 ラックあたりのエネルギー制限を超え、新しいラックを追加する必要がある場合、運用コストが大幅に増加します。 同じ消費電力範囲内に保ちながら処理能力を高める必要があり、これにより重要な指標であるワットあたりのリクエストが増加します。

ご想像のとおり、設計段階でエネルギー消費量を注意深く検討しました。 上の表は、コアあたりの TDP が現行世代よりも高い場合、エネルギーを大量に消費する CPU の導入に時間を無駄にすべきではないことを示しています。これは、ワットあたりのリクエストという指標に悪影響を及ぼします。 私たちは、市場にある第 X 世代向けのすぐに実行できるシステムを慎重に検討し、決定を下しました。 当社は、48 コア Intel Xeon Platinum 6162 デュアルソケット設計から 48 コア AMD EPYC 7642 シングルソケット設計に移行しています。

-
インテル
AMD

CPU
Xeon Platinum 6162
EPYC 7642

マイクロアーキテクチャ
「スカイレイク」
「Zen2」

コードネーム
「スカイレイクSP」
「ローマ」

技術的プロセス
14nm
7nm

コア
2 x 24
48

周波数
1.9 GHz
2.4 GHz

L3キャッシュ/ソケット
24×1.375MiB
16×16MiB

メモリ/ソケット
6 チャンネル、最大 DDR4-2400
8 チャンネル、最大 DDR4-3200

TDP
2 X 150W
225W

PCIe/ソケット
48レーン
128レーン

ISA
x86-64
x86-64

仕様から、AMD のチップを使用すると、TDP を下げながら同じ数のコアを維持できることは明らかです。 第9世代のコアあたりのTDPは6,25Wでしたが、第X世代では4,69Wになります。 25%削減されました。 周波数が向上し、おそらく XNUMX つのソケットを備えたよりシンプルな設計のおかげで、AMD チップは実際のパフォーマンスが向上すると考えられます。 現在、AMD のパフォーマンスがどの程度向上するかを確認するために、さまざまなテストとシミュレーションを実行しています。

ここでは、TDP がメーカーの仕様から簡略化された指標であり、サーバー設計と CPU 選択の初期段階で使用したものであることに注意してください。 Google で簡単に検索すると、AMD と Intel が TDP を定義するアプローチが異なるため、仕様の信頼性が低いことがわかります。 実際の CPU 消費電力、そしてさらに重要なのはサーバーの消費電力が、最終的な決定を下す際に実際に使用されるものです。

エコシステムの準備状況

次のプロセッサを選択する旅を始めるために、私たちのソフトウェア スタックとサービス (C、LuaJIT、Go で書かれたもの) に適した、さまざまなメーカーの幅広い CPU を検討しました。 速度を測定するための一連のツールについてはすでに詳しく説明しました。 私たちのブログ記事の一つで。 この場合、同じセットを使用しました。これにより、妥当な時間内で CPU の効率を評価することができ、その後、エンジニアはプログラムを特定のプロセッサに適応させることができます。

私たちは、さまざまなコア数、ソケット数、周波数のさまざまなプロセッサをテストしました。 この記事は AMD EPYC 7642 に落ち着いた理由に関するものであるため、このブログのすべてのグラフは、AMD プロセッサーが Intel Xeon Platinum 6162 と比較してどのようにパフォーマンスを発揮するかに焦点を当てています。 私たちの9代目.

結果は、各プロセッサ バリアントを備えた 24 台のサーバーの測定値に対応しています。つまり、Intel の 48 コア プロセッサを 3,03 つ、または AMD の 2,5 コア プロセッサを 21 つ搭載しています (Intel のサーバーには XNUMX つのソケットがあり、AMD EPYC のサーバーには XNUMX つのソケットがあります)。 。 BIOS では、実行中のサーバーに対応するパラメータを設定します。 これは、AMD の場合は XNUMX GHz、Intel の場合は XNUMX GHz です。 大幅に単純化すると、同じコア数であれば、AMD は Intel よりも XNUMX% 優れたパフォーマンスを発揮すると予想されます。

暗号化

AMDにとっては期待できそうです。 公開キー暗号化ではパフォーマンスが 18% 向上します。 対称キーを使用すると、AES-128-GCM 暗号化オプションには劣りますが、全体的には同等のパフォーマンスを発揮します。

圧縮

エッジサーバーでは、帯域幅を節約し、コンテンツ配信の速度を上げるために大量のデータを圧縮します。 C ライブラリ zlib および brotli を介してデータを渡します。 すべてのテストは、メモリ内の blog.cloudflare.com HTML ファイルに対して実行されました。

gzip を使用した場合、AMD は平均 29% で勝利しました。 Brotli の場合、動的圧縮に使用する品質 7 のテストではさらに良い結果が得られました。 Brotli-9 テストでは急激な低下が見られます。これは、Brotli が大量のメモリを消費し、キャッシュがオーバーフローしているという事実によって説明されます。 しかし、AMDは大差で勝利しました。

私たちのサービスの多くは Go で書かれています。 次のグラフでは、文字列ライブラリを使用して 32 KB 行の RegExp で Go の暗号化と圧縮の速度を再確認します。

Go 暗号化

圧縮に進む

正規表現に行く

ゴーストリングス

AMD は、ECDSA P256 Sign を除き、Go を使用したすべてのテストで優れたパフォーマンスを示しました。ECDSA P38 Sign では 24% 遅れていましたが、C では XNUMX% 優れたパフォーマンスを示していたことを考えると、これは奇妙です。 そこで何が起こっているのかを理解する価値はある。 全体として、AMD はあまり勝利を収めていませんが、それでも最高の結果を示しています。

ルアジット

私たちはスタック上で LuaJIT をよく使用します。 これは、Cloudflare のすべての部分を結合する接着剤です。 そして、ここでもAMDが勝利したことを嬉しく思います。

全体として、テストでは、EPYC 7642 のパフォーマンスが 6162 台の Xeon Platinum 128 よりも優れていることが示されています。AMD は、いくつかのテスト (AES-256-GCM や Go OpenSSL ECDSA-P25 Sign など) では負けましたが、他のすべてのテストでは平均で勝利しました。 XNUMX％。

ワークロードシミュレーション

簡単なテストの後、合成負荷がソフトウェア エッジ スタックに適用される別の一連のシミュレーションを通じてサーバーを実行しました。 ここでは、実際の作業で発生する可能性のあるさまざまな種類のリクエストを含むシナリオのワークロードをシミュレートします。 リクエストは、データ量、HTTP または HTTPS プロトコル、WAF ソース、ワーカー、その他多くの変数によって異なります。 以下は、最も頻繁に発生するリクエストの種類に対する XNUMX つの CPU のスループットの比較です。

グラフの結果は、第 9 世代 Intel ベースのマシンのベースラインに対して測定され、X 軸の値 1,0 に正規化されています。 たとえば、HTTPS 経由の単純な 10 KiB リクエストを考慮すると、1,5 秒あたりのリクエスト数の点で AMD が Intel よりも 34​​ 倍優れていることがわかります。 これらのテストでは、平均して AMD が Intel よりも 7642% 優れたパフォーマンスを示しました。 225 つの AMD EPYC 300 の TDP が 2 W、XNUMX つの Intel プロセッサの TDP が XNUMX W であることを考慮すると、「ワットあたりのリクエスト」という点では、AMD が Intel よりも XNUMX 倍優れた結果を示していることがわかります。

この時点で、私たちはすでに、将来の第 X 世代 CPU として AMD EPYC 7642 のシングル ソケット オプションに明らかに傾いていました。私たちは、AMD EPYC サーバーが実際の動作でどのように動作するかに非常に興味があり、すぐにいくつかのソケット オプションを送信しました。サーバーをデータセンターから一部に送信します。

実際の仕事

当然のことながら、最初のステップは、実際の状況で動作するようにサーバーを準備することでした。 当社のフリート内のすべてのマシンは同じプロセスとサービスで動作するため、パフォーマンスを正確に比較する絶好の機会となります。 ほとんどのデータセンターと同様に、当社では数世代のサーバーを導入しており、各クラスにほぼ同じ世代のサーバーが含まれるようにサーバーをクラスターに集めています。 場合によっては、これにより、クラスター間でリサイクル曲線が異なる場合があります。 しかし、私たちには違います。 当社のエンジニアは、特定のマシンの CPU が 8 コアであるか 24 コアであるかに関係なく、CPU 使用率が他のマシンとほぼ同じになるように、すべての世代の CPU 使用率を最適化しました。

グラフは、使用率の類似性に関するコメントを示しています - 第 X 世代サーバーでの AMD CPU の使用と第 9 世代サーバーでのインテル プロセッサーの使用の間に大きな違いはありません。これは、テスト サーバーとベースライン サーバーの負荷が同等であることを意味します。 。 素晴らしい。 これはまさに私たちがサーバーで目指していることであり、公正な比較のためにこれが必要です。 以下の XNUMX つのグラフは、サーバー レベルで XNUMX つの CPU コアとすべてのコアによって処理されたリクエストの数を示しています。

コアごとのリクエスト

サーバーへのリクエスト

AMD は平均して 23% 多いリクエストを処理していることがわかります。 悪くない、全く！ 私たちは、第 9 世代のパフォーマンスを向上させる方法についてブログで頻繁に書いてきました。そして、コアの数は同じですが、AMD はより少ない電力でより多くの作業を実行します。 コア数と TDP の仕様から、AMD がより優れたエネルギー効率でより高速な速度を提供していることはすぐに明らかです。

ただし、すでに述べたように、TDP は標準仕様ではなく、すべてのメーカーで同じではないため、実際のエネルギー使用量を見てみましょう。 サーバーのエネルギー消費量を XNUMX 秒あたりのリクエスト数と並行して測定することにより、次のグラフが得られました。

消費ワット当たりの 28 秒あたりのリクエストに基づくと、AMD プロセッサで実行される第 X 世代サーバーの効率は 25% 向上します。 AMD の TDP が 9% 低いことを考えると、さらに期待できるかもしれませんが、TDP は曖昧な特性であることを覚えておく必要があります。 AMD の実際の消費電力は、ベースよりもはるかに高い周波数では、記載されている TDP とほぼ同じであることがわかりました。 インテルにはそれがありません。 これが、TDP がエネルギー消費量の信頼できる推定値ではないもう 1 つの理由です。 第 XNUMX 世代サーバーの Intel の CPU はマルチノード システムに統合されていますが、AMD の CPU は標準の XNUMXU フォーム ファクター サーバーで動作します。 これは AMD にとって有利ではありません。マルチノード サーバーはノードあたりの消費電力を減らして高密度を実現する必要があるためですが、それでも AMD はノードあたりの消費電力の点で Intel を追い越しました。

スペック、テスト シミュレーション、および実際のパフォーマンスのほとんどの比較では、1P AMD EPYC 7642 構成のパフォーマンスが 2P Intel Xeon 6162 よりも大幅に優れていました。状況によっては、AMD のパフォーマンスが最大 36% 向上する可能性があり、最適化によってパフォーマンスが向上すると考えられます。ハードウェアとソフトウェアを活用することで、この改善を継続的に達成できます。

AMDが勝ったことが判明した。

追加のグラフは、99 時間にわたる NGINX の実行時の平均レイテンシと p24 レイテンシを示しています。 AMD 上のプロセスは平均して 25% 高速に実行されました。 p99 では、時間帯に応じて 20 ～ 50% 高速に実行されます。

まとめ

Cloudflareのハードウェアおよびパフォーマンスエンジニアは、お客様にとって最適なサーバー構成を決定するために、大量のテストと研究を行っています。 私たちはこのような大きな問題を解決することができ、サーバーレス エッジ コンピューティングなどのサービスや、Magic Transit、Argo Tunnel、DDoS 保護などの一連のセキュリティ ソリューションでお客様の問題の解決をお手伝いできるため、ここで働くことが大好きです。 Cloudflareネットワーク内のすべてのサーバーは確実に動作するように構成されており、私たちは常に次世代のサーバーを前世代よりも優れたものにするよう努めています。 X 世代プロセッサに関しては、AMD EPYC 7642 がその答えであると私たちは信じています。

開発者はCloudflare Workersを使用して、世界中に拡大するネットワーク上にアプリケーションをデプロイします。 私たちはクラウドのセキュリティと信頼性に重​​点を置きながら、お客様にはコードの作成に集中していただけることを誇りに思っています。 そして本日、彼らの成果が第 XNUMX 世代 AMD EPYC プロセッサを実行する X 世代サーバーに展開されることを発表できることをさらに嬉しく思います。

EPYC 7642 プロセッサ、コードネーム「Rome」 [ローマ]

AMD の EPYC 7642 を使用することで、パフォーマンスが向上し、新しい都市へのネットワークの拡張が容易になりました。 ローマは一日にして成らず、すぐに多くの人に近づくことになるでしょう。

ここ数年、私たちは ARM のプロセッサだけでなく、Intel や AMD の多くの x86 チップを実験してきました。 私たちは、これらの CPU メーカーが今後も私たちと協力し続け、私たち全員がより良いインターネットを一緒に構築できることを期待しています。

出所： habr.com