ラック間でのサーバーの分散の最適化

チャットの XNUMX つで、次のような質問がありました。

— サーバーをラックに適切に梱包する方法について何か読むことができるものはありますか?

私はそのような文章を知らなかったので、自分で書きました。

まず、このテキストは物理データセンター (DC) の物理サーバーについて説明します。 次に、サーバーの数は数十万台と非常に多いと考えられますが、これより少ない数の場合、このテキストは意味がありません。 XNUMX 番目に、ラック内の物理スペース、ラックごとの電源供給、および XNUMX つの ToR スイッチを使用して隣接するラック内のサーバーを接続できるようにラックを並べて配置するという XNUMX つの制約があると考えます。

質問に対する答えは、どのパラメータを最適化するのか、また最良の結果を得るために何を変更できるのかによって大きく異なります。 たとえば、さらなる成長のためにさらに多くのスペースを残すために、最小限のスペースを取るだけで十分です。 あるいは、ラックの高さ、ラックごとの電力、PDU のソケット、スイッチのグループ内のラックの数 (1、2、または 3 つのラックに 10 つのスイッチ)、ワイヤの長さ、および引っ張り作業を自由に選択できるかもしれません (これは列の端で重要です。3 列に XNUMX 個のラックがあり、スイッチごとに XNUMX つのラックがある場合、ワイヤを別の列に引き込むか、スイッチのポートを十分に使用しない必要があります。などなど。 別の話: サーバーの選択と DC の選択。これらは選択されているものとします。

特にサーバーの平均/最大消費量と電力の供給方法など、ニュアンスと詳細を理解しておくとよいでしょう。 したがって、230V のロシアの電源がラックごとに 32 相ある場合、7A のマシンは最大 6kW を処理できます。 名目上、ラックあたり 10kW の料金を支払っているとします。 プロバイダーがラックごとではなく 7 ラックの列のみの消費量を測定し、マシンが条件付き 6.9 kW カットオフに設定されている場合、技術的には 5.1 つのラックで XNUMX kW、別のラックで XNUMX kW を消費できます。すべては大丈夫です - 罰せられることはありません。

通常、私たちの主な目標はコストを最小限に抑えることです。 測定するための最良の基準は、TCO (総所有コスト) の削減です。 これは次の部分で構成されます。

• 設備投資: DC インフラストラクチャ、サーバー、ネットワーク ハードウェア、ケーブル配線の購入
• OPEX: DC レンタル、電力消費、メンテナンス。 OPEX は耐用年数によって異なります。 3年と考えるのが妥当です。

全体の中で個々の部分がどれだけ大きいかに応じて、最もコストのかかる部分を最適化し、残りの部分で残りのすべてのリソースを可能な限り効率的に使用できるようにする必要があります。

既存の DC があり、ラックの高さが H ユニット (たとえば、H=47)、ラックあたりの電力 Prack (Prack=6kW) があり、h=2U の 2 ユニット サーバーを使用することにしたとします。 スイッチ、パッチパネル、オーガナイザー用に 4..2 台のユニットをラックから取り外します。 それらの。 物理的には、ラック内に Sh=rounddown((H-4..47)/h) サーバーがあります (つまり、Sh =rounddown((4-2)/21)= ラックあたり XNUMX サーバー)。 このShを思い出しましょう。

単純なケースでは、ラック内のすべてのサーバーは同一です。 合計すると、ラックをサーバーでいっぱいにすると、各サーバーで平均電力 Pserv=Prack/Sh (Pserv = 6000W/21 = 287W) を費やすことができます。 簡単にするために、ここではスイッチの消費を無視します。

一歩脇に置いて、サーバーの最大消費量 Pmax がいくらであるかを判断してみましょう。 それが非常に単純で、非常に非効率で、完全に安全である場合は、サーバーの電源に書かれている内容を読みます。これがすべてです。

より複雑で効率的な場合は、すべてのコンポーネントの TDP (熱設計パッケージ) を取得して合計します (これはあまり真実ではありませんが、可能です)。

通常、コンポーネントの TDP (CPU を除く) はわかりません。そのため、最も正確であると同時に最も複雑なアプローチ (実験室が必要です) を採用します。つまり、必要な構成の実験用サーバーを取得し、それをロードします。たとえば、Linpack (CPU とメモリ) と fio (ディスク) を使用して消費量を測定します。 これを真剣に考えると、テスト中に寒い廊下に最も暖かい環境を作り出す必要もあります。これはファンの消費量と CPU の消費量の両方に影響するためです。 この特定の負荷の下で、特定の条件下で特定の構成を備えた特定のサーバーの最大消費量が得られます。 新しいシステム ファームウェア、異なるソフトウェア バージョン、その他の条件が結果に影響を与える可能性があることを意味しているだけです。

さて、Pserv に戻り、それを Pmax とどのように比較するか。 サービスがどのように機能するのか、そしてテクニカル ディレクターの神経がどれほど強いのかを理解することが重要です。

まったくリスクを負わなければ、すべてのサーバーが同時に最大値を消費し始める可能性があると考えられます。 同時に、DC への XNUMX つの入力が発生する可能性があります。 このような条件下でも、インフラはサービスを提供する必要があるため、Pserv ≡ Pmax となります。 これは信頼性が極めて重要なアプローチです。

技術ディレクターが理想的なセキュリティだけでなく、会社のお金についても考えており、十分な勇気がある場合は、次のように決定できます。

• 私たちはベンダーの管理を開始しており、特に、XNUMX つの入力の低下を最小限に抑えるために、計画されたピーク負荷時の定期メンテナンスを禁止しています。
• および/または当社のアーキテクチャにより、ラック/列/DC を失うことができますが、サービスは引き続き動作します。
• および/または負荷をラック全体に水平方向に適切に分散するため、サービスが XNUMX つのラックで同時に最大消費量に達することはありません。

ここでは、推測するだけでなく、消費量を監視し、通常およびピーク時のサーバーが実際にどのように電力を消費するかを知ることが非常に役立ちます。 したがって、分析を行った後、技術責任者は持てるすべてを絞り出し、次のように言いました。「ラックごとの最大サーバー消費量の達成可能な最大平均値は、最大消費量を**大幅に**下回っているという自発的な決定を下します。」と条件付きで Pserv = 0.8* Pmax.

そして、6kW ラックには Pmax = 16W のサーバーを 375 台収容できなくなりますが、Pserv = 20W * 375 = 0.8W のサーバーを 300 台収容できるようになります。 それらの。 サーバーが 25% 増加。 これは非常に大きな節約です。結局のところ、すぐに必要なラックが 25% 減ります (PDU、スイッチ、ケーブルも節約できます)。 このような解決策の重大な欠点は、自分たちの仮定がまだ正しいかどうかを常に監視しなければならないことです。 新しいファームウェアのバージョンはファンの動作と消費量を大幅に変更しないこと、新しいリリースの開発で突然サーバーの効率が大幅に向上し始めたわけではないこと (つまり、サーバーの負荷と消費量が増加しました)。 結局のところ、最初の仮定と結論は両方ともすぐに間違ってしまいます。 これは、責任を持って引き受ける必要があるリスクです (または、回避して、明らかに使用率が低いラックの代金を支払う必要があります)。

重要な注意事項 - 可能であれば、さまざまなサービスのサーバーをラック全体に水平に分散するようにしてください。 これは、XNUMX つのサービスに対して XNUMX つのバッチのサーバーが到着し、「密度」を高めるためにラックにサーバーが垂直に詰め込まれるという状況が発生しないようにするために必要です (そのほうが簡単だからです)。 実際には、一方のラックには同じサービスの同一の低負荷サーバーが配置され、もう一方のラックには同様に高負荷のサーバーが配置されていることがわかります。 二度目の転倒の可能性はかなり高くなります。 負荷プロファイルは同じであり、そのラック内のすべてのサーバーは、負荷の増加の結果として同じ量を消費し始めます。

ラック内のサーバーの分散に戻りましょう。 ここまでは物理的なラックのスペースと電力の制限について見てきましたが、次にネットワークについて見てみましょう。 24/32/48 N ポートを備えたスイッチを使用できます (たとえば、48 ポートの ToR スイッチがあります)。 幸いなことに、ブレークアウト ケーブルについて考えなければ、選択肢はそれほど多くありません。 Rnet グループのラックごとに XNUMX つのスイッチ、XNUMX つまたは XNUMX つのラックに XNUMX つのスイッチがあるシナリオを検討しています。 XNUMX つのグループに XNUMX ラック以上あると多すぎるように思えます。なぜなら... ラック間のケーブル配線の問題はさらに大きくなります。

したがって、各ネットワーク シナリオ (グループ内の 1、2、または 3 ラック) に対して、サーバーをラック間で分散します。

Srack = min(Sh, 切り捨て(Prack/Pserv), 切り捨て(N/Rnet))

したがって、グループ内に 2 つのラックがあるオプションの場合は次のようになります。

Srack2 = min(21, 切り捨て(6000/300), 切り捨て(48/2)) = min(21, 20, 24) = ラックあたり 20 台のサーバー。

残りのオプションも同様に検討します。

スラック1 = 20
スラック3 = 16

そしてもうすぐそこです。 すべてのサーバー S を分散するためのラックの数を数えます (1000 としましょう)。

R = ラウンドアップ(S / (Srack * Rnet)) * Rnet

R1 = 切り上げ(1000 / (20 * 1)) * 1 = 50 * 1 = 50 ラック

R2 = 切り上げ(1000 / (20 * 2)) * 2 = 25 * 2 = 50 ラック

R3 = 切り上げ(1000 / (16 * 3)) * 3 = 25 * 2 = 63 ラック

次に、ラックの数、必要なスイッチの数、ケーブル配線などに基づいて、各オプションの TCO を計算します。 TCO が低いオプションを選択します。 利益！

オプション 1 と 2 で必要なラック数は同じですが、価格が異なることに注意してください。 XNUMX 番目のオプションのスイッチの数は半分であり、必要なケーブルの長さは長くなります。

PS ラックあたりの電力とラックの高さを調整する機会があれば、変動性が高まります。 ただし、オプションを実行するだけで、プロセスを上記のプロセスに減らすことができます。 はい、さらに多くの組み合わせがありますが、その数は依然として非常に限られています。計算用のラックへの電源供給は 1 kW 単位で増加できます。一般的なラックには、限られた数の標準サイズがあります: 42U、45U、47U、48U 、52U。 ここで、データ テーブル モードでの Excel の What-If 分析が計算に役立ちます。 受け取ったプレートを見て、最小のものを選択します。

出所： habr.com