VMware vSphere での VM パフォーマンスの分析。 パート 3: ストレージ

パート 1. CPU について
パート 2. メモリについて

今日は、vSphere のディスク サブシステムのメトリックを分析します。 仮想マシンが遅くなる最も一般的な理由は、ストレージの問題です。 CPU と RAM の場合、トラブルシューティングがハイパーバイザー レベルで終了した場合、ディスクに問題がある場合は、データ ネットワークとストレージ システムに対処する必要がある可能性があります。

ファイル アクセスの場合のカウンタはほぼ同じですが、ストレージ システムへのブロック アクセスの例を使用してこのトピックについて説明します。

いくつかの説

仮想マシンのディスク サブシステムのパフォーマンスについて話すとき、人々は通常、相互に関連する XNUMX つのパラメータに注目します。

• 入出力操作の数 (XNUMX 秒あたりの入出力操作、IOPS)。
• スループット;
• 入出力操作の遅延 (レイテンシー)。

IOPSの数 通常、ランダムなワークロードにとって重要です。異なる場所にあるディスク ブロックへのアクセスです。 このような負荷の例としては、データベース、ビジネス アプリケーション (ERP、CRM) などが挙げられます。

スループット シーケンシャルロードにとって重要: 次々に配置されたブロックにアクセスします。 たとえば、ファイル サーバー (常にではありません) やビデオ監視システムでは、このような負荷が発生する可能性があります。

スループットは、次のように I/O 操作の数に関係します。

スループット = IOPS * ブロック サイズ, ここで、Block size はブロック サイズです。

ブロック サイズはかなり重要な特性です。 ESXi の最新バージョンでは、最大 32 KB のサイズのブロックが許可されます。 ブロックがさらに大きい場合は、いくつかに分割されます。 すべてのストレージ システムがこのような大きなブロックを効率的に処理できるわけではないため、ESXi の詳細設定には DiskMaxIOSize パラメータがあります。 これを使用すると、ハイパーバイザーによってスキップされる最大ブロック サイズを減らすことができます (詳細は、 ここで）。 このパラメータを変更する前に、ストレージ システムの製造元に相談するか、少なくとも実験台で変更をテストすることをお勧めします。 

ブロック サイズが大きいと、ストレージのパフォーマンスに悪影響を及ぼす可能性があります。 IOPS とスループットの数が比較的小さい場合でも、ブロック サイズが大きいと長いレイテンシーが観察されることがあります。 したがって、このパラメータに注意してください。

レイテンシ – 最も興味深いパフォーマンスパラメータ。 仮想マシンの I/O 遅延は次のもので構成されます。

• ハイパーバイザー内の遅延 (KAVG、平均カーネル ミリ秒/読み取り)。
• データ ネットワークとストレージ システムによって提供される遅延 (DAVG、Average Driver MilliSec/Command)。

ゲスト OS で表示される合計遅延 (GAVG、平均ゲスト ミリ秒/コマンド) は、KAVG と DAVG の合計です。

GAVG と DAVG が測定され、KAVG が計算されます: GAVG – DAVG。

ソース

詳しく見てみましょう KAVG。 通常の動作中、KAVG はゼロになるか、少なくとも DAVG よりも大幅に小さくなる傾向があります。 KAVG が高くなることが予想される唯一のケースは、VM ディスクの IOPS 制限です。 この場合、制限を超えようとすると KAVG が増加します。

KAVG の最も重要なコンポーネントは QAVG、つまりハイパーバイザー内の処理キュー時間です。 KAVG の残りのコンポーネントは無視できます。

ディスク アダプター ドライバー内のキューとムーンへのキューのサイズは固定されています。 負荷の高い環境では、このサイズを大きくすると便利な場合があります。 それは アダプタードライバーのキューを増やす方法について説明します (同時にムーンへのキューも増加します)。 この設定は、月で XNUMX つの VM のみが動作している場合に機能しますが、これはまれです。 月に複数の VM がある場合は、パラメータも増やす必要があります。 Disk.SchedNumReqOutstanding （説明書  ここで）。 キューを増やすと、QAVG と KAVG がそれぞれ減少します。

ただし、繰り返しになりますが、最初に HBA ベンダーのドキュメントを読み、ラボベンチで変更をテストしてください。

月へのキューのサイズは、SIOC (ストレージ I/O コントロール) メカニズムの組み込みによって影響を受ける可能性があります。 サーバー上のムーンへのキューを動的に変更することで、クラスター内のすべてのサーバーからムーンへの均一なアクセスが可能になります。 つまり、ホストの XNUMX つが不釣り合いなパフォーマンスを必要とする VM (ノイズの多い近隣 VM) を実行している場合、SIOC はこのホスト (DQLEN) のキューの長さを極限まで短縮します。 さらに詳しく ここで.

KAVG について整理しました。ここで少し説明します。 ダヴグ。 ここではすべてが単純です。DAVG は、外部環境 (データ ネットワークとストレージ システム) によってもたらされる遅延です。 最新のストレージ システムにもそれほど最新でないストレージ システムにも、独自のパフォーマンス カウンターがあります。 DAVG の問題を分析するには、問題を調べることが重要です。 ESXi とストレージ側ですべてが正常な場合は、データ ネットワークを確認します。

パフォーマンスの問題を回避するには、ストレージ システムに適切なパス選択ポリシー (PSP) を選択してください。 ほとんどすべての最新のストレージ システムは、PSP ラウンドロビン (ALUA、非対称論理ユニット アクセスの有無にかかわらず) をサポートしています。 このポリシーにより、ストレージ システムへの利用可能なすべてのパスの使用が許可されます。 ALUA の場合、月を所有するコントローラーへのパスのみが使用されます。 ESXi 上のすべてのストレージ システムに、ラウンド ロビン ポリシーを設定するデフォルト ルールがあるわけではありません。 ストレージ システムにルールがない場合は、クラスタ内のすべてのホストに対応するルールを作成するストレージ システムの製造元のプラグインを使用するか、自分でルールを作成します。 詳細 ここで. 

また、一部のストレージ システム メーカーは、パスあたりの IOPS 数を標準値の 1000 から 1 に変更することを推奨しています。私たちの実践では、これによりストレージ システムからより多くのパフォーマンスを「絞り出す」ことが可能になり、フェイルオーバーに必要な時間を大幅に短縮することができました。コントローラーの障害またはアップデートが発生した場合。 ベンダーの推奨事項を確認し、禁忌がない場合は、このパラメータを変更してみてください。 詳細 ここで.

基本的な仮想マシンのディスク サブシステム パフォーマンス カウンター

vCenter のディスク サブシステム パフォーマンス カウンターは、データストア、ディスク、仮想ディスクのセクションで収集されます。

セクション内の データストア VM ディスクが配置されている vSphere ディスク ストレージ (データストア) のメトリックがあります。 ここには、次の標準カウンターがあります。

• IOPS (XNUMX 秒あたりの平均読み取り/書き込みリクエスト)、 
• スループット (読み取り/書き込み速度)、 
• 遅延 (読み取り/書き込み/最大遅延)。

原則として、カウンターの名前からすべてが明らかです。 ここでの統計は特定の VM (または VM ディスク) に関するものではなく、データストア全体に関する一般的な統計であるという事実にもう一度注意してください。 私の意見では、少なくとも最小測定期間が 2 秒であるという事実に基づいて、ESXTOP でこれらの統計を確認する方が便利です。

セクション内の ディスク VM によって使用されるブロック デバイスに関するメトリクスがあります。 合計タイプの IOPS (測定期間中の入出力操作の数) のカウンターと、ブロック アクセス (コマンドの中止、バスのリセット) に関連するいくつかのカウンターがあります。 私の意見では、この情報は ESXTOP で表示する方が便利です。

セクション 仮想ディスク – VM ディスク サブシステムのパフォーマンスの問題を見つけるという観点から最も役立ちます。 ここでは、各仮想ディスクのパフォーマンスを確認できます。 特定の仮想マシンに問題があるかどうかを理解するために必要な情報はこの情報です。 I/O 操作の数、読み取り/書き込み量、遅延の標準カウンターに加えて、このセクションには、ブロック サイズ (読み取り/書き込み要求サイズ) を示す便利なカウンターが含まれています。

下の図は VM ディスクのパフォーマンスのグラフで、IOPS、レイテンシー、ブロック サイズの数が確認できます。 

SIOC が有効になっている場合は、データストア全体のパフォーマンス メトリックを表示することもできます。 平均レイテンシーと IOPS に関する基本情報は次のとおりです。 デフォルトでは、この情報はリアルタイムでのみ表示できます。

ESXTOP

ESXTOP には、ホスト ディスク サブシステム全体、個々の仮想マシンとそのディスクに関する情報を提供するいくつかの画面があります。

まずは仮想マシンに関する情報から始めましょう。 「v」キーを使用して「Disk VM」画面を呼び出します。

NVディスク VM ディスクの数です。 各ディスクの情報を表示するには、「e」を押して、対象の VM の GID を入力します。

この画面の残りのパラメータの意味は、その名前から明らかです。

トラブルシューティングの際に役立つもう XNUMX つの画面は、ディスク アダプターです。 「d」キーで呼び出します（下の図ではフィールド A、B、C、D、E、G が選択されています）。

NPTH – このアダプターから見える衛星への経路の数。 アダプター上の各パスの情報を取得するには、「e」を押してアダプターの名前を入力します。

アクレン – アダプター上の最大キュー サイズ。

この画面には、上で説明した遅延カウンターも表示されます。 KAVG/cmd、GAVG/cmd、DAVG/cmd、QAVG/cmd.

「u」キーを押すと呼び出されるディスク デバイス画面には、個々のブロック デバイス (月) に関する情報が表示されます (下の図ではフィールド A、B、F、G、I が選択されています)。 ここで、月のキューのステータスが表示されます。

ディクレン – ブロックデバイスのキューサイズ。
ACTV – ESXi カーネルの I/O コマンドの数。
質問されました – キュー内の I/O コマンドの数。
％米ドル – ACTV / DQLEN × 100%。
負荷 – (ACTV + QUED) / DQLEN。

%USD が高い場合は、キューを増やすことを検討する必要があります。 キュー内のコマンドが多いほど、QAVG が高くなり、それに応じて KAVG も高くなります。

ストレージ システムで VAAI (vStorage API for Array Integration) が実行されているかどうかも、[ディスク デバイス] 画面で確認できます。 これを行うには、フィールド A と O を選択します。

VAAI メカニズムを使用すると、ゼロ化、ブロックのコピー、ブロッキングなどの作業の一部をハイパーバイザーからストレージ システムに直接転送できます。

上の図からわかるように、VAAI はこのストレージ システム上で動作します。ゼロおよび ATS プリミティブが積極的に使用されます。

ESXi 上のディスク サブシステムの作業を最適化するためのヒント

• ブロックサイズに注意してください。
• HBA 上で最適なキュー サイズを設定します。
• データストアで SIOC を有効にすることを忘れないでください。
• ストレージ システムの製造元の推奨に従って PSP を選択してください。
• VAAI が動作していることを確認してください。

トピックに関する有用な記事：http://www.yellow-bricks.com/2011/06/23/disk-schednumreqoutstanding-the-story/
http://www.yellow-bricks.com/2009/09/29/whats-that-alua-exactly/
http://www.yellow-bricks.com/2019/03/05/dqlen-changes-what-is-going-on/
https://www.codyhosterman.com/2017/02/understanding-vmware-esxi-queuing-and-the-flasharray/
https://www.codyhosterman.com/2018/03/what-is-the-latency-stat-qavg/
https://kb.vmware.com/s/article/1267
https://kb.vmware.com/s/article/1268
https://kb.vmware.com/s/article/1027901
https://kb.vmware.com/s/article/2069356
https://kb.vmware.com/s/article/2053628
https://kb.vmware.com/s/article/1003469
https://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/techpaper/performance/vsphere-esxi-vcenter-server-67-performance-best-practices.pdf

出所： habr.com