Unity ストレージ上の FAST VP: その仕組み

今日は、Unity/Unity XT ストレージ システムに実装されている興味深いテクノロジ、FAST VP について説明します。 Unity について初めて聞く場合は、記事の最後にあるリンクを使用してシステムの特徴を確認してください。 私は Dell EMC プロジェクト チームの FAST VP に XNUMX 年以上取り組みました。 今日はこのテクノロジーについてさらに詳しく説明し、その実装の詳細をいくつか明らかにしたいと思います。 もちろん、公開が許可されているものに限ります。 効率的なデータ ストレージの問題に興味がある場合、または単にドキュメントを十分に理解していない場合、この記事は間違いなく役に立ち、興味深いものとなるでしょう。

資料に載っていない内容はすぐにお伝えします。 競合他社を探したり、比較したりすることはありません。 また、オープンソースの同様のテクノロジーについては話すつもりはありません。好奇心旺盛な読者はすでに知っているからです。 そしてもちろん、何も宣伝するつもりはありません。

ストレージの階層化。 FAST VP の目標と目的

FAST VP は、Fully Automated Storage Tiering for Virtual Pool の略です。 少し難しいですか？ 問題ありません。今すぐ解決します。 階層化は、データが保存される複数のレベル (層) があるデータ ストレージを編成する方法です。 それぞれに独自の特徴があります。 最も重要なのは、情報単位の保存のパフォーマンス、容量、価格です。 もちろん、それらの間には関係があります。

階層化の重要な特徴は、データが現在配置されているストレージ レベルに関係なく、データへのアクセスが均一に提供され、プールのサイズがプールに含まれるリソースのサイズの合計と等しいことです。 ここがキャッシュとの違いです。キャッシュのサイズはリソース (この場合はプール) の総量に追加されず、キャッシュ データはメイン メディア データの一部のフラグメントを複製します (または、キャッシュのデータはまだ書き込まれていません)。 また、レベルごとのデータの分布はユーザーには表示されません。 つまり、ポリシーを設定することで間接的に影響を与えることはできますが、各レベルにどのデータが配置されているかを正確に把握することはできません (ポリシーについては後で詳しく説明します)。

次に、Unity でのストレージ階層化の実装の機能を見てみましょう。 Unity には 3 つのレベル (層) があります。

• 究極のパフォーマンス (SSD)
• パフォーマンス (SAS HDD 10k/15k RPM)
• 容量 (NL-SAS HDD 7200 RPM)

性能と価格が安い順に紹介しています。 究極のパフォーマンスにはソリッド ステート ドライブ (SSD) のみが含まれます。 他の XNUMX つの層には磁気ディスク ドライブが含まれており、回転速度が異なり、それに応じてパフォーマンスも異なります。

同じレベルおよび同じサイズの記憶媒体が RAID アレイに結合され、RAID グループ (RAID グループ、略称 RG) が形成されます。 利用可能な RAID レベルと推奨される RAID レベルについては、公式ドキュメントを参照してください。 ストレージ プールは XNUMX つ以上のレベルの RAID グループから形成され、そこから空き領域が分配されます。 そして、プール領域からファイル システムと LUN に割り当てられます。

なぜ階層化が必要なのでしょうか?

短く抽象的に言うと、次のようになります。 最小限のリソースを使用してより大きな結果を達成します。 より具体的には、結果は通常、速度とアクセス時間、ストレージ コストなどのストレージ システムの特性のセットとして理解されます。 リソースが最小限であるということは、お金やエネルギーなどの支出が最小限であることを意味します。 FAST VP は、Unity/Unity XT ストレージ システムのさまざまなレベルにデータを再分散するためのメカニズムを実装します。 私の言うことを信じていただけるのであれば、次の段落は飛ばしていただいてかまいません。 残りについては、もう少し詳しくお話します。

ストレージ階層間でデータを適切に分散すると、めったに使用されない一部の情報へのアクセス速度を犠牲にしてストレージの全体的なコストを節約し、頻繁に使用されるデータをより高速なメディアに移動することでパフォーマンスを向上させることができます。 ここで、階層化がなくても、通常の管理者はどのデータをどこに配置するか、自分のタスクに適したストレージ システムの特性は何かなどを知っていると主張する人もいるかもしれません。 これは間違いなく真実ですが、データを手動で配布することには次のような欠点があります。

• 管理者の時間と注意が必要です。
• 変化する条件に合わせてストレージ リソースを「再描画」できるとは限りません。
• 異なるストレージ レベルにあるリソースへの統合アクセスという重要な利点が失われます。

ストレージ管理者が雇用の安全性についてあまり心配しないようにするには、ここでも適切なリソース計画が必要であることを付け加えておきます。 階層化のタスクの概要が簡単に説明されたので、FAST VP に何が期待できるかを見てみましょう。 今こそ定義に立ち返るときです。 最初の XNUMX つの単語 – Fully Automated – は文字通り「完全に自動化された」と訳され、レベル間の分配が自動的に行われることを意味します。 仮想プールは、さまざまなストレージ レベルのリソースを含むデータ プールです。 これは次のようになります。

今後については、FAST VP は XNUMX つのプール内でのみデータを移動し、複数のプール間ではデータを移動しないと言えます。

FAST VP が解決する問題

まずは抽象的な話をしましょう。 プールと、このプール内でデータを再分散できるメカニズムがあります。 私たちの目標は最大の生産性を達成することであることを思い出して、どのような方法でそれを達成できるのかを自問してみましょう。 それらはいくつかある可能性がありますが、FAST VP テクノロジーは単なるストレージ階層化以上のものであるため、ここで FAST VP がユーザーに提供するものがあります。 FAST VP がプールのパフォーマンスを向上させる方法をいくつか紹介します。

• さまざまなタイプのディスク、レベルにわたるデータの分散
• 同じ種類のディスク間でデータを分散する
• プール拡張時のデータ分散

これらのタスクがどのように解決されるかを検討する前に、FAST VP がどのように機能するかについていくつかの必要な事実を知っておく必要があります。 FAST VP は、特定のサイズ (256 メガバイト) のブロックで動作します。 これは、移動できるデータの最小の連続した「チャンク」です。 ドキュメントでは、これはスライスと呼ばれています。 FAST VP の観点からは、すべての RAID グループはこのような「ピース」のセットで構成されます。 したがって、すべての I/O 統計はそのようなデータ ブロックに対して蓄積されます。 このブロック サイズが選択された理由は何ですか?また、ブロック サイズは縮小される予定ですか? ブロックは非常に大きいですが、これはデータの粒度 (ブロック サイズが小さいほど、より正確な分散を意味します) と利用可能なコンピューティング リソースとの間の妥協です。RAM と多数のブロックに対する既存の厳しい制限を考慮すると、統計データが占有する可能性があります。多すぎると、計算の数も比例して増加します。

FAST VP がデータをプールに割り当てる方法。 政治家

FAST VP が有効になっているプール内のデータの配置を制御するには、次のポリシーが存在します。

• 利用可能な最高レベル
• 自動階層化
• 高から開始してから自動階層化 (デフォルト)
• 利用可能な最低レベル

これらは、最初のブロック割り当て (最初に書き込まれたデータ) とその後の再割り当ての両方に影響します。 データがすでにディスク上にある場合は、スケジュールに従って、または手動で再配布が開始されます。

「利用可能な最高層」は、新しいブロックを最もパフォーマンスの高い層に配置しようとします。 十分なスペースがない場合は、次に生産性の高いレベルに配置されますが、(スペースがある場合、または他のデータを置き換えることによって) データをより生産性の高いレベルに移動できます。 Auto-Tier は、利用可能なスペースの量に応じて新しいデータをさまざまなレベルに配置し、需要と空きスペースに応じて再配布します。 [Start High then Auto-Tier] はデフォルトのポリシーであり、これも推奨されます。 最初に配置されたときは、利用可能な最上位階層として機能し、その後、使用統計に応じてデータが移動されます。 利用可能な最低層ポリシーは、生産性が最も低い層にデータを配置しようとします。

データ転送は、ストレージ システムの有用な動作を妨げないように低い優先度で行われますが、優先度を変更する「データ再配置速度」設定があります。 ここには特殊性があります。すべてのデータ ブロックが同じ再配布順序を持っているわけではありません。 たとえば、メタデータとしてマークされたブロックは、最初により高速なレベルに移動されます。 メタデータは、いわば「データに関するデータ」であり、ユーザーデータではないが、その説明を格納する追加情報です。 たとえば、特定のファイルがどのブロックに配置されているかに関するファイル システム内の情報。 これは、データへのアクセス速度がメタデータへのアクセス速度に依存することを意味します。 通常、メタデータのサイズははるかに小さいため、メタデータをより高性能のディスクに移動する利点はより大きいと予想されます。

Fast VP が業務で使用する基準

各ブロックの主な基準は、非常に大まかに言うと、データの「需要」の特性であり、データ フラグメントの読み取りおよび書き込み操作の数に依存します。 この特性を「温度」と呼びます。 要求されていないデータよりも「ホットな」データが要求されています。 デフォルトでは XNUMX 時間間隔で定期的に計算されます。

温度計算関数には次の特性があります。

• I/O がない場合、データは時間の経過とともに「冷却」されます。
• 時間の経過とともにほぼ均等な負荷がかかると、温度は最初に上昇し、その後特定の範囲で安定します。

次に、上記のポリシーと各層の空き容量が考慮されます。 明確にするために、ドキュメントからの写真を提供します。 ここで、赤、黄、青の色は、それぞれ高温、中温、低温のブロックを示します。

しかし、タスクに戻りましょう。 したがって、FAST VP の問題を解決するために何が行われているかの分析を開始できます。

A. さまざまなタイプのディスク、レベルにわたるデータの分散

実際、これが FAST VP の主なタスクです。 残りは、ある意味、その派生品です。 選択したポリシーに応じて、データはさまざまなストレージ レベルに分散されます。 まず、配置ポリシーが考慮され、次にブロック温度と RAID グループのサイズ/速度が考慮されます。

利用可能な最高層/最低層ポリシーの場合、すべてが非常に簡単です。 他の XNUMX つについても同様です。 データは、RAID グループのサイズとパフォーマンスを考慮して、さまざまなレベルに分散されます。そのため、ブロックの合計「温度」と各 RAID グループの「条件付き最大パフォーマンス」の比率がほぼ同じになります。 したがって、負荷はほぼ均等に分散されます。 より多くの需要のあるデータは高速メディアに移動され、めったに使用されないデータは低速メディアに移動されます。 理想的には、分布は次のようになります。

B. 同じ種類のディスク間でのデータの分散

覚えておいてください、最初にストレージメディアを次のように書きました。 XNUMX つ以上の レベルは XNUMX つのプールに結合されますか? 単一レベルの場合、FAST VP にも作業が必要です。 どのレベルでも最大のパフォーマンスを達成するには、ディスク間でデータを均等に分散することをお勧めします。 これにより (理論上は) 最大量の IOPS を得ることができます。 RAID グループ内のデータはディスク全体に均等に分散されていると考えることができますが、RAID グループ間では必ずしもそうとは限りません。 不均衡が発生した場合、FAST VP は、ボリュームと「条件付きパフォーマンス」(数値的に) に比例して RAID グループ間でデータを移動します。 わかりやすくするために、XNUMX つの RAID グループ間のリバランス スキームを示します。

B. プール拡張時のデータ分散

このタスクは前のタスクの特殊なケースであり、RAID グループがプールに追加されるときに実行されます。 新しく追加された RAID グループがアイドル状態にならないようにするために、データの一部がそこに転送されます。これは、負荷がすべての RAID グループにわたって再分散されることを意味します。

SSDウェアレベリング

FAST VP はウェア レベリングを使用することで SSD の寿命を延ばすことができますが、この機能はストレージ階層化には直接関係しません。 温度データはすでに利用可能であり、書き込み操作の数も考慮されており、データ ブロックの移動方法もわかっているため、FAST VP がこの問題を解決するのは論理的です。

ある RAID グループのエントリ数が別の RAID グループのエントリ数を大幅に超える場合、FAST VP は書き込み操作の数に応じてデータを再分散します。 これにより、負荷が軽減され、一部のディスクのリソースが節約される一方で、負荷の低いディスクに「作業」が追加され、全体的なパフォーマンスが向上します。

このように、FAST VP はストレージ階層化の従来の課題に取り組み、それを少し超えることを行います。 これらすべてにより、データを Unity ストレージ システムに非常に効率的に保存できるようになります。

いくつかのヒント

1. ドキュメントを読むことを怠らないでください。 ベストプラクティスがあり、それらは非常にうまく機能します。 それらに従えば、原則として、深刻な問題は発生しません。 残りのアドバイスは基本的にそれらを繰り返すか補足します。
2. FAST VP を設定して有効にしている場合は、有効のままにすることをお勧めします。 割り当てられた時間内にデータを年に XNUMX 回から少しずつ配布し、他のタスクのパフォーマンスに重大な影響を与えるようにします。 この場合、データの再配布に時間がかかることがあります。
3. 移転期間を選択するときは注意してください。 当たり前のことですが、Unity への負荷が最も少ない時間を選択し、十分な時間を割り当てるようにしてください。
4. ストレージ システムの拡張を計画し、期限内に実行してください。 これは、FAST VP にとっても重要な一般的な推奨事項です。 空き容量が非常に少ない場合、データの移動が遅くなったり、データの移動が不可能になったりします。 特にポイント2を無視した場合。
5. FAST VP を有効にしてプールを拡張する場合は、最も遅いディスクから開始しないでください。 つまり、計画されているすべての RAID グループを一度に追加するか、最も高速なディスクを最初に追加します。 この場合、データを新しい「高速」ディスクに再分散すると、プール全体の速度が向上します。 そうしないと、「遅い」ディスクから起動すると、非常に不快な状況が発生する可能性があります。 まず、データは新しい比較的遅いディスクに転送され、その後、より高速なディスクが追加されると、逆方向に転送されます。 ここにはさまざまな FAST VP ポリシーに関連するニュアンスがありますが、一般的には同様の状況が発生する可能性があります。

この製品を検討している場合は、Unity VSA 仮想アプライアンスをダウンロードすることで、Unity を無料で試すことができます。

資料の最後に、いくつかの役立つリンクを紹介します。

• ページ ユニティストレージシステム
• Dell EMC Unity: FAST VP の動作理論 – 機能の簡単な説明
• より完全で詳細な説明、PDF形式
• Unity VSA/クラウド版

まとめ

たくさんのことを書きたいのですが、詳細のすべてが読者にとって興味深いものではないことは理解しています。 たとえば、FAST VP がデータ転送に関する決定を下す基準や、I/O 統計の分析プロセスについて、より詳細に話すことができます。 との交流も話題に 動的プール、これは別の記事に値します。 このテクノロジーの発展について空想することもできます。 それが退屈でなかったことを願っています、そして私もあなたを退屈させませんでした。 またね！

出所： habr.com