NVMe 上の RAID アレイ

この記事では、RAID アレイを構成するさまざまな方法について説明し、NVMe をサポートする最初のハードウェア RAID コントローラーの XNUMX つについても説明します。

RAID テクノロジーのさまざまなアプリケーションはすべてサーバー セグメントにあります。 クライアント セグメントでは、0 つのディスク上のソフトウェア RAID1 または RAIDXNUMX のみが最もよく使用されます。

この記事では、RAID テクノロジーの簡単な概要、XNUMX つの異なるツールを使用して RAID アレイを作成する方法に関する短いチュートリアル、および各方法を使用した仮想ディスクのパフォーマンスの比較を提供します。

RAIDとは何ですか?

ウィキペディア RAID テクノロジーの包括的な定義を示します。

RAID （英語 独立したディスクの冗長アレイ - 独立した (独立した) ディスクの冗長アレイ) - フォールト トレランスとパフォーマンスを向上させるために、複数の物理ディスク デバイスを論理モジュールに結合するデータ仮想化テクノロジ。

ディスク アレイの構成と使用されるテクノロジは、選択したディスク アレイによって異なります。 RAIDレベル。 RAID レベルは仕様で標準化されています 一般的な RAID ディスク データ形式。 ここでは多くの RAID レベルについて説明しますが、最も一般的なのは RAID0、RAID1、RAID5、および RAID6 です。

RAID0または ストライプは、XNUMX つ以上の物理ドライブを XNUMX つの論理ドライブに結合する RAID レベルです。 論理ディスクの容量は、アレイに含まれる物理ディスクの容量の合計と等しくなります。 この RAID レベルには冗長性がなく、XNUMX つのドライブに障害が発生すると、仮想ディスク内のすべてのデータが失われる可能性があります。

Уровень RAID1または 鏡、データの同一のコピーを 1 つ以上のディスクに作成します。 仮想ディスクのサイズは、物理ディスクの最小サイズを超えません。 RAID1 仮想ディスク上のデータは、アレイ内の少なくとも XNUMX つの物理ディスクが動作している限り使用できます。 RAIDXNUMX を使用すると冗長性が追加されますが、XNUMX つ以上のディスクのアレイでは XNUMX つのディスクの容量しか使用できないため、かなり高価なソリューションになります。

Уровень RAID5 コスト高の問題を解決します。 RAID5 レベルのアレイを作成するには、少なくとも 3 つのディスクが必要で、アレイは 5 つのディスクの障害に対して耐性があります。 RAID5 のデータは、チェックサム付きのブロックに保存されます。 データ ディスクとチェックサム ディスクの間には厳密な区別はありません。 RAID1 のチェックサムは、それぞれが異なるディスクから取得された N-XNUMX 個のブロックに適用される XOR 演算の結果です。

RAID アレイは冗長性を高めて冗長性を提供しますが、バックアップの保存には適していません。

RAID アレイの種類について簡単に説明した後、ディスク アレイを組み立てて使用できるデバイスとプログラムに進むことができます。

RAIDコントローラーの種類

RAID アレイを作成して使用するには、ハードウェアとソフトウェアの XNUMX つの方法があります。 次の解決策を検討します。

• Linux ソフトウェア RAID。
• CPU 上のインテル® 仮想 RAID。
• LSI MegaRAID 9460-8i。

インテル® ソリューションはチップセット上で実行されるため、ハードウェア ソリューションなのかソフトウェア ソリューションなのかという問題が生じることに注意してください。 たとえば、VMWare ESXi ハイパーバイザーは VROC ソフトウェアを考慮しており、正式にはサポートしていません。

Linux ソフトウェア RAID

Linux OS ファミリのソフトウェア RAID アレイは、クライアント セグメントとサーバー セグメントの両方で非常に一般的なソリューションです。 アレイの作成に必要なのは、mdadm ユーティリティといくつかのブロック デバイスだけです。 Linux ソフトウェア RAID が使用するドライブに課す唯一の要件は、システムからアクセスできるブロック デバイスであることです。

機器やソフトウェアのコストがかからないことは、この方法の明らかな利点です。 Linux ソフトウェア RAID は、CPU 時間を犠牲にしてディスク アレイを編成します。 サポートされている RAID レベルのリストと現在のディスク アレイのステータスは、procfs ルートにある mdstat ファイルで確認できます。

root@grindelwald:~# cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid10] 
unused devices: <none>

RAID レベルのサポートは、適切なカーネル モジュールを接続することによって追加されます。例:

root@grindelwald:~# modprobe raid456
root@grindelwald:~# cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] 
unused devices: <none>

ディスク アレイに関するすべての操作は、mdadm コマンド ライン ユーティリティを通じて実行されます。 ディスク アレイは XNUMX つのコマンドで組み立てられます。

mdadm --create --verbose /dev/md0 --level=1 --raid-devices=2 /dev/nvme1n1 /dev/nvme2n1

このコマンドを実行すると、/dev/md0 ブロック デバイスがシステムに表示され、仮想ディスクとして表示されます。

CPU 上のインテル® 仮想 RAID

インテル® VROC 標準ハードウェア キー
Intel® Virtual RAID On CPU (VROC) は、Intel® チップセットに基づいて RAID アレイを作成するためのハードウェアおよびソフトウェア テクノロジです。 このテクノロジーは主に、インテル® Xeon® スケーラブル プロセッサーをサポートするマザーボードで利用できます。 デフォルトでは、VROC は使用できません。 これをアクティブにするには、VROC ハードウェア ライセンス キーをインストールする必要があります。

標準 VROC ライセンスを使用すると、0、1、および 10 RAID レベルのディスク アレイを作成できます。 プレミアム バージョンでは、RAID5 サポートによりこのリストが拡張されます。

最新のマザーボード上のインテル® VROC テクノロジーは、NVMe ドライブにホットスワップ機能を提供するインテル® ボリューム管理デバイス (VMD) と連携して動作します。

インテル® VROC 標準ライセンス アレイは、サーバーの起動時にセットアップ ユーティリティを通じて設定されます。 タブ上 高機能 [Intel® Virtual RAID on CPU] 項目が表示され、ディスク アレイを構成できます。

1 つのドライブに RAIDXNUMX アレイを作成する
インテル® VROC テクノロジーには独自のエースが備わっています。 VROC を使用して構築されたディスク アレイは、Linux ソフトウェア RAID と互換性があります。 これは、アレイの状態を /proc/mdstat で監視し、mdadm を通じて管理できることを意味します。 この「機能」はインテルによって正式にサポートされています。 セットアップ ユーティリティで RAID1 を組み立てた後、OS でのドライブの同期を確認できます。

root@grindelwald:~# cat /proc/mdstat 
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
md126 : active raid1 nvme2n1[1] nvme1n1[0]
      1855832064 blocks super external:/md127/0 [2/2] [UU]
      [>....................]  resync =  1.3% (24207232/1855832064) finish=148.2min speed=205933K/sec
      
md127 : inactive nvme1n1[1](S) nvme2n1[0](S)
      10402 blocks super external:imsm
       
unused devices: <none>

mdadm を使用して VROC 上でアレイを組み立てることはできないことに注意してください (組み立てられたアレイは Linux SW RAID になります)。ただし、アレイ内のディスクを変更したり、アレイを逆アセンブルすることはできます。

LSI MegaRAID 9460-8i

LSI MegaRAID 9460-8i コントローラの外観
RAID コントローラーはスタンドアロンのハードウェア ソリューションです。 コントローラーは、コントローラーに直接接続されたドライブでのみ動作します。 この RAID コントローラは、最大 24 台の NVMe ドライブをサポートします。 このコントローラーを他の多くのコントローラーと区別するのは、NVMe サポートです。

ハードウェアコントローラーのメインメニュー
UEFI モードを使用する場合、コントローラー設定はセットアップ ユーティリティに統合されます。 VROC と比較すると、ハードウェア コントローラー メニューははるかに複雑に見えます。

1 つのディスクに RAIDXNUMX を作成する
ハードウェア コントローラーでディスク アレイを構成する方法を説明するのはかなりデリケートなトピックであり、本格的な記事が必要になる可能性があります。 ここでは、デフォルト設定で RAID0 と RAID1 を作成することに限定します。

ハードウェア コントローラーに接続されているディスクは、オペレーティング システムからは認識されません。 代わりに、コントローラーはすべての RAID アレイを SAS ドライブとして「マスク」します。 コントローラに接続されているが、ディスク アレイの一部ではないドライブには、OS からアクセスできません。

root@grindelwald:~# smartctl -i /dev/sda
smartctl 7.1 2019-12-30 r5022 [x86_64-linux-5.4.0-48-generic] (local build)
Copyright (C) 2002-19, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Vendor:               AVAGO
Product:              MR9460-8i
Revision:             5.14
Compliance:           SPC-3
User Capacity:        1,999,844,147,200 bytes [1.99 TB]
Logical block size:   512 bytes
Rotation Rate:        Solid State Device
Logical Unit id:      0x000000000000000000000000000000
Serial number:        00000000000000000000000000000000
Device type:          disk
Local Time is:        Sun Oct 11 16:27:59 2020 MSK
SMART support is:     Unavailable - device lacks SMART capability.

SAS ドライブとして偽装されているにもかかわらず、NVMe アレイは PCIe 速度で動作します。 ただし、この機能を使用すると、レガシーで NVMe から起動できるようになります。

テストスタンド

ディスクアレイを構成する各方法には、それぞれ物理的な長所と短所があります。 しかし、ディスクアレイを使用する場合にパフォーマンスの違いはあるのでしょうか?

最大限の公平性を実現するために、すべてのテストは同じサーバー上で実行されます。 その構成:

• 2x インテル® Xeon® 6240;
• 12x DDR4-2666 16 GB;
• LSI MegaRAID 9460-8i;
• インテル® VROC 標準ハードウェア キー;
• 4x インテル® SSD DC P4510 U.2 2TB;
• 1x Samsung 970 EVO Plus M.2 500GB。

テスト ユニットは P4510 で、半分はマザーボードに接続され、もう半分は RAID コントローラに接続されます。 M.2 は Ubuntu 20.04 を実行しており、テストは fio バージョン 3.16 を使用して実行されます。

テスト

まず、ディスクを操作するときの遅延を確認してみましょう。 テストは 4 つのスレッドで実行され、ブロック サイズは 5 KB です。 各テストは XNUMX 分間続きます。 開始する前に、対応するブロック デバイスは I/O スケジューラとして none に設定されます。 fio コマンドは次のようになります。

fio --name=test --blocksize=4k --direct=1 --buffered=0 --ioengine=libaio  --iodepth=1 --loops=1000 --runtime=300  --rw=<mode> --filename=<blkdev>

fio の結果から、clat は 99.00% となります。 結果を以下の表に示します。

ランダム読み取り、μs
ランダム録音、μs

ドライブ
112
78

Linux SW RAID、RAID0
113
45

VROC、RAID0
112
46

LSI、RAID0
122
63

Linux SW RAID、RAID1
113
48

VROC、RAID1
113
45

LSI、RAID1
128
89

データアクセス時の遅延に加えて、仮想ドライブのパフォーマンスを確認し、物理ディスクのパフォーマンスと比較したいと考えています。 fio を実行するコマンド:

fio --name=test --blocksize=4k --direct=1 --buffered=0 --ioengine=libaio  --loops=1000 --runtime=300  --iodepth=<threads> --rw=<mode> --filename=<blkdev>

パフォーマンスは I/O 操作の観点から測定されます。 結果を以下の表に示します。

ランダム読み取り 1 スレッド、IOPS
ランダム書き込み 1 スレッド、IOPS
ランダム読み取り 128 スレッド、IOPS
ランダム書き込み 128 スレッド、IOPS

ドライブ
11300
40700
453000
105000

Linux SW RAID、RAID0
11200
52000
429000
232000

VROC、RAID0
11200
52300
441000
162000

LSI、RAID0
10900
44200
311000
160000

Linux SW RAID、RAID1
10000
48600
395000
147000

VROC、RAID1
10000
54400
378000
244000

LSI、RAID1
11000
34300
229000
248000

ハードウェア コントローラーを使用すると、ソフトウェア ソリューションに比べて遅延が増加し、パフォーマンスが低下することが簡単にわかります。

まとめ

ハードウェア ソリューションを使用して XNUMX つのディスクからディスク アレイを作成するのは非合理的です。 ただし、RAID コントローラーの使用が正当化されるタスクもあります。 NVMe インターフェイスをサポートするコントローラーの出現により、ユーザーはプロジェクトでより高速な SSD を使用する機会が得られます。

登録ユーザーのみがアンケートに参加できます。 ログインお願いします。

RAID ソリューションを使用していますか?

• 視聴者の３８%がはい、ハードウェア ソリューション32

• 視聴者の３８%がはい、ソフトウェア ソリューション54

• 視聴者の３８%がNo18

• 視聴者の３８%がRAID は必要ありません4

108 人のユーザーが投票しました。 14名のユーザーが棄権した。

出所： habr.com