AERODISK ENGINE N2ストレージシステムの衝突試験、強度試験

こんにちは、みんな！ この記事により、AERODISK はハブレに関するブログを開設します。 同志諸君、万歳！

Habré に関する以前の記事では、ストレージ システムのアーキテクチャと基本構成に関する質問について説明しました。 この記事では、AERODISK ENGINE ストレージ システムのフォールト トレランスについて、これまで取り上げられていなかったがよく聞かれる質問について考えます。 私たちのチームは、AERODISK ストレージ システムが動作を停止することを確実にするためにあらゆることを行います。 壊せ。

たまたま、当社の歴史、製品に関する記事、および導入の成功例に関する記事がすでに Habré に掲載されています。 私たちのパートナーである TS Solution 社と Softline 社に感謝します。

したがって、ここではコピー＆ペーストの管理スキルを訓練するのではなく、これらの記事のオリジナルへのリンクを提供するだけです。

• 記事番号 1。 会社の歴史とAERODISK ENGINEストレージシステムのアーキテクチャについて
• 記事番号 2。 AERODISK ENGINE ストレージ システムをすばやくセットアップする方法
• 記事番号3。 セーフシティ プロジェクトの一環として、2018 FIFA ワールドカップに向けた大規模なビデオ監視の導入に関する興味深いプロジェクト

私も良いニュースを共有したいと思います。 しかし、もちろん、問題から始めます。 若いベンダーである私たちは、コストの中でも特に、多くのエンジニアや管理者がストレージ システムの適切な運用方法を知らないという事実に常に直面しています。
管理者の観点からは、ほとんどのストレージ システムの管理がほぼ同じに見えることは明らかですが、各メーカーには独自の特徴があります。 そしてここでも私たちも例外ではありません。

そこで、IT スペシャリストの育成業務を簡素化するために、今年は教育の無償化に専念することにしました。 これを実現するために、ロシアの多くの大都市で AERODISK コンピテンス センターのネットワークを開設しています。このネットワークでは、興味のある技術専門家は誰でも完全に無料でコースを受講し、AERODISK ENGINE ストレージ システムの管理に関する証明書を受け取ることができます。

各コンピテンス センターには、AERODISK ストレージ システムと物理サーバーの本格的なデモ スタンドを設置し、教師が対面トレーニングを実施します。 コンピテンスセンターの開設次第、その勤務スケジュールを公表​​しますが、既にニジニ・ノヴゴロドにセンターを開設しており、次にクラスノダール市が開設される予定です。 以下のリンクからトレーニングに登録できます。 都市と日付について現在わかっている情報は次のとおりです。

• ニジニ·ノヴゴロド (すでにオープンしています - ここからサインアップできます https://aerodisk.promo/nn/);
  16 年 2019 月 16 日までは、いつでもセンターを訪問できます。2019 年 XNUMX 月 XNUMX 日には、大規模な研修コースが開催されます。
• クラスノダール (まもなくオープン - ここからサインアップできます) https://aerodisk.promo/krsnd/ );
  9 年 25 月 2019 日から 25 月 2019 日までは、いつでもセンターを訪問することができ、XNUMX 年 XNUMX 月 XNUMX 日には大規模な研修コースが開催されます。
• エカテリンブルク (まもなくオープンします。当社のウェブサイトまたは Habré の情報に従ってください);
  2019年XNUMX月からXNUMX月。
• ノボシビルスク (当社の Web サイトまたは Habré の情報に従ってください);
  2019年XNUMX月
• クラスノヤルスク (当社の Web サイトまたは Habré の情報に従ってください);
  2019年XNUMX月。

そしてもちろん、モスクワが遠くない場合は、いつでもモスクワのオフィスを訪問して同様のトレーニングを受けることができます。

全て。 マーケティングは終わったので、テクノロジーの話に移りましょう。

Habré では、製品、負荷テスト、比較、使用上の特徴、興味深い実装に関する技術記事を定期的に公開します。

AERODISK ENGINE N2ストレージシステムの衝突試験、強度試験

WARNING！ 記事を読んだ後、次のように言うことができます。「もちろん、ベンダーはすべてが「順調に」動作するか、温室の状態などを自分でチェックします。 私は答えます：そのようなことはありません！ 外国の競合他社とは異なり、当社はお客様の近くに位置しており、いつでも（モスクワまたは中央委員会にある）当社に来て、当社の保管システムを任意の方法でテストすることができます。 したがって、世界の理想的な姿に合わせて結果を調整することはあまり意味がありません。 とても簡単にチェックできます。 行くのが面倒で時間がないという方のために、リモートテストを開催することもできます。 当社にはこのための特別なラボがあります。 お問い合わせ。

アクトゥング-2! このテストは負荷テストではありません。 ここでは耐障害性のみを考慮します。 数週間以内に、より強力なスタンドを用意してストレージ システムの負荷テストを実施し、その結果をここで公開する予定です (ちなみにテストのリクエストは受け付けています)。

それでは、壊してみましょう。

テストスタンド

当社のスタンドは次のハードウェアで構成されています。

• Aerodisk Engine N1 ストレージ システム x 2 (コントローラー x 2、64 GB キャッシュ、FC ポート 8 Gb/秒、イーサネット ポート 8 Gb/秒 SFP+ 4、イーサネット ポート 10 Gb/秒 4)。 次のディスクがストレージ システムにインストールされています。
• 4 x SAS SSD ディスク 900 GB;
• 12 x SAS 10k ディスク 1,2 TB;
• Windows Server 1 を搭載した 2016 台の物理サーバー (2xXeon E5 2667 v3、96GB RAM、2xFC ポート 8Gb/秒、2x イーサネット ポート 10Gb/s SFP+)。
• 2 x SAN 8G スイッチ;
• LAN 2G スイッチ x 10。

FC と 10G イーサネットの両方を介して、スイッチを介してサーバーをストレージ システムに接続しました。 スタンド図は以下です。

MPIO や iSCSI イニシエーターなどの必要なコンポーネントは Windows Server にインストールされます。
ゾーンは FC スイッチ上で構成され、対応する VLAN は LAN スイッチ上で構成され、MTU 9000 はストレージ ポート、スイッチ、およびホストにインストールされます (これをすべて行う方法はドキュメントで説明されているため、ここでは説明しません)このプロセスはここにあります）。

試験方法

衝突試験計画は以下の通り。

• FC ポートとイーサネット ポートの障害を確認します。
• 停電チェック。
• コントローラーの故障チェック。
• グループ/プール内のディスク障害をチェックします。

すべてのテストは、IOMETER プログラムによって生成される合成負荷条件下で実行されます。 並行して、同じテストを実行しますが、大きなファイルをストレージ システムにコピーするという条件で実行します。

IOmeter の構成は次のとおりです。

• 読み取り/書き込み – 70/30
• ブロック – 128k (ストレージ システムを大きなブロックで洗浄することにしました)
• スレッド数 – 128 (生産的な負荷と非常に似ています)
• 完全ランダム
• ワーカーの数 – 4 (FC 用に 2 つ、iSCSI 用に 2 つ)

テストには次の目的があります。

1. さまざまな障害シナリオにおいて、合成ロードおよびコピーのプロセスが中断されたり、エラーが発生したりしないことを確認します。
2. ポートやコントローラーなどの切り替えプロセスが十分に自動化されており、障害が発生した場合に管理者のアクションが必要ないことを確認してください (つまり、フェールオーバー中、もちろんフェールバックについて話しているわけではありません)。
3. ログの情報が正しく表示されていることを確認してください。

ホストとストレージ システムの準備

FC ポートとイーサネット ポート (それぞれ FC と iSCSI) を使用して、ストレージ システム上でブロック アクセスを構成しました。 TS Solution の担当者が、以前の記事 (https://habr.com/ru/company/tssolution/blog/432876/）。 そしてもちろん、マニュアルやコースをキャンセルする人はいませんでした。

持っているすべてのドライブを使用してハイブリッド グループをセットアップしました。 2 つの SSD ディスクがキャッシュに追加され、2 つの SSD ディスクが追加のストレージ層 (オンライン層) として追加されました。 グループ内の 12 つのドライブの障害を一度にチェックするために、10 台の SAS60k ドライブを RAID-XNUMXP (トリプル パリティ) にグループ化しました。 自動交換用に XNUMX つのディスクが残されました。

XNUMX つの LUN を接続しました (XNUMX つは FC 経由、もう XNUMX つは iSCSI 経由)。

両方の LUN の所有者は Engine-0 コントローラーです

テストを始めましょう

上記の設定で IOMETER を有効にします。

1.8 GB/秒のスループットと 3 ミリ秒の遅延を記録しました。 エラーはありません (合計エラー数)。

同時に、他のインターフェイスを使用して、ホストのローカル ドライブ「C」から、FC および iSCSI ストレージ LUN (Windows のドライブ E および G) への 100 つの大きな XNUMX GB ファイルのコピーを並行して開始します。

上は LUN FC へのコピー プロセス、下は iSCSI へのコピー プロセスです。

テスト #1: I/O ポートを無効にする

ストレージ システムに後ろから近づきます)))、手を少し動かして、Engine-10 コントローラーからすべての FC ケーブルとイーサネット 0G ケーブルを引き出します。 それはあたかもモップを持った掃除婦が通りかかり、鼻水があり、ケーブルが横たわっている場所の床を洗うことにしたようなものです（つまり、コントローラーはまだ動作していますが、I/Oポートが機能していません）。

IOMETER とファイルのコピーを見てみましょう。 スループットは 0,5 GB/秒に低下しましたが、すぐに前のレベルに戻りました (約 4 ～ 5 秒以内)。 間違いはありません。

ファイルのコピーは停止しておらず、速度は低下していますが、まったく重大ではありません（840 MB/秒から 720 MB/秒に低下しました）。 コピーは止まらない。

ストレージ システムのログを確認すると、ポートが利用できないこととグループの自動再配置に関するメッセージが表示されます。

情報パネルには、FC ポートの状態があまり良くないことも示されています。

ストレージ システムは I/O ポートの障害にも耐えました 成功しました。

テスト No. 2. ストレージ コントローラーの無効化

ほぼすぐに (ケーブルをストレージ システムに接続し直した後)、コントローラをシャーシから引き出してストレージ システムを終了することにしました。

再びストレージ システムに後ろから近づき (気に入った)))、今度は Engine-1 コントローラーを引き出します。この時点では、これが RDG (グループの移動先) の所有者です。

IOmeterでの状況は以下の通りです。 約5秒間I/Oが停止しました。 エラーは蓄積されません。

5 秒後、ほぼ同じスループットで I/O が再開されましたが、待ち時間は 35 ミリ秒でした (待ち時間は約 0、XNUMX 分後に修正されました)。 スクリーンショットからわかるように、合計エラー数の値は XNUMX です。つまり、書き込みエラーや読み取りエラーはありませんでした。

ファイルのコピーを見てみましょう。 ご覧のとおり、中断はなく、パフォーマンスはわずかに低下しましたが、全体的にはすべて同じ ~ 800 MB/秒に戻りました。

ストレージ システムに移動すると、情報パネルに Engine-1 コントローラが利用できないという呪いが表示されます (もちろん、私たちがそれを殺しました)。

ログにも同様のエントリが見られます。

ストレージ コントローラーは障害にも耐えました 成功しました。

テスト No. 3: 電源を切断します。

念のため、ファイルのコピーを再度開始しましたが、IOMETER は停止しませんでした。
電源ユニットを引き出します。

情報パネルのストレージ システムに別のアラートが追加されました。

また、センサー メニューでは、引き抜かれた電源に関連付けられているセンサーが赤に変わっていることがわかります。

ストレージ システムは引き続き動作します。 電源ユニットの障害はストレージ システムの動作にはまったく影響せず、ホストの観点から見ると、コピー速度と IOMETER インジケータは変化しません。

停電テストに合格しました 成功しました。

最終テストの前に、ストレージ システムを少し復活させ、コントローラーと電源ユニットを元に戻し、ケーブルも整理することにしました。ストレージ システムは、そのことをヘルス パネルに緑色のアイコンで喜んで知らせてくれました。 。

テスト No. 4. グループ内の XNUMX つのディスクの障害

このテストの前に、追加の準備ステップを実行しました。 実際、ENGINE ストレージ システムは、さまざまな再構築ポリシーという非常に便利な機能を提供します。 この機能については TS ソリューションが以前に書きましたが、その本質を思い出してみましょう。 ストレージ管理者は、再構築時のリソース割り当ての優先順位を指定できます。 I/O パフォーマンスの方向、つまり再構築には時間がかかりますが、パフォーマンスの低下はありません。 または再構築速度の方向ですが、生産性は低下します。 またはバランスの取れたオプション。 ディスク グループの再構築中のストレージ パフォーマンスは常に管理者の悩みの種であるため、再構築速度を犠牲にして、I/O パフォーマンスに重点を置いてポリシーをテストします。

次に、ディスク障害がないか確認してみましょう。 また、LUN (ファイルおよび IOMETER) への記録も可能になります。 トリプル パリティ (RAID-60P) を備えたグループがあるため、システムは XNUMX つのディスクの障害に耐える必要があり、障害後は自動交換が機能し、障害のあるディスクの XNUMX つを XNUMX つのディスクで置き換える必要があることを意味します。 RDG 内にあり、そこから再構築を開始する必要があります。

始める。 まず、ストレージ インターフェイスを使用して、引き出したいディスクを強調表示します (自動交換ディスクを見逃して引き出しないように)。

ハードウェア上の表示を確認します。 すべてOKです。XNUMX つのディスクが強調表示されています。

そして、これら XNUMX 枚のディスクを取り出します。

ホストに何があるか見てみましょう。 そしてそこには...特別なことは何も起こりませんでした。

ディスクを取り外して再構築を開始しても、コピー インジケーター (キャッシュがウォームアップしているため、最初よりも高くなります) と IOMETER はあまり変化しません (5 ～ 10% 以内)。

ストレージ システム上にあるものを見てみましょう。

グループの状況を見ると、再編のプロセスが始まり、完了に近づいていることがわかります。

RDG スケルトンでは、2 つのディスクが赤色のステータスであり、3 つはすでに交換されていることがわかります。 自動交換ディスクは存在しなくなり、3 番目に障害が発生したディスクが置き換えられました。 再構築には数分かかりましたが、XNUMX つのディスクに障害が発生した場合でもファイルの書き込みは中断されず、I/O パフォーマンスはあまり変化しませんでした。

ディスク障害テストは確実に合格しました 成功しました。

まとめ

この時点で、私たちはストレージ システムに対する暴力を停止することを決定しました。 要約しましょう:

• FCポート障害チェック - 成功
• イーサネットポート障害チェック - 成功
• コントローラー障害チェック - 成功
• 停電テスト - 成功
• グループプール内のディスク障害をチェックしています - 成功しました

どの障害によっても記録が停止されたり、合成負荷でエラーが発生したりすることはありませんでした。もちろん、パフォーマンスへの影響はありました (そして、それを克服する方法はわかっています。すぐに実行します)。ただし、これらが数秒であることを考えると、まったく許容範囲です。 結論: AERODISK ストレージ システムのすべてのコンポーネントの耐障害性は一定のレベルで機能し、障害点はありませんでした。

当然のことながら、XNUMX つの記事ですべての障害シナリオをテストすることはできませんが、最も一般的なシナリオをカバーするように努めました。 したがって、今後の出版物についてのコメント、提案、そしてもちろん適切な批判をお寄せください。 喜んでご相談させていただきます（できればトレーニングに来ていただければ幸いです。念のためスケジュールを重複させておきます）！ 新しいテストまで！

• ニジニ·ノヴゴロド (すでにオープンしています - ここからサインアップできます https://aerodisk.promo/nn/);
  16 年 2019 月 16 日までは、いつでもセンターを訪問できます。2019 年 XNUMX 月 XNUMX 日には、大規模な研修コースが開催されます。
• クラスノダール (まもなくオープン - ここからサインアップできます) https://aerodisk.promo/krsnd/ );
  9 年 25 月 2019 日から 25 月 2019 日までは、いつでもセンターを訪問することができ、XNUMX 年 XNUMX 月 XNUMX 日には大規模な研修コースが開催されます。
• エカテリンブルク (まもなくオープンします。当社のウェブサイトまたは Habré の情報に従ってください);
  2019年XNUMX月からXNUMX月。
• ノボシビルスク (当社の Web サイトまたは Habré の情報に従ってください);
  2019年XNUMX月
• クラスノヤルスク (当社の Web サイトまたは Habré の情報に従ってください);
  2019年XNUMX月。

出所： habr.com