大容量ストレージの業界動向

今日は、第 XNUMX 世代ネットワーク、ゲノム スキャナー、自動運転車が XNUMX 日あたり産業革命以前に全人類が生成したデータよりも多くのデータを生成する世界において、データを保存する最適な方法について説明します。

私たちの世界では、ますます多くの情報が生成されています。 その一部はつかの間のものであり、収集されるとすぐに失われます。 別のものはより長く保存されるべきであり、別のものは「何世紀にもわたって」設計されています - 少なくともそれが現在から見られるものです。 情報の流れが非常に速いスピードでデータセンターに定着するため、この終わりのない「需要」を満たすために設計された新しいアプローチやテクノロジーはすぐに時代遅れになってしまいます。

40 年にわたる分散ストレージ システムの開発

私たちがよく知っている形式の最初のネットワーク ストレージは 1980 年代に登場しました。 NFS (Network File System)、AFS (Andrew File System)、または Coda に出会ったことがある人も多いでしょう。 XNUMX 年後、ファッションとテクノロジーは変化し、分散ファイル システムは GPFS (General Parallel File System)、CFS (Clustered File System)、および StorNext に基づくクラスタ化ストレージ システムに取って代わられました。 古典的なアーキテクチャのブロック ストレージが基礎として使用され、その上にソフトウェア層を使用して単一のファイル システムが作成されました。 これらおよび同様のソリューションは今でも使用されており、ニッチな分野を占めており、非常に需要があります。

XNUMX 年代の変わり目に、分散ストレージのパラダイムは多少変化し、SN (Shared-Nothing) アーキテクチャを備えたシステムが主導的な地位を占めました。 クラスター ストレージから個々のノード上のストレージへの移行が行われています。通常、これらのストレージは信頼性の高いストレージを提供するソフトウェアを備えたクラシック サーバーでした。 このような原則に基づいて、HDFS (Hadoop Distributed File System) や GFS (Global File System) が構築されています。

2010 年代に近づくと、分散ストレージ システムの基礎となる概念が、VMware vSAN、Dell EMC Isilon、および当社の EMC Isilon などの本格的な商用製品にますます反映され始めました。 ファーウェイ・オーシャンストア。 前述のプラットフォームの背後には、もはや愛好家のコミュニティではなく、製品の機能、サポート、サービスに責任を負い、そのさらなる開発を保証する特定のベンダーが存在します。 このようなソリューションは、いくつかの分野で最も需要が高まっています。

電気通信事業者

おそらく、分散ストレージ システムの最も古い消費者の XNUMX つは通信事業者でしょう。 この図は、どのグループのアプリケーションが大量のデータを生成しているかを示しています。 OSS (運用サポート システム)、MSS (管理サポート サービス)、および BSS (ビジネス サポート システム) は、加入者へのサービス、プロバイダーへの財務報告、およびオペレータ エンジニアへの運用サポートを提供するために必要な XNUMX つの補完的なソフトウェア層を表します。

多くの場合、これらの層のデータは互いに激しく混在しており、不必要なコピーの蓄積を避けるために、オペレーティング ネットワークからの情報の全量を蓄積する分散ストレージが使用されます。 ストレージは共通のプールに結合され、すべてのサービスがアクセスします。

私たちの計算によると、クラシック ストレージ システムからブロック ストレージ システムへの移行では、専用のハイエンド ストレージ システムを放棄し、従来のクラシック アーキテクチャ サーバー (通常は x70) を使用し、専用のサーバーと連携するだけで、予算を最大 86% 節約できることがわかります。ソフトウェア。 携帯電話事業者はずっと前からそのようなソリューションを大量に購入し始めています。 特にロシアの通信事業者は、ファーウェイのこうした製品をXNUMX年以上使用している。

はい、多くのタスクは分散システムを使用して完了することはできません。 たとえば、パフォーマンス要件の増加や古いプロトコルとの互換性などが挙げられます。 ただし、オペレーターが処理するデータの少なくとも 70% は分散プールに配置できます。

銀行部門

どの銀行にも、処理から始まり自動銀行システムに至るまで、さまざまな IT システムが存在します。 このインフラストラクチャは膨大な量の情報も処理しますが、開発、テスト、オフィス プロセスの自動化など、ほとんどのタスクではストレージ システムのパフォーマンスと信頼性の向上は必要ありません。ここでは、従来のストレージ システムの使用が可能です。しかし、年々利益が少なくなっていきます。 さらに、この場合、ストレージ システム リソースの使用には柔軟性がなく、そのパフォーマンスはピーク負荷に基づいて計算されます。

分散ストレージ システムを使用する場合、実際には通常のサーバーであるノードをいつでもサーバー ファームに変換し、コンピューティング プラットフォームとして使用できます。

データレイク

上の図は、典型的なサービス利用者のリストを示しています。 データレイク。 これらには、電子政府サービス (「政府サービス」など)、デジタル化された企業、金融機関などが含まれます。それらはすべて、大量の異種情報を処理する必要があります。

このような問題を解決するために従来のストレージ システムを使用することは、ブロック データベースへの高性能アクセスと、オブジェクトとして保存されたスキャンされたドキュメントのライブラリへの定期的なアクセスの両方が必要となるため、効果的ではありません。 たとえば、Web ポータルを介した注文システムもここにリンクできます。 これらすべてを従来のストレージ プラットフォームに実装するには、さまざまなタスクに対応する大規模な機器セットが必要になります。 XNUMX つの水平型ユニバーサル ストレージ システムで、前述のすべてのタスクを十分にカバーできます。必要なのは、その中に異なるストレージ特性を持つ複数のプールを作成することだけです。

新しい情報の生成者

世界中に保存されている情報の量は、毎年約 30% 増加しています。 これはストレージ ベンダーにとって朗報ですが、このデータの主なソースは何でしょうか?

70 年前、ソーシャル ネットワークがそのようなジェネレーターとなり、多数の新しいアルゴリズムやハードウェア ソリューションなどの作成が必要になりました。現在、ストレージ ボリュームの成長には XNUMX つの主な推進力があります。 XNUMXつ目はクラウドコンピューティングです。 現在、約XNUMX割の企業が何らかの形でクラウドサービスを利用しています。 これらには、電子メール システム、バックアップ コピー、その他の仮想化されたエンティティが含まれます。
5 番目の推進力は第 100 世代ネットワークです。 これらは新しい速度と新しいデータ転送量です。 当社の予測によると、XNUMXG の普及によりフラッシュ メモリ カードの需要は減少すると考えられます。 電話機にどれだけのメモリが搭載されていても、メモリは不足します。ガジェットに XNUMX メガビット チャネルがある場合、写真をローカルに保存する必要はありません。

ストレージ システムの需要が高まっている XNUMX 番目の理由には、人工知能の急速な発展、ビッグ データ分析への移行、可能なすべての普遍的な自動化への傾向が含まれます。

「新しい交通」の特徴は、 構造の欠如。 このデータは、形式を一切定義せずに保存する必要があります。 以降の読み取りの場合にのみ必要です。 たとえば、融資可能額を決定するために、銀行のスコアリング システムは、ソーシャル ネットワークに投稿した写真を調べ、海やレストランによく行くかどうかを判断し、同時に利用可能な医療書類の抜粋を研究します。それに。 これらのデータは、一方では包括的ですが、他方では均一性に欠けています。

非構造化データの海

「新しいデータ」の出現はどのような問題を引き起こすのでしょうか？ もちろん、その第一は、膨大な量の情報とその推定保存期間です。 最新の自動運転車だけでも、すべてのセンサーとメカニズムから毎日最大 60 テラバイトのデータが生成されます。 新しい動作アルゴリズムを開発するには、この情報をその日のうちに処理する必要があり、そうでないと蓄積されてしまいます。 同時に、数十年という非常に長期間保管する必要があります。 そうして初めて、将来的には大規模な分析サンプルに基づいて結論を導き出すことが可能になります。

遺伝子配列を解読するための 6 つの装置は、XNUMX 日あたり約 XNUMX TB を生成します。 そして、その助けを借りて収集されたデータは削除をまったく意味しません。つまり、仮に、永久に保存されるべきです。

最後に、同じ第 XNUMX 世代ネットワークです。 実際に送信される情報に加えて、このようなネットワーク自体が、アクティビティ ログ、通話記録、マシン間の対話の中間結果などの膨大なデータを生成します。

これらすべてには、情報を保存および処理するための新しいアプローチとアルゴリズムの開発が必要です。 そして、そのようなアプローチも登場しつつあります。

新時代のテクノロジー

情報ストレージ システムに対する新しい要件に対処するために設計されたソリューションには、人工知能の導入、ストレージ メディアの技術的進化、システム アーキテクチャ分野の革新の XNUMX つのグループがあります。 AI から始めましょう。

ファーウェイの新しいソリューションでは、ストレージ自体のレベルで人工知能が使用されており、システムが状態を個別に分析して障害を予測できるようにする AI プロセッサーが搭載されています。 ストレージ システムが優れたコンピューティング機能を備えたサービス クラウドに接続されている場合、人工知能はより多くの情報を処理し、仮説の精度を高めることができます。

このような AI は、障害に加えて、将来のピーク負荷や容量が枯渇するまでの残り時間を予測することもできます。 これにより、望ましくないイベントが発生する前に、パフォーマンスを最適化し、システムを拡張することができます。

次にストレージメディアの進化についてです。 最初のフラッシュ ドライブは SLC (シングルレベル セル) テクノロジーを使用して作られました。 これをベースにしたデバイスは高速、信頼性、安定性がありましたが、容量が小さく、非常に高価でした。 生産量の増加と価格の削減は、特定の技術的譲歩によって達成されましたが、そのためにドライブの速度、信頼性、耐用年数が短縮されました。 それにもかかわらず、この傾向はストレージ システム自体には影響せず、さまざまなアーキテクチャ上の工夫により、一般に生産性と信頼性が向上しました。

しかし、なぜオールフラッシュ ストレージ システムが必要だったのでしょうか? すでにオペレーティング システムの古い HDD を同じフォーム ファクターの新しい SSD に置き換えるだけでは十分ではないでしょうか? これは、新しいソリッド ステート ドライブのすべてのリソースを効果的に使用するために必要でしたが、古いシステムでは不可能でした。

たとえば、ファーウェイはこの問題を解決するために多くのテクノロジーを開発しました。そのうちの XNUMX つは次のとおりです。 フラッシュリンクこれにより、「ディスクとコントローラー」の相互作用を可能な限り最適化することが可能になりました。

インテリジェントな識別により、データをいくつかのストリームに分解し、次のような多くの望ましくない現象に対処できるようになりました。 WA (書き込み増幅)。 同時に、新しい回復アルゴリズム、特に RAID 2.0+、再構築の速度が向上し、その時間が完全にわずかな量に短縮されました。

障害、過密、ガベージ コレクション - コントローラーへの特別な変更により、これらの要因もストレージ システムのパフォーマンスに影響を与えることはなくなりました。

そしてブロック データ ストレージもそれに対応する準備を進めています。 NVMe。 データ アクセスを整理するための古典的なスキームが次のように機能していたことを思い出してください。プロセッサは PCI Express バス経由で RAID コントローラにアクセスしました。 これは、SCSI または SAS を介して機械ディスクと通信します。 バックエンドで NVMe を使用すると、プロセス全体が大幅に高速化されましたが、欠点が XNUMX つありました。メモリに直接アクセスするには、ドライブをプロセッサに直接接続する必要がありました。

現在私たちが目にしているテクノロジー開発の次の段階は、NVMe-oF (NVMe over Fabrics) の使用です。 ファーウェイのブロックテクノロジーに関しては、FC-NVMe (NVMe over Fibre Channel) がすでにサポートされており、NVMe over RoCE (RDMA over Converged Ethernet) も準備中です。 テスト モデルは非常に機能的であり、正式発表までにはまだ数か月あります。 これらはすべて、「ロスレス イーサネット」の需要が高い分散システムに現れることに注意してください。

分散ストレージの運用を最適化するもう 1 つの方法は、データ ミラーリングを完全に放棄することでした。 ファーウェイのソリューションは、通常の RAID XNUMX のように n 個のコピーを使用しなくなり、完全に RAID XNUMX に切り替わります。 EC (イレージコーディング)。 特別な数学的パッケージが特定の周期で制御ブロックを計算し、これにより、損失が発生した場合に中間データを復元できます。

重複排除と圧縮のメカニズムが必須になります。 従来のストレージ システムでは、コントローラにインストールされているプロセッサの数によって制限されますが、水平方向に拡張可能な分散型ストレージ システムでは、各ノードにディスク、メモリ、プロセッサ、相互接続など、必要なものがすべて含まれています。 これらのリソースは、重複排除と圧縮がパフォーマンスに与える影響を最小限に抑えるのに十分です。

そしてハードウェアの最適化手法について。 ここでは、役割を果たす追加の専用チップ (またはプロセッサ自体の専用ブロック) の助けを借りて、中央プロセッサの負荷を軽減することが可能でした。 TOE (TCP/IP オフロード エンジン)、または EC、重複排除、圧縮の数学的タスクを引き受けます。

データ ストレージへの新しいアプローチは、非集約 (分散) アーキテクチャで具体化されています。 集中型ストレージ システムには、ファイバー チャネル経由で接続されたサーバー ファクトリがあり、 SAN たくさんの配列があります。 このアプローチの欠点は、スケーリングと保証されたサービス レベル (パフォーマンスまたは遅延の観点から) の確保が難しいことです。 ハイパーコンバージド システムは、情報の保存と処理の両方に同じホストを使用します。 これにより、事実上無制限のスケーリングの余地が得られますが、データの整合性を維持するには高いコストがかかります。

上記の両方とは異なり、細分化されたアーキテクチャは次のことを意味します。 システムをコンピューティング ファブリックと水平ストレージ システムに分割する。 これにより、両方のアーキテクチャの利点が得られ、パフォーマンスが不足している要素のみをほぼ無制限にスケーリングできます。

統合からコンバージェンスへ

過去 15 年間で関連性が高まった古典的なタスクは、ブロック ストレージ、ファイル アクセス、オブジェクトへのアクセス、ビッグ データ ファームの運用などを同時に提供する必要があることです。たとえば、磁気テープ上のバックアップ システムなどです。

最初の段階では、これらのサービスの管理のみを一元化できました。 異種データ ストレージ システムはいくつかの特殊なソフトウェアに接続されており、管理者はそれを通じて利用可能なプールからリソースを分散しました。 しかし、これらのプールは異なるハードウェアを持っていたため、それらの間で負荷を移行することは不可能でした。 より高いレベルの統合では、集約はゲートウェイ レベルで行われます。 ファイル共有が利用可能な場合は、さまざまなプロトコルを通じてファイルを提供できます。

現在私たちが利用できる最も先進的なコンバージェンス方法には、ユニバーサル ハイブリッド システムの作成が含まれます。 まさに私たちがこうあるべきです オーシャンストア 100D。 ユニバーサル アクセスでは、論理的に異なるプールに分割された同じハードウェア リソースが使用されますが、負荷の移行が可能です。 これらすべてを XNUMX つの管理コンソールから実行できます。 このようにして、「XNUMX データセンター - XNUMX ストレージ システム」の概念を実現することができました。

現在、情報を保存するコストによって、アーキテクチャ上の多くの決定が決まります。 また、それを最前線に置くことは安全ですが、今日はアクティブ アクセスを備えた「ライブ」ストレージについて説明しているため、パフォーマンスも考慮する必要があります。 次世代分散システムのもう XNUMX つの重要な特性は、統合です。 結局のところ、複数の異なるシステムを異なるコンソールから制御したい人はいないでしょう。 これらすべての品質は、ファーウェイ製品の新シリーズに具体化されています。 オーシャンストア・パシフィック.

新世代の大容量ストレージシステム

OceanStor Pacific はシックスナインの信頼性要件 (99,9999%) を満たしており、HyperMetro クラスのデータセンターの構築に使用できます。 100 つのデータ センター間の距離が最大 2 km である場合、システムはさらに XNUMX ミリ秒の遅延を示し、これに基づいてクォーラム サーバーを含む災害に強いソリューションを構築することが可能になります。

新しいシリーズ製品は、プロトコルの多様性を実証します。 すでに、OceanStor 100D はブロック アクセス、オブジェクト アクセス、Hadoop アクセスをサポートしています。 ファイルアクセスも近い将来実装される予定です。 異なるプロトコルを通じてデータを発行できる場合、データのコピーを複数保存する必要はありません。

「ロスレス ネットワーク」の概念はストレージ システムとどのような関係があるのでしょうか? 実際、分散データ ストレージ システムは、適切なアルゴリズムと RoCE メカニズムをサポートする高速ネットワークに基づいて構築されています。 当社のスイッチがサポートする人工知能システムは、ネットワーク速度をさらに向上させ、遅延を短縮するのに役立ちます。 AIファブリック。 AI Fabric をアクティブ化すると、ストレージ パフォーマンスが 20% に達する可能性があります。

新しい OceanStor Pacific 分散ストレージ ノードとは何ですか? 5U フォーム ファクター ソリューションには 120 台のドライブが含まれており、92 つのクラシック ノードを置き換えることができるため、ラック スペースが XNUMX 倍以上節約されます。 コピーを保存しないことで、ドライブの効率が大幅に向上します (最大 +XNUMX%)。

私たちは、ソフトウェア デファインド ストレージが従来のサーバーにインストールされた特別なソフトウェアであるという事実に慣れています。 しかし現在、最適なパラメータを実現するには、このアーキテクチャ ソリューションには特別なノードも必要です。 これは、XNUMX インチ ドライブのアレイを管理する ARM プロセッサをベースとした XNUMX 台のサーバーで構成されています。

これらのサーバーはハイパーコンバージド ソリューションには適していません。 第一に、ARM 用のアプリケーションが非常に多く、第二に、負荷バランスを維持するのが困難です。 私たちは別個のストレージに移行することを提案します。クラシック サーバーまたはラック サーバーに代表されるコンピューティング クラスターは別個に動作しますが、OceanStor Pacific ストレージ ノードに接続されており、直接タスクも実行されます。 そしてそれはそれ自体を正当化します。

たとえば、15 台のサーバー ラックを占有するハイパーコンバージド システムを備えた従来のビッグ データ ストレージ ソリューションを考えてみましょう。 別々のコンピューティング サーバーと OceanStor Pacific ストレージ ノード間で負荷を分散し、それらを互いに分離すると、必要なラックの数が半分になります。 これにより、データセンターの運用コストが削減され、総所有コストが削減されます。 保存される情報の量が年間 30% ずつ増加している世界では、このような利点が無駄になることはありません。

***

ファーウェイのソリューションとそのアプリケーションシナリオについて詳しくは、当社のウェブサイトをご覧ください。 オンライン または会社の代表者に直接連絡してください。

出所： habr.com