SSD に最適化された Micron のオープンソース HSE ストレージ エンジン

Micron Technology は DRAM およびフラッシュ メモリの会社です。 提示 新しいストレージエンジン HSE (ヘテロジニアス メモリ ストレージ エンジン)、NAND フラッシュ (X100、TLC、QLC 3D NAND) または永続メモリ (NVDIMM) に基づく SSD ドライブでの使用の特性を考慮して設計されています。 このエンジンは、他のアプリケーションに埋め込むためのライブラリとして設計されており、キーと値の形式でのデータの処理をサポートしています。 HSE コードは C で書かれており、 によって配布 Apache 2.0 に基づいてライセンスされています。

エンジンの応用分野としては、NoSQL DBMS の低レベル データ ストレージ、Ceph や Scality RING などのソフトウェア ストレージ (SDS、ソフトウェア デファインド ストレージ)、大量のデータ (ビッグ データ) を処理するプラットフォームなどが挙げられます。 、ハイパフォーマンス コンピューティング システム (HPC)、モノのインターネット デバイス (IoT)、および機械学習システムのソリューション。

HSE は、パフォーマンスを最大化するだけでなく、さまざまな SSD クラスの寿命を延ばすためにも最適化されています。 ハイブリッド ストレージ モデルによって高い動作速度が実現されます。最も関連性の高いデータが RAM にキャッシュされるため、ドライブへのアクセス数が削減されます。 新しいエンジンをサードパーティのプロジェクトに統合する例として 準備 HSE を使用するように変換されたドキュメント指向 DBMS MongoDB のバージョン。

技術的には、HSE は追加のカーネル モジュールに依存しています。 ムプールは、ソリッド ステート ドライブの機能と機能を考慮した、ソリッド ステート ドライブ用の特殊なオブジェクト ストレージ インターフェイスを実装しており、根本的に異なるパフォーマンスと耐久性の特性を得ることができます。 Mpool も Micron Technology の開発であり、HSE と同時にオープンしましたが、独立したインフラストラクチャ プロジェクトとして分離されました。 Mpoolは使用を想定しています 永続的な記憶 и ゾーン保管施設、ただし現在は従来の SSD のみをサポートしています。

パッケージを使用したパフォーマンステスト YCSB (Yahoo Cloud Serving Benchmark) では、2 TB のストレージを使用して 1 KB のデータ ブロックを処理すると、パフォーマンスが大幅に向上することがわかりました。 特に顕著なパフォーマンスの向上は、読み取りおよび書き込み操作を均一に分散したテスト (グラフのテスト「A」) で観察されます。

たとえば、HSE エンジンを搭載した MongoDB は、標準の WiredTiger エンジンを搭載したバージョンよりも約 8 倍高速であることが判明し、RocksDB DBMS は HSE エンジンよりも 6 倍以上高速でした。 95% の読み取り操作と 5% の変更または追加操作を含むテストでも、優れたパフォーマンスが見られます (グラフのテスト「B」および「D」)。 読み取り操作のみを含むテスト C では、約 40% の向上が示されています。 RocksDB ベースのソリューションと比較して、書き込み操作中の SSD ドライブの生存可能性は 7 倍向上すると推定されています。

HSE の主な特徴:

• キー/値形式のデータを処理するための汎用および拡張演算子のサポート。
• トランザクションを完全にサポートし、スナップショットの作成を通じてストレージ スライスを分離する機能を備えています (スナップショットは、XNUMX つのストレージ内で独立したコレクションを維持するために使用することもできます)。
• カーソルを使用してスナップショットベースのビューでデータをトラバースする機能。
• 単一ストレージ内の混合負荷タイプに最適化されたデータ モデル。
• 柔軟なストレージ信頼性管理メカニズム。
• カスタマイズ可能なデータ オーケストレーション スキーム (ストレージ内に存在するさまざまな種類のメモリへの分散)。
• あらゆるアプリケーションに動的にリンクできる C API を備えたライブラリ。
• ストレージ内のテラバイトのデータと数千億のキーまでスケールアップする機能。
• 数千もの並列操作を効率的に処理します。
• 標準的な代替ソリューションと比較して、さまざまなタイプのワークロードでスループットが大幅に向上し、レイテンシが短縮され、書き込み/読み取りパフォーマンスが向上します。
• XNUMX つのストレージ内でさまざまなクラスの SSD ドライブを使用して、パフォーマンスと耐久性を最適化する機能。

出所： オープンネット.ru