DRAM およびフラッシュ メモリのメーカーである Micron Technology は、SSD および読み取り専用メモリ (NVDIMM) での使用に特化して設計された HSE 3.0 (異種メモリ ストレージ エンジン) ストレージ エンジンをリリースしました。 このエンジンは他のアプリケーションに組み込むためのライブラリ形式で作成されており、キーバリュー形式のデータ処理をサポートしています。 HSE コードは C で書かれており、Apache 2.0 ライセンスに基づいて配布されます。
HSE は、パフォーマンスを最大化するだけでなく、さまざまなクラスの SSD の寿命を延ばすためにも最適化されています。 ハイブリッド ストレージ モデルによって高速性が実現されます。最新のデータは RAM にキャッシュされるため、ドライブへのアクセス数が削減されます。 このエンジンは、NoSQL DBMS の低レベル データ ストレージ、Ceph や Scality RING などのソフトウェア ストレージ (SDS、ソフトウェア デファインド ストレージ)、大量のデータを処理するプラットフォーム (ビッグ データ)、ハイ パフォーマンス コンピューティング (HPC) に使用できます。 ) システム、モノのインターネット (IoT) デバイス )、および機械学習システムのソリューション。 エンジンをサードパーティ プロジェクトに統合する例として、ドキュメント指向 DBMS MongoDB のバリアントが用意され、HSE の使用に変換されています。
HSE の主な特徴:
- キー/値形式のデータを処理するための汎用および拡張演算子のサポート。
- スナップショットの作成を通じてストレージ スライスを分離する機能を備えたトランザクションの完全なサポート (スナップショットは、XNUMX つのストレージ内で独立したコレクションを維持するために使用することもできます)。
- カーソルを使用してスナップショットベースのビューのデータを反復処理する機能。
- 混合負荷タイプ向けに最適化されたデータ モデル。
- 柔軟なストレージ信頼性管理メカニズム。
- カスタマイズ可能なデータ オーケストレーション スキーム (ストレージ内に存在するさまざまな種類のメモリへの分散)。
- 任意のアプリケーションに動的にリンクできる C API を備えたライブラリ。 Python と Java のバインディング。
- キーとデータを圧縮形式で保存するためのサポート。
- ストレージ内のテラバイトのデータと数千億のキーまでスケールアップする機能。
- 数千もの並列操作を効率的に処理します。
- 同じストレージ内で異なるクラスの SSD ドライブを使用して、パフォーマンスを最適化し、ドライブの寿命を延ばす機能。
HSE 3.0 でのバージョン番号の大幅な変更は、API、CLI、構成オプション、REST インターフェイス、ストレージ形式の変更により下位互換性が失われるためです。 新しいリリースの準備では、一部の重要なワークロード下でのパフォーマンスを向上させるためにデータ ストレージを最適化することに重点が置かれました。 最も注目すべき改善点は次のとおりです。
- カーソル操作のパフォーマンスはフィルターの長さに依存しなくなり、任意のフィルターを備えたカーソルを使用してスループットを低下させることなくキーを反復処理できるようになりました。
- 監視システム、金融プラットフォーム、センサー状態をポーリングするシステムなど、一定の間隔で記録されたパラメータ値のスライスを保存する場合など、単調に増加するキーが使用される状況での読み取りおよび書き込みのパフォーマンスが向上しました。
- API は、個々の値のレベルで圧縮を制御する機能を提供するため、圧縮レコードと非圧縮レコードの両方を同じストレージに保持できます。
- KVDB を開くための新しいモードが追加され、読み取り専用ストレージ内のデータベースに対するクエリを生成できるようになりました。
出所： オープンネット.ru