美光發布針對 SSD 優化的 HSE 3.0 存儲引擎

DRAM 和閃存製造商美光科技發布了其 HSE 3.0(異構內存存儲引擎)存儲引擎,專為 SSD 和只讀內存 (NVDIMM) 而設計。 引擎做成庫的形式嵌入到其他應用中,支持key-value格式的數據處理。 HSE 代碼是用 C 語言編寫的,並在 Apache 2.0 許可下分發。

HSE 不僅針對最高性能進行了優化,還針對不同類別的 SSD 的使用壽命進行了優化。 高速是通過混合存儲模型實現的——最新的數據緩存在 RAM 中,這減少了對驅動器的訪問次數。 該引擎可用於 NoSQL DBMS 中的低級數據存儲、Ceph 和 Scality RING 等軟件存儲(SDS、Software-Defined Storage)、處理大量數據(Big Data)的平台、高性能計算(HPC) ) 系統、物聯網 (IoT) 設備 ) 和機器學習系統的解決方案。 作為將引擎集成到第三方項目中的示例,面向文檔的 DBMS MongoDB 的一個變體已準備就緒,已轉換為使用 HSE。

HSE的主要特點:

  • 支持以鍵/值格式處理數據的通用和擴展運算符;
  • 全面支持事務,能夠通過創建快照隔離存儲分片(快照也可以用於在一個存儲中維護獨立的集合);
  • 能夠使用游標在基於快照的視圖中迭代數據;
  • 針對混合負載類型優化的數據模型;
  • 靈活的存儲可靠性管理機制;
  • 可定制的數據編排方案(分佈在存儲中存在的不同類型的內存上);
  • 一個帶有 C API 的庫,可以動態鏈接到任何應用程序。 Python 和 Java 的綁定;
  • 支持以壓縮形式存儲密鑰和數據。
  • 能夠擴展到數 TB 的數據和數千億個密鑰的存儲;
  • 高效處理數千個並行操作;
  • 能夠在同一存儲中使用不同類別的 SSD 驅動器以優化性能並延長驅動器的使用壽命。

HSE 3.0 中的重大版本號更改是由於 API、CLI、配置選項、REST 接口和存儲格式的更改破壞了向後兼容性。 在準備新版本時,重點是優化數據存儲以提高某些關鍵工作負載下的性能。 最顯著的改進包括:

  • 游標操作的性能現在與過濾器的長度無關,這允許使用具有任意過濾器的游標迭代鍵,而不會降低吞吐量。
  • 在使用單調遞增鍵的情況下,讀取和寫入的性能得到了提高,例如,在存儲以特定間隔記錄的參數值切片時,在監控系統、金融平台和輪詢傳感器狀態的系統中。
  • API 提供了在單個值級別控制壓縮的能力,這使您可以將壓縮和未壓縮的記錄保存在同一存儲中。
  • 添加了打開 KVDB 的新模式,允許您在只讀存儲中生成對數據庫的查詢。

來源: opennet.ru

添加評論