針對 SSD 優化的微米開放代碼 HSE 存儲引擎

美光科技是一家專業生產DRAM和閃存的公司， 呈現 新的存儲引擎 HSE （異構內存存儲引擎），設計用於基於 NAND 閃存（X100、TLC、QLC 3D NAND）或永久內存 (NVDIMM) 的 SSD。 該引擎以庫的形式製作，用於嵌入到其他應用程序中，並支持鍵值格式的數據處理。 HSE代碼是用C語言編寫的 分發者 在 Apache 2.0 下獲得許可。

該引擎的應用領域包括NoSQL DBMS中的低級數據存儲、Ceph和Scality RING等軟件存儲（SDS，Software-Defined Storage）、處理大量數據（Big Data）的平台、高性能計算(HPC)、物聯網設備(IoT) 以及機器學習系統解決方案。

HSE 不僅針對最高性能進行了優化，而且還針對不同類別 SSD 的使用壽命進行了優化。 通過混合存儲模型實現高速 - 最新數據緩存在 RAM 中，從而減少了對驅動器的訪問次數。 作為將新引擎集成到第三方項目中的示例 準備好了 面向文檔的 DBMS MongoDB 的變體，已翻譯為使用 HSE。

從技術上講，HSE 依賴於額外的內核模塊 池子，它為固態驅動器實現了專門的對象存儲接口，考慮到它們的功能和特性，這使您可以獲得根本不同的性能和耐用性特徵。 Mpool也是美光科技的一個開發項目，與HSE同時開放，但分離成一個獨立的基礎設施項目。 Mpool假設使用 持久記憶 и 區域存儲，但目前僅支持傳統SSD。

使用包進行性能測試 YCSB （雅虎雲服務基準）在使用 2TB 存儲和 1KB 塊處理時顯示出顯著的性能提升。 在讀寫操作均勻分佈的測試中觀察到性能特別顯著的提高（圖中的測試“A”）。

例如，使用 HSE 引擎的 MongoDB 比使用標準 WiredTiger 引擎的版本快約 8 倍，HSE 引擎超過 RocksDB DBMS 6 倍以上。 在涉及 95% 的讀取和 5% 的更改或添加的測試中也可以看到出色的性能（圖中的測試“B”和“D”）。 “C”測試僅假設讀取操作，顯示增益約為 40%。 與基於 RocksDB 的解決方案相比，SSD 驅動器在寫入操作期間的生存能力估計提高了 7 倍。

HSE的主要特點：

• 支持以鍵/值格式處理數據的通用和擴展運算符；
• 全面支持事務，並能夠通過創建快照來隔離存儲切片（快照也可用於維護一個存儲中的獨立集合）；
• 能夠使用游標在基於快照的視圖中遍歷數據；
• 針對單一存儲中的混合負載類型優化的數據模型；
• 靈活的存儲可靠性管理機制；
• 可定制的數據編排方案（分佈在存儲中存在的不同類型的內存上）；
• 具有 C API 的庫，可以動態鏈接到任何應用程序；
• 能夠擴展到數 TB 的數據和數千億個密鑰的存儲；
• 高效處理數千個並行操作；
• 與典型的替代解決方案相比，吞吐量顯著增加，延遲更低，並且增加了各種類型負載的寫入/讀取；
• 能夠在同一存儲中使用不同的 SSD 類別來優化性能和耐用性。

來源： opennet.ru