美光开源 HSE 存储引擎针对 SSD 进行了优化

美光科技 (Micron Technology) 是一家 DRAM 和闪存公司， 提交 新的存储引擎 HSE （异构内存存储引擎），设计时考虑了基于 NAND 闪存（X100、TLC、QLC 3D NAND）或永久内存 (NVDIMM) 的 SSD 驱动器的使用细节。 该引擎被设计为一个用于嵌入其他应用程序的库，并支持处理键值格式的数据。 HSE 代码是用 C 语言编写的 分发者 在 Apache 2.0 下获得许可。

在该引擎的应用领域中，提到了NoSQL DBMS中的低级数据存储、Ceph和Scality RING等软件存储（SDS，软件定义存储）、处理大量数据（大数据）的平台、高性能计算系统 (HPC)、物联网设备 (IoT) 以及机器学习系统解决方案。

HSE 不仅针对最高性能进行了优化，而且还针对各种 SSD 类别的使用寿命进行了优化。 高运行速度是通过混合存储模型实现的 - 最相关的数据缓存在 RAM 中，从而减少了对驱动器的访问次数。 作为将新引擎集成到第三方项目中的示例 准备好的 面向文档的 DBMS MongoDB 的一个版本，已翻译为使用 HSE。

从技术上讲，HSE 依赖于额外的内核模块 池子，它为固态驱动器实现了专门的对象存储接口，考虑到它们的功能和特性，这使您可以获得根本不同的性能和耐用性特征。 Mpool也是美光科技的一个开发项目，与HSE同时开放，但分离成一个独立的基础设施项目。 Mpool假设使用 持久记忆 и 分区存储设施，但目前仅支持传统SSD。

使用包进行性能测试 YCSB （雅虎云服务基准）显示，使用 2 TB 存储处理 1 KB 数据块时，性能显着提高。 在读写操作均匀分布的测试中观察到特别显着的性能提升（图中的测试“A”）。

例如，使用 HSE 引擎的 MongoDB 比使用标准 WiredTiger 引擎的版本快约 8 倍，而 RocksDB DBMS 比 HSE 引擎快 6 倍以上。 在涉及 95% 读取操作和 5% 修改或追加操作的测试中（图中的测试“B”和“D”），也可以看到出色的性能。 测试 C 仅涉及读取操作，显示增益约为 40%。 与基于 RocksDB 的解决方案相比，SSD 驱动器在写入操作期间的生存能力估计提高了 7 倍。

HSE的主要特点：

• 支持以键/值格式处理数据的通用和扩展运算符；
• 全面支持事务，并能够通过创建快照来隔离存储切片（快照也可用于维护一个存储中的独立集合）；
• 能够使用游标在基于快照的视图中遍历数据；
• 针对单个存储中的混合负载类型优化的数据模型；
• 灵活的存储可靠性管理机制；
• 可定制的数据编排方案（分布在存储中存在的不同类型的内存上）；
• 具有 C API 的库，可以动态链接到任何应用程序；
• 能够扩展到数 TB 的数据和数千亿个密钥的存储；
• 高效处理数千个并行操作；
• 与标准替代解决方案相比，各种类型工作负载的吞吐量显着增加，延迟减少并提高了写入/读取性能；
• 能够在一个存储中使用不同类别的 SSD 驱动器来优化性能和耐用性。

来源： opennet.ru