美光发布针对 SSD 优化的 HSE 3.0 存储引擎

DRAM 和闪存生产专家美光科技发布了 HSE 3.0(异构内存存储引擎)存储引擎,专为 SSD 和只读内存 (NVDIMM) 而设计。 引擎以库的形式做成嵌入到其他应用中,支持key-value格式的数据处理。 HSE 代码是用 C 语言编写的,并在 Apache 2.0 许可下分发。

HSE 不仅针对最高性能进行了优化,还针对不同类别的 SSD 的使用寿命进行了优化。 高速是通过混合存储模型实现的——最新的数据缓存在 RAM 中,这减少了对驱动器的访问次数。 该引擎可用于 NoSQL DBMS 中的低级数据存储、Ceph 和 Scality RING 等软件存储(SDS、Software-Defined Storage)、处理大量数据(Big Data)的平台、高性能计算(HPC) ) 系统、物联网 (IoT) 设备 ) 和机器学习系统的解决方案。 作为将引擎集成到第三方项目中的示例,面向文档的 DBMS MongoDB 的一个变体已准备就绪,已转换为使用 HSE。

HSE的主要特点:

  • 支持以键/值格式处理数据的通用和扩展运算符;
  • 全面支持事务,能够通过创建快照隔离存储分片(快照也可以用于在一个存储中维护独立的集合);
  • 能够使用游标在基于快照的视图中迭代数据;
  • 针对混合负载类型优化的数据模型;
  • 灵活的存储可靠性管理机制;
  • 可定制的数据编排方案(分布在存储中存在的不同类型的内存上);
  • 一个带有 C API 的库,可以动态链接到任何应用程序。 Python 和 Java 的绑定;
  • 支持以压缩形式存储密钥和数据。
  • 能够扩展到数 TB 的数据和数千亿个密钥的存储;
  • 高效处理数千个并行操作;
  • 能够在同一存储中使用不同类别的 SSD 驱动器以优化性能并延长驱动器的使用寿命。

HSE 3.0 中的重大版本号更改是由于 API、CLI、配置选项、REST 接口和存储格式的更改破坏了向后兼容性。 在准备新版本时,重点是优化存储以提高某些关键工作负载下的性能。 最显着的改进包括:

  • 游标操作的性能现在与过滤器的长度无关,这使得可以使用具有任意过滤器的游标在不降低吞吐量的情况下迭代键。
  • 在使用单调递增键的情况下,读取和写入性能得到了改进,例如,在存储以特定间隔记录的参数值切片时,在监控系统、金融平台和轮询传感器状态的系统中。
  • API 提供了在单个值级别控制压缩的能力,这使您可以将压缩和未压缩的记录保存在同一存储中。
  • 添加了新的 KVDB 打开模式,允许您在只读存储中创建对数据库的查询。

来源: opennet.ru

添加评论