新型 SSD 存储将降低数据中心的能源消耗 - 它是如何工作的

该系统将使能源成本降低一半。

新型 SSD 存储将降低数据中心的能源消耗 - 它是如何工作的
/ 照片 安迪梅尔顿 创用CC BY-SA

为什么我们需要新的架构?

根据数据中心动态估计到 2030 年,电子设备将消耗地球上产生的所有能源的 40%。 其中大约 20% 将来自 IT 部门和数据中心。 经过 数据 据欧洲分析师称,数据中心已经“带走”了所有电力的 1,4%。 预计这 到5年这个数字将上升到2020%.

SSD 存储消耗很大一部分电力。 2012-2017年数据中心固态硬盘占比 从 8% 增加到 22%。 尽管 SSD 的功耗要低三分之一(PDF,第 13 页)与 HDD 相比,数据中心规模的电费仍然很高。

为了降低数据中心固态硬盘的功耗,麻省理工学院的工程师开发了一种新的SSD存储架构。 它称为 LightStore,允许您绕过存储服务器将驱动器直接连接到数据中心网络。 经过 根据 作者表示,该系统将使能源成本降低一半。

怎么开动这个

LightStore 是一种闪存键值存储,它将用户请求作为键映射到驱动器。 然后它们被发送到服务器,服务器释放与该密钥关联的数据。

系统 它包含 内置节能处理器、DRAM 和 NAND 内存。 它由控制器和专用软件控制。 控制器负责与NAND阵列一起工作,软件负责处理KV请求和存储密钥对。 软件架构是建立在 LSM树,在许多现代 DBMS 中使用。

架构图可以表示如下:

新型 SSD 存储将降低数据中心的能源消耗 - 它是如何工作的

该图显示了 LightStore 的基本组件。 节点集群对键值对进行操作。 应用程序服务器使用适配器连接到系统。 它们将客户端请求(例如 POSIX API 中的 fread())转换为 KV 请求。 该架构还具有单独的适配器 YCSB、块(基于BUSE模块)和文件存储。

分配请求时,适配器使用 一致性哈希。 它用于 Redis 或 Swift 等系统。 使用 KV 请求密钥,适配器生成一个哈希密钥,其值标识目标节点。

LightStore集群的容量线性扩展——只需将额外的节点连接到网络即可。 在某些情况下,您可能需要购买新的交换机。 不过,开发人员为每个节点配备了额外的插槽,用于连接 NAND 芯片。

建筑的潜力

麻省理工学院的工程师表示,基于 LightStore 的解决方案在 620 Gigabit 以太网上的吞吐量为 10 Mbps。 一个节点的功耗为 10 W,而不是通常的 20 W(在当今数据中心使用的 SSD 系统中)。 另外,设备占用了一半的空间。

现在开发人员正在敲定一些方面。 例如,LightStore 无法处理范围查询和小查询。 由于 LightStore 使用 LSM 树,因此将来会添加这些功能。 此外,系统仍然具有有限的适配器集 - 支持 YCSB 和块适配器。 未来,LightStore将能够处理SQL查询等。

其他发展

2018 年夏天,存储开发公司 Marvell 推出了基于 AI 系统的全新 SSD 控制器系列。 开发人员已将 NVIDIA 深度学习加速器集成到数据中心和客户端应用程序的标准控制器中。 因此,他们创建了一个独立的架构,与传统的 SSD 控制器相比,其功耗更低。 该公司希望该系统能够在边缘计算、大数据分析和物联网领域得到应用。

Western Digital Blue 系列硬盘最近进行了更新。 今年四月,开发人员提出了一种解决方案——基于 SanDisk 技术的 WD Blue SSD,WD 一年前收购了该技术。 更新后的 WD Blue SSD 提供更高的性能和能效。 架构是建立在规范的基础上的 NVMe,它提供对通过 PCI Express 连接的 SSD 的访问。

该规范提高了 SSD 驱动器在处理大量并发请求时的效率,并加快了数据访问速度。 此外,NVMe 允许您标准化 SSD 接口 - 对于硬件制造商来说更多 无需浪费资源 用于开发独特的驱动器、连接器和外形尺寸。

前途

数据中心 SSD 市场正在朝着简化架构、存储组件自动化和提高能源效率的方向发展。 麻省理工学院工程师的发展解决了后一个问题。 作者 指望LightStore 将成为数据中心 SSD 存储的行业标准。 我们可以假设,未来新的、更高效的架构将会基于它出现。

First 博客中有关企业 IaaS 的一些材料:

来源: habr.com

添加评论