[超级计算 2019]。 多云存储作为新型金士顿 DC1000M 硬盘的应用领域

想象一下，您正在开展一项创新医疗业务——根据人类基因组分析来个性化选择药物。 每个患者都有 3 亿个基因对，x86 处理器上的常规服务器需要几天的时间来计算。 您知道，您可以使用 FPGA 处理器来加快服务器上的处理速度，该处理器可以跨数千个线程并行计算。 它将在大约一个小时内完成基因组计算。 此类服务器可以从 Amazon Web Services (AWS) 租用。 但事情是这样的：客户、医院坚决反对将基因数据放入提供商的云端。 我应该怎么办？ 金士顿和云初创公司在 Supercomputing-2019 展会上展示架构 私有多云存储 (PMCS)，这解决了这个问题。

高性能计算的三个条件

计算人类基因组并不是高性能计算（HPC，高性能计算）领域的唯一任务。 科学家计算物理场，工程师计算飞机零件，金融家计算经济模型，他们一起分析大数据，构建神经网络，并进行许多其他复杂的计算。

HPC的三个条件是巨大的计算能力、超大且快速的存储以及高网络吞吐量。 因此，进行 LPC 计算的标准做法是在公司自己的数据中心（本地）或云中的提供商处。

但并非所有公司都拥有自己的数据中心，而那些拥有自己数据中心的公司在资源效率方面往往不如商业数据中心（需要资本支出来购买和更新硬件和软件、支付高素质人员费用等）。 相反，云提供商根据“按需付费”运营成本模式提供 IT 资源，即仅在使用期间收取租金。 计算完成后，可以从帐户中删除服务器，从而节省 IT 预算。 但如果立法或企业禁止向提供商传输数据，则云中的 HPC 计算将不可用。

私有多云存储

私有多云存储架构旨在提供对云服务的访问，同时将数据本身保留在企业站点或使用托管服务的数据中心的单独安全隔间中。 本质上，它是一种以数据为中心的分布式计算模型，其中云服务器与私有云中的远程存储系统一起工作。 因此，使用相同的本地数据存储，您可以使用来自最大提供商的云服务：AWS、MS Azure、Google Cloud Platform‎等。

在 Supercomputing-2019 展会上展示了 PMCS 的实施示例，金士顿展示了基于 DC1000M SSD 驱动器的高性能数据存储系统 (SSD) 样品，其中一家云初创公司展示了 StorOne S1 管理软件，用于软件-与主要云提供商定义存储和专用通信渠道。

值得注意的是，PMCS作为一种带有私有存储的云计算工作模型，专为北美市场而设计，在AT&T和Equinix基础设施上支持数据中心之间发达的网络连接。 因此，任何 Equinix Cloud Exchange 节点中的托管存储系统与 AWS 云之间的 ping 时间小于 1 毫秒（来源： 今日IT专业人士).

在展会上展示的PMCS架构演示中，DC1000M NVMe磁盘上的存储系统位于主机托管，虚拟机安装在AWS、MS Azure和Google Cloud Platform云中，相互ping通。 客户端-服务器应用程序与数据中心的金士顿存储系统和HP DL380服务器进行远程协作，并通过Equinix通信通道基础设施访问上述主要提供商的云平台。

幻灯片来自 Supercomputing-2019 展会上私有多云存储的演示。 资料来源：金士顿

不同的公司提供了具有类似功能的用于管理私有多云存储架构的软件。 此架构的术语听起来也可能有所不同 - 私有多云存储或云私有存储。

“当今的超级计算机运行各种处于进步前沿的 HPC 应用程序，从石油和天然气勘探到天气预报、金融市场和新技术开发，”金士顿企业 SSD 管理经理 Keith Schimmenti 表示。 “这些 HPC 应用程序需要处理器性能和 I/O 速度之间更好的匹配。 我们很自豪地与大家分享金士顿解决方案如何帮助推动计算领域的突破，提供世界上最极端的计算环境和应用程序所需的性能。”

DC1000M硬盘及基于该硬盘的存储系统示例

DC1000M U.2 NVMe SSD 由金士顿专为数据中心设计，专为人工智能 (AI) 和机器学习 (ML) 应用等数据密集型和 HPC 应用而设计。

DC1000M U.2 NVMe 3.84TB 驱动器。 资料来源：金士顿

DC1000M U.2 驱动器基于 96 层 Intel 3D NAND 内存，由 Silicon Motion SM2270 控制器（PCIe 3.0 和 NVMe 3.0）控制。 Silicon Motion SM2270 是一款 16 通道企业级 NVMe 控制器，具有 PCIe 3.0 x8 接口、双 32 位 DRAM 数据总线和三个 ARM Cortex R5 双处理器。

DC1000M提供不同容量的版本：从0.96 TB到7.68 TB（最流行的容量据信是3.84和7.68 TB）。 该驱动器的性能估计为 800 IOPS。

具有 10 个 DC1000M U.2 NVMe 7.68 TB 的存储系统。 资料来源：金士顿

作为 HPC 应用存储系统的示例，金士顿在 Supercomputing 2019 上展示了一个包含 10 个 DC1000M U.2 NVMe 驱动器的机架解决方案，每个驱动器容量为 7.68 TB。 该存储系统基于 AIC 的 122U 外形平台 SB1A-PH。 处理器：2 个 Intel Xeon CPU E5-2660、Kingston DRAM 128 GB (8x16 GB) DDR4-2400（部件号：KSM24RS4/16HAI）。 安装的操作系统是Ubuntu 18.04.3 LTS，Linux内核版本5.0.0-31。 gfio v3.13 测试（灵活 I/O 测试仪）显示读取性能为 5.8 万 IOPS，吞吐量为 23.8 Gbps。

所展示的存储系统在稳定读取 5,8 万 IOPS（每秒输入输出操作数）方面表现出令人印象深刻的特性。 这比大众市场系统的 SSD 快两个数量级。 在专用处理器上运行的 HPC 应用程序需要这种读取速度。

俄罗斯拥有私有存储的云计算 HPC

在提供商处执行高性能计算但物理存储本地数据的任务也与俄罗斯公司相关。 国内业务中的另一个常见情况是，在使用外国云服务时，数据必须位于俄罗斯联邦境内。 我们代表金士顿长期合作伙伴云提供商 Selectel 请求对这些情况发表评论。

“在俄罗斯，可以建立一个类似的架构，为客户的会计部门提供俄语服务和所有报告文件。 如果公司需要使用本地存储系统进行高性能计算，我们 Selectel 会租用配备各种类型处理器的服务器，包括 FPGA, GPU 或多核CPU。 此外，通过合作伙伴，我们组织在客户办公室和我们的数据中心之间铺设专用光通道。”Selectel 服务开发总监 Alexander Tugov 评论道。 — 客户还可以将其存储系统托管在具有特殊访问模式的机房中，并在我们的服务器以及全球提供商 AWS、MS Azure、Google Cloud 的云中运行应用程序。 当然，后一种情况的信号延迟会比客户的存储系统位于美国时更高，但将提供宽带多云连接。”

在下一篇文章中，我们将讨论另一个金士顿解决方案，该解决方案已在 2019 年超级计算展览会（美国科罗拉多州丹佛）上展示，旨在使用 GPU 进行机器学习应用和大数据分析。 这就是GPUDirect Storage技术，它提供NVMe存储和GPU处理器内存之间的直接数据传输。 此外，我们还将解释如何在 NVMe 磁盘的机架存储系统中实现 5.8 万 IOPS 的数据读取速度。

有关金士顿科技产品的更多信息，请访问 公司网站.

来源： habr.com