[超級計算 2019]。 多雲儲存作為新型金士頓 DC1000M 硬碟的應用領域

想像一下，您正在進行一項創新醫療業務—根據人類基因組分析來個人化選擇藥物。 每個患者都有 3 億個基因對，x86 處理器上的常規伺服器需要幾天的時間來計算。 您知道，您可以使用 FPGA 處理器來加快伺服器上的處理速度，該處理器可以跨數千​​個執行緒並行運算。 它將在大約一個小時內完成基因組計算。 此類伺服器可以從 Amazon Web Services (AWS) 租用。 但事情是這樣的：客戶、醫院堅決反對將基因資料放入提供者的雲端。 我該怎麼辦？ 金士頓和雲端新創公司在 Supercomputing-2019 展會上展示架構 私有多雲儲存 (PMCS)，這解決了這個問題。

高效能運算的三個條件

運算人類基因組並不是高效能運算（HPC，高效能運算）領域的唯一任務。 科學家計算物理場，工程師計算飛機零件，金融家計算經濟模型，他們一起分析大數據，建立神經網絡，並進行許多其他複雜的計算。

HPC的三個條件是龐大的運算能力、超大且快速的儲存以及高網路吞吐量。 因此，進行 LPC 運算的標準做法是在公司自己的資料中心（本地）或雲端中的提供者。

但並非所有公司都擁有自己的資料中心，而那些擁有自己的資料中心的公司在資源效率方面往往不如商業資料中心（需要資本支出來購買和更新硬體和軟體、支付高素質人員費用等）。 相反，雲端供應商根據「按需付費」營運成本模式提供 IT 資源，即僅在使用期間收取租金。 計算完成後，可以從帳戶中刪除伺服器，從而節省 IT 預算。 但如果立法或企業禁止向提供者傳輸數據，則雲端中的 HPC 計算將不可用。

私有多雲存儲

私有多雲儲存架構旨在提供對雲端服務的訪問，同時將資料本身保留在企業網站或使用託管服務的資料中心的單獨安全隔間中。 本質上，它是一種以資料為中心的分散式運算模型，其中雲端伺服器與私有雲中的遠端儲存系統一起工作。 因此，使用相同的本機資料存儲，您可以使用來自最大供應商的雲端服務：AWS、MS Azure、Google Cloud Platform‎等。

在 Supercomputing-2019 展會上展示了 PMCS 的實施範例，金士頓展示了基於 DC1000M SSD 驅動器的高效能資料儲存系統 (SSD) 樣品，其中一家雲端新創公司展示了 StorOne S1 管理軟體，用於軟體-與主要雲提供者定義儲存和專用通訊管道。

值得注意的是，PMCS作為一種具有私有儲存的雲端運算工作模型，專為北美市場而設計，在AT&T和Equinix基礎設施上支援資料中心之間發達的網路連接。 因此，任何 Equinix Cloud Exchange 節點中的託管儲存系統與 AWS 雲端之間的 ping 時間小於 1 毫秒（來源： 今日IT專業人士).

在展會上展示的PMCS架構展示中，DC1000M NVMe磁碟上的儲存系統位於主機託管，虛擬機器安裝在AWS、MS Azure和Google Cloud Platform雲端中，相互ping通。 用戶端-伺服器應用程式與資料中心的金士頓儲存系統和HP DL380伺服器進行遠端協作，並透過Equinix通訊通道基礎設施存取上述主要供應商的雲端平台。

幻燈片來自 Supercomputing-2019 展會上私有多雲儲存的簡報。 資料來源：金士頓

不同的公司提供了具有類似功能的用於管理私有多雲儲存架構的軟體。 此架構的術語聽起來也可能有所不同 - 私有多雲儲存或雲端私有儲存。

「當今的超級電腦運行各種處於進步前沿的 HPC 應用程序，從石油和天然氣勘探到天氣預報、金融市場和新技術開發，」金士頓企業 SSD 管理經理 Keith Schimmenti 表示。 「這些 HPC 應用程式需要處理器效能和 I/O 速度之間更好的匹配。 我們很自豪地與大家分享金士頓解決方案如何幫助推動計算領域的突破，提供世界上最極端的計算環境和應用程式所需的性能。”

DC1000M硬碟及基於此硬碟的儲存系統範例

DC1000M U.2 NVMe SSD 由金士頓專為資料中心設計，專為人工智慧 (AI) 和機器學習 (ML) 應用等資料密集和 HPC 應用而設計。

DC1000M U.2 NVMe 3.84TB 硬碟。 資料來源：金士頓

DC1000M U.2 驅動器基於 96 層 Intel 3D NAND 內存，由 Silicon Motion SM2270 控制器（PCIe 3.0 和 NVMe 3.0）控制。 Silicon Motion SM2270 是一款 16 頻道企業級 NVMe 控制器，具有 PCIe 3.0 x8 介面、雙 32 位元 DRAM 資料匯流排和三個 ARM Cortex R5 雙處理器。

DC1000M提供不同容量的版本：從0.96 TB到7.68 TB（最受歡迎的容量據信是3.84和7.68 TB）。 該驅動器的性能估計為 800 IOPS。

具有 10 個 DC1000M U.2 NVMe 7.68 TB 的儲存系統。 資料來源：金士頓

作為 HPC 應用儲存系統的範例，金士頓在 Supercomputing 2019 上展示了一個機架解決方案，該解決方案包含 10 個 DC1000M U.2 NVMe 驅動器，每個驅動器容量為 7.68 TB。 此儲存系統基於 AIC 的 122U 外形平台 SB1A-PH。 處理器：2 個 Intel Xeon CPU E5-2660、Kingston DRAM 128 GB (8x16 GB) DDR4-2400（零件號碼：KSM24RS4/16HAI）。 安裝的作業系統是Ubuntu 18.04.3 LTS，Linux核心版本5.0.0-31。 gfio v3.13 測試（靈活 I/O 測試器）顯示讀取效能為 5.8 萬 IOPS，吞吐量為 23.8 Gbps。

所展示的儲存系統在穩定讀取 5,8 萬 IOPS（每秒輸入輸出操作數）方面表現出令人印象深刻的特性。 這比大眾市場系統的 SSD 快兩個數量級。 在專用處理器上運行的 HPC 應用程式需要這種讀取速度。

俄羅斯擁有私人儲存的雲端運算 HPC

在提供者處執行高效能運算但實體儲存本地資料的任務也與俄羅斯公司相關。 國內業務的另一個常見情況是，在使用外國雲端服務時，資料必須位於俄羅斯聯邦境內。 我們代表金士頓長期合作夥伴雲端供應商 Selectel 要求對這些情況發表評論。

「在俄羅斯，可以建立一個類似的架構，為客戶的會計部門提供俄語服務和所有報告文件。 如果公司需要使用本機儲存系統進行高效能運算，我們 Selectel 會租用配備各種類型處理器的伺服器，包括 FPGA, GPU 或多核心CPU。 此外，透過合作夥伴，我們組織在客戶辦公室和我們的資料中心之間鋪設專用光通道。」Selectel 服務開發總監 Alexander Tugov 評論道。 — 客戶還可以將其儲存系統託管在具有特殊存取模式的機房中，並在我們的伺服器以及全球供應商 AWS、MS Azure、Google Cloud 的雲端中執行應用程式。 當然，後一種情況的信號延遲會比客戶的存儲系統位於美國時更高，但將提供寬頻多雲連接。”

在下一篇文章中，我們將討論另一款金士頓解決方案，該解決方案已在 2019 年超級計算展覽會（美國科羅拉多州丹佛）上展示，旨在使用 GPU 進行機器學習應用和大數據分析。 這就是GPUDirect Storage技術，它提供NVMe儲存和GPU處理器記憶體之間的直接資料傳輸。 此外，我們還將說明如何在 NVMe 磁碟的機架儲存系統中實現 5.8 萬個 IOPS 的資料讀取速度。

有關金士頓科技產品的更多信息，請訪問 公司網站.

來源： www.habr.com