你好哈布爾！ 大數據和機器學習的資料集呈指數級增長，我們需要跟上它們的步伐。 我們關於高效能運算（HPC，高效能運算）領域另一項創新技術的文章，在金士頓展位展示 。 這是在具有圖形處理單元 (GPU) 和 GPUDirect 儲存匯流排技術的伺服器中使用高階資料儲存系統 (SDS)。 由於儲存系統和GPU之間直接進行資料交換，繞過CPU，將資料載入到GPU加速器中的速度提高了一個數量級，因此大數據應用程式可以以GPU提供的最大效能運作。 反過來，HPC 系統開發人員對具有最高 I/O 速度的儲存系統的進步感興趣，例如金士頓生產的儲存系統。
GPU 效能超過資料載入
自從 CUDA（用於開發通用應用程式的基於 GPU 的硬體和軟體並行運算架構）於 2007 年創建以來，GPU 本身的硬體能力已經取得了令人難以置信的成長。 如今，GPU 越來越多地用於 HPC 應用程序，例如大數據、機器學習 (ML) 和深度學習 (DL)。
請注意，儘管術語相似，但最後兩個任務在演算法上是不同的。 機器學習根據結構化資料訓練計算機，而深度學習則根據神經網路的回饋訓練計算機。 幫助理解差異的範例非常簡單。 我們假設電腦必須區分從儲存系統載入的貓和狗的照片。 對於機器學習，您應該提交一組帶有許多標籤的圖像，每個標籤都定義了動物的特定特徵。 對於深度學習來說，上傳大量圖像就足夠了，但只需一個標籤「這是一隻貓」或「這是一隻狗」。 深度學習與幼兒的教育方式非常相似——簡單地向他們展示書本和生活中的狗和貓的圖片（大多數情況下，甚至沒有解釋詳細的差異），然後孩子的大腦本身就開始確定動物的類型。用於比較的一定數量的圖片（根據估計，我們談論的整個幼兒期只有一百或兩場演出）。 深度學習演算法還不是那麼完美：神經網路要成功辨識影像，就必須將數百萬張影像輸入 GPU 並處理。
前言小結：基於GPU，可以建立大數據、ML和DL領域的HPC應用，但有一個問題——資料集太大，導致從儲存系統載入資料到GPU所花費的時間開始降低應用程式的整體效能。 換句話說，由於來自其他子系統的 I/O 資料緩慢，快速 GPU 仍未充分利用。 GPU 和 CPU/儲存系統匯流排的 I/O 速度差異可能是一個數量級。
GPU直接儲存技術如何運作？
I/O 過程由 CPU 控制，將資料從儲存載入到 GPU 進行進一步處理的過程也是如此。 這導致了對能夠在 GPU 和 NVMe 驅動器之間提供直接存取以快速相互通訊的技術的需求。 NVIDIA 是第一個提供此類技術的公司，並將其稱為 GPUDirect Storage。 事實上，這是他們之前開發的 GPUDirect RDMA（遠端直接記憶體位址）技術的變體。
NVIDIA 執行長 Jensen Huang 將在 SC-19 上展示 GPUDirect Storage 作為 GPUDirect RDMA 的變體。 資料來源：英偉達
GPUDirect RDMA 和 GPUDirect Storage 之間的差異在於執行尋址的裝置。 GPUDirect RDMA 技術重新用於在前端網路介面卡 (NIC) 和 GPU 記憶體之間直接移動數據，GPUDirect 儲存在本地或遠端儲存（例如 NVMe 或 NVMe over Fabric (NVMe-oF)）和GPU記憶體。
GPUDirect RDMA 和GPUDirect Storage 都避免了透過CPU 記憶體中的緩衝區進行不必要的資料移動，並允許直接記憶體存取(DMA) 機制將資料從網卡或儲存直接移入或移出GPU 記憶體- 所有這些都不會給中央CPU 帶來負載。 對於 GPUDirect Storage，儲存的位置並不重要：它可以是 GPU 單元內、機架內的 NVME 磁碟，或透過網路作為 NVMe-oF 連接。
GPUDirect Storage 的操作方案。 資料來源：英偉達
HPC應用市場需要基於NVMe的高階儲存系統
意識到隨著 GPUDirect Storage 的出現，大客戶的興趣將被吸引到提供與 GPU 吞吐量相對應的 I/O 速度的存儲系統，金士頓在 SC-19 展會上展示了一個系統演示，該系統由基於NVMe 磁碟和具有GPU 的單元的儲存系統，每秒分析數千張衛星影像。 我們已經寫過這樣一個基於 10 個 DC1000M U.2 NVMe 驅動器的儲存系統 .
基於 10 個 DC1000M U.2 NVMe 驅動器的儲存系統充分補充了具有圖形加速器的伺服器。 資料來源：金士頓
此儲存系統設計為1U或更大的機架單元，可根據DC1000M U.2 NVMe驅動器的數量進行擴展，每個驅動器的容量為3.84-7.68 TB。 DC1000M 是金士頓資料中心硬碟系列中首款採用 U.2 外型尺寸的 NVMe SSD 機型。 它具有耐用性評級（DWPD，驅動器每天寫入次數），允許每天一次將資料重寫至其全部容量，以確保驅動器的使用壽命。
在Ubuntu 3.13 LTS 作業系統、Linux 核心18.04.3-5.0.0-generic 上進行的fio v31 測試中，展覽儲存樣本顯示5.8 萬IOPS 的讀取速度（持續讀取）和可持續吞吐量（持續頻寬） ）為 23.8 Gbit/s。
金士頓 SSD 業務經理 Ariel Perez 在談到新儲存系統時表示：「我們準備為下一代伺服器配備 U.2 NVMe SSD 解決方案，以消除傳統上與儲存相關的許多資料傳輸瓶頸。 NVMe SSD 硬碟與我們的優質 Server Premier DRAM 的結合使金士頓成為業界最全面的端到端數據解決方案提供商之一。”
gfio v3.13 測試顯示 DC23.8M U.1000 NVMe 驅動器上的演示儲存系統的吞吐量為 2 Gbps。 資料來源：金士頓
使用 GPUDirect Storage 或類似技術的 HPC 應用程式的典型系統會是什麼樣子？ 這是一種機架內功能單元物理分離的架構：一個或兩個單元用於 RAM，多個單元用於 GPU 和 CPU 運算節點，一個或多個單元用於儲存系統。
隨著 GPUDirect Storage 的發布以及其他 GPU 供應商可能出現的類似技術，金士頓對專為高效能運算而設計的儲存系統的需求正在擴大。 標誌是從儲存系統讀取資料的速度，相當於帶有 GPU 的運算單元入口處的 40 或 100 Gbit 網路卡的吞吐量。 因此，超高速儲存系統（包括透過 Fabric 的外部 NVMe）將從奇特的 HPC 應用程式變為主流。 除了科學和金融計算之外，它們還將在許多其他實際領域得到應用，例如平安城市城市級的安全系統或交通監控中心，這些領域需要每秒數百萬張高清圖像的識別和識別速度。”頂級儲存系統的市場利基
有關金士頓產品的更多信息，請訪問 公司。
來源： www.habr.com