5.8 万 IOPS: なぜそんなに高いのでしょうか?

こんにちはハブル！ ビッグデータと機械学習のデータセットは急激に増加しており、私たちはそれらに追いつく必要があります。 ハイ パフォーマンス コンピューティング (HPC、ハイ パフォーマンス コンピューティング) 分野のもう XNUMX つの革新的なテクノロジーに関する投稿。キングストンのブースで展示されました。 スーパーコンピューティング-2019。 これは、グラフィック プロセッシング ユニット (GPU) と GPUDirect ストレージ バス テクノロジを備えたサーバーでのハイエンド データ ストレージ システム (SDS) の使用です。 ストレージ システムと GPU 間の直接データ交換により、CPU をバイパスし、GPU アクセラレータへのデータのロードが桁違いに高速化されるため、ビッグ データ アプリケーションは GPU が提供する最大パフォーマンスで実行されます。 一方、HPC システム開発者は、Kingston が製造するような最高の I/O 速度を備えたストレージ システムの進歩に関心を持っています。

GPU パフォーマンスがデータ読み込みを上回る

汎用アプリケーションを開発するための GPU ベースのハードウェアとソフトウェアの並列コンピューティング アーキテクチャである CUDA が 2007 年に作成されて以来、GPU 自体のハードウェア機能は信じられないほど成長しました。 現在、ビッグ データ、機械学習 (ML)、ディープ ラーニング (DL) などの HPC アプリケーションで GPU が使用されることが増えています。

用語は似ていますが、最後の XNUMX つはアルゴリズム的に異なるタスクであることに注意してください。 ML は構造化データに基づいてコンピューターをトレーニングするのに対し、DL はニューラル ネットワークからのフィードバックに基づいてコンピューターをトレーニングします。 違いを理解するのに役立つ例は非常に簡単です。 コンピュータがストレージ システムからロードされた猫と犬の写真を区別する必要があると仮定します。 ML の場合は、多くのタグが付いた一連の画像を送信する必要があります。各タグは動物の XNUMX つの特定の特徴を定義します。 DLの場合は、もっと大量の画像をアップロードするだけで十分ですが、「これは猫です」「これは犬です」というタグがXNUMXつだけです。 DL は、幼児が教育される方法と非常によく似ています。子供たちは、単に本や生活の中で犬や猫の絵を見せられるだけで (ほとんどの場合、詳細な違いは説明されません)、その後、子供の脳自体が動物の種類を判断し始めます。比較のための特定の重要な数の写真（推定によると、幼児期を通じてたったXNUMX回かXNUMX回のショーについて話しているだけです）。 DL アルゴリズムはまだそれほど完璧ではありません。ニューラル ネットワークが画像の識別にも正常に機能するには、何百万もの画像を GPU に供給して処理する必要があります。

序文の要約: GPU に基づいて、ビッグ データ、ML、および DL の分野で HPC アプリケーションを構築できますが、問題があります。データ セットが非常に大きいため、ストレージ システムから GPU へのデータのロードに時間がかかるということです。アプリケーションの全体的なパフォーマンスが低下し始めます。 言い換えれば、他のサブシステムからの低速 I/O データにより、高速 GPU が十分に活用されないままになります。 GPU と CPU/ストレージ システムへのバスの I/O 速度の違いは、桁違いになる可能性があります。

GPUDirect ストレージ テクノロジーはどのように機能しますか?

I/O プロセスは、さらなる処理のためにストレージから GPU にデータをロードするプロセスと同様に、CPU によって制御されます。 このため、GPU と NVMe ドライブ間で直接アクセスして相互に迅速に通信できるテクノロジーが求められました。 NVIDIA はそのようなテクノロジーを最初に提供し、それを GPUDirect Storage と呼びました。 実際、これは彼らが以前に開発した GPUDirect RDMA (リモート ダイレクト メモリ アドレス) テクノロジのバリエーションです。

NVIDIA の CEO である Jensen Huang は、SC-19 で GPUDirect RDMA のバリエーションとして GPUDirect Storage を紹介します。 出典: NVIDIA

GPUDirect RDMA と GPUDirect Storage の違いは、アドレッシングが実行されるデバイスにあります。 GPUDirect RDMA テクノロジは、フロントエンド ネットワーク インターフェイス カード (NIC) と GPU メモリ間でデータを直接移動するために再利用され、GPUDirect ストレージは、NVMe または NVMe over Fabric (NVMe-oF) などのローカルまたはリモート ストレージとメモリ間の直接データ パスを提供します。 GPUメモリ。

GPUDirect RDMA と GPUDirect Storage はどちらも、CPU メモリ内のバッファを介した不要なデータの移動を回避し、ダイレクト メモリ アクセス (DMA) メカニズムにより、中央の CPU に負荷をかけることなく、ネットワーク カードまたはストレージから GPU メモリへ、または GPU メモリから直接データを移動できるようにします。 GPUDirect ストレージの場合、ストレージの場所は重要ではありません。GPU ユニット内の NVME ディスク、ラック内の、または NVMe-oF としてネットワーク経由で接続された NVME ディスクにすることができます。

GPUDirect Storage の動作スキーム。 出典: NVIDIA

NVMe 上のハイエンド ストレージ システムは、HPC アプリケーション市場で需要があります

GPUDirect Storage の出現により、GPU のスループットに対応する I/O 速度を備えたストレージ システムの提供に大規模顧客の関心が集まることを認識し、キングストンは SC-19 展示会で、 NVMe ディスクと GPU を備えたユニットをベースとしたストレージ システムで、10 秒あたり数千枚の衛星画像を分析しました。 1000 台の DC2M U.XNUMX NVMe ドライブに基づくこのようなストレージ システムについてはすでに書きました。 スーパーコンピュータ展示会のレポートより.

10 台の DC1000M U.2 NVMe ドライブをベースにしたストレージ システムは、グラフィック アクセラレータを備えたサーバーを適切に補完します。 出典: キングストン

このストレージ システムは 1U 以上のラック ユニットとして設計されており、それぞれの容量が 1000 ～ 2 TB の DC3.84M U.7.68 NVMe ドライブの数に応じて拡張できます。 DC1000M は、Kingston のデータセンター ドライブ シリーズにおける U.2 フォーム ファクタの最初の NVMe SSD モデルです。 耐久性評価 (DWPD、XNUMX 日あたりのドライブ書き込み数) があり、ドライブの保証寿命の間、XNUMX 日に XNUMX 回データを最大容量まで再書き込みできます。

Ubuntu 3.13 LTS オペレーティング システム、Linux カーネル 18.04.3-5.0.0-generic での fio v31 テストでは、展示ストレージ サンプルは、持続可能なスループット (持続帯域幅) で 5.8 万 IOPS の読み取り速度 (持続読み取り) を示しました。 ) 23.8 ギガビット/秒。

Kingston の SSD ビジネス マネージャーである Ariel Perez 氏は、新しいストレージ システムについて次のように述べています。「当社は、次世代サーバーに U.2 NVMe SSD ソリューションを搭載し、これまでストレージに関連していたデータ転送のボトルネックの多くを解消する準備ができています。 NVMe SSD ドライブと当社のプレミアム Server Premier DRAM の組み合わせにより、Kingston は業界で最も包括的なエンドツーエンドのデータ ソリューション プロバイダーの XNUMX つになりました。」

gfio v3.13 テストでは、DC23.8M U.1000 NVMe ドライブ上のデモ ストレージ システムのスループットが 2 Gbps であることが示されました。 出典: キングストン

GPUDirect Storage または同様のテクノロジを使用した HPC アプリケーションの一般的なシステムはどのようなものになるでしょうか? これは、ラック内で機能ユニットを物理的に分離したアーキテクチャです。RAM 用に XNUMX つまたは XNUMX つのユニット、GPU および CPU コンピューティング ノード用にさらにいくつかのユニット、ストレージ システム用に XNUMX つ以上のユニットがあります。

GPUDirect Storage の発表と他の GPU ベンダーからの同様のテクノロジーの登場の可能性により、ハイパフォーマンス コンピューティングで使用するために設計されたストレージ システムに対する Kingston の需要が拡大しています。 指標となるのは、ストレージ システムからのデータの読み取り速度であり、GPU を備えたコンピューティング ユニットの入り口にある 40 ギガビットまたは 100 ギガビットのネットワーク カードのスループットに匹敵します。 したがって、ファブリック経由の外部 NVMe を含む超高速ストレージ システムは、HPC アプリケーションにとって珍しいものから主流になるでしょう。 科学や財務計算に加えて、セーフシティの大都市レベルのセキュリティ システムや、毎秒数百万もの HD 画像の認識と識別速度が必要とされる交通監視センターなど、他の多くの実用的な分野にも応用できるでしょう。」トップストレージシステムのニッチ市場

Kingston 製品の詳細については、次の Web サイトをご覧ください。 公式サイト 会社。

出所： habr.com