[スーパーコンピューティング 2019]。 新しい Kingston DC1000M ドライブの応用分野としてのマルチクラウド ストレージ

あなたが革新的な医療ビジネス、つまりヒトゲノムの分析に基づいて医薬品を個別に選択するビジネスを立ち上げていると想像してください。 各患者には 3 億の遺伝子ペアがあり、x86 プロセッサ上の通常のサーバーでは計算に数日かかります。 数千のスレッドにわたって計算を並列化する FPGA プロセッサを搭載したサーバーでプロセスを高速化できることはご存知でしょう。 ゲノム計算は約2019時間で完了する。 このようなサーバーはアマゾン ウェブ サービス (AWS) からレンタルできます。 しかし問題は、顧客である病院がプロバイダーのクラウドに遺伝データを置くことに断固として反対しているということです。 どうすればいいですか？ キングストンとクラウド スタートアップがスーパーコンピューティング XNUMX 展示会でアーキテクチャを展示 プライベート マルチクラウド ストレージ (PMCS)、この問題を解決します。

ハイパフォーマンスコンピューティングのXNUMXつの条件

ハイパフォーマンス コンピューティング (HPC、ハイ パフォーマンス コンピューティング) の分野におけるタスクは、ヒトゲノムの計算だけではありません。 科学者は物理場を計算し、エンジニアは飛行機の部品を計算し、投資家は経済モデルを計算し、協力してビッグデータを分析し、ニューラルネットワークを構築し、その他多くの複雑な計算を行います。

HPC の XNUMX つの条件は、巨大なコンピューティング能力、非常に大規模で高速なストレージ、および高いネットワーク スループットです。 したがって、LPC 計算を実行する標準的な方法は、企業独自のデータ センター (オンプレミス) またはクラウドのプロバイダーです。

しかし、すべての企業が独自のデータ センターを持っているわけではなく、持っている企業の多くはリソース効率の点で商用データ センターより劣ります (ハードウェアとソフトウェアの購入と更新、高度な資格を持つ人材への支払いなどに資本支出が必要です)。 対照的に、クラウド プロバイダーは、「従量課金制」の運用コスト モデルに従って IT リソースを提供します。 レンタル料金は使用期間のみ発生します。 計算が完了したら、サーバーをアカウントから削除できるため、IT 予算が節約されます。 ただし、プロバイダーへのデータ転送が法律または企業によって禁止されている場合、クラウドでの HPC コンピューティングは利用できません。

プライベートマルチクラウドストレージ

プライベート マルチクラウド ストレージ アーキテクチャは、データ自体を企業サイトまたはコロケーション サービスを使用してデータ センターの別の安全なコンパートメントに物理的に残しておきながら、クラウド サービスへのアクセスを提供するように設計されています。 基本的に、これはデータ中心の分散コンピューティング モデルであり、クラウド サーバーがプライベート クラウドのリモート ストレージ システムと連携します。 したがって、同じローカル データ ストレージを使用して、AWS、MS Azure、Google Cloud Platform などの最大のプロバイダーのクラウド サービスを使用できます。

Supercomputing-2019 展示会で PMCS の実装例を示し、Kingston は DC1000M SSD ドライブをベースとした高性能データ ストレージ システム (SSD) のサンプルを発表し、クラウド スタートアップの 1 社はソフトウェア用の StorOne SXNUMX 管理ソフトウェアを発表しました。定義されたストレージと主要なクラウドプロバイダーとの専用通信チャネル。

PMCS は、プライベート ストレージを備えたクラウド コンピューティングの実用モデルとして、AT&T とエクイニクスのインフラストラクチャでサポートされるデータ センター間の開発されたネットワーク接続を備えた北米市場向けに設計されていることに注意してください。 したがって、Equinix Cloud Exchange ノードのコロケーション ストレージ システムと AWS クラウド間の ping は 1 ミリ秒未満です (出典: ITプロ今日).

展示会で披露された PMCS アーキテクチャのデモンストレーションでは、DC1000M NVMe ディスク上のストレージ システムがコロケーションに配置され、仮想マシンが AWS、MS Azure、Google Cloud Platform のクラウドにインストールされ、相互に ping を送信していました。 クライアント/サーバー アプリケーションは、データ センター内の Kingston ストレージ システムおよび HP DL380 サーバーとリモートで連携し、エクイニクスの通信チャネル インフラストラクチャを通じて、上記の主要プロバイダーのクラウド プラットフォームにアクセスしました。

Supercomputing-2019 展示会でのプライベート マルチクラウド ストレージのプレゼンテーションのスライド。 出典: キングストン

プライベート マルチクラウド ストレージのアーキテクチャを管理するための同様の機能のソフトウェアが、さまざまな企業から提供されています。 このアーキテクチャの用語は、プライベート マルチクラウド ストレージまたはプライベート ストレージ フォー クラウドのように聞こえる場合もあります。

Kingston のエンタープライズ SSD 管理マネージャー、Keith Schimmenti 氏は次のように述べています。「今日のスーパーコンピューターは、石油やガスの探査から天気予報、金融市場、新技術開発に至るまで、進歩の最前線にあるさまざまな HPC アプリケーションを実行しています。」 「これらの HPC アプリケーションでは、プロセッサーのパフォーマンスと I/O 速度の間のより高度な一致が必要です。 私たちは、Kingston のソリューションがどのようにコンピューティングの進歩を促進し、世界で最も過酷なコンピューティング環境やアプリケーションに必要なパフォーマンスを提供しているかを共有できることを誇りに思います。」

DC1000Mドライブとそれをベースにしたストレージシステムの例

DC1000M U.2 NVMe SSD は、Kingston によってデータセンター向けに設計されており、特に人工知能 (AI) や機械学習 (ML) アプリケーションなどのデータ集約型および HPC アプリケーション向けに設計されています。

DC1000M U.2 NVMe 3.84TB ドライブ。 出典: キングストン

DC1000M U.2 ドライブは、96 層インテル 3D NAND メモリをベースにしており、Silicon Motion SM2270 コントローラー (PCIe 3.0 および NVMe 3.0) によって制御されます。 Silicon Motion SM2270 は、PCIe 16 x3.0 インターフェイス、デュアル 8 ビット DRAM データ バス、および 32 つの ARM Cortex R5 デュアル プロセッサを備えた XNUMX レーンのエンタープライズ NVMe コントローラーです。

1000 TB から 0.96 TB までのさまざまな容量の DC7.68M がリリース用に提供されています (最も一般的な容量は 3.84 TB と 7.68 TB であると考えられています)。 ドライブのパフォーマンスは 800 万 IOPS と推定されています。

10x DC1000M U.2 NVMe 7.68 TB を搭載したストレージ システム。 出典: キングストン

HPC アプリケーション用のストレージ システムの一例として、Kingston は Supercomputing 2019 で、それぞれ 10 TB の容量を持つ 1000 台の DC2M U.7.68 NVMe ドライブを備えたラック ソリューションを発表しました。 ストレージ システムは、AIC の 122U フォーム ファクタ プラットフォームである SB1A-PH に基づいています。 プロセッサー: 2x Intel Xeon CPU E5-2660、Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (部品番号: KSM24RS4/16HAI)。 搭載OSはUbuntu 18.04.3 LTS、Linuxカーネルver 5.0.0-31です。 gfio v3.13 テスト (フレキシブル I/O テスター) では、5.8 Gbps のスループットで 23.8 万 IOPS の読み取りパフォーマンスが示されました。

提示されたストレージ システムは、5,8 万 IOPS (XNUMX 秒あたりの入出力操作) の安定した読み取りという点で優れた特性を示しました。 これは、量販システム向けの SSD よりも XNUMX 桁高速です。 この読み取り速度は、特殊なプロセッサ上で実行される HPC アプリケーションに必要です。

ロシアのプライベート ストレージを備えたクラウド コンピューティング HPC

プロバイダーでハイパフォーマンス コンピューティングを実行しながら、オンプレミスのデータを物理的に保存するというタスクは、ロシア企業にも関連します。 国内ビジネスにおけるもう XNUMX つの一般的なケースは、外国のクラウド サービスを使用するときに、データをロシア連邦の領土内に配置する必要がある場合です。 私たちは、キングストンの長年のパートナーであるクラウド プロバイダーであるセレクテルを代表して、これらの状況についてコメントを求めました。

「ロシアでも、ロシア語でサービスを提供し、クライアントの会計部門向けにすべての報告文書を提供する同様のアーキテクチャを構築することが可能です。 企業がオンプレミスのストレージ システムを使用してハイ パフォーマンス コンピューティングを実行する必要がある場合、Selectel では次のようなさまざまなタイプのプロセッサを搭載したサーバーをレンタルします。 FPGA, GPU またはマルチコアCPU。 さらに、パートナーを通じて、クライアントのオフィスと当社のデータセンターの間に専用の光チャネルの敷設を組織します」と、Selectel のサービス開発ディレクター、Alexander Tugov 氏はコメントしています。 — お客様は、特別なアクセス モードを備えたコンピュータ ルーム内のコロケーションにストレージ システムを配置し、当社のサーバーとグローバル プロバイダー AWS、MS Azure、Google Cloud のクラウドの両方でアプリケーションを実行することもできます。 もちろん、後者の場合の信号遅延は、クライアントのストレージ システムが米国にある場合よりも高くなりますが、ブロードバンド マルチクラウド接続が提供されます。」

次の記事では、スーパーコンピューティング 2019 展示会 (米国コロラド州デンバー) で発表された別の Kingston ソリューションについて説明します。これは、GPU を使用した機械学習アプリケーションとビッグデータ分析を目的としています。 これは GPUDirect ストレージ テクノロジであり、NVMe ストレージと GPU プロセッサ メモリ間の直接データ転送を提供します。 さらに、NVMe ディスク上のラック ストレージ システムで 5.8 万 IOPS のデータ読み取り速度をどのように達成したかについて説明します。

Kingston Technology 製品の詳細については、次のサイトをご覧ください。 会社のサイト.

出所： habr.com