中央プロセッサは、ディープラーニング ニューラル ネットワークを実行する際に、同時に XNUMX つのグラフィック プロセッサを組み合わせた場合よりも数倍高速なパフォーマンスを実現しました。 まるで SF の世界のようですね。 しかし、ライス大学の研究者は、インテル Xeon を使用して、それが可能であることを証明しました。
ディープラーニング ニューラル ネットワークには、GPU が CPU よりもずっと適しています。 これは、GPU のアーキテクチャによるものです。GPU は、多数の小さなタスクを並行して実行できる多数の小さなコアで構成されており、まさにニューラル ネットワークのトレーニングに必要なものです。 しかし、中央プロセッサは、適切なアプローチをとれば、深層学習において非常に効果的であることが判明しました。
SLIDE ディープ ラーニング アルゴリズムを使用した場合、44 コアの Intel Xeon プロセッサは、3,5 つの NVIDIA Tesla V100 コンピューティング アクセラレータを組み合わせた場合よりも XNUMX 倍生産性が高かったことが報告されています。 このようなシナリオで CPU が GPU に追いついただけでなく、それを非常に顕著に上回ったのはおそらくこれが初めてです。
大学が発行したプレスリリースには、SLIDE アルゴリズムはまったく異なるアプローチを使用しているため、GPU は必要ないと述べられています。 通常、ニューラル ネットワークをトレーニングするときは、行列乗算を使用するトレーニング エラー バックプロパゲーション手法が使用されます。これは、GPU にとって理想的な負荷です。 一方、SLIDE は学習を、ハッシュ テーブルを使用して解決される検索問題に変換します。
研究者らによると、これによりニューラル ネットワークのトレーニングにかかる計算コストが大幅に削減されます。 ベースラインを取得するために、研究者らは、100 台の Tesla V3,5 アクセラレータを備えたライス大学研究室の既存システムを使用し、Google の TensorFlow ライブラリを使用してニューラル ネットワークをトレーニングしました。 このプロセスには 44 時間かかりました。 その後、単一の 1 コア Xeon プロセッサを搭載したシステム上で、SLIDE アルゴリズムを使用して同様のニューラル ネットワークをトレーニングしました。所要時間はわずか XNUMX 時間でした。
ここで注目すべき点は、Intel の製品範囲には現在 44 コア プロセッサ モデルがないことです。 研究者らが何らかのカスタムチップや未発表チップを使用した可能性はありますが、その可能性は低いです。 ここでは 22 つの 44 コア Intel Xeon を搭載したシステムが使用されているか、単にプレス リリースに誤りがあった可能性が高く、22 つの XNUMX コア プロセッサによって提供される XNUMX スレッドについて話しています。 しかし、いずれにせよ、これは成果自体を損なうものではありません。
もちろん、SLIDE アルゴリズムはまだ多くのテストを経て、その有効性と、特殊性や落とし穴がないことを証明する必要があります。 しかし、私たちが現在目にしているものは非常に印象的であり、業界の発展に大きな影響を与える可能性があります。
出所： 3dnews.ru