Apache MXNet と Horovod による分散学習

記事の翻訳はコース開始前夜に準備されました 「ビッグデータ上の産業機械学習」

複数のハイ パフォーマンス コンピューティング インスタンスでの分散トレーニングにより、大量のデータに対する最新のディープ ニューラル ネットワークのトレーニング時間を数週間から数時間、さらには数分にまで短縮できるため、このトレーニング手法はディープ ラーニングの実際のアプリケーションで普及しています。 ユーザーは、複数のインスタンス間でデータを共有および同期する方法を理解する必要があります。これは、スケーリング効率に大きな影響を与えます。 さらに、ユーザーは、単一インスタンスで実行されるトレーニング スクリプトを複数のインスタンスにデプロイする方法も知っておく必要があります。

この記事では、オープンな深層学習ライブラリである Apache MXNet と Horovod 分散学習フレームワークを使用して学習を分散する迅速かつ簡単な方法について説明します。 Horovod フレームワークのパフォーマンス上の利点を明確に示し、Horovod で分散方式で動作するように MXNet トレーニング スクリプトを作成する方法を示します。

Apache MXNet とは

Apache MXNet は、ディープ ニューラル ネットワークの作成、トレーニング、展開に使用されるオープンソースのディープ ラーニング フレームワークです。 MXNet は、ニューラル ネットワークの実装に伴う複雑さを抽象化し、パフォーマンスとスケーラビリティが高く、次のような一般的なプログラミング言語用の API を提供します。 Python , C + +, Clojureの, Java, ジュリア, R, スカラ そして他の人。

パラメータサーバーを使用したMXNetでの分散トレーニング

MXNet の標準分散学習モジュール パラメータサーバーアプローチを使用します。 一連のパラメーター サーバーを使用して、各ワーカーから勾配を収集し、集計を実行し、次の最適化反復のために更新された勾配をワーカーに送り返します。 サーバーとワーカーの正しい比率を決定することが、効果的なスケーリングの鍵となります。 パラメーター サーバーが XNUMX つしかない場合、それが計算のボトルネックになる可能性があります。 逆に、使用するサーバーが多すぎると、多対多の通信によりすべてのネットワーク接続が詰まる可能性があります。

ホロヴォドとは

ホロヴォード は、Uber で開発されたオープン分散ディープラーニング フレームワークです。 NVIDIA Collective Communications Library (NCCL) や Message Passing Interface (MPI) などの効率的なクロス GPU およびクロスノード テクノロジを利用して、vorec 全体にモデル パラメーターを分散および集約します。 ネットワーク帯域幅の使用を最適化し、ディープ ニューラル ネットワーク モデルを操作するときに適切に拡張します。 現在、いくつかの一般的な機械学習フレームワークをサポートしています。 MXNet、Tensorflow、Keras、および PyTorch。

MXNet と Horovod の統合

MXNet は、Horovod で定義された分散学習 API を通じて Horovod と統合されます。 Horovod 通信 API horovod.broadcast(), horovod.allgather() и horovod.allreduce() タスク グラフの一部として、MXNet エンジンの非同期コールバックを使用して実装されます。 このようにして、通信と計算の間のデータの依存関係が MXNet エンジンによって簡単に処理され、同期によるパフォーマンスの損失が回避されます。 Horovod で定義された分散オプティマイザー オブジェクト horovod.DistributedOptimizer 拡大する オプティマイザ MXNet で、分散パラメータ更新のために対応する Horovod API を呼び出すようにします。 これらの実装の詳細はすべて、エンド ユーザーにとって透過的です。

ファストスタート

MacBook 上の MXNet と Horovod を使用して、MNIST データセット上で小さな畳み込みニューラル ネットワークのトレーニングをすぐに開始できます。
まず、PyPI から mxnet と horovod をインストールします。

pip install mxnet
pip install horovod

注: 途中でエラーが発生した場合は、 pip インストール horovod変数を追加する必要があるかもしれません MACOSX_DEPLOYMENT_TARGET=10.vvどこ vv – これは MacOS のバージョンです。たとえば、MacOSX Sierra の場合は次のように記述する必要があります。 MACOSX_DEPLOYMENT_TARGET=10.12 pip インストール horovod

次に、OpenMPIをインストールします 故に.

最後に、テストスクリプトをダウンロードします mxnet_mnist.py 故に そして、MacBook ターミナルの作業ディレクトリで次のコマンドを実行します。

mpirun -np 2 -H localhost:2 -bind-to none -map-by slot python mxnet_mnist.py

これにより、プロセッサの XNUMX つのコアでトレーニングが実行されます。 出力は次のようになります。

INFO:root:Epoch[0] Batch [0-50] Speed: 2248.71 samples/sec      accuracy=0.583640
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.89 samples/sec      accuracy=0.882812
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.39 samples/sec      accuracy=0.870000

パフォーマンスデモ

50 つのインスタンスを持つ 1 GPU 上の ImageNet データセットで ResNet64-vXNUMX モデルをトレーニングする場合 p3.16xラージ AWS クラウド上にそれぞれ 2 つの NVIDIA Tesla V8 GPU が含まれる EC100 では、45000 画像/秒 (つまり、44 秒あたりのトレーニングされたサンプル数) のトレーニング スループットを達成しました。 トレーニングは 90 エポック後 75.7 分で完了し、最高の精度は XNUMX% でした。

これを、単一のパラメータ サーバーとサーバー対ワーカーの比率がそれぞれ 8 対 16 および 32 対 64 で、1、1、2、および 1 GPU 上のパラメーター サーバーを使用する MXNet の分散トレーニング アプローチと比較しました。 以下の図 1 に結果を示します。 左側の Y 軸の棒は 38 秒あたりにトレーニングする画像の数を表し、右側の Y 軸の線はスケーリング効率 (つまり、実際のスループットと理想的なスループットの比) を表します。 ご覧のとおり、サーバーの数の選択はスケーリング効率に影響します。 パラメーター サーバーが 64 つしかない場合、スケーリング効率は XNUMX GPU で XNUMX% に低下します。 Horovod と同じスケーリング効率を達成するには、ワーカーの数に対してサーバーの数を XNUMX 倍にする必要があります。

図 1. MXNet と Horovod およびパラメータ サーバーを使用した分散学習の比較

以下の表 1 では、64 GPU で実験を実行した場合のインスタンスあたりの最終コストを比較しています。 Horovod で MXNet を使用すると、最小限のコストで最高のスループットが得られます。

表 1. サーバーとワーカーの比率が 2 対 1 の場合の Horovod と Parameter Server のコストの比較。

再現する手順

次のステップでは、MXNet と Horovod を使用して分散トレーニングの結果を再現する方法を示します。 MXNet を使用した分散学習について詳しくは、こちらをご覧ください。 この郵便受け.

ステップ1

分散トレーニングを使用するには、MXNet バージョン 1.4.0 以降と Horovod バージョン 0.16.0 以降を搭載した同種のインスタンスのクラスタを作成します。また、GPU トレーニング用のライブラリもインストールする必要があります。インスタンスについては、 Ubuntu 16.04 LinuxGPU ドライバー 396.44、CUDA 9.2、cuDNN ライブラリ 7.2.1、NCCL コミュニケーター 2.2.13、OpenMPI 3.1.1 を使用しています。 AmazonディープラーニングAMI、これらのライブラリはすでにプリインストールされています。

ステップ2

Horovod API を操作する機能を MXNet トレーニング スクリプトに追加します。 MXNet Gluon API に基づく以下のスクリプトは、単純なテンプレートとして使用できます。 対応するトレーニング スクリプトがすでにある場合は、太字の行が必要です。 Horovod で学習するために必要な重要な変更をいくつか示します。

• トレーニングが正しいグラフィックス コアで実行されることを理解するために、ローカル Horovod ランク (8 行目) に従ってコンテキストを設定します。
• 初期パラメータを 18 つのワーカーからすべてのワーカーに渡し (XNUMX 行目)、すべてのワーカーが同じ初期パラメータで開始されるようにします。
• ホロヴォッドを作成する 分散オプティマイザー (25 行目) 分散方式でパラメータを更新します。

完全なスクリプトを入手するには、Horovod-MXNet の例を参照してください。 MNIST и ImageNet.

1  import mxnet as mx
2  import horovod.mxnet as hvd
3
4  # Horovod: initialize Horovod
5  hvd.init()
6
7  # Horovod: pin a GPU to be used to local rank
8  context = mx.gpu(hvd.local_rank())
9
10 # Build model
11 model = ...
12
13 # Initialize parameters
14 model.initialize(initializer, ctx=context)
15 params = model.collect_params()
16
17 # Horovod: broadcast parameters
18 hvd.broadcast_parameters(params, root_rank=0)
19
20 # Create optimizer
21 optimizer_params = ...
22 opt = mx.optimizer.create('sgd', **optimizer_params)
23
24 # Horovod: wrap optimizer with DistributedOptimizer
25 opt = hvd.DistributedOptimizer(opt)
26
27 # Create trainer and loss function
28 trainer = mx.gluon.Trainer(params, opt, kvstore=None)
29 loss_fn = ...
30
31 # Train model
32 for epoch in range(num_epoch):
33    ...

ステップ3

いずれかのワーカーにログインして、MPI ディレクティブを使用して分散トレーニングを開始します。 この例では、分散トレーニングは、それぞれ 4 つの GPU を備えた 16 つのインスタンスで実行され、クラスター内の合計 XNUMX の GPU が使用されます。 確率的勾配降下法 (SGD) オプティマイザーは、次のハイパーパラメーターとともに使用されます。

• ミニバッチサイズ: 256
• 学習率: 0.1
• 勢い: 0.9
• 重量減衰: 0.0001

64 つの GPU から 0,1 GPU までスケーリングする際、GPU あたりの画像数を 1 に保ちながら、GPU の数に応じてトレーニング レートを線形にスケーリングしました (6,4 GPU の 64 から 256 GPU の 256)。 1 GPU の場合は 16 枚の画像、384 GPU の場合は 64 枚の画像）。 GPU の数が増加すると、重みの減衰と運動量のパラメーターが変化しました。 NVIDIA Tesla GPU でサポートされる float16 計算を高速化するために、フォワード パスには float32 データ型、勾配には float16 データ型を使用した混合精度トレーニングを使用しました。

$ mpirun -np 16 
    -H server1:4,server2:4,server3:4,server4:4 
    -bind-to none -map-by slot 
    -mca pml ob1 -mca btl ^openib 
    python mxnet_imagenet_resnet50.py

まとめ

この記事では、Apache MXNet と Horovod を使用した分散モデル トレーニングへのスケーラブルなアプローチについて検討しました。 ResNet50-v1 モデルがトレーニングされた ImageNet データセットに対するパラメーター サーバー アプローチと比較したスケーリング効率と費用対効果を実証しました。 Horovod を使用してマルチインスタンス トレーニングを実行するように既存のスクリプトを変更するために使用できる手順も含まれています。

MXNet とディープ ラーニングを始めたばかりの場合は、インストール ページに移動してください。 MXNeまず MXNet を構築します。 記事も読むことを強くお勧めします 60 分でわかる MXNet始めるために。

すでに MXNet を使用したことがあり、Horovod を使用した分散学習を試してみたい場合は、以下をご覧ください。 Horovod インストール ページ、MXNet からビルドし、例に従います。 MNIST または ImageNet.

*コストは以下に基づいて計算されます 時給 EC2 インスタンス用の AWS

コースについて詳しく見る 「ビッグデータ上の産業機械学習」

出所： habr.com