恐怖を克服して Azure Machine Learning の使用を開始する方法

私は多くのデータ サイエンティストを知っています - そしておそらく私自身もそのうちの 2 人です - 彼らは、Jupyter Notebook またはある種の Python 開発環境を介して、クラウド上にあるローカルまたは仮想の GPU マシンで作業しています。 AI/ML のエキスパート開発者として XNUMX 年間働いてきた私は、通常のサーバーまたはワークステーションでデータを準備し、Azure の GPU を備えた仮想マシンでトレーニングを実行しながら、まさにこれを実行しました。

もちろん、誰もが聞いたことがあるでしょう Azure機械学習 — 機械学習用の特別なクラウド プラットフォーム。 しかし、ひと目見た後、 紹介記事、Azure ML は解決するよりも多くの問題を引き起こすようです。 たとえば、上記のチュートリアルでは、Azure ML でのトレーニングは Jupyter Notebook から起動されますが、トレーニング スクリプト自体は、オートコンプリート構文を使用せずに、セルの XNUMX つでテキスト ファイルとして作成および編集することが提案されています。通常の開発環境の強調表示およびその他の利点。 このため、私たちは長い間仕事で Azure ML を本格的に使用していませんでした。

しかし、最近、仕事で Azure ML を効果的に使用し始める方法を発見しました。 詳細に興味がありますか?

主な秘密は Azure ML 用の Visual Studio Code 拡張機能。 これにより、環境を最大限に活用して、VS Code でトレーニング スクリプトを直接開発できます。また、スクリプトをローカルで実行し、数回クリックするだけで Azure ML クラスターのトレーニングに送信することもできます。 便利ですね。

そうすることで、Azure ML を使用することで次の利点が得られます。

• ほとんどの時間は、便利な IDE を使用してマシン上でローカルに作業できます。 モデルのトレーニングにのみ GPU を使用する。 同時に、トレーニング リソースのプールは必要な負荷に自動的に調整でき、最小ノード数を 0 に設定することで、トレーニング タスクの存在下で仮想マシンを「オンデマンド」で自動的に起動できます。
• あなたかもしれません すべての学習成果を XNUMX か所に保存する達成されたメトリクスと結果のモデルを含め、すべての結果を保存するために何らかのシステムや順序を考え出す必要はありません。
• この場合、 複数の人が同じプロジェクトに取り組むことができます - 彼らは同じコンピューティング クラスターを使用でき、すべての実験はキューに入れられ、お互いの実験の結果を確認することもできます。 そのようなシナリオの XNUMX つは、 深層学習の教育に Azure ML を使用する各生徒に GPU を備えた仮想マシンを与える代わりに、全員が集中的に使用する XNUMX つのクラスターを作成できます。 さらに、モデルの精度を含む結果の一般的な表は、優れた競争要素として機能します。
• Azure ML を使用すると、たとえば次のような一連の実験を簡単に実行できます。 ハイパーパラメータの最適化 - これは数行のコードで実行でき、一連の実験を手動で行う必要はありません。

Azure ML を試してみるよう説得していただければ幸いです。 開始方法は次のとおりです。

• インストールしたことを確認してください Visual Studio Code、拡張機能と同様に Azure サインイン и アズール ML
• リポジトリのクローンを作成する https://github.com/CloudAdvocacy/AzureMLStarter - MNIST データセットで手書き数字認識モデルをトレーニングするためのデモ コードが含まれています。
• クローン作成したリポジトリを Visual Studio Code で開きます。
• 読む！

Azure ML ワークスペースと Azure ML ポータル

Azure ML は、次の概念に基づいて構成されています 作業エリア — ワークスペース。 データはワークスペースに保存でき、実験はトレーニングのためにワークスペースに送信され、トレーニング結果、つまり結果として得られるメトリクスとモデルもそこに保存されます。 ワークスペース内に何があるのか​​を確認できます Azure ML ポータル - そこから、データのロードから実験のモニタリング、モデルのデプロイまで、さまざまな操作を実行できます。

Web インターフェイスからワークスペースを作成できます Azureポータル （参照してください。 ステップバイステップの説明)、または Azure CLI コマンド ラインを使用します (説明書):

az extension add -n azure-cli-ml
az group create -n myazml -l northeurope
az ml workspace create -w myworkspace -g myazml

ワークスペースに関連するものもあります。 コンピューティングリソース (計算）。 モデルをトレーニングするためのスクリプトを作成したら、次のことが可能になります。 実行のために実験を送信する ワークスペースに追加し、指定します 計算対象 - この場合、スクリプトはパッケージ化され、目的のコンピューティング環境で実行され、実験のすべての結果はさらなる分析と使用のためにワークスペースに保存されます。

MNIST の学習スクリプト

古典的な問題を考えてみましょう 手書き数字認識 MNIST データセットを使用します。 同様に、将来的には任意のトレーニング スクリプトを実行できるようになります。

リポジトリにスクリプトがあります train_local.pyこれは、SkLearn ライブラリを使用して最も単純な線形回帰モデルをトレーニングします。 もちろん、これが問題を解決する最良の方法ではないことは理解しています。最も簡単な例として、これを使用します。

スクリプトはまず OpenML から MNIST データをダウンロードし、次にクラスを使用します。 LogisticRegression モデルをトレーニングし、結果の精度を出力します。

mnist = fetch_openml('mnist_784')
mnist['target'] = np.array([int(x) for x in mnist['target']])

shuffle_index = np.random.permutation(len(mist['data']))
X, y = mnist['data'][shuffle_index], mnist['target'][shuffle_index]

X_train, X_test, y_train, y_test = 
  train_test_split(X, y, test_size = 0.3, random_state = 42)

lr = LogisticRegression()
lr.fit(X_train, y_train)
y_hat = lr.predict(X_test)
acc = np.average(np.int32(y_hat == y_test))

print('Overall accuracy:', acc)

コンピュータ上でスクリプトを実行すると、数秒で結果が得られます。

Azure ML でスクリプトを実行する

Azure ML を通じてトレーニング スクリプトを実行すると、次の XNUMX つの主な利点があります。

• 任意のコンピューティング リソースでトレーニングを実行します。通常、ローカル コンピューターよりも生産性が高くなります。 同時に、Azure ML 自体が、現在のディレクトリのすべてのファイルを含むスクリプトを Docker コンテナーにパックし、必要な依存関係をインストールして、実行のために送信します。
• Azure ML ワークスペース内の単一のレジストリに結果を書き込みます。 この機能を利用するには、スクリプトに数行のコードを追加して、結果の精度を記録する必要があります。

from azureml.core.run import Run
...
try:    
    run = Run.get_submitted_run()
    run.log('accuracy', acc)
except:
    pass

対応するバージョンのスクリプトは次のように呼ばれます。 train_universal.py (上に書いたものより少しずるいですが、それほどではありません)。 このスクリプトは、ローカルとリモート コンピューティング リソースの両方で実行できます。

VS Code から Azure ML で実行するには、次の操作を行う必要があります。

1. Azure 拡張機能がサブスクリプションに接続されていることを確認してください。 左側のメニューから Azure アイコンを選択します。 接続していない場合は、右下隅に通知が表示されます (このような）をクリックすると、ブラウザから入力できます。 をクリックすることもできます Ctrl-Shift-P VS Code コマンドラインを呼び出し、次のように入力します。 Azure サインイン.

2. その後、Azure セクション (左側のアイコン) でセクションを見つけます。 機械学習:

ここには、ワークスペース内のオブジェクトのさまざまなグループ (コンピューティング リソース、実験など) が表示されます。

1. ファイルのリストに移動し、スクリプトを右クリックします train_universal.py 選択します Azure ML: Azure で実験として実行する.

1. これに続いて、VS Code のコマンド ライン領域に一連のダイアログが表示されます。使用しているサブスクリプションと Azure ML ワークスペースを確認し、選択します 新しい実験を作成する:

1. 新しいコンピューティング リソースの作成を選択します 新しいコンピューティングの作成:

   • 計算 トレーニングが行われるコンピューティング リソースを決定します。 ローカル コンピューターまたは AmlCompute クラウド クラスターを選択できます。 スケーラブルなマシンのクラスターを作成することをお勧めします STANDARD_DS3_v2、最小マシン数は 0 (好みに応じて最大 1 台以上)。 これは、VS Code インターフェイスを介して行うことも、以前は ML ポータル.

   

2. 次に、構成を選択する必要があります コンピューティング構成、トレーニング用に作成されたコンテナーのパラメーター、特に必要なすべてのライブラリーを定義します。 この例では、Scikit Learn を使用しているため、 スクラーンをクリックし、Enter キーを押して提案されたライブラリのリストを確認します。 追加のライブラリを使用する場合は、ここで指定する必要があります。

   
   

3. これにより、実験を説明する JSON ファイルを含むウィンドウが開きます。 この中で、実験の名前など、いくつかのパラメーターを修正できます。 その後、リンクをクリックしてください 実験を送信する このファイルのすぐ中に:

1. VS Code を通じて実験を正常に送信すると、通知領域の右側に次のリンクが表示されます。 Azure ML ポータル、実験のステータスと結果を追跡できます。

その後、セクションでいつでも見つけることができます。 実験 Azure ML ポータル、またはセクション内 Azure機械学習 実験のリスト内:

1. その後、コードを修正したり、パラメーターを変更したりした場合、実験を再開するのがはるかに速く簡単になります。 ファイルを右クリックすると、新しいメニュー項目が表示されます 最後の実行を繰り返す - それを選択するだけで、すぐに実験が開始されます。

すべての起動からのメトリクスの結果は、Azure ML ポータルでいつでも確認でき、書き留める必要はありません。

Azure ML を使用した実験の実行はシンプルで手間がかからず、そうすることで多くの優れたメリットが得られることがわかりました。

しかし、デメリットもわかります。 たとえば、スクリプトの実行に大幅に時間がかかりました。 もちろん、スクリプトをコンテナにパッケージ化してサーバーにデプロイするには時間がかかります。 同時にクラスターが 0 ノードのサイズにカットされた場合、仮想マシンの起動にはさらに時間がかかります。これはすべて、数秒で解決される MNIST のような単純なタスクを実験するときに非常に顕著です。 。 ただし、現実の生活では、トレーニングが数時間、場合によっては数日、数週間続く場合、特にコンピューティング クラスターが提供できるはるかに高いパフォーマンスを背景にすると、この追加時間は重要ではなくなります。

次は何ですか？

この記事を読んだ後、業務で Azure ML を使用してスクリプトを実行し、コンピューティング リソースを管理し、結果を一元的に保存できるようになることを願っています。 ただし、Azure ML を使用するとさらに多くのメリットが得られます。

ワークスペース内にデータを保存できるため、すべてのタスクにアクセスしやすい一元化されたリポジトリが作成されます。 さらに、Visual Studio Code からではなく API を使用して実験を実行できます。これは、ハイパーパラメーターの最適化を実行する必要があり、異なるパラメーターでスクリプトを何度も実行する必要がある場合に特に便利です。 さらに、Azure MLには特別なテクノロジーが組み込まれています ハイパードライブを使用すると、ハイパーパラメータのより複雑な検索と最適化を行うことができます。 これらの可能性については次回の投稿でお話します。

役に立つリソース

Azure ML をより詳しく理解するには、次の Microsoft Learn コースが役立つ場合があります。

• Azure ML サービスの概要
• Azure ML Service を使用した AI ソリューションの構築
• Azure ML サービスを使用してローカル モデルをトレーニングする

出所： habr.com