MLOps - クックブック、第 1 章

こんにちは、みんな！ 私は CROC の CV 開発者です。 私たちは3年前からCV分野のプロジェクトを実施してきました。 この間、私たちは多くのことを行いました。たとえば、運転中に飲酒、喫煙、電話で話さないようにドライバーを監視し、夢や雲を見ずに道路を見ていました。 ; 私たちは、専用車線を運転し、いくつかの駐車スペースを占有する人々を記録しました。 労働者がヘルメット、手袋などを着用することを保証した。 施設への立ち入りを希望している従業員を特定した。 私たちはできる限りすべてを数えました。

私は一体何のためにこんなことをしているのでしょうか？

プロジェクトを実行する過程で、私たちは何度も困難に遭遇します。その中には、皆さんがよく知っている、または将来知ることになる問題のいくつかもあります。

状況をシミュレーションしてみましょう

私たちが、ML に関連した活動を行っている若い企業「N」に就職したと想像してみましょう。 私たちは ML (DL、CV) プロジェクトに取り組んでいますが、その後何らかの理由で別の仕事に切り替え、通常は休憩をとり、自分自身または他の人のニューロンに戻ります。

1. 正念場がやって来ます。どこで停止したか、どのハイパーパラメータを試したか、そして最も重要なことに、それらがどのような結果をもたらしたかを何らかの方法で思い出す必要があります。 すべての起動に関する情報を誰が保存するかについては、ヘッド、構成、メモ帳、クラウドの作業環境など、多くのオプションがあります。 ハイパーパラメータがコード内でコメント行として保存されているときのオプションをたまたま目にしましたが、これは一般的には空想です。 ここで、自分のプロジェクトではなく、退職した人のプロジェクトに戻り、model_1.pb というコードとモデルを継承したとします。 写真を完成させ、すべての痛みを伝えるために、あなたも初心者の専門家であると想像してみましょう。
2. どうぞ。 コードを実行するには、私たちとコードを使用して作業する全員が環境を作成する必要があります。 何らかの理由で彼らが彼を私たちの相続財産として残さなかったことがよくあります。 これも簡単ではない作業になる可能性があります。 このステップで時間を無駄にしたくないですよね?
3. モデル (自動車探知機など) をトレーニングします。 非常に良好な状態になったので、結果を保存します。 これを car_detection_v1.pb と名付けましょう。 次に、別の car_detection_v2.pb をトレーニングします。 しばらくして、私たちの同僚や私たち自身が、さまざまなアーキテクチャを使用して教えることが増えてきました。 その結果、大量の成果物が形成され、それらに関する情報を入念に収集する必要があります (ただし、今のところはより優先すべき事項があるため、これは後で行います)。
4. OK、もう終わりです！ モデルがいます！ 次のモデルのトレーニングを開始したり、新しい問題を解決するためのアーキテクチャを開発したりできますか? それともお茶を飲みに行ってもいいですか? そして誰が配備するのでしょうか？

問題の特定

プロジェクトや製品の開発には多くの人が携わります。 そして時間が経つにつれて、人が去ったり来たりし、プロジェクトが増え、プロジェクト自体がより複雑になっていきます。 いずれにせよ、上記のサイクル (だけではありません) の状況は、特定の組み合わせで反復ごとに発生します。 これらすべてが時間の無駄、混乱、緊張、そしておそらく顧客の不満を引き起こし、最終的にはお金の損失につながります。 私たちは普段、同じ古い熊手を追いかけていますが、こうした瞬間を何度も繰り返し味わいたいと思う人はいないと思います。

したがって、XNUMX つの開発サイクルを経て、解決する必要がある問題があることがわかりました。 これを行うには、次のものが必要です。

• 作業結果を便利に保存します。
• 新入社員を巻き込むプロセスを簡素化する。
• 開発環境の展開プロセスを簡素化します。
• モデルのバージョン管理プロセスを構成します。
• モデルを検証する便利な方法がある。
• モデル状態管理ツールを見つけます。
• モデルを本番環境に配信する方法を見つけます。

このライフサイクルを簡単かつ便利に管理できるワークフローを考案する必要があるようですね? この実践は MLOps と呼ばれます

MLOps (機械学習の DevOps) を使用すると、データ サイエンス チームと IT チームが協力し、機械学習モデルの監視、検証、ガバナンスを通じてモデルの開発と展開のペースを高めることができます。

あなたはできる 名誉Googleの人たちはこのことについてどう思っているのでしょうか？ この記事を見ると、MLOps が非常にボリュームのあるものであることがわかります。

この記事では、プロセスの一部のみを説明します。 実装には MLflow ツールを使用します。 これはオープンソース プロジェクトであり、接続するには少量のコードが必要で、一般的な ml フレームワークと統合されています。 Kubeflow、SageMaker、Trains などの他のツールをインターネットで検索すると、ニーズに合ったツールが見つかるかもしれません。

MLFlow ツールの使用例を使用した MLOps の「構築」

MLFlow は、ML モデルのライフサイクル管理のためのオープンソース プラットフォームです (https://mlflow.org/).

MLflow には XNUMX つのコンポーネントが含まれています。

• MLflow Tracking - 結果と、この結果につながったパラメータの記録の問題について説明します。
• MLflow プロジェクト - コードをパッケージ化し、任意のプラットフォームで再現できます。
• MLflow モデル - 本番環境へのモデルのデプロイを担当します。
• MLflow レジストリ - 集中リポジトリにモデルを保存し、その状態を管理できます。

MLflow は XNUMX つのエンティティで動作します。

• launch は、登録するトレーニング、パラメータ、メトリクスの完全なサイクルです。
• 実験は一緒に実行される「トピック」です。

この例のすべての手順は、Ubuntu 18.04 オペレーティング システムに実装されています。

1. サーバーを展開する

プロジェクトを簡単に管理し、必要な情報をすべて受け取るために、サーバーをデプロイします。 MLflow 追跡サーバーには XNUMX つの主要コンポーネントがあります。

• バックエンド ストア - 登録されたモデルに関する情報の保存を担当します (mysql、mssql、sqlite、postgresql の 4 つの DBMS をサポートします)。
• アーティファクト ストア - アーティファクトの保存を担当します (Amazon S7、Azure Blob Storage、Google Cloud Storage、FTP サーバー、SFTP サーバー、NFS、HDFS の 3 つのストレージ オプションをサポートします)。

として アーティファクトストア 簡単にするために、SFTP サーバーを例に挙げます。

• グループを作成する

  $ sudo groupadd sftpg

• ユーザーを追加し、そのユーザーのパスワードを設定します

  $ sudo useradd -g sftpg mlflowsftp
  $ sudo passwd mlflowsftp 

• いくつかのアクセス設定を調整する

  $ sudo mkdir -p /data/mlflowsftp/upload
  $ sudo chown -R root.sftpg /data/mlflowsftp
  $ sudo chown -R mlflowsftp.sftpg /data/mlflowsftp/upload

• /etc/ssh/sshd_config に数行追加します

  Match Group sftpg
   ChrootDirectory /data/%u
   ForceCommand internal-sftp

• サービスを再起動する

  $ sudo systemctl restart sshd

として バックエンドストア postgresqlを使ってみましょう。

$ sudo apt update
$ sudo apt-get install -y postgresql postgresql-contrib postgresql-server-dev-all
$ sudo apt install gcc
$ pip install psycopg2
$ sudo -u postgres -i
# Create new user: mlflow_user
[postgres@user_name~]$ createuser --interactive -P
Enter name of role to add: mlflow_user
Enter password for new role: mlflow
Enter it again: mlflow
Shall the new role be a superuser? (y/n) n
Shall the new role be allowed to create databases? (y/n) n
Shall the new role be allowed to create more new roles? (y/n) n
# Create database mlflow_bd owned by mlflow_user
$ createdb -O mlflow_user mlflow_db

サーバーを起動するには、次の Python パッケージをインストールする必要があります (別の仮想環境を作成することをお勧めします)。

pip install mlflow
pip install pysftp

サーバーを起動しましょう

$ mlflow server  
                 --backend-store-uri postgresql://mlflow_user:mlflow@localhost/mlflow_db 
                 --default-artifact-root sftp://mlflowsftp:mlflow@sftp_host/upload  
                --host server_host 
                --port server_port

2. 追跡を追加する

私たちのトレーニングの結果が失われないように、将来の世代の開発者が何が起こっているのかを理解し、年長の仲間や皆さんが学習プロセスを冷静に分析できるようにするために、追跡を追加する必要があります。 追跡とは、パラメータ、メトリクス、アーティファクト、およびトレーニングの開始に関する追加情報をサーバーに保存することを意味します。

たとえば、私は小さなものを作成しました github 上のプロジェクト Keras に含まれるすべてのものをセグメント化する COCO データセット。 追跡を追加するために、mlflow_training.py ファイルを作成しました。

最も興味深いことが起こる行は次のとおりです。

def run(self, epochs, lr, experiment_name):
        # getting the id of the experiment, creating an experiment in its absence
        remote_experiment_id = self.remote_server.get_experiment_id(name=experiment_name)
        # creating a "run" and getting its id
        remote_run_id = self.remote_server.get_run_id(remote_experiment_id)

        # indicate that we want to save the results on a remote server
        mlflow.set_tracking_uri(self.tracking_uri)
        mlflow.set_experiment(experiment_name)

        with mlflow.start_run(run_id=remote_run_id, nested=False):
            mlflow.keras.autolog()
            self.train_pipeline.train(lr=lr, epochs=epochs)

        try:
            self.log_tags_and_params(remote_run_id)
        except mlflow.exceptions.RestException as e:
            print(e)

ここで、self.remote_server は、mlflow.tracking メソッドの小さなラッパーです。 MlflowClient (便宜上作成しました) を使用して実験を作成し、サーバー上で実行します。 次に、起動結果をマージする場所を指定します (mlflow.set_tracking_uri(self.tracking_uri))。 自動ロギング mlflow.keras.autolog() を有効にします。 現在、MLflow Tracking は TensorFlow、Keras、Gluon XGBoost、LightGBM、Spark の自動ログをサポートしています。 フレームワークまたはライブラリが見つからない場合は、いつでも明示的にログを記録できます。 トレーニングを開始しています。 リモートサーバーにタグを登録し、パラメータを入力します。

数行入力するだけで、他の人と同じように、すべての打ち上げに関する情報にアクセスできます。 いいね？

3. プロジェクトを作成します

次に、プロジェクトを簡単に起動できるようにしましょう。 これを行うには、MLproject ファイルと conda.yaml ファイルをプロジェクト ルートに追加します。
MLプロジェクト

name: flow_segmentation
conda_env: conda.yaml

entry_points:
  main:
    parameters:
        categories: {help: 'list of categories from coco dataset'}
        epochs: {type: int, help: 'number of epochs in training'}

        lr: {type: float, default: 0.001, help: 'learning rate'}
        batch_size: {type: int, default: 8}
        model_name: {type: str, default: 'Unet', help: 'Unet, PSPNet, Linknet, FPN'}
        backbone_name: {type: str, default: 'resnet18', help: 'exampe resnet18, resnet50, mobilenetv2 ...'}

        tracking_uri: {type: str, help: 'the server address'}
        experiment_name: {type: str, default: 'My_experiment', help: 'remote and local experiment name'}
    command: "python mlflow_training.py 
            --epochs={epochs}
            --categories={categories}
            --lr={lr}
            --tracking_uri={tracking_uri}
            --model_name={model_name}
            --backbone_name={backbone_name}
            --batch_size={batch_size}
            --experiment_name={experiment_name}"

MLflow プロジェクトにはいくつかのプロパティがあります。

• 名前 - プロジェクトの名前。
• 環境 - 私の場合、conda_env は、Anaconda が実行に使用され、依存関係の説明が conda.yaml ファイルにあることを示します。
• エントリ ポイント - どのファイルとどのパラメータを使用して実行できるかを示します (すべてのパラメータはトレーニングの開始時に自動的に記録されます)

conda.yaml

name: flow_segmentation
channels:
  - defaults
  - anaconda
dependencies:
  - python==3.7
  - pip:
    - mlflow==1.8.0
    - pysftp==0.2.9
    - Cython==0.29.19
    - numpy==1.18.4
    - pycocotools==2.0.0
    - requests==2.23.0
    - matplotlib==3.2.1
    - segmentation-models==1.0.1
    - Keras==2.3.1
    - imgaug==0.4.0
    - tqdm==4.46.0
    - tensorflow-gpu==1.14.0

ランタイム環境として docker を使用できます。詳細については、を参照してください。 ドキュメンテーション.

4. トレーニングを始めましょう

プロジェクトのクローンを作成し、プロジェクト ディレクトリに移動します。

git clone https://github.com/simbakot/mlflow_example.git
cd mlflow_example/

実行するにはライブラリをインストールする必要があります

pip install mlflow
pip install pysftp

なぜならconda_env を使用する例では、Anaconda をコンピュータにインストールする必要があります (ただし、必要なパッケージをすべて自分でインストールし、起動パラメータをいじることでこれを回避できます)。

すべての準備手順が完了したので、トレーニングを開始できます。 プロジェクトのルートから:

$ mlflow run -P epochs=10 -P categories=cat,dog -P tracking_uri=http://server_host:server_port .

コマンドを入力するとconda環境が自動作成され、トレーニングが開始されます。
上の例では、トレーニング用のエポック数、セグメント化するカテゴリを渡しました (完全なリストを参照できます) ここで) とリモートサーバーのアドレス。
使用可能なパラメータの完全なリストは、MLproject ファイルにあります。

5. 学習結果を評価する

トレーニングが完了したら、ブラウザでサーバーのアドレスにアクセスできます。 http://server_host:server_port

ここでは、すべての実験のリスト (左上) と実行に関する情報 (中央) が表示されます。 起動ごとに、より詳細な情報 (パラメータ、メトリクス、アーティファクト、およびいくつかの追加情報) を表示できます。

メトリクスごとに変更履歴を観察できます

それらの。 現時点では、結果を「手動」モードで分析できます。また、MLflow API を使用して自動検証を設定することもできます。

6. モデルを登録する

モデルを分析し、戦闘の準備ができていると判断したら、登録に進みます。このために、必要な起動を選択し (前の段落で示したように)、下に進みます。

モデルに名前を付けると、バージョンが決まります。 別のモデルを同じ名前で保存すると、自動的にバージョンアップされます。

モデルごとに説明を追加し、XNUMX つの状態 (ステージング、実稼働、アーカイブ) のいずれかを選択できます。その後、API を使用してこれらの状態にアクセスできるため、バージョン管理と合わせて柔軟性がさらに高まります。

すべてのモデルにも簡単にアクセスできます

とそのバージョン

前の段落と同様に、すべての操作は API を使用して実行できます。

7. モデルをデプロイする

この段階では、トレーニング済み (keras) モデルがすでにあります。 使用方法の例:

class SegmentationModel:
    def __init__(self, tracking_uri, model_name):

        self.registry = RemoteRegistry(tracking_uri=tracking_uri)
        self.model_name = model_name
        self.model = self.build_model(model_name)

    def get_latest_model(self, model_name):
        registered_models = self.registry.get_registered_model(model_name)
        last_model = self.registry.get_last_model(registered_models)
        local_path = self.registry.download_artifact(last_model.run_id, 'model', './')
        return local_path

    def build_model(self, model_name):
        local_path = self.get_latest_model(model_name)

        return mlflow.keras.load_model(local_path)

    def predict(self, image):
        image = self.preprocess(image)
        result = self.model.predict(image)
        return self.postprocess(result)

    def preprocess(self, image):
        image = cv2.resize(image, (256, 256))
        image = image / 255.
        image = np.expand_dims(image, 0)
        return image

    def postprocess(self, result):
        return result

ここでも、便宜上、self.registry は mlflow.tracking.MlflowClient の小さなラッパーです。 重要なのは、リモート サーバーにアクセスし、そこで指定された名前のモデルと最新の製品バージョンを検索することです。 次に、アーティファクトをローカルの ./model フォルダーにダウンロードし、このディレクトリ mlflow.keras.load_model(local_path) からモデルをビルドします。 これでモデルを使用できるようになりました。 CV (ML) 開発者は、モデルを簡単に改善し、新しいバージョンを公開できます。

結論

私は次のことを可能にするシステムを紹介しました。

• ML モデル、トレーニングの進行状況、結果に関する情報を一元的に保存します。
• 開発環境を迅速に展開します。
• モデルの作業の進行状況を監視および分析する。
• モデルのバージョン管理や状態管理に便利です。
• 結果として得られたモデルをデプロイするのは簡単です。

この例はおもちゃであり、独自のシステムを構築するための出発点として機能します。これには、結果の評価とモデルの登録 (それぞれポイント 5 と 6) の自動化が含まれる場合があります。あるいは、データセットのバージョン管理などを追加することもあります。 私が言いたかったのは、全体として MLOps が必要であり、MLflow は目的を達成するための手段にすぎないということです。

私が表示しなかった、発生した問題について書いてください。
ニーズを満たすためにシステムに何を追加しますか?
問題のすべてまたは一部を解決するためにどのようなツールやアプローチを使用しますか?

PS いくつかのリンクを残しておきます。
ギットハブプロジェクト - https://github.com/simbakot/mlflow_example
MLflow - https://mlflow.org/
質問用の仕事用メール - [メール保護]

当社は、IT スペシャリスト向けのさまざまなイベントを定期的に主催しています。たとえば、8 月 19 日のモスクワ時間 00:XNUMX にオンライン形式で CV ミートアップが開催されます。興味があれば参加できます。登録してください。 ここで .

出所： habr.com