MLOps: 機械学習の世界における DevOps

2018 年に、MLOps の概念が専門家サークルや AI に特化したテーマ別カンファレンスに登場しました。これはすぐに業界に定着し、現在は独立した方向性として発展しています。 将来的には、MLOps は IT 分野で最も人気のある分野の XNUMX つになる可能性があります。 それは何ですか、そして何と一緒に食べられますか? 以下で調べてみましょう。

MLOpsとは何ですか

MLOps (機械学習テクノロジーとプロセス、および開発されたモデルをビジネス プロセスに実装するアプローチを組み合わせる) は、人工知能システムを作成する際のビジネス代表者、科学者、数学者、機械学習の専門家、IT エンジニアの間の新しいコラボレーション方法です。

言い換えれば、これは機械学習の手法とテクノロジーをビジネス上の問題を解決するための有用なツールに変える方法です。 

生産性の連鎖はモデルの開発のずっと前から始まっていることを理解する必要があります。 その最初のステップは、ビジネス上の問題、データから抽出できる価値に関する仮説、およびそれを適用するためのビジネス アイデアを定義することです。 

MLOps の概念自体は、機械学習モデルとテクノロジーに関連した DevOps の概念との類似点として生まれました。 DevOps は、継続的な開発、多数の独立したマイクロサービスへの機能の分割、自動化されたテストと個別のサービスの展開など、さまざまなアプローチを使用して柔軟性と信頼性を維持しながら、個々の変更の実装速度を向上させるソフトウェア開発のアプローチです。変化、グローバルヘルスモニタリング、検出された障害に対する迅速な対応システムなど。 

DevOps はソフトウェアのライフサイクルを定義しており、コミュニティは同じ方法論をビッグデータに適用するというアイデアを思いつきました。 DataOps は、多様で相互運用可能なプラットフォームで大量のデータを保存、送信、処理する機能を考慮して、方法論を適応および拡張しようとする試みです。
  
企業のビジネス プロセスに実装される一定のクリティカル マスの機械学習モデルの出現により、数学的機械学習モデルのライフ サイクルとソフトウェアのライフ サイクルの間には強い類似性があることが認識されました。 唯一の違いは、モデル アルゴリズムが機械学習ツールと手法を使用して作成されることです。 したがって、既知のアプローチを機械学習モデルのソフトウェア開発に適用して適応させるというアイデアが自然に生まれました。 したがって、機械学習モデルのライフサイクルでは、次の主要な段階を区別できます。

• ビジネスアイデアを定義する。
• モデルトレーニング。
• モデルのテストとビジネス プロセスへの実装。
• モデルの操作。

運用中に新しいデータでモデルを変更または再トレーニングする必要がある場合、サイクルが再び開始され、モデルが改良され、テストされ、新しいバージョンがデプロイされます。

退却。 なぜ再トレーニングし、再トレーニングしないのでしょうか? 「モデルの再トレーニング」という用語には XNUMX つの意味があります。専門家の間では、モデルの欠陥を意味します。モデルが適切に予測し、トレーニング セットでは予測されたパラメーターを実際に繰り返しますが、外部データ サンプルではパフォーマンスがはるかに悪い場合です。 当然のことながら、この欠陥により使用が不可能になるため、そのようなモデルは欠陥です。

このライフサイクルでは、自動化されたテスト、デプロイ、監視、個別のマイクロサービスの形式でのモデル計算の設計など、DevOps ツールを使用するのが論理的であると思われます。 ただし、追加の ML バインディングなしではこれらのツールを直接使用できない機能も多数あります。

モデルを機能させて収益を上げる方法

MLOps アプローチの使用を示す例として、銀行 (またはその他の) 製品のチャット サポートをロボット化するという古典的なタスクを取り上げます。 通常、チャット サポートのビジネス プロセスは次のようになります。クライアントはチャットに質問を含むメッセージを入力し、事前定義されたダイアログ ツリー内のスペシャリストからの応答を受け取ります。 このようなチャットを自動化するタスクは、通常、専門家が定義した一連のルールを使用して解決されますが、開発と維持には非常に労力がかかります。 このような自動化の効率は、タスクの複雑さのレベルに応じて 20 ～ 30% になることがあります。 当然のことながら、人工知能モジュール (機械学習を使用して開発されたモデル) を実装する方が収益性が高いという考えが生まれます。

• オペレーターの参加なしでより多くのリクエストを処理できます (トピックによっては、効率が 70 ～ 80% に達する場合もあります)。
• 対話中の非標準的な言葉遣いによく適応します - 明確に定式化されていない要求に基づいて、ユーザーの意図、本当の欲求を判断できます。
• モデルの答えが適切である場合と、この答えの「認識」に疑問があり、追加の質問をするかオペレーターに切り替える必要がある場合を判断する方法を知っています。
• さらに自動的にトレーニングすることもできます (開発者のグループが応答スクリプトを常に適応および修正する代わりに、モデルはデータ サイエンスの専門家によって適切な機械学習ライブラリを使用して追加トレーニングされます)。 

このような高度なモデルを機能させるにはどうすればよいでしょうか? 

他の問題を解決する場合と同様、このようなモジュールを開発する前に、ビジネス プロセスを定義し、機械学習手法を使用して解決する特定のタスクを正式に記述する必要があります。 この時点で、頭字語 Ops で指定される運用化のプロセスが始まります。 

次のステップでは、データ サイエンティストがデータ エンジニアと協力して、データの可用性と十分性、およびビジネス アイデアの実現可能性に関するビジネス仮説を確認し、プロトタイプ モデルを開発して実際の有効性をテストします。 企業による確認後にのみ、モデルの開発から特定のビジネス プロセスを実行するシステムへの統合への移行が開始されます。 エンドツーエンドの実装計画、つまりモデルがどのように使用され、どのような経済効果がもたらされるのかを各段階で深く理解することは、企業の技術的状況に MLOps アプローチを導入するプロセスにおける基本的なポイントです。

AI テクノロジーの発展に伴い、機械学習を使用して解決できる問題の数と種類は飛躍的に増加しています。 こうした各業務プロセスは、大量の従業員の労力（コールセンター、書類のチェックと仕分けなど）の自動化により企業にとって節約になり、新たな魅力的で便利な機能を追加することで顧客ベースの拡大にもつながります。リソースの最適な使用と再配分などにより、コストを節約できます。 最終的には、どのプロセスも価値の創造に焦点を当てており、その結果、一定の経済効果をもたらさなければなりません。 ここでは、ビジネスアイデアを明確に策定し、企業の全体的な価値創造構造にモデルを導入することで期待される利益を計算することが非常に重要です。 モデルの実装自体が正当化されず、機械学習の専門家が費やす時間の方が、このタスクを実行するオペレーターの職場よりもはるかに高価になる場合があります。 そのため、AI システム作成の初期段階でそのようなケースを特定するように努める必要があります。

したがって、ビジネス上の問題が MLOps プロセスで正しく定式化され、優先順位が設定され、モデルをシステムに導入するプロセスが開発の初期段階で定式化された場合にのみ、モデルが利益を生み出し始めます。

新しいプロセス - 新しい課題

ML モデルが問題解決にどのように適用できるかという基本的なビジネス上の質問に対する包括的な回答である AI の信頼性に関する一般的な問題は、MLOps アプローチの開発と実装のプロセスにおける重要な課題の XNUMX つです。 当初、企業はプロセスへの機械学習の導入に懐疑的でした。これまで原則として人が働いていた場所ではモデルに依存するのは困難です。 ビジネスにとって、プログラムは「ブラック ボックス」であるように見えますが、その関連性はまだ証明される必要があります。 さらに、銀行、通信事業者などのビジネスでは、政府規制当局の厳しい要件があります。 銀行業務プロセスに実装されているすべてのシステムとアルゴリズムは監査の対象となります。 この問題を解決し、人工知能の対応の妥当性と正しさを企業や規制当局に証明するために、モデルとともに監視ツールが導入されています。 さらに、中央銀行の要件を満たす、規制モデルに必須の独立した検証手順があります。 独立した専門家グループが、入力データを考慮してモデルによって得られた結果を監査します。

XNUMX 番目の課題は、機械学習モデルを実装する際のモデルのリスクを評価して考慮することです。 たとえ同じドレスが白だったか青だったかという質問に XNUMX パーセントの確信を持って答えることができないとしても、人工知能には間違いを犯す権利もあります。 データは時間の経過とともに変化する可能性があり、十分に正確な結果を生成するにはモデルを再トレーニングする必要があることも考慮する価値があります。 ビジネス プロセスに影響が及ばないようにするには、モデルのリスクを管理し、モデルのパフォーマンスを監視し、新しいデータでモデルを定期的に再トレーニングする必要があります。

しかし、不信感の最初の段階を過ぎると、逆の効果が現れ始めます。 より多くのモデルがプロセスに正常に実装されるほど、企業の人工知能の使用意欲は高まります。機械学習手法を使用して解決できる新しい問題が次々と発見されています。 各タスクは、特定の能力を必要とするプロセス全体をトリガーします。

• データ エンジニアがデータを準備および処理します。
• データサイエンティストは機械学習ツールを使用してモデルを開発します。
• IT はモデルをシステムに実装します。
• ML エンジニアは、リクエストのフローや応答時間などを考慮して、モデルの適用モードの要件に応じて、このモデルをプロセスに正しく統合する方法、どの IT ツールを使用するかを決定します。 
• ML アーキテクトは、ソフトウェア製品を産業システムに物理的に実装する方法を設計します。

サイクル全体で、多数の高度な資格を持つ専門家が必要です。 ML モデルの開発とビジネス プロセスへの浸透度がある時点で、タスクの数の増加に比例してスペシャリストの数を直線的に増やすのは費用がかかり、非効率的になることがわかります。 したがって、MLOps プロセスの自動化、つまり機械学習問題のいくつかの標準クラスの定義、標準データ処理パイプラインの開発、およびモデルの追加トレーニングの問題が生じます。 理想的には、このような問題を解決するには、ビッグ データ、データ サイエンス、DevOps、IT の交差点における能力に同等に熟練した専門家が必要です。 したがって、データ サイエンス業界の最大の問題、そして MLOps プロセスを組織する際の最大の課題は、既存のトレーニング市場にそのような能力が欠如していることです。 これらの要件を満たす専門家は現在、労働市場では稀であり、金に相当する価値があります。

コンピテンシーの問題について

理論的には、すべての MLOps タスクは、ロール モデルの特殊な拡張に頼ることなく、従来の DevOps ツールを使用して解決できます。 次に、上で述べたように、データ サイエンティストは数学者やデータ アナリストであるだけでなく、パイプライン全体の第一人者である必要があります。彼はアーキテクチャの開発、アーキテクチャに応じた複数の言語でのモデルのプログラミング、準備を担当します。データ マートとアプリケーション自体のデプロイメント。 ただし、エンドツーエンドの MLOps プロセスに実装される技術フレームワークの作成には人件費の最大 80% がかかります。つまり、質の高いデータ サイエンティストである資格のある数学者は、自分の専門分野に時間の 20% しか費やさないことになります。 。 したがって、機械学習モデルの実装プロセスに関与する専門家の役割を明確にすることが重要になります。 

役割をどの程度詳細に定義する必要があるかは、企業の規模によって異なります。 スタートアップに、自分自身のエンジニア、アーキテクト、DevOps を担当するエネルギー予備部門の勤勉なスペシャリストが XNUMX 人いる場合と、それは別のことです。 大企業で、すべてのモデル開発プロセスが少数の高レベルのデータ サイエンス スペシャリストに集中しているのに対し、プログラマーやデータベース スペシャリスト（労働市場ではより一般的で安価な能力）が必要な場合は、まったく別の問題になります。ほとんどの仕事、日常的なタスクで。

したがって、開発されたモデルの速度と品質、チームの生産性と微気候は、MLOps プロセスをサポートする専門家の選択の境界線がどこにあるのか、および開発されたモデルの運用化プロセスがどのように組織されるかに直接依存します。 。

私たちのチームがすでに行ったこと

私たちは最近、コンピテンシー構造と MLOps プロセスの構築を開始しました。 しかし、モデルのライフサイクル管理とサービスとしてのモデルの使用に関する私たちのプロジェクトは、すでに MVP のテスト段階に入っています。

また、大企業に最適なコンピテンシー構造と、プロセスのすべての参加者間の相互作用の組織構造も決定しました。 あらゆる範囲の企業顧客の問題を解決するためにアジャイル チームが組織され、建設中の MLOps ビルの基礎となるプラットフォームとインフラストラクチャを作成するためのプロジェクト チームとの対話プロセスが確立されました。

将来への質問

MLOps は、コンピテンシーが不足している成長分野であり、将来的には勢いが増すでしょう。 それまでの間は、DevOps の開発と実践に基づいて構築することが最善です。 MLOps の主な目標は、ML モデルをより効果的に使用してビジネス上の問題を解決することです。 しかし、これには多くの疑問が生じます。

• モデルを実稼働環境に導入する時間を短縮するにはどうすればよいですか?
• 異なる能力を持つチーム間の官僚的摩擦を軽減し、協力を重視するにはどうすればよいでしょうか?
• モデルを追跡し、バージョンを管理し、効果的な監視を組織するにはどうすればよいでしょうか?
• 最新の ML モデルの真に循環的なライフサイクルを作成するにはどうすればよいでしょうか?
• 機械学習プロセスを標準化するにはどうすればよいでしょうか?

これらの質問に対する答えによって、MLOps がその可能性を最大限に発揮できるまでの時間は大きく決まります。

出所： habr.com