MLOps: 機械学習の世界における DevOps

2018 年に、MLOps の概念が専門家の間で、また AI に特化したテーマ別カンファレンスで登場し、急速に業界での地位を確立し、現在では独立した方向性として発展しています。将来、MLOps は IT で最も需要の高い分野の XNUMX つになる可能性があります。それが何であるか、そしてそれをどのように使用するかについては、以下で説明します。

MLOpsとは

MLOps (機械学習光学およびモデリング) は、人工知能システムを作成する際に、ビジネス担当者、科学者、数学者、機械学習の専門家、IT エンジニアが協力する新しい方法です。

言い換えれば、機械学習の方法とテクノロジーを、ビジネス上の問題を解決するための便利なツールに変える方法です。 

生産性向上の連鎖はモデルの開発よりずっと前から始まっていることを理解することが重要です。最初のステップは、ビジネス上の問題、データから抽出できる価値に関する仮説、そしてそれを適用するためのビジネス アイデアを定義することです。 

MLOps の概念そのものは、機械学習モデルとテクノロジーに適用される DevOps の概念の類推として生まれました。 DevOps は、継続的な開発、複数の独立したマイクロサービスへの機能の分割、個々の変更の自動テストと展開、グローバルなパフォーマンス監視、特定された障害に対する迅速な対応システムなど、さまざまなアプローチを使用して、柔軟性と信頼性を維持しながら個々の変更を迅速に実装できるようにするソフトウェア開発のアプローチです。 

DevOps はソフトウェアのライフサイクルを定義し、コミュニティはビッグデータに同じ方法論を使用するというアイデアを思いつきました。 DataOps は、多様で相互作用するプラットフォームで大量のデータを保存、転送、処理する際の特殊性を考慮して方法論を適応および拡張する試みです。
  
企業のビジネスプロセスに実装された機械学習モデルの一定の臨界質量の出現により、数学的機械学習モデルのライフサイクルとソフトウェアのライフサイクルの間に強い類似性が見られるようになりました。唯一の違いは、モデルアルゴリズムが機械学習のツールと方法を使用して作成されることです。したがって、機械学習モデルのソフトウェア開発に既知のアプローチを適用および適応するというアイデアが自然に生まれました。したがって、機械学習モデルのライフサイクルは、次の主要な段階に分けられます。

• ビジネスアイデアの定義
• モデルのトレーニング。
• モデルのビジネス プロセスへのテストと実装。
• モデルの操作。

運用中に、新しいデータでモデルを変更または再トレーニングする必要がある場合、サイクルが再開され、モデルが改良され、テストされ、新しいバージョンが展開されます。

後退。なぜ再訓練するのか、なぜ再訓練しないのか? 「モデルの過剰適合」という用語には 2 つの意味があります。専門家の間では、モデルの予測がうまくいき、トレーニング サンプルでは予測されたパラメータを実際に繰り返すものの、外部データ サンプルでは予測結果がはるかに悪くなる場合のモデル欠陥を意味します。当然、このようなモデルは欠陥であり、この欠陥により使用できなくなります。

このライフサイクルでは、自動テスト、デプロイメントと監視、モデル計算の設計を個別のマイクロサービスとして行う DevOps ツールを使用するのが理にかなっているようです。ただし、追加の ML バインディングなしではこれらのツールを直接使用できないようにする機能もいくつかあります。

モデルを機能させて利益を上げる方法

MLOps アプローチの適用例を示すために、銀行 (またはその他の) 製品のサポート チャットをロボット化するという、今では古典的なタスクを取り上げます。通常、チャット サポートのビジネス プロセスは次のようになります。クライアントはチャットで質問を含むメッセージを入力し、事前に定義されたダイアログ ツリー内でスペシャリストからの応答を受け取ります。このようなチャットを自動化するタスクは通常、専門家が定義した一連のルールの助けを借りて解決されますが、その開発と維持には非常に手間がかかります。このような自動化の効率は、タスクの複雑さのレベルに応じて 20～30% になります。当然、機械学習を使用して開発されたモデルである人工知能モジュールを実装する方が収益性が高いという考えが浮かびます。

• オペレータの介入なしに大量のリクエストを処理できます（トピックによっては、効率が 70～80% に達する場合もあります）。
• 対話における非標準的な言い回しにうまく適応します - 明確に表現されていない要求に対するユーザーの意図や本当の要望を判断できます。
• モデルの応答が適切である場合と、この応答の「認識」に疑問がある場合に、追加の明確な質問をしたり、オペレータに切り替えたりする必要があるかどうかを判断できます。
• さらに自動的にトレーニングできます (開発者のグループが応答シナリオを常に適応および調整する代わりに、モデルは適切な機械学習ライブラリを使用してデータ サイエンスの専門家によってさらにトレーニングされます)。 

このような高度なモデルをどのように機能させるのでしょうか? 

他のあらゆる問題と同様に、このようなモジュールを開発する前に、ビジネス プロセスを定義し、機械学習手法を使用して解決する特定の問題を正式に記述する必要があります。この時点で、Ops と略される運用化のプロセスが始まります。 

次のステップでは、データ サイエンティストがデータ エンジニアと連携して、プロトタイプ モデルを開発し、その実際の有効性をテストすることで、データの可用性と十分性、およびビジネス アイデアの実現可能性に関するビジネス仮説を確認します。ビジネスによる確認が行われた後にのみ、モデルの開発から特定のビジネス プロセスを実行するシステムへの統合への移行を開始できます。各段階でモデルがどのように使用され、どのような経済効果がもたらされるかを深く理解した上でのエンドツーエンドの実装計画は、企業の技術環境に MLOps アプローチを実装するプロセスにおける基本的な段階です。

AI技術の発展に伴い、機械学習を使用して解決できる問題の数と種類は飛躍的に増加しています。このような各ビジネス プロセスは、大量の職務 (コール センター、文書の確認と分類など) の従業員の作業を自動化することによる会社の節約、魅力的で便利な新しい機能の追加による顧客ベースの拡大、リソースの最適な使用と再配分による節約など、企業にとっての節約になります。結局のところ、あらゆるプロセスは価値の創造を目的としており、その結果、一定の経済効果をもたらさなければなりません。ここでは、ビジネスアイデアを明確に定式化し、企業の価値創造の全体的な構造の中でモデルを実装することから期待される利益を計算することが非常に重要です。モデルの実装が正当化されず、機械学習の専門家が費やす時間が、このタスクを実行するオペレーターのワークステーションよりもはるかに高価になる場合があります。そのため、AI システムを作成する初期段階で、このようなケースを特定するように努める必要があります。

したがって、ビジネスの問題が MLOps プロセスで正しく定式化され、優先順位が設定され、モデルをシステムに実装するプロセスが開発の初期段階で定式化された場合にのみ、モデルが利益を生み出し始めます。

新しいプロセス – 新しい課題

ML モデルが問題解決に適用できるかどうかという基本的なビジネス上の疑問、つまり AI に対する信頼の一般的な疑問に対する包括的な答えは、MLOps アプローチの開発と実装のプロセスにおける重要な課題の 1 つです。当初、企業はプロセスへの機械学習の導入に懐疑的でした。これまで人が働いていた場所でモデルに頼るのは難しいからです。企業にとって、プログラムは「ブラック ボックス」であり、その答えが関連性があることがまだ証明される必要があるようです。さらに、銀行業や通信事業者などの事業では、州の規制当局による厳しい要件があります。銀行業務プロセスに実装されているすべてのシステムとアルゴリズムは監査の対象となります。この問題を解決するために、企業や規制当局に人工知能の応答の有効性と正確性を証明するために、モデルとともに監視ツールが導入されています。さらに、中央銀行の要件に準拠した、規制モデルに必須の独立した検証手順があります。独立した専門家グループが、入力データを考慮してモデルによって得られた結果を監査します。

2 番目の課題は、機械学習モデルを実装する際にモデルのリスクを評価し、考慮することです。人間ですらドレスが白だったか青だったかを100％確実に答えられないのであれば、人工知能にも間違いを犯す権利がある。また、時間の経過とともにデータが変化する可能性があり、十分に正確な結果を生成するにはモデルをさらにトレーニングする必要があることも考慮する価値があります。ビジネス プロセスに支障がないようにするには、モデルのリスクを管理し、モデルのパフォーマンスを監視して、新しいデータで定期的に再トレーニングする必要があります。

しかし、不信の最初の段階を過ぎると、逆の効果が現れ始めます。プロセスにモデルがうまく実装されるほど、企業の人工知能の利用意欲が高まり、機械学習手法を使用して解決できる新しいタスクがますます多く見つかります。各タスクは、特定の能力を必要とするプロセス全体を開始します。

• データ エンジニアはデータを準備および処理します。
• データ サイエンティストは機械学習ツールを適用してモデルを開発します。
• IT はモデルをシステムに実装します。
• ML エンジニアは、リクエストのフローや応答時間などを考慮しながら、モデル適用モードの要件に応じてこのモデルをプロセスに正しく統合する方法、使用する IT ツールを決定します。 
• ML アーキテクトは、ソフトウェア製品を産業システムに物理的に実装する方法を設計します。

サイクル全体には、高度な資格を持つ専門家が多数必要です。 ML モデルの開発とビジネス プロセスへの浸透の特定の時点で、タスク数の増加に比例してスペシャリストの数を直線的に増やすと、コストがかかり、非効率的になることがわかります。したがって、機械学習タスクのいくつかの標準クラスを定義し、一般的なデータ処理パイプラインを開発し、モデルを再トレーニングする、MLOps プロセスを自動化するという問題が生じます。理想的には、このような問題を解決するには、ビッグデータ、データサイエンス、DevOps、IT の交差点における能力に同等に精通した専門家が必要です。したがって、データ サイエンス業界における最大の問題、そして MLOps プロセスを組織化する上での最大の課題は、既存のトレーニング市場におけるそのような能力の欠如です。このような要件を満たす専門家は現在、労働市場では稀であり、非常に貴重です。

能力の問題について

理論的には、ロールモデルの特殊な拡張に頼ることなく、従来の DevOps ツールを使用してすべての MLOps タスクを解決できます。そして、すでに上で述べたように、データ サイエンティストは数学者やデータ分析の専門家であるだけでなく、パイプライン全体の第一人者でなければなりません。その責任は、アーキテクチャの開発、アーキテクチャに応じた複数の言語でのモデルのプログラミング、データ マートの準備、アプリケーション自体の展開にあります。しかし、エンドツーエンドの MLOps プロセスに実装される技術的フレームワークの作成には最大 80% の人件費がかかります。つまり、優秀なデータ サイエンティストである有能な数学者が専門分野に割ける時間は 20% にしかならないことになります。したがって、機械学習モデルの実装プロセスを実行する専門家の役割を明確にすることが重要になります。 

役割をどの程度詳細に定義する必要があるかは、企業の規模によって異なります。スタートアップに、電力エンジニアの予備要員として、エンジニア、アーキテクト、DevOps を兼任するスペシャリストが 1 人いる場合は、問題ありません。大企業で、すべてのモデル開発プロセスが少数の高度なデータサイエンスの専門家に集中し、労働市場でより一般的で安価なスキルであるプログラマーやデータベースの専門家が日常的なタスクのほとんどを担えるようになると、状況はまったく異なります。

したがって、開発されたモデルの速度と品質、チームの生産性、チーム内の微気候は、MLOps プロセスを確実に実行するための専門家の選択において境界線がどこに引かれるか、および開発されたモデルの運用化のプロセスがどのように編成されるかに直接依存します。

私たちのチームがすでにやったこと

当社は最近、コンピテンシー構造と MLOps プロセスの構築を開始しました。しかし、現在すでに、モデルのライフサイクル管理とサービスとしてのモデルの使用に関するプロジェクトは、MVP テスト段階にあります。

また、大企業にとって最適な能力構造と、プロセスに参加するすべての参加者間の相互作用の組織構造も決定しました。あらゆるビジネス カスタマーの問題を解決するためにアジャイル チームが編成され、プロジェクト チームとの対話プロセスが確立され、構築中の MLOps ビルの基盤となるプラットフォームとインフラストラクチャが作成されました。

将来への疑問

MLOps はスキルギャップが生じている成長分野であり、今後勢いを増すでしょう。それまでの間は、DevOps の開発と実践に基づいて構築するのが最善です。 MLOps の主な目的は、ML モデルをより効果的に使用してビジネス上の問題を解決することです。しかし、これには多くの疑問が生じます。

• モデルを本番環境に投入するまでの時間を短縮するにはどうすればよいでしょうか?
• 異なる能力を持つチーム間の官僚的な摩擦を軽減し、協力に重点を置くにはどうすればよいでしょうか?
• モデルを追跡し、バージョンを管理し、効果的な監視を組織化するにはどうすればよいですか?
• 最新の ML モデルに真に循環的なライフサイクルを作成するにはどうすればよいでしょうか?
• 機械学習のプロセスを標準化するにはどうすればよいでしょうか?

これらの質問への答えによって、MLOps がどれだけ早くその潜在能力を最大限に発揮できるかが大きく決まります。

出所： habr.com