Mail.ru Mail での機械学習の操作

Highload++ および DataFest Minsk 2019 での私のスピーチに基づいています。

今日、多くの人にとって、メールはオンライン生活に不可欠な部分です。その助けを借りて、私たちはビジネス通信を行い、財務、ホテルの予約、注文などに関連するあらゆる種類の重要な情報を保存します。 2018 年半ばに、メール開発の製品戦略を策定しました。現代のメールはどうあるべきでしょうか?

メールは次のとおりです 頭いいつまり、ユーザーが増え続ける情報をナビゲートし、最も便利な方法で情報をフィルタリングし、構造化し、提供できるようにすることです。彼女はきっとそうでしょう 有用を使用すると、罰金の支払いなど、さまざまなタスクをメールボックス内で直接解決できます (残念ながら、私もこの機能を使用しています)。そしてもちろん同時に、メールは情報を保護し、スパムを遮断し、ハッキングから保護する必要があります。 安全な.

これらの分野では多くの重要な問題が定義されており、その多くは機械学習を使用して効果的に解決できます。ここでは、戦略の一部として開発された既存の機能の例を、方向ごとに 1 つずつ示します。

• スマートな返信。メールにはスマート返信機能があります。ニューラル ネットワークは手紙の本文を分析し、その意味と目的を理解し、その結果、肯定的、否定的、中立という 3 つの最も適切な応答オプションを提供します。これにより、手紙に返信する時間を大幅に節約でき、標準的ではない面白い方法で返信することもよくあります。
• メールのグループ化オンラインストアでの注文に関するもの。私たちはオンラインで買い物をすることが多く、原則として店舗は注文ごとに複数のメールを送信できます。たとえば、最大のサービスである AliExpress からは、29 回の注文に対して大量の手紙が届き、最終的なケースではその数は最大 XNUMX 通に達する可能性があると計算されました。そこで、固有表現認識モデルを使用して、注文番号を抽出します。テキストからのその他の情報を取得し、すべての文字を XNUMX つのスレッドにグループ化します。注文に関する基本情報も別のボックスに表示されるため、このタイプの電子メールの処理が容易になります。

  

• 対詐欺。フィッシングは、特に危険なタイプの詐欺メールであり、攻撃者はこれを利用して金融情報 (ユーザーの銀行カードを含む) やログイン情報を取得しようとします。このような文字は、視覚的にも含めて、サービスによって送信される実際の文字を模倣します。したがって、Computer Vision の助けを借りて、大企業 (Mail.ru、Sber、Alfa など) からのロゴとレターのデザイン スタイルを認識し、これをテキストやその他の機能とともにスパムとフィッシングの分類子に考慮します。 。

機械学習

電子メール全般における機械学習について少し説明します。メールは高負荷のシステムです。1,5 万人の DAU ユーザーに対して、30 日あたり平均 30 億通の文字が当社のサーバーを通過します。約 XNUMX の機械学習システムが、必要な機能をすべてサポートしています。

各文字は分類パイプライン全体を通過します。まずスパムを遮断し、適切なメールを残します。スパムの 95 ～ 99% は適切なフォルダにさえ到達しないため、ユーザーはスパム対策の働きに気づかないことがよくあります。スパム認識は私たちのシステムの非常に重要な部分ですが、最も難しい部分です。なぜなら、スパム対策の分野では防御システムと攻撃システムの間で絶えず適応する必要があり、それが私たちのチームにとってエンジニアリング上の継続的な課題となるからです。

次に、文字と人間やロボットを分離します。人々からのメールは最も重要であるため、スマート リプライなどの機能を提供しています。ロボットからの手紙は 2 つの部分に分かれています。取引に関するもの - これらはサービスからの重要な手紙 (たとえば、購入やホテルの予約の確認、財務に関するもの)、および情報に関するもの - これらはビジネスの広告や割引です。

私たちは、取引メールは個人的な通信と同等の重要性を持っていると考えています。私たちは注文や航空券の予約に関する情報をすぐに見つける必要があり、これらの手紙を探すのに時間を費やすことが多いため、これらの手紙は手元にあるべきです。したがって、便宜上、旅行、注文、財務、チケット、登録、そして最後に罰金の 6 つの主要カテゴリに自動的に分類されます。

情報レターは最大規模であり、おそらく重要度は低いグループですが、ユーザーがこのようなレターを読まなければ、ユーザーの生活に重要な変化は何もないため、即時応答する必要はありません。新しいインターフェイスでは、ソーシャル ネットワークとニュースレターという 2 つのスレッドに折りたたまれているため、受信トレイが視覚的にクリアされ、重要なメッセージのみが表示されるようになります。

搾取

システムの数が多いと、運用に多くの困難が生じます。結局のところ、他のソフトウェアと同様に、モデルも時間の経過とともに劣化します。機能が壊れたり、マシンが故障したり、コードが歪んだりするのです。さらに、データは常に変化しています。新しいデータが追加されたり、ユーザーの行動パターンが変化したりするため、適切なサポートがなければモデルの動作は時間の経過とともにますます悪化します。

機械学習がユーザーの生活に深く浸透すればするほど、エコシステムに与える影響は大きくなり、その結果、市場参加者が受け取る可能性のある経済的損失または利益も大きくなるということを忘れてはなりません。したがって、ますます多くの分野で、プレイヤーは ML アルゴリズムの動作に適応しています (典型的な例は、広告、検索、およびすでに述べたスパム対策です)。

また、機械学習タスクには特有の特徴があります。システムに変更が加えられると、たとえそれが軽微であっても、モデルに多くの作業が発生する可能性があります。つまり、データの操作、再トレーニング、デプロイメントなど、数週間から数か月かかる場合もあります。したがって、モデルが動作する環境の変化が速ければ速いほど、その環境を維持するために必要な労力はより多くなります。チームは多くのシステムを作成し、それに満足していても、そのメンテナンスにリソースのほとんどすべてを費やし、新しいことを行う機会がない場合があります。私たちはスパム対策チームでそのような状況に遭遇したことがあります。そして彼らは、サポートを自動化する必要があるという明白な結論を下しました。

オートメーション

何が自動化できるのでしょうか?実際、ほぼすべてです。私は機械学習インフラストラクチャを定義する 4 つの領域を特定しました。

• データ収集;
• 追加のトレーニング。
• 展開する;
• テストとモニタリング。

環境が不安定で常に変化している場合、モデルの周囲のインフラストラクチャ全体がモデル自体よりもはるかに重要であることがわかります。これは古き良き線形分類器かもしれませんが、適切な機能を与えてユーザーから良いフィードバックを得れば、あらゆる付加機能を備えた最先端のモデルよりもはるかに優れた機能を発揮します。

フィードバックループ

このサイクルは、データ収集、追加のトレーニング、展開を組み合わせたもので、実際にはモデル更新サイクル全体です。どうしてそれが重要ですか？メール内の登録スケジュールを確認してください。

機械学習開発者は、ボットが電子メールに登録されるのを防ぐアンチボット モデルを実装しました。グラフは、実際のユーザーのみが残る値まで低下します。すべてが素晴らしいです！しかし 4 時間が経過すると、ボットがスクリプトを調整し、すべてが通常の状態に戻ります。この実装では、開発者は機能の追加とモデルの再トレーニングに 1 か月を費やしましたが、スパマーは 4 時間で適応できました。

耐え難いほど苦痛にならず、後ですべてをやり直す必要がないようにするには、最初にフィードバック ループがどのようになるか、環境が変化した場合にどうするかを考えておく必要があります。データの収集から始めましょう。これがアルゴリズムの燃料となります。

データ収集

最新のニューラル ネットワークにとって、データは多ければ多いほど良いことは明らかであり、実際、データは製品のユーザーによって生成されます。ユーザーはデータにマークを付けることで私たちを支援できますが、ユーザーはある時点でモデルの完成に飽きて別の製品に切り替えるため、これを悪用することはできません。

最も一般的な間違いの 1 つは (ここでは Andrew Ng を参照します)、テスト データセットのメトリクスに焦点を当てすぎて、ユーザーからのフィードバックに重点を置かないことです。ユーザーからのフィードバックは、実際には作業品質の主な尺度です。ユーザーのための製品。ユーザーがモデルの仕事を理解しなかったり、気に入らなかったりすると、すべてが台無しになります。

したがって、ユーザーは常に投票できる必要があり、フィードバック用のツールが提供される必要があります。金融に関連した手紙がメールボックスに届いたと考えられる場合、それに「金融」とマークを付け、ユーザーがクリックしてこれは金融ではないことを示すボタンを描画する必要があります。

フィードバックの質

ユーザーからのフィードバックの質について話しましょう。まず、あなたとユーザーは 1 つの概念に異なる意味を入れることができます。たとえば、あなたとプロダクト マネージャーは、「財務」とは銀行からの手紙を意味すると考え、ユーザーは、おばあちゃんからの年金についての手紙も財務を指すと考えます。次に、何の論理もなしにボタンを押すのが大好きなユーザーがいます。第三に、ユーザーは結論を大きく誤っている可能性があります。私たちの実践における顕著な例は、分類子の実装です。 ナイジェリアのスパム、非常に面白いタイプのスパムで、ユーザーはアフリカで突然見つかった遠い親戚から数百万ドルを受け取るよう求められます。この分類子を実装した後、これらのメールの「スパムではない」クリックをチェックしたところ、その 80% がナイジェリアのおいしいスパムであることが判明しました。これは、ユーザーが非常にだまされやすい可能性があることを示唆しています。

また、ボタンは人間だけでなく、ブラウザのふりをするあらゆる種類のボットによってもクリックされる可能性があることを忘れないでください。したがって、生のフィードバックは学習には良くありません。この情報を使って何ができるでしょうか?

私たちは 2 つのアプローチを使用します。

• リンクされた ML からのフィードバック。たとえば、オンラインのアンチボット システムがあり、前述したように、限られた数の兆候に基づいて迅速な決定を下します。そして、事後的に動作する 2 番目の遅いシステムがあります。ユーザーやその行動などに関するより多くのデータが含まれています。その結果、最も多くの情報に基づいた意思決定が行われ、より正確性と完全性が高まります。これらのシステムの動作の違いをトレーニング データとして最初のシステムに送信できます。したがって、より単純なシステムは常に、より複雑なシステムのパフォーマンスに近づこうとします。
• クリック分類。各ユーザーのクリックを簡単に分類し、その有効性と使いやすさを評価できます。これは、スパム対策メールで、ユーザー属性、履歴、送信者属性、テキスト自体、分類子の結果を使用して行われます。その結果、ユーザーのフィードバックを検証する自動システムが実現しました。また、再トレーニングの必要性がはるかに低くなるため、その作業が他のすべてのシステムの基礎になる可能性があります。不正確なデータに基づいてモデルをトレーニングすると結果が伴うため、このモデルの主な優先事項は精度です。

データをクリーニングし、ML システムをさらにトレーニングしている間、ユーザーのことを忘れてはなりません。なぜなら、私たちにとって、グラフ上の何千、何百万ものエラーは統計であり、ユーザーにとってはすべてのバグが悲劇だからです。ユーザーは、フィードバックを受け取った後、何らかの形で製品のエラーを受け入れなければならないという事実に加えて、将来的には同様の状況が排除されることを期待します。したがって、ユーザーに投票の機会を与えるだけでなく、フィードバックのクリックごとに個人的なヒューリスティックを作成するなど、ML システムの動作を修正することも常に価値があります。メールの場合、これはフィルタリング機能などです。このユーザーの送信者とタイトルによる手紙など。

また、他のユーザーが同様の問題に悩まされないように、半自動モードまたは手動モードでサポートへのレポートやリクエストに基づいてモデルを構築する必要もあります。

学習のためのヒューリスティック

これらのヒューリスティックと松葉杖には 2 つの問題があります。 1 つ目は、増え続ける松葉杖の数を長期にわたって維持するのが難しいということです。ましてや、その品質や性能を維持するのが難しいということです。 2 番目の問題は、エラーが頻繁に発生するわけではなく、モデルをさらにトレーニングするために数回クリックするだけでは十分ではないことです。次のアプローチを適用すると、これら 2 つの無関係な影響を大幅に中和できるように見えます。

1. 一時的な松葉杖を作成します。
2. そこからモデルにデータを送信し、受け取ったデータも含めてモデル自体を定期的に更新します。もちろん、ここでは、トレーニング セット内のデータの品質を低下させないように、ヒューリスティックの精度が高いことが重要です。
3. 次に、松葉杖が作動するようにモニタリングを設定します。しばらくして松葉杖が機能しなくなり、モデルに完全に覆われた場合は、安全に取り外すことができます。現在、この問題が再び起こる可能性は低いです。

したがって、松葉杖の軍隊は非常に役立ちます。重要なことは、彼らのサービスは緊急であり、永続的なものではないということです。

追加トレーニング

再トレーニングは、ユーザーまたは他のシステムからのフィードバックの結果として取得された新しいデータを追加し、そのデータに基づいて既存のモデルをトレーニングするプロセスです。追加のトレーニングにはいくつかの問題が発生する可能性があります。

1. モデルは追加のトレーニングをサポートしていないだけで、最初からのみ学習する可能性があります。
2. 追加のトレーニングが生産現場での作業の品質を確実に向上させるとは、自然界の本のどこにも書かれていません。多くの場合、その逆、つまり悪化のみが起こります。
3. 変化は予測できない場合があります。これは、私たちが独自に特定したかなり微妙な点です。 A/B テストで新しいモデルが現在のモデルと同様の結果を示したとしても、それが同じように動作することを意味するわけではありません。彼らの作業はわずか 1% 異なる可能性があり、それによって新たなエラーが発生したり、すでに修正された古いエラーが返されたりする可能性があります。私たちもユーザーも、現在のエラーに対処する方法をすでに知っていますが、多数の新しいエラーが発生した場合、ユーザーは予測可能な動作を期待しているため、何が起こっているのか理解できない場合もあります。

したがって、追加のトレーニングで最も重要なことは、モデルが改善されているか、少なくとも悪化していないことを確認することです。

追加のトレーニングについて話すときに最初に思い浮かぶのは、アクティブ ラーニングのアプローチです。これはどういう意味ですか？たとえば、分類器は電子メールが金融に関連しているかどうかを判断し、その判断境界の周囲にラベル付きの例のサンプルを追加します。これは、たとえば、多くのフィードバックがあり、オンラインでモデルをトレーニングできる広告の場合にうまく機能します。また、フィードバックがほとんどない場合は、本番データの分布に対して非常に偏ったサンプルが得られるため、それに基づいて運用中のモデルの動作を評価することは不可能になります。

実際、私たちの目標は、古いパターンや既知のモデルを保存し、新しいパターンを取得することです。ここでは継続が重要です。ロールアウトするために多大な労力を費やしたモデルはすでに動作しているため、そのパフォーマンスに集中できます。

メールでは、ツリー、線形、ニューラル ネットワークなど、さまざまなモデルが使用されます。それぞれについて、独自の追加トレーニング アルゴリズムを作成します。追加のトレーニングのプロセスでは、新しいデータだけでなく、多くの場合、以下のすべてのアルゴリズムで考慮される新しい特徴も受け取ります。

線形モデル

ロジスティック回帰があるとします。次のコンポーネントから損失モデルを作成します。

• 新しいデータの LogLoss。
• 新しい特徴の重みを正規化します (古い特徴には触れません)。
• また、古いパターンを保存するために古いデータから学習します。
• そして、おそらく最も重要なことは、調和正則化を追加することです。これにより、基準に従って古いモデルに対して重みがあまり変わらないことが保証されます。

各損失コンポーネントには係数があるため、相互検証を通じて、または製品要件に基づいてタスクに最適な値を選択できます。

Деревья

デシジョンツリーに移りましょう。ツリーの追加トレーニング用に次のアルゴリズムをコンパイルしました。

1. 本番環境では、古いデータセットでトレーニングされた 100 ～ 300 本の木のフォレストが実行されます。
2. 最後に、M = 5 個を削除し、2M = 10 個の新しいデータを追加します。これはデータセット全体でトレーニングされますが、新しいデータの重みが高く、モデルの段階的な変更が当然保証されます。

明らかに、時間の経過とともに木の数は大幅に増加するため、タイミングに合わせて定期的に木を減らす必要があります。これを行うために、現在広く普及している知識蒸留 (KD) を使用します。その動作原理について簡単に説明します。

1. 現在の「複雑な」モデルがあります。これをトレーニング データ セットに対して実行し、出力でクラスの確率分布を取得します。
2. 次に、クラス分布をターゲット変数として使用してモデルの結果を繰り返すために、学生モデル (この場合はツリーの数が少ないモデル) をトレーニングします。
3. ここで、データ セット マークアップを一切使用していないため、任意のデータを使用できることに注意することが重要です。もちろん、戦闘ストリームからのデータ サンプルを学生モデルのトレーニング サンプルとして使用します。したがって、トレーニング セットによってモデルの精度を保証でき、ストリーム サンプルによって本番分布での同様のパフォーマンスが保証され、トレーニング セットの偏りが補償されます。

これら 2 つの手法 (ツリーを追加し、ナレッジ蒸留を使用してツリーの数を定期的に減らす) を組み合わせることで、新しいパターンの導入と完全な継続性が保証されます。

KD の助けを借りて、フィーチャの削除やギャップの処理など、モデル フィーチャに対してさまざまな操作も実行します。私たちの場合、データベースに保存されている重要な統計的特徴 (送信者、テキスト ハッシュ、URL など) が多数ありますが、これらは失敗する傾向があります。もちろん、トレーニング セットでは失敗状況が発生しないため、モデルはそのようなイベントの展開に対応する準備ができていません。そのような場合、KD と拡張技術を組み合わせます。データの一部をトレーニングするときに、必要な特徴を削除またはリセットし、元のラベル (現在のモデルの出力) を取得します。これにより、スチューデント モデルはこの分布を繰り返すことを学習します。 。

より深刻なモデル操作が行われるほど、必要なスレッド サンプルの割合が大きくなることがわかりました。

最も単純な操作である特徴の削除には、フローのごく一部のみが必要です。変更される特徴はいくつかだけであり、現在のモデルは同じセットでトレーニングされているため、違いは最小限です。モデルを簡素化するには (ツリーの数を数倍減らす)、すでに 50 対 50 が必要です。また、モデルのパフォーマンスに重大な影響を与える重要な統計的特徴が省略されている場合、その作業を平準化するにはさらに多くのフローが必要です。全文字対応の脱落防止モデルが新登場。

高速テキスト

FastText に移りましょう。単語の表現 (埋め込み) は、単語自体とそのすべての文字 N グラム (通常はトリグラム) の埋め込みの合計で構成されることを思い出してください。かなり多くのトリグラムが存在する可能性があるため、バケット ハッシュが使用されます。つまり、空間全体を特定の固定ハッシュマップに変換します。結果として、ワード数＋バケットあたりの内層の次元で重み行列が得られます。

さらにトレーニングを重ねると、単語やトリグラムなどの新しい記号が表示されます。 Facebook の標準的なフォローアップ トレーニングでは、重要なことは何も起こりません。クロスエントロピーを持つ古い重みのみが新しいデータで再トレーニングされます。したがって、新しい機能は使用されません。もちろん、このアプローチには、運用環境におけるモデルの予測不可能性に関連する上記のすべての欠点があります。そのため、FastText を少し変更しました。すべての新しい重み (ワードとトライグラム) を追加し、クロスエントロピーで行列全体を拡張し、線形モデルとの類推により調和正則化を追加します。これにより、古い重みのわずかな変化が保証されます。

CNN

畳み込みネットワークはもう少し複雑です。 CNN で最後の層が完成している場合は、もちろん調和正則化を適用して連続性を保証できます。しかし、ネットワーク全体の追加のトレーニングが必要な場合、そのような正則化をすべての層に適用することはできなくなります。ただし、トリプレット損失を通じて相補的な埋め込みをトレーニングするオプションがあります (原著).

トリプルロス

フィッシング対策タスクを例として、トリプレット損失を一般的に見てみましょう。当社のロゴだけでなく、他社のロゴのポジティブな例とネガティブな例も取り上げます。最初のクラス間の距離を最小化し、2 番目のクラス間の距離を最大化します。クラスのコンパクト性を確保するために、小さなギャップを設けてこれを行います。

ネットワークをさらにトレーニングすると、計量空間は完全に変化し、前の空間と完全に互換性がなくなります。これはベクトルを使用する問題では深刻な問題です。この問題を回避するには、トレーニング中に古い埋め込みを混ぜます。

新しいデータをトレーニング セットに追加し、モデルの 1 番目のバージョンを最初からトレーニングしています。第 2 段階では、ネットワークをさらにトレーニングします (微調整)。最初に最後の層が完成し、次にネットワーク全体のフリーズが解除されます。トリプレットを構成するプロセスでは、トレーニングされたモデルを使用して埋め込みの一部のみを計算し、残りは古いモデルを使用して計算します。したがって、追加のトレーニングのプロセスで、計量空間 vXNUMX と vXNUMX の互換性を確保します。調和正則化のユニークなバージョン。

アーキテクチャ全体

例としてアンチスパムを使用するシステム全体を考えると、モデルは分離されておらず、相互にネストされています。写真、テキスト、その他の機能を撮影し、CNN と Fast Text を使用して埋め込みを取得します。次に、埋め込みの上に分類子が適用され、さまざまなクラス (文字の種類、スパム、ロゴの存在) のスコアが提供されます。信号と標識はすでに最終決定を下すために樹林に入り始めています。このスキームの個々の分類子により、すべてのデータを生の形式でデシジョン ツリーに入力するのではなく、システムの結果をより適切に解釈し、問題が発生した場合にコンポーネントをより具体的に再トレーニングすることが可能になります。

その結果、あらゆるレベルでの継続性が保証されます。 CNN と Fast Text の最下位レベルでは調和正則化を使用し、中間の分類器では確率分布の一貫性を保つために調和正則化とレート キャリブレーションも使用します。そうですね、ツリー ブースティングは段階的にトレーニングするか、知識の蒸留を使用してトレーニングします。

一般に、このような入れ子になった機械学習システムの維持は、下位レベルのコンポーネントが上位のシステム全体の更新につながるため、通常は面倒です。しかし、私たちの設定では各コンポーネントがわずかに変更され、以前のコンポーネントと互換性があるため、構造全体を再トレーニングすることなく、システム全体を部分的に更新でき、重大なオーバーヘッドなしでサポートできます。

展開する

データ収集とさまざまなタイプのモデルの追加トレーニングについて説明したので、本番環境への展開に移ります。

A/B テスト

前に述べたように、データ収集の過程で通常は偏ったサンプルが得られ、そこからモデルの実稼働パフォーマンスを評価することは不可能です。そのため、デプロイ時にはモデルを以前のバージョンと比較して実際にどうなっているのかを把握する、つまりA/Bテストを実施する必要があります。実際、チャートの展開と分析のプロセスは非常に日常的なものであり、簡単に自動化できます。モデルの応答とユーザーのフィードバックに関する利用可能なすべての指標を収集しながら、モデルをユーザーの 5%、30%、50%、100% に段階的に展開します。重大な外れ値の場合は、モデルを自動的にロールバックします。その他の場合は、十分な数のユーザー クリックを収集した後、パーセンテージを増やすことを決定します。その結果、新しいモデルは完全に自動的にユーザーの 50% に提供され、対象者全体への展開は人によって承認されますが、このステップは自動化できます。

ただし、A/B テスト プロセスには最適化の余地があります。実際のところ、A/B テストは非常に時間がかかり (私たちの場合、フィードバックの量に応じて 6 ～ 24 時間かかります)、そのため非常に費用がかかり、リソースも限られています。さらに、本質的に A/B テスト全体の時間を短縮するには、テストのフローの十分に高いパーセンテージが必要です (統計的に有意なサンプルを集めてメトリクスを小さなパーセンテージで評価するには非常に長い時間がかかる可能性があります)。 A/B スロットの数は非常に限られています。明らかに、最も有望なモデルのみをテストする必要があり、追加のトレーニング プロセス中にかなり多くのモデルを受け取ります。

この問題を解決するために、A/B テストの成功を予測する別の分類器をトレーニングしました。これを行うために、トレーニング セット、遅延セット、およびストリームからのサンプルに関する意思決定統計、精度、再現率、およびその他のメトリクスを特徴として取得します。また、ヒューリスティックを使用してモデルを実稼働中の現在のモデルと比較し、モデルの複雑さを考慮します。これらすべての機能を使用して、テスト履歴でトレーニングされた分類器が候補モデル (この場合は木の森) を評価し、A/B テストでどれを使用するかを決定します。

導入時点では、このアプローチにより、A/B テストの成功数を数倍に増やすことができました。

テストとモニタリング

奇妙なことに、検査やモニタリングは私たちの健康を害するものではなく、むしろ逆に健康を改善し、不必要なストレスから解放してくれるのです。テストによって障害を防ぐことができ、監視によって障害を適時に検出してユーザーへの影響を軽減できます。

ここで、遅かれ早かれシステムは常に間違いを犯すものであることを理解することが重要です。これは、ソフトウェアの開発サイクルによるものです。システム開発の初期段階では、すべてが安定し、イノベーションの主要段階が完了するまで、常に多くのバグが発生します。しかし、時間の経過とともにエントロピーが増大し、最初に説明した周囲のコンポーネントの劣化やデータの変更により、エラーが再び発生します。

ここで注意したいのは、あらゆる機械学習システムはライフサイクル全体を通じて利益の観点から検討されるべきであるということです。以下のグラフは、まれなタイプのスパムを捕捉するシステムの動作例を示しています (グラフの線はゼロに近い)。ある日、誤ってキャッシュされた属性により、彼女はおかしくなってしまいました。幸運なことに、異常なトリガーを監視する機能がなかったため、システムは意思決定の境界にある「スパム」フォルダーに大量の手紙を保存し始めました。結果を修正したにもかかわらず、システムはすでに何度も間違いを犯しているため、5年経っても元が取れません。そして、これはモデルのライフサイクルの観点から見ると完全に失敗です。

したがって、モニタリングのような単純なことがモデルの寿命において重要になる可能性があります。標準的で明白な指標に加えて、モデルの応答とスコアの分布、および主要な特徴値の分布も考慮します。 KL ダイバージェンスを使用すると、現在の分布を過去の分布と比較したり、A/B テストの値を残りのストリームと比較したりできるため、モデルの異常に気づき、変更をタイムリーにロールバックできます。

ほとんどの場合、システムの最初のバージョンは、将来の監視として使用する単純なヒューリスティックまたはモデルを使用して起動されます。たとえば、特定のオンライン ストアの通常のモデルと比較して NER モデルを監視し、それらと比較して分類子のカバレッジが低下している場合、その理由を理解します。ヒューリスティックのもう 1 つの便利な使い方!

結果

この記事の重要なアイデアをもう一度見てみましょう。

• フィブデック。私たちは常にユーザーのことを考えています。ユーザーが私たちの間違いをどのように受け止めるか、どのように報告できるか。ユーザーはモデルをトレーニングするための純粋なフィードバック源ではなく、補助的な ML システムの助けを借りてクリアする必要があることを忘れないでください。ユーザーからの信号を収集できない場合は、接続されたシステムなどの代替フィードバック源を探します。
• 追加トレーニング。ここで重要なのは継続性であるため、現在の生産モデルに依存します。調和正則化や同様のトリックにより、新しいモデルが以前のモデルと大きく変わらないようにトレーニングします。
• 展開する。メトリクスに基づく自動デプロイメントにより、モデルの実装時間が大幅に短縮されます。統計と意思決定の分布、ユーザーの転倒数を監視することは、安らかな睡眠と生産的な週末にとって必須です。

これが、ML システムをより迅速に改善し、より迅速に市場に投入し、信頼性を高めてストレスを軽減するのに役立つことを願っています。

出所： habr.com