スパムに埋もれないようにコメントを開く方法

美しいものを作ることが仕事の場合、結果はみんなの目の前にあるので、それについてあまり話す必要はありません。 しかし、フェンスの碑文を消しても、フェンスがきちんとしている限り、または何か間違ったものを消去するまでは、誰もあなたの仕事に気づきません。

コメントを残したり、レビューを残したり、メッセージを送信したり、写真をアップロードしたりできるサービスは、遅かれ早かれスパム、詐欺、わいせつの問題に直面します。 これは避けることはできませんが、対処する必要があります。

私の名前はミハイルです。Yandex サービスのユーザーをこのような問題から保護するスパム対策チームで働いています。 私たちの仕事はあまり注目されないので (それは良いことなのです!)、今日はそれについて詳しくお話します。 節度が役に立たない場合と、節度の有効性を示す唯一の指標が精度だけではない理由を学びます。 また、犬と猫の例を使って悪口について説明し、「悪口を言う人のように考える」ことが時々役立つ理由についても説明します。

Yandex には、ユーザーがコンテンツを公開するサービスがますます増えています。 Yandex.Q で質問したり回答を書いたり、Yandex.District でヤード ニュースについて話し合ったり、Yandex.Maps での会話で交通状況を共有したりできます。 しかし、サービスの利用者が増えると、詐欺師やスパム送信者にとって魅力的になります。 彼らはやって来てコメントを記入します。彼らは簡単にお金を提供し、奇跡の治療法を宣伝し、社会的利益を約束します。 スパマーのせいで、お金を失うユーザーもいますが、スパムがあふれかえった粗末なサービスに時間を費やす意欲を失うユーザーもいます。

問題はこれだけではありません。 私たちはユーザーを詐欺師から守るだけでなく、コミュニケーションがしやすい雰囲気を作り出すよう努めています。 コメントで悪口や侮辱に直面した場合、その人は去って二度と戻らない可能性があります。 つまり、あなたもこれに対処できる必要があります。

クリーンウェブ

私たちにはよくあることですが、最初の開発は検索、つまり検索結果内のスパムと戦う部分で生まれました。 約 18 年前、ファミリー検索や XNUMX 歳以上のカテゴリからの回答を必要としないクエリに対してアダルト コンテンツをフィルタリングするタスクが登場しました。 これが、ポルノと悪口に関する最初の手入力辞書が登場した方法であり、分析者によって補充されました。 主なタスクは、リクエストをアダルト コンテンツの表示が許容されるリクエストとそうでないリクエストに分類することでした。 このタスクでは、マークアップが収集され、ヒューリスティックが構築され、モデルがトレーニングされました。 これが、不要なコンテンツをフィルタリングするための最初の開発が登場した方法です。

時間が経つにつれて、UGC (ユーザー生成コンテンツ) が Yandex に表示されるようになりました。これは、ユーザー自身が作成したメッセージであり、Yandex が公開するだけです。 上記の理由により、多くのメッセージは確認せずに公開できず、管理が必要でした。 次に、すべての Yandex UGC 製品をスパムと攻撃者から保護し、検索で不要なコンテンツをフィルタリングする開発を利用するサービスを作成することにしました。 このサービスは「Clean Web」と呼ばれていました。

新しいタスクと推進者からの支援

最初は単純な自動化だけが役に立ちました。サービスはテキストを送信し、わいせつ辞書、ポルノ辞書、正規表現をそれらに対して実行しました。アナリストがすべてを手動で編集しました。 しかし、時間が経つにつれて、このサービスはますます多くの Yandex 製品で使用されるようになり、私たちは新たな問題に対処する方法を学ばなければなりませんでした。

多くの場合、ユーザーはレビューの代わりに、自分の業績を増やそうと意味のない一連の手紙を公開し、時には競合他社の会社のレビューで自社の宣伝をし、また時には単に組織を混乱させてペット ショップについてのレビューを書き込むこともあります。完璧に調理された魚！」 おそらくいつか、人工知能はあらゆるテキストの意味を完全に把握できるようになるでしょう。しかし現在、自動化は人間よりも対処が下手な場合があります。

手作業でマーキングを行わないとこれを実行できないことが明らかになったので、回路に第 XNUMX 段階を追加し、人による手動検査に送りました。 分類器で問題が検出されなかった出版済みのテキストがそこに含まれていました。 このような作業の規模は容易に想像できるため、私たちは評価者に頼るだけでなく、「群衆の知恵」も利用しました。つまり、評価者に助けを求めました。 彼らは、マシンが見逃したものを特定し、それによってマシンに教えるのを助けてくれます。

スマート キャッシングと LSH ハッシュ

コメントを扱う際に私たちが遭遇したもう 5 つの問題は、スパム、より正確にはスパムの量と拡散速度でした。 Yandex.Region の利用者が急速に増加し始めると、スパマーがそこにやって来ました。 彼らは、テキストをわずかに変更することで正規表現を回避する方法を学びました。 もちろん、スパムは引き続き発見され、削除されましたが、Yandex の規模では、たとえ XNUMX 分間投稿された受け入れがたいメッセージも数百人が閲覧する可能性がありました。

もちろん、これは私たちには合わなかったため、LSH に基づいてスマート テキスト キャッシュを作成しました (局所性依存ハッシュ）。 それは次のように機能します。テキストを正規化し、テキストからリンクを削除し、n グラム (n 個の文字のシーケンス) に切り分けます。 次に、n グラムのハッシュが計算され、それらからドキュメントの LSH ベクトルが構築されました。 要は、似たような文章は、多少の変更はあっても、似たようなベクトルになったということだ。

このソリューションにより、類似したテキストに対する分類子とトーク者の判定を再利用できるようになりました。 スパム攻撃中は、最初のメッセージがスキャンに合格し、「スパム」判定でキャッシュに入るとすぐに、変更されたものであっても、すべての新しい同様のメッセージが同じ判定を受け、自動的に削除されました。 その後、スパム分類器をトレーニングし、自動的に再トレーニングする方法を学びましたが、この「スマート キャッシュ」は私たちの心に残り、今でも頻繁に役に立ちます。

優れたテキスト分類子

スパム対策から休む時間がなかったので、コンテンツの 95% が手動で管理されていることに気付きました。分類子は違反にのみ反応し、テキストのほとんどは良好です。 当社では、95 件中 100 件で「すべて問題ありません」という評価を与える清掃業者を派遣しています。 私は、良いコンテンツの分類器を作成するという珍しい仕事をしなければなりませんでしたが、幸運なことに、この間に十分なマークアップが蓄積されました。

最初の分類子は次のようになります。テキストを見出し語化し (単語を初期形式に戻し)、補助品詞をすべて捨てて、事前に準備された「適切な見出し語の辞書」を使用します。 テキスト内のすべての単語が「良好」である場合、テキスト全体には違反が含まれていません。 さまざまなサービスで、このアプローチにより、手動マークアップの 25 ～ 35% がすぐに自動化されました。 もちろん、このアプローチは理想的ではありません。いくつかの無害な単語を組み合わせると、非常に攻撃的な発言が得られるのは簡単ですが、これにより、適切なレベルの自動化にすぐに到達することができ、より複雑なモデルをトレーニングする時間を得ることができました。

優れたテキスト分類器の次のバージョンには、線形モデル、デシジョン ツリー、およびそれらの組み合わせがすでに含まれています。 たとえば、無礼や侮辱をマークするには、BERT ニューラル ネットワークを試します。 文脈内の単語の意味と、異なる文の単語間のつながりを把握することが重要であり、BERT はこれをうまく機能します。 （ところで、最近ニュースの同僚が 言った(ヘッダー内のエラーの検索など、非標準的なタスクにテクノロジがどのように使用されるか) その結果、サービスによってはフローの最大 90% を自動化することができました。

正確さ、完全性、スピード

開発するには、特定の自動分類子がどのような利点をもたらすか、その変更点、および手動チェックの品質が低下しているかどうかを理解する必要があります。 これを行うために、精度と再現率のメトリクスを使用します。

精度は、悪いコンテンツに関するすべての判定のうち、正しい判定の割合です。 精度が高くなるほど、誤検知が少なくなります。 正確さに注意を払わなければ、理論上はスパムやわいせつなメッセージをすべて削除し、それらに加えて適切なメッセージの半分も削除できます。 一方で、精度のみに依存する場合、最高のテクノロジーは誰にもまったく引っかからないものになります。 したがって、完全性の指標として、不良コンテンツの総量に占める特定された不良コンテンツの割合という指標もあります。 これら XNUMX つの指標は相互にバランスをとります。

測定するために、各サービスの受信ストリーム全体をサンプリングし、専門家による評価とマシン ソリューションとの比較のために評価者にコンテンツ サンプルを提供します。

しかし、もう一つ重要な指標があります。

上で、受け入れがたいメッセージは 5 分以内でも何百人もの人に読まれる可能性があると書きました。 そこで私たちは、悪質なコンテンツを非表示にする前に、何回人々に見せたかを数えます。 効率的に作業するだけでは十分ではなく、迅速に作業する必要があるため、これは重要です。 そして、悪口に対する防御策を構築したとき、私たちはそれを最大限に感じました。

犬と猫を例に挙げた反マティズム

ちょっとした叙情的な余談。 わいせつや侮辱は悪意のあるリンクほど危険ではなく、スパムほど迷惑ではないと言う人もいるかもしれません。 しかし、私たちは何百万ものユーザーにとって快適なコミュニケーション環境を維持するよう努めており、人々は侮辱された場所には戻りたがりません。 ハブレを含む多くのコミュニティの規則に、罵りや侮辱の禁止が明記されているのは当然のことです。 しかし話は逸れます。

悪口を言う辞書はロシア語の豊かさをすべて処理することはできません。 主要な宣誓ルートが XNUMX つしかないという事実にもかかわらず、それらから通常のエンジンでは捕捉できない無数の単語を作成できます。 さらに、単語の一部を音訳したり、類似した組み合わせで文字を置換したり、文字を並べ替えたり、アスタリスクを追加したりすることができます。場合によっては、文脈がなければ、ユーザーが汚い言葉を意図したものであると判断することが基本的に不可能です。 私たちはハブルのルールを尊重しているので、実際の例ではなく、猫や犬を使ってこれを実証します。

「律法」と猫は言いました。 しかし、猫が別の言葉を言ったことはわかります...

私たちは辞書の「あいまい一致」アルゴリズムと、よりスマートな前処理について考え始めました。音訳を提供し、スペースと句読点を貼り合わせ、パターンを探し、それらに個別の正規表現を書きました。 このアプローチは結果をもたらしましたが、多くの場合、精度が低下し、望ましい完全性が得られませんでした。

そこで私たちは「悪口を言う人の気持ちになって考える」ことにしました。 私たちは自分たちでデータにノイズを導入し始めました。文字を並べ替えたり、タイプミスを生成したり、文字を似たスペルに置き換えたりしました。 このための最初のマークアップは、マット辞書を大量のテキスト コーパスに適用することによって取得されました。 XNUMX つの文をいくつかの方法でひねると、多くの文ができます。 このようにして、トレーニング サンプルを数十倍に増やすことができます。 残っているのは、コンテキストを考慮した多かれ少なかれスマートなモデルを、結果として得られるプールでトレーニングすることだけです。

最終的な決定について話すのは時期尚早です。 私たちはまだこの問題へのアプローチを実験中ですが、いくつかの層からなる単純なシンボリック畳み込みネットワークが辞書や通常のエンジンよりも大幅に優れていることがすでにわかります。つまり、精度と再現率の両方を向上させることが可能です。

もちろん、特に問題が非常に危険な場合には、最も高度な自動化でさえも回避する方法が常に存在することを私たちは理解しています。愚かな機械が理解できないような方法で記述してください。 ここでも、スパムとの戦いと同様、私たちの目標は、わいせつなものが書かれる可能性そのものを根絶することではなく、私たちの任務は、ゲームがろうそくに値しないことを確認することです。

自分の意見を共有し、コミュニケーションし、コメントする機会を開くことは難しくありません。 安全で快適な環境と人々への敬意を持った扱いを達成することははるかに困難です。 そしてこれがなければコミュニティの発展はありません。

出所： habr.com