広告を管理する方法

ユーザーが独自のコンテンツ (UGC - ユーザー生成コンテンツ) を作成できる各サービスは、ビジネス上の問題を解決するだけでなく、UGC で物事を整理することも余儀なくされています。 コンテンツのモデレーションが不十分または低品質であると、最終的にはユーザーにとってのサービスの魅力が低下し、サービスの運営が終了する場合もあります。

今日は、Yula で広告を効果的に管理するのに役立つ Yula と Odnoklassniki の相乗効果について説明します。

一般に相乗効果は非常に有用なものであり、テクノロジーやトレンドが急速に変化する現代社会では、相乗効果が命の恩人となる可能性があります。 すでに発明され、あなたの前に思い浮かんだものを発明するために、なぜ希少なリソースと時間を無駄にするのでしょうか？

写真、テキスト、リンクといったユーザー コンテンツを管理するという完全なタスクに直面したとき、私たちも同じことを考えました。 当社のユーザーは毎日何百万ものコンテンツを Yula にアップロードしますが、自動処理がなければ、このすべてのデータを手動で管理することは完全に不可能です。

そのため、私たちは既製のモデレーション プラットフォームを使用しましたが、その時までにオドノクラスニキの同僚たちはそれを「ほぼ完璧」な状態まで完成させていました。

なぜオドノクラスニキなのか？

毎日、何千万人ものユーザーがソーシャル ネットワークにアクセスし、写真からビデオ、テキストに至るまで、何十億ものコンテンツを公開しています。 Odnoklassniki モデレーション プラットフォームは、非常に大量のデータをチェックし、スパマーやボットに対抗するのに役立ちます。

OK モデレーション チームは 12 年間ツールを改良してきたため、多くの経験を蓄積してきました。 既製のソリューションを共有するだけでなく、私たちの特定のタスクに合わせてプラットフォームのアーキテクチャをカスタマイズできることが重要です。

今後は、簡潔にするために、OK モデレーション プラットフォームを単に「プラットフォーム」と呼びます。

すべての仕組み

Yula と Odnoklassniki の間のデータ交換は、以下を通じて確立されます。 アパッチカフカ.

このツールを選んだ理由:

• Yula では、すべての広告がポストモデレートされるため、当初は同期応答は必要ありませんでした。
• 不正な段落が発生し、ピーク負荷などの理由で Yula または Odnoklassniki が利用できなくなった場合でも、Kafka からのデータはどこにも消えず、後で読み取ることができます。
• プラットフォームはすでに Kafka と統合されていたため、ほとんどのセキュリティ問題は解決されました。

Yula でユーザーが作成または変更した広告ごとに、データを含む JSON が生成され、その後のモデレーションのために Kafka に配置されます。 Kafka からアナウンスがプラットフォームに読み込まれ、そこで自動または手動で判断されます。 悪質な広告は理由を付けてブロックされ、プラットフォームが違反を検出しなかった広告は「良好」としてマークされます。 その後、すべての決定が Yula に送り返され、サービスに適用されます。

結局のところ、ユラにとって、すべては単純なアクションに帰着します。Odnoklassniki プラットフォームに広告を送信して、「OK」という解決策を返すか、「OK」ではない理由を返すだけです。

自動処理

プラットフォームに掲載された後、広告はどうなりますか? 各広告はいくつかのエンティティに分割されます。

• 名前、
• 説明、
• 写真、
• ユーザーが選択した広告のカテゴリとサブカテゴリ、
• 価格

次に、プラットフォームは各エンティティに対してクラスタリングを実行して重複を見つけます。 さらに、テキストと写真はさまざまなスキームに従ってクラスタリングされます。

クラスタリングの前に、テキストは正規化されて、特殊文字、変更された文字、その他のゴミが削除されます。 受信したデータは N グラムに分割され、それぞれがハッシュ化されます。 その結果、多数の一意のハッシュが生成されます。 テキスト間の類似性は次のように判断されます。 ジャッカードの尺度 結果として得られる XNUMX つのセットの間。 類似性がしきい値より大きい場合、テキストは XNUMX つのクラスターにマージされます。 類似したクラスターの検索を高速化するために、MinHash とローカリティ依存のハッシュが使用されます。

pHash 写真の比較からニューラル ネットワークを使用した重複の検索まで、写真を貼り付けるためのさまざまなオプションが発明されています。

最後の方法は最も「厳しい」方法です。 モデルをトレーニングするために、N が A に似ておらず、P が A に似ている (半重複である) XNUMX つの画像 (N、A、P) が選択されました。 次に、ニューラル ネットワークは、A と P を可能な限り近づけ、A と N を可能な限り近づけることを学習しました。 これにより、事前トレーニングされたネットワークから単にエンベディングを取得する場合と比較して、誤検知が少なくなります。

ニューラル ネットワークが画像を入力として受け取ると、それぞれの画像に対して N(128) 次元のベクトルを生成し、画像の近接性を評価する要求が行われます。 次に、近い画像が重複しているとみなされる閾値が計算されます。

このモデルは、pHash 比較を回避するために、同じ製品をさまざまな角度から撮影するスパマーを巧みに見つけることができます。

ニューラル ネットワークによって複製として貼り付けられたスパム写真の例。

最終段階では、重複した広告がテキストと画像の両方で同時に検索されます。

XNUMX つ以上のアドバタイズメントがクラスタ内でくっついている場合、システムは自動ブロックを開始し、特定のアルゴリズムを使用して、削除する重複と残す重複を選択します。 たとえば、XNUMX 人のユーザーが広告に同じ写真を使用している場合、システムは新しい広告をブロックします。

作成されると、すべてのクラスターは一連の自動フィルターを通過します。 各フィルターはクラスターにスコアを割り当てます。つまり、このフィルターが識別する脅威がクラスターに含まれている可能性がどの程度であるかを示します。

たとえば、システムは広告内の説明を分析し、その広告の潜在的なカテゴリを選択します。 次に、確率が最大のものを選択し、それを広告の作成者が指定したカテゴリと比較します。 一致しない場合、広告は間違ったカテゴリでブロックされます。 また、私たちは親切で正直なので、広告がモデレーションを通過するにはどのカテゴリを選択する必要があるかをユーザーに直接伝えます。

間違ったカテゴリによるブロックの通知。

機械学習は私たちのプラットフォームにぴったりとフィットします。 たとえば、その助けを借りて、ロシア連邦で禁止されている商品の名前と説明を検索します。 そして、ニューラル ネットワーク モデルは、画像を注意深く「検査」し、URL、スパム テキスト、電話番号、および同様の「禁止された」情報が含まれていないかどうかを確認します。

禁止されている商品を合法的なものに見せかけて販売しようとしていて、タイトルや説明文に文字がない場合には、画像タグを使用します。 画像ごとに、画像内の内容を説明する最大 11 個の異なるタグを追加できます。

彼らは水タバコをサモワールに偽装して売ろうとしている。

複雑なフィルターと並行して、単純なフィルターも機能し、テキストに関連する明らかな問題を解決します。

• アンチマット。
• URL と電話番号の検出器。
• インスタントメッセンジャーやその他の連絡先についての言及。
• 値下げした価格;
• 何も販売していない広告など。

現在、すべての広告は 50 を超える自動フィルターの細かいふるいにかけられ、広告内の悪い点が検出されます。

どの検出器も機能しなかった場合、広告は「おそらく」完全な順序であるという応答が Yula に送信されます。 私たち自身もこの回答を使用しており、販売者を購読しているユーザーは、新製品の入手可能性に関する通知を受け取ります。

販売者が新製品を入手したことを通知します。

その結果、各広告はメタデータで「肥大化」します。メタデータの一部は広告の作成時に生成され (作成者の IP アドレス、ユーザー エージェント、プラットフォーム、位置情報など)、残りは各フィルターによって発行されるスコアになります。 。

アナウンス待ち行列

広告がプラットフォームにヒットすると、システムはその広告をキューの XNUMX つに入れます。 各キューは、不正なパターンを検出する方法で広告メタデータを組み合わせる数式を使用して作成されます。

たとえば、サンクトペテルブルク出身と思われる Yula ユーザーからの「携帯電話」カテゴリの広告のキューを作成できますが、彼らの IP アドレスはモスクワまたは他の都市のものです。

あるユーザーがさまざまな都市に投稿した広告の例。

または、ニューラル ネットワークが広告に割り当てるスコアに基づいてキューを形成し、広告を降順に並べることもできます。

各キューは、独自の計算式に従って、広告に最終スコアを割り当てます。 その後、さまざまな方法で続行できます。

• 広告が特定の種類のブロックを受けるしきい値を指定します。
• キュー内のすべての広告をモデレータに送信し、手動で確認します。
• または、前述のオプションを組み合わせて、自動ブロックしきい値を指定し、このしきい値に達していない広告をモデレーターに送信します。

なぜこれらのキューが必要なのでしょうか? ユーザーが銃器の写真をアップロードしたとします。 ニューラル ネットワークはそれに 95 ～ 100 のスコアを割り当て、99% の精度で写真に武器があると判断します。 ただし、スコア値が 95% を下回ると、モデルの精度が低下し始めます (これはニューラル ネットワーク モデルの特徴です)。

その結果、スコア モデルに基づいてキューが形成され、95 ～ 100 の間に受信した広告は「禁止商品」として自動的にブロックされます。 スコアが 95 未満の広告は、手動処理のためにモデレータに送信されます。

カートリッジ付きのチョコレートベレッタ。 手動によるモデレーションのみに使用できます。 🙂

手動モデレーション

2019 年の初めの時点で、Yula のすべての広告の約 94% が自動的にモデレートされています。

プラットフォームが一部の広告を決定できない場合、手動モデレートのためにそれらの広告を送信します。 Odnoklassniki は独自のツールを開発しました。モデレーターのタスクには、広告が適切であるかブロックされるべきか、その理由を示す迅速な決定を下すために必要なすべての情報が即座に表示されます。

また、手動によるモデレート中にサービスの品質が低下しないように、人々の作業は常に監視されています。 たとえば、タスク ストリームでは、モデレーターには「トラップ」、つまり既製のソリューションが存在する広告が表示されます。 モデレーターの決定が完成した決定と一致しない場合、モデレーターにはエラーが与えられます。

モデレーターは 10 つの広告をチェックするのに平均して 0,5 秒かかります。 さらに、エラーの数は、検証されたすべての広告の XNUMX% 未満です。

人々の節度

オドノクラスニキの同僚はさらに進んで、「聴衆の助け」を利用しました。彼らは、大量のデータに素早くマークを付けて、何らかの悪い兆候を強調できるソーシャル ネットワーク用のゲーム アプリケーションを作成しました - オドノクラスニキ モデレーター (https://ok.ru/app/moderator）。 コンテンツをより楽しくしようとしている OK ユーザーの協力を活用する良い方法です。

ユーザーが電話番号が記載された写真にタグを付けるゲーム。

プラットフォーム内の広告のキューは、Odnoklassniki Moderator ゲームにリダイレクトできます。 ゲーム ユーザーがマークアップした内容はすべて、検証のために内部モデレーターに送信されます。 このスキームにより、フィルターがまだ作成されていない広告をブロックし、同時にトレーニング サンプルを作成できます。

モデレーション結果の保存

すでに決定を下した広告を再処理しないように、モデレーション中に行われたすべての決定を保存します。

広告に基づいて毎日何百万ものクラスターが作成されます。 時間の経過とともに、各クラスターには「良好」または「不良」というラベルが付けられます。 新しい広告またはそのリビジョンは、マークが付いたクラスターに入るたびに、クラスター自体から自動的に解決を受け取ります。 このような自動解決は 20 日に約 XNUMX 件あります。

新しいアナウンスがクラスターに到着しない場合、クラスターはメモリーから削除され、そのハッシュとソリューションが Apache Cassandra に書き込まれます。

プラットフォームが新しいアドバタイズメントを受信すると、まず、すでに作成されているクラスターの中から類似したクラスターを見つけて、そこからソリューションを取得しようとします。 そのようなクラスターが存在しない場合、プラットフォームは Cassandra に行き、そこを探します。 見つかりましたか？ わかりました。ソリューションをクラスターに適用し、Yula に送信します。 このような「繰り返される」決定は毎日平均 70 万件あり、これは全体の 8% に相当します。

要約

私たちは Odnoklassniki モデレーション プラットフォームを XNUMX 年半使用しています。 結果は気に入っています:

• 94 日あたりすべての広告の XNUMX% を自動的にモデレートします。
• 2 つの広告のモデレートにかかるコストが 7 ルーブルから XNUMX コペックに削減されました。
• 既製のツールのおかげで、モデレーターの管理の問題を忘れることができました。
• 同じモデレーターの数と予算で、手動で処理された広告の数が 2,5 倍に増加しました。 手動モデレーションの品質も自動制御により向上しており、エラーの変動は 0,5% 程度です。
• 新しいタイプのスパムにはフィルターを使用してすぐにカバーします。
• 新しい部門を迅速にモデレーションに接続します 「ユラ・バーティカルズ」。 2017 年以来、ユラは不動産、求人、自動車の分野を追加しました。

出所： habr.com