Wie wir Anzeigen moderieren

Jeder Dienst, dessen Nutzer eigene Inhalte (UGC – vom Nutzer generierte Inhalte) erstellen können, steht nicht nur vor geschäftlichen Herausforderungen, sondern muss auch Ordnung im UGC schaffen. Schlechte oder unzureichende Inhaltsmoderation kann die Attraktivität des Dienstes für die Benutzer verringern, bis hin zur Einstellung des Betriebs.

Heute erzählen wir Ihnen von der Synergie zwischen YuLa und Odnoklassniki, die uns hilft, die Anzeigen in YuLa effektiv zu moderieren.

Synergie ist generell eine sehr nützliche Sache, und in der heutigen Welt, in der sich Technologien und Trends sehr schnell ändern, kann sie zu einem hilfreichen Werkzeug werden. Warum sollten Sie knappe Ressourcen und Zeit dafür aufwenden, etwas zu erfinden, das bereits erfunden und verfeinert wurde?

So dachten wir auch, als wir vor der Herausforderung standen, nutzergenerierte Inhalte – Bilder, Texte und Links – zu moderieren. Unsere Nutzer laden täglich Millionen von Inhalten in YuLa hoch, und ohne automatisierte Verarbeitung ist es völlig unrealistisch, all diese Daten manuell zu moderieren.

Deshalb haben wir auf die bereits bestehende Modulationsplattform zurückgegriffen, die unsere Kollegen von Odnoklassniki bis zum Zustand "fast perfekt" weiterentwickelt hatten.

Warum Odnoklassniki?

Täglich strömen Dutzende Millionen Nutzer in das soziale Netzwerk, die Milliarden von Inhalten veröffentlichen: von Fotos über Videos bis hin zu Texten. Die Moderationsplattform von Odnoklassniki hilft dabei, sehr große Datenmengen zu überprüfen und gegen Spam und Bots vorzugehen.

Das Moderationsteam von OK hat über 12 Jahre lang umfangreiche Erfahrungen gesammelt, da es sein Tool kontinuierlich verbessert. Wichtig ist, dass sie nicht nur ihre vorhandenen Lösungen teilen konnten, sondern auch die Architektur ihrer Plattform an unsere spezifischen Anforderungen anpassen konnten.

Zur Vereinfachung werden wir die Moderationsplattform von OK fortan einfach "Plattform" nennen.

Wie alles organisiert ist

Zwischen Yula und Odnoklassniki erfolgt der Datenaustausch über Apache Kafka.

Warum wir dieses Tool gewählt haben:

• Bei Yula durchlaufen alle Anzeigen eine Postmoderation, daher war anfangs keine synchrone Antwort erforderlich.
• Sollte es zu einer extremen Auslastung kommen und Yula oder Odnoklassniki nicht verfügbar sein, beispielsweise aufgrund hoher Lastspitzen, gehen die Daten aus Kafka nicht verloren und können später nachgelesen werden.
• Die Plattform wurde bereits mit Kafka integriert, wodurch die meisten Sicherheitsfragen gelöst wurden.

Für jede von einem Benutzer erstellte oder geänderte Anzeige in Yula wird ein JSON mit den Daten erstellt, das in Kafka abgelegt wird, um eine spätere Moderation zu ermöglichen. Die Anzeigen werden aus Kafka in die Plattform geladen, wo sie automatisch oder manuell bewertet werden. Schlechte Anzeigen werden mit einer Begründung gesperrt, während die Anzeigen, in denen die Plattform keine Verstöße gefunden hat, als 'gut' gekennzeichnet werden. Alle Entscheidungen werden dann an Yula zurückgesendet und im Service angewendet.

Zusammengefasst geht es für Yula um einfache Schritte: Eine Anzeige an die Plattform von Odnoklassniki senden und zurück eine Rückmeldung 'ok' oder den Grund, warum es nicht 'ok' ist, erhalten.

Automatische Verarbeitung

Was passiert mit der Anzeige, nachdem sie in die Plattform aufgenommen wurde? Jede Anzeige wird in mehrere Entitäten unterteilt:

• Titel,
• Beschreibung,
• Fotos,
• ausgewählte Kategorie und Unterkategorie der Anzeige,
• Preis.

Anschließend führt die Plattform eine Clusterung für jede Entität durch, um Duplikate zu finden. Dabei werden Texte und Fotos unterschiedlich gruppiert.

Die Texte werden vor der Clusterung normalisiert, um Sonderzeichen, abgewandelte Buchstaben und andere Reste zu entfernen. Die erhaltenen Daten werden in N-Gramme unterteilt, von denen jedes gehasht wird. Dadurch entstehen viele einzigartige Hashes. Die Ähnlichkeit zwischen den Texten wird anhand der Jaccard-Ähnlichkeit zwischen den beiden resultierenden Mengen bewertet. Wenn die Ähnlichkeit den Schwellenwert überschreitet, werden die Texte zu einem Cluster zusammengeführt. Um die Suche nach ähnlichen Clustern zu beschleunigen, werden MinHash und Locality-sensitive Hashing verwendet.

Für Fotos wurden verschiedene Ansätze zur Bildfusion entwickelt, von der Vergleich von pHash-Bildern bis hin zur Duplikatsuche mittels neuronaler Netze.

Die letzte Methode ist die „harte“. Für das Training des Modells wurden Bildtrios (N, A, P) ausgewählt, bei denen N nicht wie A aussieht und P - ähnlich wie A (ein Halbdublikat). Dann wurde das neuronale Netzwerk trainiert, um A und P so nah wie möglich zu machen, während A und N so weit wie möglich entfernt waren. Dadurch gibt es weniger Fehlalarme im Vergleich dazu, einfach die Embeddings von einem vortrainierten Netzwerk zu verwenden.

Wenn das neuronale Netzwerk Bilder erhält, generiert es für jedes Bild einen N(128)-dimensionalen Vektor und es wird eine Anfrage zur Bewertung der Nähe des Bildes gestellt. Anschließend wird ein Schwellenwert berechnet, bei dem nahe Bilder als Duplikate betrachtet werden.

Das Modell kann meisterhaft Spammer finden, die absichtlich dasselbe Produkt aus verschiedenen Perspektiven fotografieren, um den Vergleich per pHash zu umgehen.

Beispiel für Spammer-Fotos, die von einem neuronalen Netzwerk als Duplikate zusammengefügt wurden.

In der Endphase werden die Duplikate der Anzeigen gleichzeitig nach Text und Bild gesucht.

Wenn in einem Cluster zwei oder mehr Anzeigen kombiniert werden, aktiviert das System eine automatische Sperrung, die anhand bestimmter Algorithmen auswählt, welche Duplikate entfernt und welche behalten werden sollen. Beispielsweise wird eine neuere Anzeige gesperrt, wenn zwei Nutzer in ihren Anzeigen identische Fotos verwenden.

Nach der Erstellung durchläuft jeder Cluster eine Reihe automatischer Filter. Jeder Filter weist dem Cluster eine Punktzahl (Score) zu: mit welcher Wahrscheinlichkeit er eine Bedrohung enthält, die dieser Filter identifiziert.

Das System analysiert zum Beispiel die Beschreibung in der Anzeige und wählt potenzielle Kategorien aus. Anschließend wird die Kategorie mit der höchsten Wahrscheinlichkeit genommen und mit der vom Autor der Anzeige angegebenen Kategorie verglichen. Wenn sie nicht übereinstimmen, wird die Anzeige wegen falscher Kategorisierung gesperrt. Und da wir freundlich und ehrlich sind, informieren wir den Nutzer direkt, welche Kategorie er auswählen sollte, damit die Anzeige genehmigt wird.

Benachrichtigung über die Sperrung wegen falscher Kategorie.

Maschinelles Lernen fühlt sich auf unserer Plattform wie zu Hause. Damit suchen wir beispielsweise in Titeln und Beschreibungen nach in Russland verbotenen Waren. Die neuronalen Netzmodelle analysieren gründlich Bilder auf URL-Adressen, Spam-Texte, Telefonnummern und die gleichen verbotenen Inhalte.

Für Fälle, in denen ein verbotener Artikel als etwas Legales verkauft werden soll und es dabei keinen Text im Titel oder in der Beschreibung gibt, nutzen wir die Bildtagging-Funktion. Jedes Bild kann mit bis zu 11.000 verschiedenen Tags versehen werden, die beschreiben, was auf dem Bild zu sehen ist.

Ein Wasserpfeife wird verkauft, indem sie als Samowar getarnt wird.

Parallel zu den komplexen Filtern arbeiten auch einfache, die offensichtliche textbasierte Aufgaben lösen:

• obszöne Sprache;
• Erkennung von URL-Adressen und Telefonnummern;
• Erwähnung von Messenger-Diensten und anderen Kontakten;
• übermäßig niedriger Preis;
• Anzeigen, in denen nichts verkauft wird, usw.

Heute wird jede Anzeige durch ein feines Sieb von mehr als 50 automatischen Filtern geleitet, die versuchen, etwas Schlechtes in der Anzeige zu finden.

Wenn kein Detektor anschlägt, erhält Yula die Rückmeldung, dass mit der Anzeige "vermutlich" alles in Ordnung ist. Diese Rückmeldung verwenden wir, und den Nutzern, die den Verkäufer abonniert haben, wird eine Benachrichtigung über das Erscheinen eines neuen Produkts gesendet.

Benachrichtigung, dass der Verkäufer ein neues Produkt hat.

Als Ergebnis "reicht" jede Anzeige mit Metadaten, von denen ein Teil bei der Erstellung der Anzeige generiert wird (IP-Adresse des Autors, User-Agent, Plattform, Geolocation usw.), während der Rest die von jedem Filter ausgegebene Score ist.

Warteschlangen für Anzeigen

Wenn eine Anzeige in die Plattform kommt, platziert das System sie in eine der Warteschlangen. Jede Warteschlange wird mithilfe einer mathematischen Formel gebildet, die die Metadaten der Anzeige kombiniert, um ein schädliches Muster zu erkennen.

Zum Beispiel kann eine Warteschlange für Anzeigen in der Kategorie "Mobiltelefone" von Yula-Nutzern erstellt werden, die angeblich aus Sankt Petersburg stammen, während ihre IP-Adressen aus Moskau oder anderen Städten kommen.

Beispiel für Anzeigen, die von einem Nutzer in verschiedenen Städten geschaltet wurden.

Oder man kann Warteschlangen basierend auf den Punkten bilden, die das neuronale Netzwerk den Anzeigen zuweist, und sie absteigend sortieren.

Jede Warteschlange weist gemäß ihrer Formel einen finalen Score der Anzeige zu. Danach gibt es verschiedene Handlungsmöglichkeiten:

• einen Schwellenwert festlegen, bei dem eine Anzeige eine bestimmte Art von Sperrung erhält;
• alle Anzeigen in der Warteschlange zur manuellen Überprüfung an die Moderatoren senden;
• oder die vorherigen Optionen kombinieren: einen Schwellenwert für automatische Sperrungen angeben und die Anzeigen an die Moderatoren senden, die diesen Schwellenwert nicht erreichen.

Warum sind diese Warteschlangen wichtig? Angenommen, ein Benutzer hat ein Foto von Schusswaffen hochgeladen. Das neuronale Netzwerk verleiht ihm einen Score von 95 bis 100 und erkennt mit einer Genauigkeit von 99 %, dass es sich auf dem Bild um eine Waffe handelt. Aber wenn der Score unter 95 % liegt, beginnt die Genauigkeit des Modells zu sinken (das ist eine Besonderheit von neuronalen Modellen).

Infolgedessen entsteht eine Warteschlange basierend auf dem Score des Modells, und die Anzeigen, die einen Score von 95 bis 100 erhalten haben, werden automatisch als „Verbotenes Produkt“ blockiert. Anzeigen mit einem Score unter 95 werden zur manuellen Bearbeitung an die Moderatoren weitergeleitet.

Die Schokoladen-Beretta mit Patronen. Nur für manuelle Moderation! 🙂

Manuelle Moderation

Anfang 2019 wurden etwa 94 % aller Anzeigen auf Юla automatisch moderiert.

Wenn die Plattform bei bestimmten Anzeigen keine Entscheidung treffen kann, werden diese zur manuellen Moderation weitergeleitet. Die Entwickler haben ein eigenes Tool erstellt: In den Aufgaben für die Moderatoren wird sofort sämtliche erforderliche Information angezeigt, um eine schnelle Entscheidung zu treffen – ob die Anzeige in Ordnung ist oder ob sie aus bestimmten Gründen blockiert werden sollte.

Um die Qualität des Services bei der manuellen Moderation sicherzustellen, wird die Arbeit der Moderatoren kontinuierlich überwacht. Beispielsweise werden im Auftragfluss dem Moderator „Fallen“ angezeigt – Anzeigen, für die bereits Lösungen vorliegen. Wenn die Entscheidung des Moderators von der vorab festgelegten Lösung abweicht, wird dies als Fehler gewertet.

Ein Moderator benötigt im Durchschnitt 10 Sekunden zur Überprüfung einer Anzeige. Dabei liegt die Fehlerquote bei maximal 0,5 % aller geprüften Anzeigen.

Volksmoderation

Die Kollegen von Odnoklassniki sind noch einen Schritt weiter gegangen und haben die "Hilfe des Publikums" genutzt: Sie entwickelten eine App-Spiel für das soziale Netzwerk, mit dem eine große Menge an Daten schnell markiert werden kann, indem man ein unerwünschtes Merkmal hervorhebt – Moderator von Odnoklassniki (https://ok.ru/app/moderator). Eine gute Möglichkeit, die Unterstützung der OK-Nutzer zu nutzen, die versuchen, die Inhalte angenehmer zu gestalten.

Ein Spiel, in dem die Nutzer Fotos markieren, auf denen eine Telefonnummer zu sehen ist.

Jede Anzeigenreihe auf der Plattform kann in das Spiel Moderator von Odnoklassniki umgeleitet werden. Alles, was die Nutzer des Spiels markieren, wird anschließend den internen Moderatoren zur Überprüfung übermittelt. Dieses Schema ermöglicht es, Anzeigen zu blockieren, für die noch keine Filter erstellt wurden, und gleichzeitig Schulungsdatensätze zu erstellen.

Speicherung der Moderationsergebnisse

Wir speichern alle während der Moderation getroffenen Entscheidungen, um die Anzeigen, zu denen bereits eine Entscheidung getroffen wurde, nicht erneut bearbeiten zu müssen.

Täglich entstehen Millionen von Clustern aus den Anzeigen. Mit der Zeit erhält jeder Cluster das Urteil „gut“ oder „schlecht“. Jede neue Anzeige oder deren Bearbeitung, die in einen Cluster mit einem Urteil gelangt, erhält automatisch die Entscheidung des Clusters. Täglich summieren sich etwa 20.000 solcher automatischen Entscheidungen.

Wenn ein Cluster keine neuen Anzeigen erhält, wird er aus dem Speicher gelöscht, während sein Hash und seine Entscheidung in Apache Cassandra gespeichert werden.

Wenn die Plattform eine neue Anzeige erhält, versucht sie zuerst, einen ähnlichen Cluster unter den bereits erstellten zu finden und die Entscheidung daraus zu übernehmen. Gibt es keinen solchen Cluster, sucht die Plattform in Cassandra. Gefunden? Ausgezeichnet, die Entscheidung wird auf den Cluster angewendet und an Yula gesendet. Täglich werden im Durchschnitt 70.000 solcher „Wiederholungs“-Entscheidungen gesammelt – das sind 8 % der Gesamtmenge.

Zusammenfassend

Wir nutzen die Moderationsplattform von Odnoklassniki seit zweieinhalb Jahren. Die Ergebnisse gefallen uns:

• Wir moderieren automatisiert 94 % aller Anzeigen pro Tag.
• Die Kosten für die Moderation einer Anzeige wurden von 2 Rubel auf 7 Kopeken gesenkt.
• Dank des fertigen Werkzeugs haben wir die Probleme mit der Verwaltung der Moderatoren vergessen.
• Wir haben die Anzahl der manuell bearbeiteten Anzeigen bei gleichbleibender Moderationsanzahl und Budget um das 2,5-Fache erhöht. Zudem ist die Qualität der manuellen Moderation dank automatisierter Kontrolle gestiegen und liegt bei etwa 0,5 % Fehlerquote.
• Wir decken neue Spamtypen schnell mit Filtern ab.
• Wir integrieren schnell neue Abteilungen in die Moderation. «Jula Vertikale». Seit 2017 sind bei Jula die Vertikale Immobilien, Stellenangebote und Autos hinzugekommen.

Quelle: habr.com