Comment nous modérons les annonces

Chaque service permettant à ses utilisateurs de créer leur propre contenu (UGC - User-generated content) doit non seulement répondre à des enjeux commerciaux, mais aussi organiser ce contenu généré par les utilisateurs. Une modération de contenu de mauvaise qualité ou inefficace peut réduire l'attrait du service pour les utilisateurs, allant jusqu'à compromettre son fonctionnement.

Aujourd'hui, nous allons vous parler de la synergie entre Yula et Odnoklassniki, qui nous aide à modérer efficacement les annonces sur Yula.

La synergie est une chose très utile, et dans le monde moderne, où les technologies et les tendances changent rapidement, elle peut devenir une véritable bouée de sauvetage. Pourquoi dépenser des ressources et du temps limités à réinventer la roue quand quelqu'un d'autre l'a déjà fait et l'a perfectionnée ?

C'est également ce que nous avons pensé, lorsque nous avons été confrontés à la tâche de modération du contenu utilisateur - images, textes et liens. Chaque jour, nos utilisateurs téléchargent des millions d'unités de contenu sur Yula, et sans un traitement automatique, il est totalement irréaliste de modérer toutes ces données manuellement.

C'est pourquoi nous avons utilisé une plateforme de modération existante, que nos collègues d'Odnoklassniki ont perfectionnée à presque la perfection.

Pourquoi Odnoklassniki ?

Chaque jour, des dizaines de millions d'utilisateurs se rendent sur le réseau social, publiant des milliards d'unités de contenu : des photos aux vidéos et textes. La plateforme de modération d'Odnoklassniki aide à vérifier de très grands volumes de données et à lutter contre les spammeurs et les bots.

L'équipe de modération d'OK a accumulé une grande expérience, perfectionnant son outil depuis 12 ans. Il est important qu'ils puissent non seulement partager leurs solutions prêtes à l'emploi, mais aussi adapter l'architecture de leur plateforme à nos besoins spécifiques.

Pour des raisons de concision, nous appellerons la plateforme de modération d'OK simplement « plateforme ».

Comment tout fonctionne

L'échange de données entre Yula et Odnoklassniki se fait via Apache Kafka.

Pourquoi avons-nous choisi cet outil :

• Sur Yula, toutes les annonces passent par une post-moderation, donc une réponse synchrone n'était pas requise au départ.
• S'il arrive qu'il y ait un gros problème et que Yula ou Odnoklassniki soient indisponibles, y compris en raison de pics de charges, les données de Kafka ne disparaîtront nulle part et pourront être lues plus tard.
• La plateforme a déjà été intégrée à Kafka, donc la plupart des problèmes de sécurité ont été résolus.

Pour chaque annonce créée ou modifiée par l'utilisateur sur Yula, un JSON contenant les données est généré, qui est placé dans Kafka pour modération ultérieure. Les annonces sont ensuite chargées dans la plateforme à partir de Kafka, où des décisions sont prises automatiquement ou manuellement. Les mauvaises annonces sont bloquées avec la mention du motif, tandis que celles que la plateforme n'a pas considérées comme violant les règles sont marquées comme « bonnes ». Ensuite, toutes les décisions sont renvoyées à Yula et appliquées dans le service.

Ainsi, pour Yula, tout se résume à des actions simples : envoyer l'annonce à la plateforme Odnoklassniki et recevoir en retour une résolution « OK », ou une explication sur pourquoi ce n'est pas « OK ».

Traitement automatique

Que se passe-t-il avec l'annonce après qu'elle ait été placée dans la plateforme ? Chaque annonce est décomposée en plusieurs entités :

• titre,
• description,
• photos,
• catégorie et sous-catégorie sélectionnées par l'utilisateur pour l'annonce,
• prix.

Ensuite, pour chaque entité, la plateforme effectue une clustering afin de trouver des doublons. Les textes et les photos sont clusterisés selon des schémas différents.

Les textes sont normalisés avant le clustering pour éliminer les caractères spéciaux, les lettres modifiées et autres éléments indésirables. Les données obtenues sont divisées en N-grammes, chacun étant haché. En fin de compte, on obtient un grand nombre de hachages uniques. La similarité entre les textes est calculée selon la mesure de Jaccard entre les deux ensembles obtenus. Si la similarité dépasse le seuil, les textes sont fusionnés en un seul cluster. Pour accélérer la recherche de clusters similaires, MinHash et le hachage sensible à la localisation sont utilisés.

Pour les photos, différentes méthodes de fusion d'images ont été imaginées, allant de la comparaison de hachages perceptuels (pHash) aux recherches de doublons à l'aide de réseaux neuronaux.

Cette dernière méthode est la plus « sévère ». Pour former le modèle, des triplets d'images (N, A, P) ont été constitués, où N n'est pas similaire à A, tandis que P est similaire à A (un demi-doublon). Ensuite, le réseau neuronal a appris à faire en sorte qu'A et P soient le plus proches possible, tandis qu'A et N soient le plus éloignés possible. Ainsi, on obtient moins de faux positifs par rapport à simplement utiliser les embeddings d'un réseau pré-entraîné.

Lorsque le réseau de neurones reçoit des images, il génère pour chacune d'elles un vecteur de N(128) dimensions et effectue une requête pour évaluer la similarité de l'image. Ensuite, un seuil est calculé, au-dessous duquel les images proches sont considérées comme des doublons.

Le modèle est capable de détecter habilement les spammeurs qui photographient intentionnellement le même produit sous différents angles pour contourner la comparaison par pHash.

Exemple de photos de spammeurs fusionnées par le réseau de neurones en tant que doublons.

À l'étape finale, les doublons d'annonces sont recherchés simultanément par le texte et par l'image.

Si deux annonces ou plus sont fusionnées dans un cluster, le système déclenche un blocage automatique qui, selon certains algorithmes, détermine quels doublons supprimer et lesquels conserver. Par exemple, si deux utilisateurs ont les mêmes photos dans leurs annonces, le système bloquera l'annonce la plus récente.

Après leur création, tous les clusters passent par une série de filtres automatiques. Chaque filtre attribue un score au cluster : quelle est la probabilité qu'il contienne une menace détectée par ce filtre.

Par exemple, le système analyse la description de l'annonce et sélectionne des catégories potentielles pour celle-ci. Il prend ensuite celle avec la probabilité maximale et la compare à la catégorie fournie par l'auteur de l'annonce. Si elles ne correspondent pas, l'annonce est bloquée pour catégorie incorrecte. Et comme nous sommes bienveillants et honnêtes, nous disons directement à l'utilisateur quelle catégorie il doit choisir pour que l'annonce soit modérée.

Notification de blocage pour une catégorie incorrecte.

Sur notre plateforme, l'apprentissage automatique s'épanouit. Par exemple, grâce à lui, nous recherchons dans les titres et descriptions des produits interdits en RF. Et les modèles de réseaux neuronaux examinent minutieusement les images pour détecter des URL, des textes indésirables, des numéros de téléphone et tout ce qui relève de l'interdiction.

Dans les cas où un produit interdit est tenté d'être vendu en le masquant sous quelque chose de légal, sans aucun texte dans le titre ou la description, nous utilisons le marquage des images. Jusqu'à 11 000 différentes étiquettes peuvent être appliquées à chaque image, décrivant ce qu'elle représente.

Un narguilé est tenté d'être vendu en le masquant sous un samovar.

Parallèlement aux filtres complexes, des filtres simples fonctionnent également, résolvant des problèmes évidents liés au texte :

• antimatériel;
• détecteur d'URL et de numéros de téléphone;
• mention des messageries et d'autres contacts;
• prix sous-évalué;
• annonces où rien n'est vendu, etc.

Aujourd'hui, chaque annonce passe par un filtre fin de plus de 50 filtres automatiques qui tentent de détecter quelque chose de mauvais dans l'annonce.

Si aucun des détecteurs ne se déclenche, une réponse est envoyée à Yulu indiquant que l'annonce est « probablement » en bon état. Nous utilisons cette réponse, et les utilisateurs qui se sont abonnés au vendeur reçoivent une notification concernant l'apparition d'un nouveau produit.

Notification indiquant qu'un nouveau produit est disponible chez le vendeur.

Ainsi, chaque annonce « s'enrichit » de métadonnées, dont une partie est générée lors de la création de l'annonce (adresse IP de l'auteur, user-agent, plateforme, géolocalisation, etc.), et le reste consiste en des scores attribués par chaque filtre.

Files d'attente d'annonces

Lorsque l'annonce entre sur la plateforme, le système la place dans l'une des files d'attente. Chaque file est formée à l'aide d'une formule mathématique qui combine les métadonnées de l'annonce afin de détecter un mauvais motif.

Par exemple, une file d'attente d'annonces dans la catégorie « téléphones mobiles » peut être créée à partir d'utilisateurs de Yulu prétendument de Saint-Pétersbourg, mais ayant des adresses IP de Moscou ou d'autres villes.

Exemple d'annonces publiées par un même utilisateur dans différentes villes.

Ou bien les files peuvent être formées sur la base des scores que le réseau de neurones attribue aux annonces, les classant par ordre décroissant.

Chaque file, selon sa formule, attribue un score final à l'annonce. Ensuite, plusieurs actions peuvent être envisagées :

• indiquer un seuil à partir duquel l'annonce recevra un type de blocage spécifique;
• envoyer toutes les annonces de la file aux modérateurs pour une vérification manuelle;
• ou combiner les options précédentes : indiquer un seuil de blocage automatique et envoyer aux modérateurs les annonces qui n'ont pas atteint ce seuil.

Pourquoi ces files d'attente? Supposons qu'un utilisateur télécharge une photo d'une arme à feu. Le réseau neuronal lui attribue un score de 95 à 100 et détermine avec 99 % de précision qu'il s'agit d'une arme sur l'image. Mais si le score est inférieur à 95 %, la précision du modèle commence à diminuer (c'est une particularité des modèles de réseaux de neurones).

En conséquence, une file d'attente se forme sur la base du score du modèle, et les annonces qui obtiennent un score de 95 à 100 sont automatiquement bloquées comme « produit interdit ». Les annonces avec un score inférieur à 95 sont envoyées pour un traitement manuel par des modérateurs.

Beretta en chocolat avec des munitions. Uniquement pour modération manuelle! 🙂

Modération manuelle

Début 2019, environ 94 % de toutes les annonces sur Youla sont modérées automatiquement.

Si la plateforme ne peut pas se décider sur certaines annonces, elle les envoie pour une modération manuelle. Odnoklassniki a développé son propre outil : dans les missions pour les modérateurs, toutes les informations nécessaires à une décision rapide - l'annonce est-elle valable ou doit-elle être bloquée avec indication de la raison - s'affichent immédiatement.

Pour garantir que la qualité du service ne soit pas affectée lors de la modération manuelle, le travail des personnes est constamment contrôlé. Par exemple, dans le flux de missions, le modérateur voit des « pièges » - des annonces pour lesquelles des décisions sont déjà prises. Si la décision du modérateur ne correspond pas à celle prédéfinie, une erreur est comptabilisée pour le modérateur.

Un modérateur passe en moyenne 10 secondes à examiner une annonce. Le taux d'erreurs est inférieur à 0,5 % de toutes les annonces examinées.

Modération populaire

Des collègues d'Odnoklassniki ont poussé plus loin, en profitant de l'« aide de la salle » : ils ont écrit une application de jeu pour le réseau social, où il est possible de marquer rapidement un grand nombre de données en signalant un mauvais critère - Modérateur Odnoklassniki (https://ok.ru/app/moderator). Une bonne façon de bénéficier de l'aide des utilisateurs d'OK, qui s'efforcent d'améliorer le contenu.

Un jeu dans lequel les utilisateurs marquent des photos contenant un numéro de téléphone.

Toute file d'annonces sur la plateforme peut être redirigée vers le jeu Modérateur Odnoklassniki. Tout ce que les utilisateurs du jeu marquent est ensuite soumis à des modérateurs internes pour vérification. Ce système permet de bloquer les annonces pour lesquelles des filtres n'ont pas encore été créés, tout en créant des ensembles d'apprentissage.

Stockage des résultats de modération

Nous sauvegardons toutes les décisions prises lors de la modération, afin de ne pas avoir à traiter à nouveau les annonces pour lesquelles une décision a déjà été prise.

Chaque jour, des millions de clusters sont créés pour les annonces. Au fil du temps, chaque cluster reçoit une note «bon» ou «mauvais». Chaque nouvelle annonce ou sa révision, en entrant dans un cluster noté, reçoit automatiquement la résolution du cluster lui-même. Environ 20 000 de telles résolutions automatiques sont générées chaque jour.

Si aucun nouvel annonce n'est reçu dans le cluster, il est supprimé de la mémoire et son hash et sa décision sont enregistrés dans Apache Cassandra.

Lorsque la plateforme reçoit une nouvelle annonce, elle essaie d'abord de trouver un cluster similaire parmi ceux déjà créés et prend la décision qui en découle. Si aucun cluster n'est trouvé, la plateforme se rend dans Cassandra et y recherche. Trouvé ? Parfait, elle applique la décision au cluster et l'envoie à Yula. En moyenne, environ 70 000 de ces décisions «répétées» sont générées chaque jour - soit 8 % de l'ensemble.

En résumé

Nous utilisons la plateforme de modération Odnoklassniki depuis deux ans et demi. Nous sommes satisfaits des résultats :

• 94 % de toutes les annonces sont modérées automatiquement par jour.
• Le coût de la modération d'une annonce a été réduit de 2 roubles à 7 kopecks.
• Grâce à cet outil prêt à l'emploi, nous avons oublié les problèmes de gestion des modérateurs.
• Nous avons multiplié par 2,5 le nombre d'annonces traitées manuellement tout en maintenant le même nombre de modérateurs et le même budget. De plus, la qualité de la modération manuelle s'est améliorée grâce au contrôle automatisé, oscillant autour de 0,5 % d'erreurs.
• Nous couvrons rapidement de nouveaux types de spam avec des filtres.
• Nous intégrons rapidement de nouvelles divisions à la modération. «Yula Verticales». Depuis 2017, Yula a introduit les verticales Immobilier, Emplois et Auto.

Source : habr.com