Så här modererar vi annonser

Varje tjänst vars användare kan skapa eget innehåll (UGC - User-generated content) tvingas inte bara att lösa affärsproblem, utan också att upprätta ordning i UGC. Dålig eller bristfällig moderering av innehåll kan slutligen minska tjänstens attraktivitet för användarna, ända till att den slutar fungera.

Idag ska vi berätta om synergierna mellan Jula och Odnoklassniki, som hjälper oss att effektivt moderera annonser på Jula.

Synergi är överlag en mycket användbar sak, och i dagens värld, där teknologier och trender förändras mycket snabbt, kan den bli en riktig räddare i nöden. Varför slösa knappa resurser och tid på att återuppfinna det som redan har uppfunnits och finslipats av andra?

Så tänkte vi också, när vi stod inför uppgiften att moderera användargenererat innehåll - bilder, texter och länkar. Våra användare laddar varje dag upp miljontals enheter av innehåll på Jula, och utan automatisk behandling är det helt orealistiskt att moderera all denna data manuellt.

Därför använde vi en redan färdig modereringsplattform som våra kollegor från Odnoklassniki hade finslipat till ett tillstånd av "nästan perfektion".

Varför Odnoklassniki?

Varje dag kommer tiotals miljoner användare till det sociala nätverket och publicerar miljarder enheter av innehåll: från fotografier till videor och texter. Modereringsplattformen från Odnoklassniki hjälper till att granska mycket stora datamängder och motverka spammare och bottar.

Modereringsteamet på OK har samlat på sig mycket stor erfarenhet, eftersom de har utvecklat sitt verktyg i 12 år. Det är viktigt att de inte bara kunde dela med sig av sina färdiga lösningar, utan också anpassa arkitekturen på sin plattform för våra specifika uppgifter.

För korthetens skull kommer vi härefter att kalla modereringsplattformen från OK helt enkelt "plattformen".

Så här är det uppbyggt

Mellan Jula och Odnoklassniki är datautbytet ordnat via Apache Kafka.

Varför vi valde det här verktyget:

• På Jula genomgår alla annonser postmoderering, så ett synkront svar behövdes inte från början.
• Om det skulle uppstå ett stort problem, och Jula eller Odnoklassniki skulle bli otillgängliga, även på grund av någon typ av toppbelastning, så kommer datan från Kafka inte att försvinna; den kan senare läsas igen.
• Plattformen har redan integrerats med Kafka, så de flesta säkerhetsfrågorna har lösts.

För varje annons som skapas eller ändras av användaren i Jula skapas en JSON med data, som läggs i Kafka för efterföljande moderering. Från Kafka laddas annonserna upp till plattformen, där beslut fattas automatiskt eller manuellt. Dåliga annonser blockeras med en angivelse av orsak, medan de annonser som plattformen inte finner några brott mot reglerna i, märkts som 'bra'. Sedan skickas alla beslut tillbaka till Jula och tillämpas i tjänsten.

För Jula handlar det helt enkelt om följande åtgärder: att skicka en annons till plattformen för Odnoklassniki och få tillbaka en resolution om 'okej', eller varför det inte är 'okej'.

Automatisk behandling

Vad händer med annonsen efter att den kommit in på plattformen? Varje annons delas upp i flera entiteter:

• titel,
• beskrivning,
• foton,
• vald kategori och underkategori av annonsen,
• pris.

Därefter genomför plattformen klustring för varje entitet för att hitta dubbletter. Både text och foton klustras enligt olika scheman.

Texten normaliseras före klustring för att ta bort specialtecken, ändrade bokstäver och annat skräp. De erhållna uppgifterna delas upp i N-gram, var och en av dem hashas. I slutändan erhålls många unika hashkoder. Likheten mellan texterna beräknas enligt Jaccard-mått mellan de två resulterande mängderna. Om likheten överstiger tröskelvärdet klistras texterna samman i ett kluster. För att påskynda sökningen efter liknande kluster används MinHash och lokalt känslig hashing.

För foton har olika alternativ för att slå ihop bilder utvecklats, från att jämföra pHash av bilder till att söka dubbletter med hjälp av neurala nätverk.

Den sista metoden är den mest 'stränga'. För att träna modellen valdes sådana tredubblar av bilder (N, A, P), där N inte liknar A, medan P liknar A (är en halv dubblett). Därefter lärde sig neurala nätverket att A och P skulle vara så nära som möjligt, medan A och N skulle vara så långt ifrån varandra som möjligt. Detta ger färre falska positiv än att bara ta inbäddningar från ett förtränat nätverk.

När neuronnätverket får bilder som input, genererar det en N(128)-dimensionell vektor för varje bild och gör en förfrågan om att bedöma bildens likhet. Därefter beräknas en tröskel för att avgöra vilka bilder som anses vara dubbletter.

Modellen är mästerligt bra på att hitta spamare som medvetet fotograferar samma produkt från olika vinklar för att kringgå jämförelsen med pHash.

Exempel på spam-bilder som kombineras av neuronnätverket som dubbletter.

I det slutliga steget söks dubbletter av annonser samtidigt efter text och bild.

Om två eller fler annonser klumpas ihop i en kluster, startar systemet en automatisk blockering som väljer, enligt vissa algoritmer, vilka dubbletter som ska tas bort och vilka som ska behållas. Till exempel, om två användare har samma bilder i sina annonser, så blockeras den nyare annonsen.

Efter skapandet går alla kluster igenom en rad automatiska filter. Varje filter tilldelar klustret ett antal poäng (score): hur stor sannolikhet det har att innehålla en hot som detta filter upptäcker.

Till exempel analyserar systemet beskrivningen i annonsen och väljer potentiella kategorier för den. Sedan tar det den med den högsta sannolikheten och jämför den med kategorin som annonsförfattaren angav. Om de inte matchar blockeras annonsen för fel kategori. Eftersom vi är snälla och ärliga, säger vi tydligt till användaren vilken kategori de bör välja för att annonsen ska gå igenom moderering.

Meddelande om blockering för fel kategori.

På vår plattform trivs maskininlärning som fisken i vattnet. Till exempel gör vi det möjligt att söka efter förbjudna varor i titlar och beskrivningar. Neuronnätsmodellerna inspekterar kritiskt bilder för att se om det finns några URL-adresser, spamtexter, telefonnummer och den där förbjudna varan.

För fall där en förbjuden vara försöker säljas genom att maskeras som något lagligt, och det inte finns någon text varken i titeln eller i beskrivningen, använder vi bildtaggning. För varje bild kan upp till 11 000 olika taggar anges som beskriver vad som finns på bilden.

En vattenpipa försöker säljas, maskerad som en samovar.

Parallellt med de komplexa filtren fungerar också de enkla som löser uppenbara problem relaterade till texten:

• anti-matter;
• detektor för URL-adresser och telefonnummer;
• nämnande av meddelandetjänster och andra kontakter;
• lågt pris;
• annonser där ingenting säljs, osv.

Idag passerar varje annons genom en finmaskig sil av mer än 50 automatiska filter som försöker hitta något dåligt i annonsen.

Om ingen av detektorerna slår till, så skickas ett svar till Yula att annonsen "förmodligen" är i full ordning. Detta svar tillämpar vi, och användarna som har följt säljaren får en notification om att en ny produkt har kommit.

En notifikation om att säljaren har fått en ny produkt.

Som ett resultat "växer" varje annons med metadata, varav en del genereras vid skapandet av annonsen (avsändarens IP-adress, user-agent, plattform, geografisk plats osv.), och resten är poäng som ges av varje filter.

Köer av annonser

När en annons kommer in på plattformen placeras den i en av köerna. Varje kö formuleras med hjälp av en matematisk formel som kombinerar metadata av annonsen på ett sätt för att upptäcka något dåligt mönster.

Till exempel kan man skapa en kö av annonser i kategorin "Mobiltelefoner" från Yula-användare som påstås vara från Sankt Petersburg, men vars IP-adresser är från Moskva eller andra städer.

Exempel på annonser som publicerats av en användare i olika städer.

Eller så kan köer formas baserat på poäng som neuronnätverket tilldelar annonserna i fallande ordning.

Varje kö tilldelar ett slutgiltigt poäng till annonsen enligt sin formel. Därefter kan man handla på olika sätt:

• ange en tröskel för när annonsen ska få en viss typ av blockering;
• skicka alla annonser i kön till moderatorerna för manuell granskning;
• eller kombinera de tidigare alternativen: ange en tröskel för automatisk blockering och skicka till moderatorerna de annonser som inte har nått denna tröskel.

Varför behövs dessa köer? Anta att en användare laddar upp ett foto på ett vapen. Neuralnätverket ger det ett poäng från 95 till 100 och med 99 procents precision identifierar det att bilden föreställer ett vapen. Men om poängen är under 95 % börjar modellens precision att sjunka (detta är en egenskap hos neuralnätmodeller).

Resultatet blir en kö baserad på modellens poäng, och de annonser som fått mellan 95 och 100 blockeras automatiskt som "Förbjuden vara". Annonser med poäng under 95 skickas för manuell granskning av moderatorerna.

Choklad Beretta med patroner. Endast för manuell granskning! 🙂

Manuell granskning

I början av 2019 modererades cirka 94 % av alla annonser på Yula automatiskt.

Om plattformen inte kan avgöra statusen för vissa annonser, skickas de för manuell granskning. Odnoklassniki har utvecklat ett eget verktyg: i uppgifterna för moderatorer visas all nödvändig information för att snabbt kunna fatta beslut — om annonsen är godkänd eller ska blockeras med en angiven anledning.

För att kvaliteten på tjänsten inte ska försämras vid manuell granskning, övervakas arbetet löpande. Till exempel visas "fällor" i streamen av uppgifter — annonser som redan har färdiga lösningar. Om moderatorns beslut inte stämmer överens med den färdiga lösningen får moderatorn en missräkning.

I genomsnitt lägger en moderator 10 sekunder på att granska en annons. Antalet fel ligger på högst 0,5 % av alla granskade annonser.

Folkmoderation

Kollegor från Odnoklassniki gick ännu längre och använde "folkets hjälp": de skapade en spelapp för sociala nätverket där man snabbt kan märka stora mängder data genom att identifiera dåliga kännetecken — Moderator Odnoklassniki (https://ok.ru/app/moderator). Ett bra sätt att utnyttja hjälp från användare av OK, som strävar efter att göra innehållet trevligare.

Ett spel där användare markerar foton som innehåller ett telefonnummer.

Alla annonsköer på plattformen kan omdirigeras till spelet Moderator Okontakt. Allt som markerats av spelets användare skickas sedan till interna moderatorer för granskning. Denna metod gör det möjligt att blockera annonser där inga filter har skapats än, samtidigt som man skapar tränings exempel.

Lagring av modereringsresultat

Vi sparar alla beslut som fattas under modereringen för att inte behöva bearbeta annonser som redan har bedömts på nytt.

Det skapas varje dag miljoner kluster för annonser. Med tiden får varje kluster en märkning av "bra" eller "dålig". Varje ny annons eller dess redigering som hamnar i ett kluster med en märkning får automatiskt klustrets resolution. Det handlar om cirka 20 000 sådana automatiska resolutioner per dag.

Om inga nya annonser kommer till klustret tas det bort från minnet, och dess hash och beslut skrivs in i Apache Cassandra.

När plattformen får en ny annons försöker den först att hitta ett liknande kluster bland de redan skapade och ta beslutet därifrån. Om det inte finns något sådant kluster går plattformen till Cassandra och söker där. Hittade den? Utmärkt, tillämpar beslutet på klustret och skickar det till Yula. Det handlar om i genomsnitt 70 000 sådana "återkommande" beslut varje dag — 8 % av det totala antalet.

Sammanfattningsvis

Vi har använt Moderator Okontakt-plattformen i två och ett halvt år. Resultaten gillar vi:

• Vi modererar automatiskt 94 % av alla annonser per dag.
• Kostnaden för att moderera en annons har minskat från 2 rubel till 7 kopejki.
• Tack vare det färdiga verktyget har vi glömt problemet med att hantera moderatorer.
• Vi har ökat antalet manuellt behandlade annonser med 2,5 gånger med samma antal moderatorer och budget. Dessutom har kvaliteten på den manuella modereringen ökat tack vare automatiserad kontroll och ligger runt 0,5 % fel.
• Vi täcker snabbt nya typer av spam med filter.
• Vi kopplar snabbt nya avdelningar till modereringen «Yula Vertikaler». Sedan 2017 har Yula fått vertikaler inom Fastigheter, Lediga platser och Bil.

Källa: habr.com