Hvordan vi modererer annonser

Hver tjeneste som lar brukerne lage sitt eget innhold (UGC – bruker-generert innhold), må ikke bare løse forretningsoppgaver, men også rydde opp i UGC. Dårlig eller ugyldig moderering av innhold kan i bunn og grunn redusere tjenestens attraktivitet for brukerne, opp til at tjenesten kan avslutte driften.

I dag skal vi fortelle deg om synergi mellom Yula og Odnoklassniki, som hjelper oss med effektiv moderering av annonser på Yula.

Synergi er generelt en veldig nyttig ting, og i den moderne verden der teknologi og trender endrer seg veldig raskt, kan det bli en redningsplanke. Hvorfor sløse med begrensede ressurser og tid på å oppfinne det som allerede har blitt oppfunnet og perfeksjonert før deg?

Det tenkte vi også på, da vi sto overfor oppgaven med moderering av brukerinnhold – bilder, tekst og lenker. Våre brukere laster opp millioner av enheter med innhold til Yula hver dag, og uten automatisk behandling er det helt urealistisk å moderere all denne dataen manuelt.

Derfor benyttet vi en allerede eksisterende modereringsplattform som på den tiden våre kolleger fra Odnoklassniki hadde perfeksjonert til nesten fullkommenhet.

Hvorfor Odnoklassniki?

Hver dag kommer det titalls millioner brukere til det sosiale nettverket, som publiserer milliarder av enheter med innhold: fra bilder til videoer og tekster. Modereringsplattformen til Odnoklassniki hjelper med å kontrollere veldig store mengder data og motvirke spam og roboter.

Modereringsteamet til OК har opparbeidet seg mye erfaring, ettersom de har forbedret sitt verktøy i 12 år. Det er viktig at de ikke bare kunne dele sine ferdige løsninger, men også tilpasse arkitekturen til sin plattform til våre spesifikke behov.

Videre skal vi for korthets skyld kalle modereringsplattformen OK for «plattformen».

Hvordan alt fungerer

Mellom Yula og Odnoklassniki er datadeling etablert gjennom Apache Kafka.

Hvorfor valgte vi dette verktøyet:

• I Yula går alle annonser gjennom postmoderering, så en synkron respons var ikke nødvendig i utgangspunktet.
• Dersom det oppstår et alvorlig problem, og Jula eller VKontakte blir utilgjengelige, inkludert på grunn av toppbelastninger, vil ikke dataene fra Kafka gå tapt, og de kan leses senere.
• Plattformen er allerede integrert med Kafka, så de fleste sikkerhetsspørsmålene er løst.

For hver annonse som opprettes eller endres av brukeren i Jula, genereres det en JSON med dataene, som plasseres i Kafka for videre moderering. Annonser lastes opp fra Kafka til plattformen, hvor beslutninger fattes automatisk eller manuelt. Dårlige annonser blokkeres med angivelse av årsak, mens de som plattformen ikke fant brudd på, merkes som «gode». Deretter sendes alle beslutninger tilbake til Jula og anvendes i tjenesten.

Til slutt handler alt for Jula om enkle handlinger: å sende en annonse til VKontakte-plattformen og så motta en «ok»-avgjørelse tilbake, eller en forklaring på hvorfor det ikke er «ok».

Automatisk behandling

Hva skjer med en annonse etter at den kommer til plattformen? Hver annonse deles opp i flere enheter:

• tittel,
• beskrivelse,
• bilder,
• brukerens valgte kategori og underkategori for annonsen,
• pris.

Deretter utfører plattformen klustering for hver enhet for å finne duplikater. Tekst og bilder grupperes derimot etter forskjellige metoder.

Tekstene normaliseres før klustering for å fjerne spesialtegn, endrede bokstaver og annet søppel. De oppnådde dataene deles opp i N-grammer, som deretter blir hashet. Til slutt får man mange unike hasher. Likheten mellom tekstene vurderes etter Jaccard-målet mellom de to oppnådde mengdene. Hvis likheten overstiger terskelen, slås tekstene sammen til én kluster. For å akselerere søket etter lignende klynger brukes MinHash og lokalitetsfølsom hashing.

For bilder er det utviklet ulike metoder for å kombinere bilder, fra å sammenligne pHash av bilder til å finne duplikater ved hjelp av nevrale nettverk.

Den siste metoden er den «hardeste». For å trene modellen ble det valgt slike trioer av bilder (N, A, P) der N ikke ligner på A, mens P ligner på A (er en halvduplikat). Deretter lærte nevrale nettverket å få A og P til å være så nært som mulig, mens A og N skulle være så langt fra hverandre som mulig. Dette gir færre falske positiver sammenlignet med å bare ta inn embeddings fra et forhåndstrent nettverk.

Når det nevrale nettverket får bilder på inngangen, genererer det en N(128)-dimensjonal vektor for hvert bilde og sender en forespørsel om vurdering av nærhet mellom bildene. Deretter beregnes en terskelverdi, der nære bilder anses som duplikater.

Modellen er dyktig til å finne spammerne som spesifikt tar bilder av den samme varen fra forskjellige vinkler for å omgå sammenligninger basert på pHash.

Eksempel på spam-bilder, satt sammen av nevrale nettverk som duplikater.

På slutttrinnet søkes det etter duplikater i annonser både basert på tekst og bilder.

Hvis det i en klynge er to eller flere annonser som klumper seg sammen, aktiverer systemet en automatisk blokkering som ifølge bestemte algoritmer velger hvilke duplikater som skal fjernes og hvilke som skal beholdes. For eksempel, hvis to brukere har identiske bilder i annonsene sine, vil systemet blokkere den nyeste annonsen.

Etter opprettelsen går alle klynger gjennom en rekke automatiske filtre. Hvert filter tildeler klyngen et antall poeng (score): hvor stor sannsynlighet det er for at den inneholder en trussel som identifiseres av dette filteret.

For eksempel analyserer systemet beskrivelsen i annonsen og velger potensielle kategorier for den. Det tar så den kategorien med høyest sannsynlighet og sammenligner den med kategorien som er angitt av annonsens forfatter. Hvis de ikke samsvarer, blokkeres annonsen for feil kategori. Og siden vi er snille og ærlige, forteller vi brukeren hvilken kategori han må velge for at annonsen skal gå gjennom moderasjon.

Varsel om blokkering for feil kategori.

På plattformen vår føler maskinlæring seg som hjemme. For eksempel bruker vi den til å søke etter forbudte varer i titler og beskrivelser i Russland. Og nevrale nettverksmodeller undersøker nøye bildene for eventuelle URL-er, spam-tekster, telefonnummer og den samme «forbudne».

For cases where a prohibited item is attempted to be sold disguised as something legal, and there is no text in either the title or the description, we use image tagging. Up to 11,000 different tags can be assigned to each image, describing what is depicted in the image.

A hookah is trying to be sold disguised as a samovar.

Alongside complex filters, there are also simple ones that address obvious text-related tasks:

• profanity;
• detector for URLs and phone numbers;
• mention of messengers and other contacts;
• unduly low price;
• ads that do not sell anything, etc.

Today, every ad goes through a fine sieve of more than 50 automated filters that attempt to find something wrong in the ad.

If none of the detectors are triggered, a response is sent to Yula stating that the ad is 'most likely' in good order. We use this response ourselves, and users who subscribed to the seller receive a notification about a new item.

Notification that a seller has a new item.

As a result, each ad 'accrues' metadata, part of which is generated during the creation of the ad (author's IP address, user-agent, platform, geolocation, etc.), while the rest consists of scores issued by each filter.

Ad queues

When an ad enters the platform, the system places it into one of the queues. Each queue is formed using a mathematical formula that combines the ad's metadata in such a way as to detect any poor patterns.

For example, one can create a queue of ads in the category 'Mobile Phones' from Yula users supposedly from Saint Petersburg, while their IP addresses are from Moscow or other cities.

Example of ads posted by one user in different cities.

Or queues can be formed based on points assigned to ads by the neural network, ranked in descending order.

Each queue, according to its formula, assigns a final score to the ad. Further actions can vary:

• set a threshold value at which the ad will receive a certain type of blocking;
• alle annonser i køen sendes til moderatorene for manuell gjennomgang;
• eller kombinere de tidligere alternativene: angi terskelen for automatisk blokkering og sende moderatorene de annonsene som ikke har nådd denne terskelen.

Hvorfor er disse køene nødvendige? Anta at en bruker laster opp et bilde av skytevåpen. Nevrale nettverk gir den en score fra 95 til 100 og bestemmer med 99% nøyaktighet at bildet viser et våpen. Men hvis scoretallet er under 95%, begynner nøyaktigheten av modellen å synke (slik er det med nevrale nettverksmodeller).

Som et resultat dannes det en kø basert på modellens score, og de annonsene som har fått fra 95 til 100, blokkeres automatisk som 'Forbudt vare'. Annonser med score under 95 sendes til manuell behandling av moderatorene.

Sjokolade Beretta med patroner. Kun for manuell moderering! 🙂

Manuell moderering

Ved starten av 2019 ble omtrent 94 % av alle annonser på Jule moderert automatisk.

Hvis plattformen ikke kan bestemme seg for visse annonser, sendes de til manuell moderering. Odnoklassniki har utviklet et eget verktøy: i oppgavene for moderatorer vises all nødvendig informasjon for å ta en rask beslutning - er annonsen god eller bør den blokkeres med oppgi årsak.

Og for å sikre at kvaliteten på tjenesten ikke lider under manuell moderering, overvåkes arbeidet til menneskene kontinuerlig. For eksempel vises 'feller' for moderatorene i oppgaveflyten - annonser som allerede har klare løsninger. Hvis moderatorens beslutning ikke stemmer overens med den klare løsningen, registreres det en feil for moderator.

En moderator bruker i gjennomsnitt 10 sekunder på å sjekke en annonse. Feilrate utgjør ikke mer enn 0,5 % av alle kontrollerte annonser.

Folkets moderering

Kollegene fra Odnoklassniki gikk enda lengre, og benyttet seg av 'publikums hjelp': de laget et spill-app for sosiale nettverk, der man raskt kan merke et stort antall data, ved å fremheve et dårlig tegn - Odnoklassniki-moderator (https://ok.ru/app/moderator). En god måte å dra nytte av hjelpen fra OK-brukerne, som prøver å gjøre innholdet mer behagelig.

Et spill der brukere markerer bilder som inneholder telefonnumre.

Alle annonser i plattformen kan omdirigeres til Moderationsspillet for Odnoklassniki. Alt som blir merket av brukere i spillet, sendes deretter til interne moderatorer for vurdering. Denne ordningen gjør det mulig å blokkere annonser for hvilke det ikke ennå er opprettet filtrer, samtidig som det bidrar til å lage treningsutvalg.

Lagring av moderasjonsresultater

Vi lagrer alle beslutninger tatt under moderasjon, slik at vi ikke trenger å behandle annonser som allerede har fått en avgjørelse på nytt.

Hver dag opprettes millioner av kluster for annonser. Med tiden får hvert kluster merkelappen «bra» eller «dårlig». Hver ny annonse eller dens redigering, når den kommer inn i et kluster med en etikett, får automatisk avgjørelsen fra klusteret. Det blir generert omtrent 20 000 slike automatiske avgjørelser hver dag.

Hvis det ikke kommer nye annonser til klusteret, fjernes det fra minnet, og dets hash og avgjørelse lagres i Apache Cassandra.

Når plattformen mottar en ny annonse, prøver den først å finne et lignende kluster blant de allerede opprettede og ta avgjørelsen derfra. Hvis det ikke finnes noe slikt kluster, går plattformen til Cassandra og leter der. Fant den noe? Flott, avgjørelsen brukes på klusteret og sendes til Yula. Slike «gjentatte» avgjørelser utgjør i snitt 70 000 daglig — 8 % av det totale antallet.

Oppsummering

Vi har brukt plattformen for moderasjon av Odnoklassniki i to og et halv år. Vi er fornøyde med resultatene:

• Vi modererer automatisk 94 % av alle annonser i løpet av en dag.
• Kostnaden for moderasjon av én annonse er redusert fra 2 rubler til 7 kopeker.
• Takket være det ferdige verktøyet har vi glemt om problemer med moderatører.
• Vi har økt antall manuelle behandlede annonser med 2,5 ganger med samme antall moderatorer og budsjett. Kvaliteten på manuell moderasjon har også forbedret seg takket være automatisert kontroll, og ligger på omtrent 0,5 % feil.
• Vi dekker raskt nye typer spam med filtrer.
• Vi kobler raskt nye avdelinger til moderasjon «Yula Vertikaler». Siden 2017 har Yula fått vertikaler innen Eiendom, Ledige Jobber og Bil.

Kilde: habr.com