Kuidas me kuulutusi modereerime

Iga teenus, mille kasutajad saavad luua oma sisu (UGC — kasutajate loodud sisu), peab mitte ainult lahendama äriülesandeid, vaid ka korrastama UGC-d. Halva või madala kvaliteediga sisu modereerimine võib lõpuks vähendada teenuse atraktiivsust kasutajatele, kuni selle tegevuse lõpetamiseni.

Täna räägime teile sünergiast Joola ja Klassikaaslaste vahel, mis aitab meil tõhusalt kuulutusi Joolas modereerida.

Sünergia on üldiselt väga kasulik asi, ja tänapäeval, kui tehnoloogiad ja trendid muutuvad väga kiiresti, võib see muutuda päästerõngaks. Miks kulutada piiratud ressursse ja aega sellele, mille on juba varem keegi välja mõelnud ja täiustanud?

Sellest mõtlesime ka meie, kui leidsime end silmitsi kasutajate loodud sisu — piltide, tekstide ja linkide — modereerimise ülesande ees. Meie kasutajad laadivad iga päev Joolasse üles miljoneid sisuettepanekuid ning ilma automatiseeritud töötlemiseta pole võimalik kogu seda teavet käsitsi modereerida.

Seetõttu kasutasime juba valmis modereerimisplatvormi, mille meie kolleegid ODNOKLASSNIKUSe juures olid jõudnud «peaaegu täiuslikkuse» seisundisse.

Miks ODNOKLASSNIKI?

Sotsiaalmeediasse jõuab igapäevaselt kümneid miljoneid kasutajaid, kes avaldavad miljardeid sisuüksusi: alates fotodest kuni videote ja tekstideni. ODNOKLASSNIKI modereerimisplatvorm aitab kontrollida väga suuri andmemahtusid ning võidelda spämmi ja botidega.

OK modereerimismeeskond on kogunud väga palju kogemusi, sest nad on oma tööriista täiustanud juba 12 aastat. Oluline on, et nad mitte ainult ei saanud jagada oma valmislahendusi, vaid ka seadistada oma platvormi arhitektuuri meie spetsiifiliste ülesannete kohaselt.

Edaspidi nimetame modereerimisplatvormi OK lihtsalt «platvormiks».

Kuidas kõik töötab

Andmevahetus YULA ja ODNOKLASSNIKI vahel on korraldatud läbi Apache Kafka.

Miks me valisime selle tööriista:

• YULAs lähevad kõik kuulutused läbi postmodereerimise, seega algselt ei olnud sünkroonne vastus vajalik.
• Kui juhtuda peaks äärmuslik olukord ja Yula või Odnoklassniki ei ole kergesti kätte saadavad, sealhulgas kõrgete koormuste tõttu, siis andmed Kafka-s ei kao kuhugi ning neid saab hiljem lugeda.
• Platvorm on juba integreeritud Kafka-sse, seega on enamus turvaküsimusi lahendatud.

Iga kasutaja loodud või muudetud kuulutus Yulas genereerib JSONi andmetega, mis salvestatakse Kafka-sse edasise modereerimise jaoks. Kafka-st laaditakse kuulutused platvormi, kus neile langetatakse otsuseid automaatselt või käsitsi. Halvad kuulutused blokeeritakse koos põhjusena, samas kui need, kus platvorm ei leidnud rikkumisi, märgistatakse kui „head”. Seejärel saadetakse kõik otsused tagasi Yulasse ja rakendatakse teenuses.

Lõppkokkuvõttes on Yula jaoks kõik lihtsad toimingud: saata kuulutus Odnoklassniki platvormile ja tagasi saada resolutsioon „ok”, või põhjus, miks see ei ole „ok”.

Automaatne töötlemine

Mis juhtub kuulutusega pärast seda, kui see platvormile jõuab? Iga kuulutus jagatakse mitmeks üksuseks:

• pealkiri,
• kirjeldus,
• fotod,
• valitud kasutaja kategooria ja alajaotus kuulutuste jaoks,
• hind.

Seejärel viib platvorm iga üksuse puhul läbi klasterdamise, et leida dublette. Samas klasterdatakse tekst ja fotod erinevate skeemide alusel.

Tekstid normaliseeritakse enne klasterdamist, et eemaldada erimärgid, muudetud tähed ja muu sodi. Saadud andmed jagatakse N-grammideks, millest igaüht hakatakse hash'ima. Tulemuseks on suur hulk unikaalseid hash'e. Tekstide sarnasust hinnatakse Jaccardi indeksiga vahel nende kahe saadud kogumi. Kui sarnasus ületab künnise, liidetakse tekstid üheks klastriks. Sarnaste klastrite kiiremaks otsimiseks kasutatakse MinHash ja lokaalselt tundlikku hashimist.

Fotode jaoks on välja töötatud erinevad piltide liitmise variandid, alates pHash piltide võrdlemisest kuni dublettide otsimiseni närvivõrgu abil.

Viimane meetod on kõige "karmim". Mudeli koolitamiseks valiti välja sellised piltide kolmikud (N, A, P), kus N ei sarnanenud A-ga, samas kui P sarnanes A-le (on poolduplikaat). Seejärel õppis närvivõrk tegema nii, et A ja P oleksid võimalikult lähedased, samas kui A ja N oleksid võimalikult kaugel. Nii saadakse vähem valehäireid võrreldes lihtsalt eeltreenitud võrgu embedding'itega.

Kui närvivõrk saab sisendiks pildid, genereerib ta igaühe jaoks N(128)-dimensionalise vektori ja esitab päringu pildi sarnasuse hindamiseks. Seejärel arvutatakse piir, mille kohaselt peetakse lähedasi pilte duplikaatideks.

Mudeli oskus on meisterlikult tuvastada spammereid, kes pildistavad sama toodet erinevatest nurkadest, et pHash'iga võrdlemist vältida.

Näide spammipiltidest, mis närvivõrk on duplikaatidena kokku pannud.

Lõppfaasis otsitakse duplikaate samaaegselt nii teksti kui ka pildi alusel.

Kui klastrisse liidetakse kaks või enam kuulutust, käivitab süsteem automaatse blokeerimise, mis teatud algoritmide põhjal valib, millised duplikaadid kustutada ja millised jätta. Näiteks, kui kahel kasutajal on kuulutuses samad fotod, blokeerib süsteem uuema kuulutuse.

Pärast loomist läbivad kõik klastrid mitu automaatset filtrit. Iga filter määrab klastrile punktid (score): kui tõenäoliselt see sisaldab ohtu, mida filter tuvastab.

Süsteem analüüsib näiteks kuulutuse kirjeldust ja valib sellele potentsiaalsed kategooriad. Seejärel võtab see selle, millel on maksimaalne tõenäosus, ja võrdleb seda kategooriaga, mille autor on kuulutusele määranud. Kui need ei ühti, blokeeritakse kuulutus vale kategooria tõttu. Ja kuna me oleme head ja ausad, siis ütleme kasutajale selgelt, millist kategooriat ta peaks valima, et kuulutus läbiks modereerimise.

Teade blokeerimisest vale kategooria tõttu.

Meie platvormil tunneb masinõpe end koduselt. Näiteks otsime selle abil Venemaal keelatud tooteid pealkirjadest ja kirjeldustest. Neuraalsete võrkude mudelid uurivad hoolega pilte, otsides URL-e, rämpsposti tekste, telefoninumbreid ja samu keelatud tooteid.

Kui keelatud toodet üritatakse müüa, maskeerides seda millegi seadusliku alla, ega pealkirjas ega kirjelduses pole mingit teksti, kasutame piltide märgistamist. Iga pildi jaoks võivad olla kuni 11 000 erinevat märgistust, mis kirjeldab, mis pildil on.

Shishat on üritatud müüa, maskeerides selle kohvi potiks.

Kaasahaaravate filtrite kõrval töötavad ka lihtsad filtrid, mis lahendavad ilmselgeid tekstiga seotud ülesandeid:

• roppused;
• URL-ning telefoninumbrite detektor;
• viidatud vestlusprogrammid ja muud kontaktid;
• madal hind;
• kuulutused, kus mitte midagi ei müüda jne.

Täna läbib iga kuulutus rohkem kui 50 automaatse filtri kaudu, mis üritavad kuulutuses leida midagi halba.

Kui ükski tuvastaja ei tööta, saadetakse Yule vastus, et kuulutusega on "ärge muretsege", kõik on korras. Me rakendame seda vastust enda juures, ning müüja jälgijatele saadetakse teade uue toote ilmumise kohta.

Teade sellest, et müüjal on uus toode.

Seetõttu "kootakse" iga kuulutus metaandmetega, millest osa genereeritakse kuulutuse loomisel (autori IP-aadress, user-agent, platvorm, geolokatsioon jne), ning ülejäänud on need skoorid, mis iga filtri poolt antakse.

Kuulutuste järjekorrad

Kui kuulutus platvormile jõuab, paigutab süsteem selle ühte järjekorda. Iga järjekord vormitakse matemaatilise valemiga, mis kombineerib kuulutuse metaandmeid selliselt, et avastada halbu mustreid.

Näiteks võib luua kuulutuste järjekorra kategoorias "Nutitelefonid" kasutajatelt, kes väidavad, et nad on Peterburist, kuid nende IP-aadressid on Moskvast või teistest linnadest.

Näide kuulutustest, mille on avaldanud üks kasutaja erinevates linnades.

Või saab järjekordi luua punktide põhjal, mida tehisintellekt reklaamidele omistab, järjestades need kahanevas järjekorras.

Iga järjekord omistab reklaamile lõpp-skoori vastavalt oma valemile. Edasi on võimalik tegutseda erinevalt:

• määra läveväärtus, mille puhul reklaam saab kindla tüübi blokeeringu;
• saada kõik järjekorras olevad reklaamid moderaatoritele käsitsi kontrollimiseks;
• või kombineerida eelnevaid variante: määrata automaatse blokeeringu läveväärtus ja saata moderaatoritele need reklaamid, mis ei saavutanud seda läve.

Miks neid järjekordi vaja on? Oletame, et kasutaja laadis üles pildi tulirelvast. Tehisintellekt omistab sellele skoori vahemikus 95 kuni 100 ja 99-protsendilise täpsusega tuvastab, et pildil on relv. Kuid kui skoor on madalam kui 95 %, hakkab mudeli täpsus langema (see on tehisintellekti mudelite omadus).

Tulemuseks on järjekord, mis põhineb mudeli skooril, ja need reklaamid, mis on saanud 95 kuni 100 punkti, blokeeritakse automaatselt kui „Keelatud toode“. Reklaamid, mille punktide arv on madalam kui 95, saadetakse moderaatoritele käsitsi töötlemiseks.

Šokolaadiline Beretta padrunitega. Ainult käsitsi modereerimiseks! 🙂

Käsitsi modereerimine

2019. aasta alguse seisuga modereeritakse umbes 94 % kõikidest kuulutustest Yules automaatselt.

Kui platvorm ei suuda mõnda kuulutust määrata, saadetakse need käsitsi modereerimisele. Odnoklassniki on välja töötanud oma tööriista: moderaatorite ülesannetes kuvatakse kohe kogu vajalik teave kiire otsuse tegemiseks — kas kuulutus on sobiv või tuleks see blokeerida koos põhjendusega.

Käsitsi modereerimise kvaliteedi tagamiseks jälgitakse pidevalt inimtööd. Näiteks ülesannete voos kuvatakse moderaatorile 'lõksud' — kuulutused, mille kohta on juba olemas lahendused. Kui moderaatori otsus ei lange kokku lahendusega, arvestatakse moderaatorile viga.

Ühe kuulutuse kontrollimiseks kulutab moderaator keskmiselt 10 sekundit. Selle juures ei ületa vigade hulk 0,5 % kõigist kontrollitud kuulutustest.

Rahvuslik modereerimine

Odnoklassniki kolleegid läksid veel kaugemale, kasutades „saali abi”: nad kirjutasid sotsiaalmeedia jaoks rakenduse-mängu, millega saab kiiresti märgistada suurt hulka andmeid, esile tuues mõne halva tunnuse — Odnoklassniki moderaator (https://ok.ru/app/moderator). Hea viis kasutajate abi kasutamiseks, kes püüdlevad sisu paremuse poole.

Mäng, kus kasutajad märkavad fotosid, millel on telefoninumber.

Iga kuulutuste järjekorda platvormil saab suunata Odnoklassniki moderaatori mängu. Kõik, mida mängu kasutajad märgistavad, läheb seejärel sisemistele moderaatoritele kontrollimiseks. Selline süsteem võimaldab blokeerida kuulutusi, mille jaoks filtreid veel loodud pole, ja samal ajal luua koolituskoguseid.

Modereerimise tulemuste säilitamine

Me salvestame kõik modereerimise käigus tehtud otsused, et hiljem mitte töödelda uuesti neid kuulutusi, mille kohta on juba otsus tehtud.

Iga päev luuakse kuulutuste osas miljoneid klastreid. Aja jooksul saab iga klaster märkuse „hea” või „halb”. Iga uus kuulutus või selle redigeerimine, sattudes klastrisse koos märgisega, saab automaatselt klastrilt resolutsiooni. Selliseid automaatseid resolutsioone koguneb päevas umbes 20 000.

Kui klastrisse ei laeku uusi kuulutusi, kustutatakse see mälust ning selle hash ja lahendus salvestatakse Apache Cassandra'sse.

Kui platvorm saab uue kuulutuse, püüab ta esmalt leida sarnase klastrite hulgast ning võtta selle lahenduse. Kui sellist klastrit ei leidu, otsib platvorm Cassandra's. Leitud? Suurepärane, rakendab lahenduse klastrile ja saadab selle Yule. Selliseid „korduvaid” lahendusi koguneb päevas keskmiselt 70 000 — 8 % koguhulgast.

Kokkuvõtteks

Oleme kasutanud Odnoklassniki modereerimisplatvormi kaks ja pool aastat. Tulemused meeldivad meile:

• Modereerime automaatselt 94 % kõikidest kuulutustest päevas.
• Ühe kuulutuse modereerimise hind on langenud 2 rubla pealt 7 kopeekani.
• Tänu valmis tööriistale oleme unustanud moderaatorite haldamise probleemid.
• Suurendasime käsitsi töödeldud kuulutuste arvu 2,5 korda sama arvu moderaatorite ja eelarvega. Samuti on käsitöö modereerimise kvaliteet paranenud automatiseeritud kontrolli tõttu ning vead on püsinud umbes 0,5% ulatuses.
• Kiirelt katame uued spämmifiltrid.
• Kiirelt ühendame uusi üksusi modereerimisega «Yula Vertikaalid». Alates 2017. aastast on Yulas ilmunud kinnisvara, tööpakkumiste ja auto vertikaalid.

Allikas: habr.com