Kuidas me modereerime kuulutusi

Iga teenus, kelle kasutajad saavad luua oma sisu (UGC — kasutajate genereeritud sisu), peab mitte ainult lahendama ärilisi ülesandeid, vaid ka korda looma UGC-s. Halva või madala kvaliteediga sisu modereerimine võib lõpuks vähendada teenuse atraktiivsust kasutajatele, kuni selle tegevuse lõpetamiseni.

Täna räägime teile sünergiast Joola ja Klassikaaslaste vahel, mis aitab meil tõhusalt modereerida kuulutusi Joolas.

Üldiselt on sünergia väga kasulik asi, ja kaasaegses maailmas, kus tehnoloogiad ja trendid muutuvad väga kiiresti, võib see muutuda päästjaks. Miks kulutada piiratud ressursse ja aega selleks, et leiutada midagi, mida on juba enne sind leiutatud ja viimistletud?

Nii mõtlesime meiegi, kui silmitsi seisis ülesanne modereerida kasutajate sisu — pilte, tekste ja linke. Igapäevaselt laadivad meie kasutajad Joolasse miljoneid sisu üksusi, ja ilma automaatse töötlemiseta ei ole võimalik kogu seda teavet käsitsi modereerida.

Seetõttu kasutasime juba valmis modereerimisplatvormi, mille meie kolleegid Klassikaaslastest olid toona toimetanud peaaegu täiuslikuks.

Miks Klassikaaslased?

Iga päev külastavad sotsiaalset võrku kümneid miljoneid kasutajaid, kes avaldavad miljardeid sisu üksusi: alates fotodest kuni videote ja tekstideni. Klassikaaslaste modereerimisplatvorm aitab kontrollida väga suuri andmemahte ning vastu seista spämmi- ja robotitegevusele.

Klassikaaslaste modereerimismeeskond on kogunud väga suurt kogemust, sest nad on oma tööriista täiustanud juba 12 aastat. Oluline on, et nad mitte ainult ei saanud jagada oma valmis lahendusi, vaid ka seadistada oma platvormi arhitektuuri meie spetsiifilistele ülesannetele.

Edasi liikudes nimetame Klassikaaslaste modereerimisplatvormi lihtsalt „platvormiks“.

Kuidas kõik on korraldatud

Joola ja Klassikaaslaste vahel on andmevahetus korraldatud läbi Apache Kafka.

Miks valisime selle tööriista:

• Joolas läbivad kõik kuulutused postmodereerimist, seega ei olnud algselt sünkroonne vastus vajalik.
• Kui juhtub tõsine probleem ja Joola või Klassikaaslased ei ole saadaval, sealhulgas mõne tipukoormuse tõttu, siis andmed Kafka's ei kao kuhugi ja hiljem on võimalik neid jätkata lahti lugema.
• Platvorm on juba integreetud Kafka süsteemiga, seetõttu on enamik turvaküsimusi lahendatud.

Iga kasutaja loodud või muudetud kuulutus koos sellega seotud andmetega salvestatakse JSON formaadis ja saadetakse Kafka'sse edasiseks modereerimiseks. Kafka's laaditakse kuulutused platvormi, kus tehakse automaatseid või käsitsi otsuseid. Halvad kuulutused blokeeritakse koos põhjendusega, samas kui need, mille puhul platvorm ei leidnud rikkumisi, märgistatakse kui "head". Seejärel saadetakse kõik otsused tagasi Julekule ja rakendatakse teenuses.

Seega, Jule jaoks on kõik lihtne: saata kuulutus Odnoklassniki platvormile ja saada tagasi resolutsioon "ok" või miks ei ole "ok".

Automaatne töötlemine

Mis juhtub kuulutusega pärast selle jõudmist platvormile? Iga kuulutus jagatakse mitmeks entiteediks:

• pealkiri,
• kirjeldus,
• fotod,
• kasutaja valitud kuulutuse kategooria ja alamkategooria,
• hind.

Seejärel viib platvorm iga entiteedi osas läbi klasterdamise, et leida dublettide.

Tekstid normaliseeritakse enne klasterdamist, et kõrvaldada erimärgid, muudetud tähed ja muu prügi. Saadud andmed jagatakse N-grammideks, millest igaüks hash-itakse. Lõpuks saadakse hulk unikaalseid hashe. Sarnasusi tekstide vahel arvutatakse Jaccardi meetodi alusel kahe saadud hulga vahel. Kui sarnasus ületab läviväärtuse, siis liidetakse tekstid kokku üheks klastriks. Sarnaste klastrite otsimise kiirusel kasutatakse MinHash'i ja lokaalsest tundlikkuse hashimist.

Fotode jaoks on välja töötatud erinevad erinevused piltide liitmiseks, alates pHash piltide võrdlemisest kuni dublettide leidmiseni närvivõrgu abil.

Viimane meetod on kõige "rangem". Mudeli koolitamiseks valiti sellised piltide kolmikud (N, A, P), kus N ei ole sarnane A-le, kuid P on A-le sarnane (pooldublikaat). Seejärel õppis närvivõrk tegema nii, et A ja P oleksid maksimaalselt lähedased, samas kui A ja N oleksid maksimaalselt kaugel. See vähendab valehäireid võrreldes lihtsalt eelnevalt koolitatud võrgu embeddingute kasutamisega.

Kui närvivõrk saadab pildid, genereerib see igaühe jaoks N(128)-dimensioonilise vektori ja teeb taotluse pildi sarnasuse hindamiseks. Edasi arvutatakse künnis, mille juures sarnased pildid loetakse dublettideks.

Mudel oskab meisterlikult leida spämmijaid, kes pildistavad sama toodet erinevatest nurkadest, et ületada pHashi võrdluse.

Näide spammfotodest, mis on närvivõrgu poolt dublettidena kokku kleebitud.

Lõppstaadiumis otsitakse dubletteid kuulutustes samaaegselt nii teksti kui ka piltide põhjal.

Kui klastrisse liidetakse kaks või enam kuulutust, käivitab süsteem automaatse blokeerimise, mis teatud algoritmide alusel valib, millised dubletid kustutada ja millised jätta. Näiteks, kui kahel kasutajal on kuulutustes samad pildid, blokeerib süsteem uuema kuulutuse.

Pärast loomist läbivad kõik klastrid mitmeid automaatseid filtreid. Iga filter hindab klastrit punkte (skoor): kui tõenäoliselt sisaldab see ohtu, mille see filter tuvastab.

Näiteks analüüsib süsteem kuulutuse kirjeldust ja valib sellele potentsiaalsed kategooriad. Seejärel valib selle, millel on maksimaalne tõenäosus, ja võrreldakse kategooriaga, mille kuulutuse autor on määranud. Kui need ei ühti, blokeeritakse kuulutus vale kategooria tõttu. Ja kuna me oleme head ja ausad, ütlemme otse kasutajale, millist kategooriat ta peaks valima, et kuulutus läbi vaatluse pääseks.

Teade blokeerimise kohta vale kategooria tõttu.

Meie platvormil tunneb masinõpe end nagu kodus. Näiteks otsime selle abil nimedes ja kirjeldustes Venemaal keelatud tooteid. Ja närvivõrkude mudelid uurivad piltidelt hoolikalt, kas seal on URL-aadresse, spammitekste, telefoninumbreid ja ikka neid samu 'keelatud' asju.

Juhtudel, kui keelatud toodet üritatakse müüa millegi legaalse alla maskeerides, ja kui mingit teksti ei ole ei pealkirjas ega kirjelduses, kasutame piltide sildistamist. Iga pildi jaoks võib olla määratud kuni 11 000 erinevat silti, mis kirjeldavad, mis pildil on.

Koollaid üritatakse müüa, maskeerides seda samovaarina.

Koos lihtsate filtritega töötavad ka keerulised filtrid, mis lahendavad ilmseid tekstitöötlusprobleeme:

• antimaterjal;
• URL-aadresside ja telefoninumbrite detektor;
• messengerite ja muude kontaktide mainimine;
• madal hind;
• reklaamid, milles ei müüda midagi jne.

Täna läbib iga reklaam üle 50 automaatse filtri, mis püüavad leida reklaamis midagi halba.

Kui ükski detektor ei aktiveeru, saadetakse Yule vastus, et reklaam on "tõenäoliselt" korras. Me rakendame seda vastust ja kasutajad, kes on müüa tellinud, saavad teate uue toote ilmumisest.

Teade, et müüjal on uus toode.

Lõppkokkuvõttes "kaunistab" iga reklaam metaandmete kogum, millest osa genereeritakse reklaami loomise ajal (autori IP-aadress, kasutaja-agent, platvorm, geolokatsioon jne), ning ülejäänud on iga filtri välja antud skoor.

Reklaamide järjekorrad

Kui reklaam sisenevad platvormile, paigutab süsteem selle ühte järjekorda. Iga järjekord moodustatakse matemaatilise valemi abil, mis kombineerib reklaami metaandmeid nii, et avastatakse mõni halb muster.

Näiteks võib luua reklaamide järjekorra kategoorias "Mobiiltelefonid" Yula kasutajatelt, kes väidetavalt on Peterburist, kuid nende IP-aadressid on Moskvas või teistes linnades.

Näide reklaamidest, mida üks kasutaja on postitanud erinevates linnades.

Või võib järjekordi moodustada punktide põhjal, mida tehisintellekt reklaamidele annab, paigutades need kahanevas järjekorras.

Iga järjekord määrab reklaamile lõppskoori vastavalt oma valemile. Edasi saab tegutseda erinevalt:

• näidata lävest, mille juures reklaam saab teatud tüüpi blokeeringu;
• saata kõik järjekorras olevad reklaamid moderatsiooniks käsitsi kontrollimiseks;
• või kombineerida eelnevaid variante: määrata automaatse blokeerimise lävi ja saata moderatsiooniks need reklaamid, mis ei saavutanud seda läve.

Miks on need järjekorrad vajalikud? Oletame, et kasutaja on laadinud üles pildi tulekahjurelvast. Neuraalvõrk määrab sellele skoori vahemikus 95 kuni 100 ning 99% täpsusega tuvastab, et pildil on relv. Kuid kui skoor on alla 95%, hakkab mudeli täpsus langema (see on neuraalvõrkude omadus).

Seetõttu moodustatakse järjekord mudeli skoori põhjal, ja need kuulutused, mis said skoori 95-100, blokeeritakse automaatselt kui "Keelatud kaup". Kuulutused, mille skoor on alla 95, saadetakse käsitsi töötlemiseks moderaatoritele.

Šokolaadine Beretta padrunitega. Ainult käsitsi modereerimise jaoks! 🙂

Käsitsi modereerimine

2019. aasta alguseks modereeritakse umbes 94% kõigist kuulutustest Yula platvormil automaatselt.

Kui platvorm ei suuda mõne kuulutuse osas otsustada, saadab need käsitsi modereerimisele. Odnoklassniki on välja töötanud oma tööriista: moderaatorite ülesannetes kuvatakse kohe kogu vajalik teave kiire otsuse tegemiseks — kas kuulutus on sobiv või tuleks see blokeerida koos põhjendusega.

Ja et käsitsi modereerimise kvaliteet ei kannataks, jälgitakse pidevalt inimeste tööd. Näiteks moderaatorile kuvatakse ülesannete voos „lõksud“ — kuulutused, mille kohta on juba olemas valmislahendused. Kui moderaatori otsus ei ühti valmislahendusega, arvestatakse moderaatorile viga.

Ühe kuulutuse kontrollimiseks kulutab moderaator keskmiselt 10 sekundit. Samuti on vigade arv mitte rohkem kui 0,5% kõigist kontrollitud kuulutustest.

Rahva modereerimine

Odnoklassniki kolleegid läksid veel kaugemale, kasutades „saali abi“: nad kirjutasid sotsiaalvõrgustikule rakenduse-mängu, mille abil saab kiiresti märgistada suurt hulka andmeid, tuues esile mõne halva tunnuse — Odnoklassniki moderaator (https://ok.ru/app/moderator). Hea viis kasutada OК kasutajate abi, kes püüavad sisu meeldivamaks muuta.

Mäng, kus kasutajad märgistavad fotosid, kus on telefoninumber.

Iga kuulutuste järjekorra platvormis saab suunata mängu Moderaator Odnoklassnikute. Kõik, mida mängu kasutajad märgistavad, saadetakse seejärel sisemistele moderatoritele kontrollimiseks. Selline skeem võimaldab blokeerida kuulutusi, mille kohta filtreid pole veel loodud, ja samal ajal luua õpikogusid.

Modereerimise tulemuste salvestamine

Salvestame kõik võetud modereerimisotsused, et hiljem mitte töödelda korduvat kuulutust, mille kohta on juba otsus tehtud.

Iga päev luuakse kuulutuste kohta miljoneid klastreid. Aja jooksul saab iga klaster märgise 'hea' või 'halb'. Iga uus kuulutus või selle redaktsioon, sattudes klastrisse, millel on märgis, saab automaatselt selle klastriga seotud otsuse. Selliseid automaatseid otsuseid koguneb päevas umbes 20 tuhat.

Kui klastrisse ei saa uusi kuulutusi, siis eemaldatakse see mälust ja selle hash ning otsus salvestatakse Apache Cassandra'sse.

Kui platvorm saab uue kuulutuse, proovib ta esmalt leida sarnase klastrite seast, mis on juba loodud, ja võtta sealt otsus. Kui sellist klastrit ei ole, siis läheb platvorm Cassandra'sse ja otsib sealt. Leidis? Suurepärane, rakendab otsuse klassit ja saadab Yulasse. Selliseid 'korduvaid' otsuseid koguneb keskmiselt 70 tuhat päevas — 8% kogu hulgast.

Kokkuvõtteks

Olemegi kasutanud Odnoklassnikute modereerimisplatvormi kaks ja pool aastat. Tulemused meeldivad meile:

• Automaatne modereerimine katab 94% kõigist kuulutustest päevas.
• Ühe kuulutuse modereerimise kulu on langenud 2 rubla pealt 7 kopikani.
• Valmis tööriista tõttu unustasid probleemid moderaatoritega.
• Käsitsi töödeldud kuulutuste arvu suurendasime 2,5 korda sama arvu moderatorite ja eelarvega. Samuti on käsitsi modereerimise kvaliteet tõusnud automaatse kontrolli tõttu ja kõigub umbes 0,5% vigu.
• Kiirelt katame filtritega uusi spämmi tüüpe.
• Kiiresti ühendame uusi osakondi modereerimisega Yula Vertikaalid. Alates 2017. aastast on Yulas ilmunud vertikaalid Kinnisvara, Töökuulutused ja Auto.

Allikas: habr.com