Kuidas avada kommentaarid ja mitte spämmi uppuda

Kui sinu tööks on midagi kaunist luua, siis ei olegi sellest väga palju rääkida, sest tulemus on kõigile silme ees. Kui aga sa kustutad kirju aedadelt, siis ei pane keegi su tööd tähele, kuni aiad näevad head välja või kuni sa ei kustuta midagi vale.

Igasugune teenus, kus saab jätta kommentaare, arvustusi, saata sõnumeid või laadida üles pilte, satub varem või hiljem rünnakute, petmise ja roppuste probleemide ette. Seda ei saa vältida, kuid sellega tuleb võidelda.

Minu nimi on Mihhail, ma töötan Antispami meeskonnas, mis kaitseb Yandexi teenuste kasutajaid selliste probleemide eest. Meie töö on harva nähtav (ja hästi!), seega täna räägin sellest rohkem. Sa saad teada, millal on modereerimine kasutu ja miks täpsus ei ole ainus selle efektiivsuse mõõdik. Samuti räägime roppusest kasside ja koerte näitel ja sellest, miks on vahel kasulik "mõelda nagu roppuse rääkija".

Yandexis tekib järjest rohkem teenuseid, kus kasutajad avaldavad oma sisu. Sa saad esitada küsimuse või kirjutada vastuse Yandex.Q-s, arutada õue uudiseid Yandex.Kvartalis, jagada liiklusolusid Yandex.Mapides. Aga kui teenuse publik kasvab, muutub see petturite ja rämpspostitajate jaoks atraktiivseks. Nad tulevad ja täidavad kommentaarid: pakuvad kerget teenimist, reklaamivad imelikke vahendeid ja lubavad sotsiaalseid toetusi. Rämpspostitajate tõttu kaotavad mõned kasutajad raha, teised aga soovi veeta aega hoolitsemata, rämpsuga kaetud teenuses.

Ja see ei ole ainus probleem. Me püüame mitte ainult kaitsta kasutajaid petturite eest, vaid ka luua mugava suhtluskeskkonna. Kui inimesed kommentaarides puutuvad kokku roppuse ja solvangutega, on tõenäoliselt nad lahkumas ja ei tule enam tagasi. Seega tuleb ka sellega osata võidelda.

Puhtaid Veeb

Kuidas see meil tihti juhtub, sündisid esimesed arengud Otsingus, osas, mis võitleb rämpsposti vastu tulemuses. Umbes kümme aastat tagasi tekkis seal täiskasvanud sisu filtreerimise ülesanne peresõbralikuks otsimiseks ja päringuteks, mis ei eelda vastuseid kategooriast 18+. Nii tekkisid esimesed käsitsi koostatud porno ja roppuse sõnastikud, mida täiendati analüütikute poolt. Peamine ülesanne oli klassifitseerida päringud nende vahel, kus täiskasvanud sisu on lubatud ja kus mitte. Selle ülesande täitmiseks koguti märgendus, ehitati heuristikad ja treeniti mudeleid. Nii tekkisid esimesed arendused soovimatute sisu filtreerimiseks.

Aja jooksul hakkas Yandexis ilmuma UGC (kasutajate genereeritud sisu) — sõnumid, mida kirjutavad kasutajad ise, ja Yandex lihtsalt avaldab need. Ülaltoodud põhjustel ei olnud paljusid sõnumeid võimalik publitseerida niisama — nõuti modereerimist. Siis otsustati luua teenus, mis pakuks kaitset rämpsposti ja pahategijate eest kõigi Yandexi UGC-toodete jaoks ja kasutaks arendusi soovimatu sisu filtreerimiseks Otsingus. Teenus nimetati "Puhtaks Veebiks".

Uued ülesanded ja abiliste abi

Esialgu töötas meil vaid lihtne automaatika: teenused saatsid meile tekstid ning me jooksutasime neile läbi roppuse sõnastikud, pornograafia sõnastikud ja regulaaravaldised — analüütikud koostasid kõik käsitsi. Kuid teenust hakati aja jooksul rakendama üha rohkemates Yandexi toodetes ja me pidime õppima, kuidas uute probleemidega toime tulla.

Tihti avaldavad kasutajad arvustuse asemel mõttetut tähtede kogumit, püüdes endale saavutusi tõsta, mõnikord reklaamivad nad oma ettevõtet konkurendi arvustustes, ja mõnikord lihtsalt segavad organisatsioone, kirjutades näiteks lemmikloomapoest: „Kenas valmistatud kala!”. Võib-olla õpib kunagi tehisintellekt ideaalset mõistma iga teksti, kuid praegu suudab automaatika vahel inimestest halvemini hakkama saada.

Selge on, et käsitsi märgendamiseta ei saa siin hakkama, ja nii lisasime meie süsteemile teise astme — saatmine inimeste käsitsi kontrollimiseks. Siia kuulusid need avaldatud tekstid, mille kohta klassifikaator probleeme ei tuvastanud. Sellise ülesande mastaape võib kergesti ette kujutada, seetõttu ei lasknud me end ainult hindajatest aidata, vaid kasutasime ka "rahva tarkust", s.o. pöördusime appi tolooker'ite poole. Just nemad aitavad meil tuvastada seda, mida masin on tähelepanuta jätnud, ja selle kaudu koolitavad meid.

Nutikas vahemälu ja LSH-hashing

Veel üks probleem, millega me kommentaaride töötlemisel silmitsi seisisime, oli rämpspost, täpsemalt selle maht ja leviku kiirus. Kui Yandex.Regioni publik kiiresti kasvas, ilmusid sinna spämmerid. Nad õppisid vältima regulaatorite kontrolli, kergelt muutes teksti. Rämpsposti leidsime ja kõrvaldasime loomulikult, kuid Yandexi ulatuses võis isegi viie minuti jooksul avaldatud sobimatu sõnumit näha sadu inimesi.

See, muidugi, ei rahuldanud meid, ja me rakendasime nutikat teksti vahemälu põhjal LSH (locality-sensitive hashing). See the process works like this: we normalized the text, removing links and segmenting it into n-grams (sequences of n letters). Next, we computed hashes from the n-grams, which were then used to construct the document's LSH vector. The idea is that similar texts, even with slight modifications, would transform into similar vectors.

This solution allowed us to reuse classifiers' and moderators' verdicts for similar texts. In a spam attack, once the first message passed the check and was cached with a verdict of 'spam,' all new similar messages, even if modified, received the same verdict and were automatically deleted. Later, we learned to train and automatically retrain spam classifiers, but this 'smart cache' has remained with us and still helps us frequently.

Classifier of good texts

Kahe tuleb võitlemisest spämmi vastu, olime täheldanud, et 95% meie sisust modereeritakse käsitsi: klassifikaatorid reageerivad ainult rikkumistele ja enamus tekstidest on head. Koormatame tolokaatoreid, kes 95 juhul 100-st annavad hinnangu „Kõik OK“. Pidi hakkama tegelema harjumatute töödega — looma hea sisu klassifikaatoreid, õnneks on selle ajaga piisavalt märgistusi kogunenud.

Esimene klassifikaator nägi välja selline: lemmatiseerime teksti (toome sõnad algvormi), viskame välja kõik teenindavad osakesed ja rakendame ettevalmistatud „head lammutuse sõnastikku“. Kui tekstis on kõik sõnad „head“, siis ei sisalda kogu tekst rikkumisi. Erinevates teenustes tõi selline lähenemine kohe 25%-35% seadistusautomaatikast. Loomulikult ei ole selline lähenemine ideaalne: ei ole raske kombineerida mitut süütut sõna ja saada väga solvav väljend, kuid see lubas meil kiiresti jõuda heale automatiseerimise tasemele ja andis aega keerukamate mudelite õpetamiseks.

Järgmised heade tekstide klassifikaatorite versioonid on juba sisaldanud nii lineaare kui ka otsustuspuid ning nende kombinatsioone. Näiteks proovime ebaviisakuste ja solvangute märgistamiseks kasutada BERT närvivõrku. Siin on oluline mõista sõna tähendust kontekstis ja sõnade vahelist seost erinevates lausetes, millega BERT hästi toime tuleb. (Muide, hiljuti räägivad kolleegid uudistes olen rääkinud, kuidas tehnoloogiat kasutatakse ebatavalise ülesande, näiteks pealkirjade vigade leidmise jaoks.) Lõpuks õnnestus automatiseerida kuni 90% voost, sõltuvalt teenusest.

Täpsus, täielikkus ja kiirus

Kuna edasi liikuda, tuleb mõista, millist kasu toovad erinevad automaatsed klassifikaatorid, muudatused neis, samuti see, kas käsitsi kontrollide kvaliteet ei halvene. Selle jaoks kasutame täpsuse ja täielikkuse näitajaid.

Täpsus on vale otsuste osakaal kõigi halva sisu otsuste seas. Mida kõrgem on täpsus, seda vähem valehäireid esineb. Kui täpsust tähelepanuta jätta, on teoreetiliselt võimalik eemaldada kogu rämps ja roppus, võttes samaaegselt kaasa pool headest sõnumitest. Teisest küljest, kui toetuda ainult täpsusele, on parim tehnoloogia see, mis mitte kedagi ei tuvasta. Seetõttu on olemas ka katvuse näitaja: halva sisu osakaal tuvastatud halva sisu kogumahu seas. Need kaks mõõdikut tasakaalustavad üksteist.

Kasutamiseks mõõdame iga teenuse kogu sisendvoogu ja anname sisuproovid ekspertidele hindamiseks, et võrrelda masinlahendustega.

Kuid on veel üks oluline näitaja.

Olen varem maininud, et mitteaktsepteeritavat sõnumit võivad 5 minutiga näha sajad inimesed. Seetõttu arvestame, mitu korda oleme halba sisu inimestele näidanud, enne kui selle peidame. See on oluline, sest pole piisav töötada kvaliteetselt — tuleb töötada ka kiiresti. Kui ehitasime roppuse kaitset, tajusime seda täielikult.

Roppuse vastane näide kassidest ja koertest

Lühike luuleline kõrvalepõige. Keegi võib öelda, et roppused ja solvangud ei ole nii ohtlikud kui pahatahtlikud lingid ja ei ole nii häirivad kui rämpspost. Kuid meie eesmärk on säilitada mugavad suhtlemistingimused miljonite kasutajate jaoks, ning inimesed ei taha naasta kohtadesse, kus neid solvatakse. Pole tähtis, et roppuste ja solvangute keelamine on kirjas paljude kogukondade reeglites, sealhulgas ka Habr's. Aga las ma ei kaldun kõrvale.

Roomikeelne sõnastik ei suuda hallata kogu vene keele rikkust. Kuigi on vaid neli põhijoont, saab neist moodustada tohutu hulga sõnu, millega ei saa mingite regulaarsete väljenditega hakkama. Lisaks saab sõnu osaliselt kirjutada transkriptsioonina, asendada tähti sarnaste kombinatsioonide või sümbolitega, ümber paigutada tähti, lisada tähiseid jne. Mõnikord ei saa konteksti puudumisel üldse määrata, mida kasutaja roppuses mõtles. Austame Habr reegleid, seetõttu demonstreerime seda mitte elusate näidete, vaid kasside ja koerte abil.

"Miau," ütles kass. Kuid me mõistame, et kass ütles midagi muud...

Oleme hakanud mõtlema meie sõnastiku "häguse sobitamise" algoritmide ja nutikama eeltöötluse peale: viisime läbi transliteratsiooni, liitsime tühikud ja punctuation, otsisime mustreid ning kirjutasime nendele eraldi regulaaravaldisi. Selline lähenemine andis tulemusi, kuid sageli vähendas see täpsust, jättes soovitud täielikkuse saavuttamata.

Siis otsustasime "mõelda nagu roppused". Me hakkasime ise andmetesse müra lisama: liigutades tähti, genereerides trükivigu, asendades tähed sarnastega jne. Algset märgistust saime, rakendades roppuste sõnastikke suurtele tekstikorpusitele. Kui võtta üks lause ja väärata seda mitmel moel, saab juba palju lauseid. Sellise lähenemisega saab treeningu valimi kasvatada kümneid kordi. Jääkis vaid õpetada sellel saagil mingit korralikku mudelit, arvesse võttes konteksti.

Lõpliku lahenduse kohta on veel vara rääkida. Katsetame endiselt lähenemisi selle probleemi lahendamiseks, kuid näeme juba, et lihtne märkide konvolutsioonivõrk mitmest kihist ületab selgelt sõnastikke ja regulaaravaldise: tulemuseks on nii täpsuse kui täielikkuse suurenemine.

Muidugi mõistame, et alati leidub viise isegi kõige arenenuma automaatika ületamiseks, eriti kui mäng on nii kaasahaarav: kirjutada nii, et rumal masin ei mõistaks. Siin, nagu ka rünnakute tõrjumisel, ei ole meie eesmärk hävitada võimalust kirjutada midagi sobimatut, vaid teha nii, et mäng ei oleks vaeva väärt.

Oma arvamuse jagamine, suhtlemine ja kommenteerimine on lihtne. Kaugemale, turvaliste, mugavate tingimuste ja austava suhtumise saavutamine on palju keerulisem. Ilma selleta ei saa ükski kogukond areneda.

Allikas: habr.com