Kuidas avada kommentaare ja mitte sattuda spämmisuppi

Kui su töö on luua midagi kaunist, ei ole selle kohta vaja eriti rääkida, sest tulemus on kõigile nähtav. Kuid kui sa kustutad kirjutisi aedadelt, ei märka keegi su tööd, kuni aiad ei näe välja korralikud või kuni sa ei kustuta midagi vale.

Iga teenus, kus saab jätta kommentaari, tagasisidet, saata sõnumi või laadida pilte, seisab varem või hiljem silmitsi rämpsposti, pettuse ja sobimatute märkustega. Seda ei saa vältida, kuid sellega tuleb võidelda.

Mina olen Mihhail, töötan Antispam meeskonnas, mis kaitseb Yandexi teenuste kasutajaid selliste probleemide eest. Meie töö on harva nähtav (ja see on hea!), seega räägin täna sellest lähemalt. Sa saad teada, millal on modereerimine kasutud ja miks täpsus ei ole ainus näitaja selle efektiivsuses. Räägime ka roppusest näiteks kasside ja koerte puhul ning miks mõnikord on kasulik "mõelda nagu roppus".

Yandexis tekib üha rohkem teenuseid, kus kasutajad avaldavad oma sisu. Võid esitada küsimuse või kirjutada vastuse Yandex.Q-s, arutada õue uudiseid Yandex.Regionis, jagada liiklusolusid jutuajamistes Yandex.Mapsis. Kuid kui teenuse publik kasvab, muutub see ahvatlevaks petturitele ja rämpspostitajatele. Nad tulevad ja täidavad kommentaarid: pakuvad lihtsat raha teenimist, reklaamivad imeravimeid ja lubavad sotsiaalseid makseid. Rämpspostitajate tõttu kaotavad mõned kasutajad raha, teised aga soovivad vältida räpaseks muutunud teenuseid.

Ja see ei ole ainus probleem. Me ei püsi ainult kasutajaid petturite eest kaitsma, vaid loome ka mugava suhtluskeskkonna. Kui inimesed kohtavad kommentaarides roppusi ja solvanguid, on nad tõenäoliselt lahkumas ja ei naase enam. Seega tuleb selle problematikaga ka tegeleda.

Puhtaid Veeb

Nagu see meil tihti juhtub, tekkisid esimesed arengud Otsingus, selle osa kaudu, mis võitleb väljaspool spämmi. Umbes kümme aastat tagasi tuli seal ette ülesanne filtrida täiskasvanute sisu peresõbraliku otsingu jaoks ja nende päringute puhul, mis ei eelda vastuseid kategooriast 18+. Nii tekkisid esimesed käsitsi koostatud pornograafia ja ropendamise sõnastikud, mida täiustasid analüütikud. Peamine ülesanne oli klassifitseerida päringud nende vahel, kus täiskasvanute sisu on lubatud ja kus mitte. Selle ülesande jaoks koguti märgiseid, loodi heuristikad ja õpetati mudelit. Nii sündisid esimesed tööriistad soovimatu sisu filtreerimiseks.

Aja jooksul hakkas Yandexis ilmuma UGC (kasutaja loodud sisu) — sõnumid, mida kirjutavad kasutajad ise, ja Yandex avaldab need ainult. Ülaltoodud põhjustel ei olnud paljusid sõnumeid võimalik avaldada ilma kontrollimata — vajalik oli modereerimine. Siis otsustati luua teenus, mis pakuks kaitset spämmi ja pahatahtlike isikute vastu kõigi Yandexi UGC toodete jaoks ning kasutaks Otsingus soovimatu sisu filtreerimise arendusi. Teenust kutsuti „Puhas Veeb“.

Uued ülesanded ja abi tolokertelt

Alguses töötas meil vaid lihtne automaatika: teenused saatsid meile tekstid ning me jooksutasime nende peal ropendamise sõnastikke, pornograafia sõnastikke ja regulaaravaldisi — analüütikud koostasid kõik käsitsi. Kuid teenust hakati aja jooksul rakendama üha rohkemates Yandexi toodetes ja meil tuli õppida, kuidas tegeleda uute probleemidega.

Sagedasti avaldavad kasutajad arvustuse asemel mõttetut täheklotsi, püüdes endale saavutusi tõsta, mõnikord reklaamivad nad oma ettevõtet konkurendi arvustustes, mõnikord segavad nad lihtsalt organisatsioone ja kirjutavad loomapoodide arvustuses: „Imeliselt valmistatud kala!”. Võimalik, et kunagi õpib tehisintellekt täiuslikult tabama iga teksti tähendust, kuid praegu suudab automaatika mõnikord kehvemini toime tulla kui inimene.

Selgus, et ilma käsitsi märgistamiseta ei õnnestu siin hakkama saada, ja me lisasime meie süsteemile teise astme - saatmine inimese kontrollimiseks. Siia sattusid need avaldatud tekstid, mille osas klassifikaator probleeme ei tuvastanud. Te saate kergesti ette kujutada sellise ülesande ulatust, seetõttu ei tuginenud me mitte ainult hindajatele, vaid kasutasime ka "rahva tarkust", st pöördusime abiks tolokere poole. Just nemad aitavad meil tuvastada, mida masin on maha maganud, ja seeläbi õpetavad seda.

Tark vahemälu ja LSH-hashimine

Veel üks probleem, millega me silmitsi seisisime kommentaaride töötlemisel, oli rämpspost, täpsemalt selle hulk ja leviku kiirus. Kui Yandex.Regioni publik hakkas kiiresti kasvama, tulid rämpspostitajad. Nad õppisid ringidesse hiilima, muutes pisut teksti. Rämpsposti leiti ja eemaldati siiski, kuid Yandexi mastaabis võis isegi 5 minutiks avaldatud sobimatu sõnumit näha sadu inimesi.

See ei rahuldanud meid, ja me tegime tarkade tekstide vahemälu põhjal LSHlocality-sensitive hashing. See töötab nii: me normaliseerisime teksti, eemaldasime lingid ja lõikasime selle n-grammideks (n-tähemärkide järjestused). Seejärel arvutasime n-grammide põhjal hashid ja nende alusel ehitasime dokumendi LSH-vektori. Idee on selles, et sarnased tekstid, isegi kui neid on pisut muudetud, muutusid sarnasteks vektoreiks.

See lahendus võimaldas meil taaskasutada klassifikaatorite ja tolokere otsuseid sarnaste tekstide kohta. Rämpsposti rünnaku korral, niipea kui esimene sõnum läbis kontrolli ja jõudis vahemällu 'rämpsposti' otsusega, said kõik uued sarnased sõnumid, isegi muudetud, sama otsuse ja eemaldati automaatselt. Hiljem õppisime klassifikaatoreid rämpsposti automaatselt koolitama, kuid see "tark vahemälu" jäi meiega ja aitab meid siiani.

Heade tekstide klassifikaator

Vahepeal, kui me püüdsime spämmi vastu võidelda, mõistsime, et 95% meie sisust modereeritakse käsitsi: klassifikaatorid reageerivad ainult rikkumistele ja enamus tekstidest on head. Me koormame tolokaatorite tööga, kes 95 juhul 100-st annavad hindeks 'Kõik on korras'. Oli vaja tegeleda harjumatu tööga - luua head sisu klassifikaatoreid, õnneks on selle aja jooksul piisavalt märgistusi kogunenud.

Esimene klassifikaator nägi välja selline: lemma tähtsustamine (viime sõnad algvormi), viskame välja kõik teenindavad sõnad ja kasutame eelnevalt koostatud 'hea lemma' sõnavara. Kui tekstis on kõik sõnad 'head', siis ei sisaldanud tekst tervikuna rikkumisi. Erinevates teenustes andis selline lähenemine kohe 25–35% käsitöö märgistuste automatiseerimist. Loomulikult pole selline lähenemine ideaalne: ei ole raske kombineerida mitut süütut sõna ja saada väga solvav väljend, kuid see võimaldas meil kiiresti saavutada hea automatiseerimise taseme ja andis aega keerukamate mudelite õpetamiseks.

Järgmised head tekstide klassifikaatorite versioonid sisaldasid juba nii lineaarseid mudeleid kui ka otsustavaid puid ning nende kombinatsioone. Üksikute roppuste ja solvangute märgistamiseks proovime näiteks BERT närvivõrku. Siin on oluline tabada sõna tähendus kontekstis ja sõnade seoseid erinevate lausete vahel, ning BERT hakkama saab. (Muide, hiljuti jagasid kolleegid uudistest, kuidas nad tehnoloogiat rakendavad ebatavalise ülesande jaoks - pealkirjade vigade otsimiseks.) Lõppkokkuvõttes õnnestus automatiseerida 90% voost, olenevalt teenusest. rääkinudTäpsus, täielikkus ja kiirus

Arenguks on oluline mõista, millist kasu toovad erinevad automaatsed klassifikaatorid, muudatused neis ning kas käsitsi kontrollide kvaliteet ei halvene. Selleks rakendame täpsuse ja täielikkuse näitajaid.

Kasvamiseks on vajalik mõista, millist kasu toovad erinevad automaatsed klassifikaatorid, muutused neis, samuti mitte degradeerida käsitsi kontrollide kvaliteeti. Selleks rakendame täpsuse ja katvuse mõõdikuid.

Täpẫnus on halva sisu kohta tehtud otsuste osakaal. Mida kõrgem on täpsus, seda vähem valehäireid. Kui täpsust ei jälgita, võib teooriaga kõik spämmi ja roppuse eemaldada, kuid koos nendega ka poole saadetud heade sõnumite hulk. Teiselt poolt, kui toetuda ainult täpsusele, osutub parimaks tehnoloogia, mis ei püüa kedagi kinni. Seetõttu on olemas ka katvuse näitaja: halva sisu tuvastamise määr kogu halva sisu mahus. Need kaks mõõdikut tasakaalustavad üksteist.

Kasutame mõõtmiseks iga teenuse sisendi voogu ja saadame sisu näidised hindajatele ekspertarvustusteks ning masina lahendustega võrdlemiseks.

Kuid on olemas veel üks oluline näitaja.

Olen eelnevalt maininud, et sobimatut sõnumit võivad näha sadakond inimest isegi vaid 5 minuti jooksul. Seetõttu arvestame, mitu korda me halba sisu inimestele ette näitasime enne, kui selle peitsime. See on oluline, sest ei piisa ainult kvaliteetsest töö tegemisest — oluline on ka kiirus. Ja kui me ehitasime roppuse kaitset, tundsime seda täiel määral.

Roppuse tõkestamine kasside ja koerte näitel

Lühike poetekstid. Keegi võib öelda, et roppused ja solvangud ei ole nii ohtlikud kui kahjulikud lingid ja ei ole nii häirivad kui rämpspost. Kuid me püüdleme selle poole, et tagada mugavad olud miljonite kasutajate suhtlemiseks, ja inimesed ei armasta naasta kohtadesse, kus neid solvatakse. Pole juhus, et roppuse ja solvangute keeld on kirjas paljude kogukondade reeglites, sealhulgas ka Habr's. Kuid nüüd oleme kõrvale kaldunud.

Roppuse sõnastikud ei suuda venekeelse keele kogu rikast sisaldust katab. Kuigi on olemas neli peamist roppuse juurt, on nende kombinatsioonide arv lõputu, mida ei saa kinni pidada ühtegi regulaarsetest väljenditest. Lisaks võivad osad sõnad olla kirjutatud transkriptsiooniga, asendades tähed sarnaste kombinatsioonidega, ümber paigutades tähti ja lisades tähti jne. Mõnikord ei saa kontekstist välja lugeda, mida kasutaja roppussõna all mõtles. Austame Habr'i reegleid, seega demonstreerime seda mitte elavates näidetes, vaid kasside ja koerte näitel.

„Mäu,” ütles kass. Kuid me mõistame, et kass ütles midagi muud...

Oleme hakanud mõtlema meie sõnastiku „hägusate vastavuste“ algoritmidele ja nutikamale eelprotsessimisele: muutsime translitreerimist, sidusime tühikud ja punktid, otsisime mustreid ja kirjutasime nendele eraldi regulaaravaldiseid. Selline lähenemine andis tulemusi, kuid sageli vähendas täpsust, jättes soovitud täielikkuse saavutamata.

Siis otsustasime „mõelda nagu roppused“. Alustasime ise andmete müraga: ümber tõstetud tähed, trükivead, tähed asendatud sarnastega ja nii edasi. Algse märgistuse saime, rakendades roppuste sõnastikke suurtele tekstikorpustele. Kui võtta üks lause ja lõhkuda see mitmel viisil, tekib palju lauseid. Nii on võimalik treeningvalimit korduvalt suurendada. Jäi vaid õpetada selle tulemuse põhjal mõni enam-vähem nutikas mudel, mis arvestas konteksti.

Lõpliku lahenduse kohta on veel vara rääkida. Katsetame endiselt lähteviise selle probleemiga, kuid näeme juba, et lihtne mitme kihi sümbolipõhine konvolutsioonivõrk ületab oluliselt sõnastikke ja regulaaravaldiseid: suurem on nii täpsus kui ka täielikkus.

Muidugi mõistame, et alati leidub viise, kuidas ringitada isegi kõige arenenumat automaatikat, eriti kui asi on nii sõltuv: kirjutada nii, et rumal masin ei saaks aru. Siin, nagu ka rämpsposti korraldamisel, ei ole meie eesmärk lõpetada võimalus kirjutada midagi roppust, meie ülesanne on teha nii, et mäng ei tasu vaeva.

Arusaamade jagamine, suhtlemine ja kommenteerimine on lihtne. Kaugemal on keerulisem saavutada turvalisi, mugavaid tingimusi ja austavat suhtumist inimestesse. Ilma selleta ei toimu ühtegi kogukonna arengut.

Allikas: habr.com