Vsaka storitev, kjer uporabniki lahko ustvarjajo lastno vsebino (UGC – uporabniško generirana vsebina), se mora spoprijeti ne le z poslovnimi izzivi, temveč tudi vzpostaviti red v UGC. Slaba ali nekvalitetna moderacija vsebine lahko na koncu zmanjša privlačnost storitve za uporabnike, celo do prenehanja njenega delovanja.
Danes vam bomo povedali o sinergiji med Yulo in Odnoklassniki, ki nam pomaga učinkovito moderirati oglase na Yuli.
Sinergija je sploh zelo koristna stvar, v sodobnem svetu, kjer se tehnologije in trendi hitro spreminjajo, pa se lahko spremeni v palico, ki rešuje težave. Zakaj bi zapravljali redke vire in čas za izumljanje tistega, kar je bilo že izumljeno in izpopolnjeno pred vami?
Tako smo tudi mi pomislili, ko se je pred nami postavila naloga moderiranja uporabniške vsebine – slik, besedil in povezav. Naši uporabniki dnevno nalagajo milijone enot vsebine v Yulo, in brez avtomatske obdelave ni realno moderirati vse teh podatkov ročno.
Zato smo se odločili za že pripravljeno platformo za moderacijo, ki so jo naši kolegi iz Odnoklassniki do takrat pripeljali do stanja 'skoraj popolnosti'.
Zakaj Odnoklassniki?
Vsak dan v družbeno omrežje pridejo desetine milijonov uporabnikov, ki objavljajo milijarde enot vsebine: od fotografij do videoposnetkov in besedil. Platforma za moderacijo Odnoklassniki pomaga preverjati zelo velike količine podatkov in se boriti proti spamom in botom.
Ekipa moderacije OК je pridobila zelo veliko izkušenj, saj že 12 let izboljšujejo svojo orodje. Pomembno je, da niso le lahko delili svojih pripravljenih rešitev, temveč so tudi prilagodili arhitekturo svoje platforme našim specifičnim nalogam.
Za krajši referenčni izraz bomo platformo za moderacijo OК poimenovali preprosto 'platforma'.
Kako vse deluje
Med Yulo in Odnoklassniki je izmenjava podatkov vzpostavljena preko .
Zakaj smo izbrali to orodje:
- V Yuli vsi oglasi potekajo po postmoderaciji, zato začetni sinhroni odgovor ni bil potreben.
- Če pride do resne težave in Yula ali Odnoklassniki nista na voljo, tudi zaradi kakršnih koli vršnih obremenitev, podatki iz Kafke ne bodo izginili in jih bo mogoče pozneje prebrati.
- Platforma je bila že integrirana s Kafko, zato je bilo večina varnostnih vprašanj rešena.
Za vsak oglas, ki ga uporabnik ustvari ali spremeni v Yuli, se oblikuje JSON s podatki, ki se postavi v Kafko za kasnejšo moderacijo. Oglasi se iz Kafke naložijo na platformo, kjer se o njih avtomatsko ali ročno sprejemajo odločitve. Slabi oglasi se blokirajo z navedbo razloga, tisti, pri katerih platforma ni našla kršitev, pa se označijo kot 'dobri'. Potem se vse odločitve vrnejo nazaj v Yulo in se uporabijo v storitvi.
Na koncu se za Yulo vse zreducira na preproste korake: poslati oglas na platformo Odnoklassniki in nazaj dobiti rešitev 'v redu', ali zakaj ne 'v redu'.
Avtomatska obdelava
Kaj se zgodi z oglasom, ko pride na platformo? Vsak oglas se razdeli na več entitet:
- naslov,
- opis,
- fotografije,
- izbrana kategorija in podkategorija oglasa,
- cena.
Nato platforma izvede klastriranje za vsako entiteto, da najde podvojene. Besedila in fotografije se klasificirajo po različnih shemah.
Besedila se pred klastriizacijo normalizirajo, da se znebijo posebnih simbolov, spremenjenih črk in drugega odpadnega materiala. Pridobljeni podatki se razdelijo na N-grami, od katerih se vsaka hašira. Na koncu dobimo številne edinstvene heševe. Skladnost med besedili se šteje po med dvema pridobljenima množicama. Če je skladnost večja od praga, se besedila združijo v en klaster. Za pospešitev iskanja podobnih klasterjev se uporablja MinHash in lokalno občutljivo haširanje.
Za fotografije so izumljene različne možnosti za združevanje slik, od primerjave pHash slik do iskanja podvojenih z uporabo nevronske mreže.
Zadnji način je najbolj 'strogi'. Za usposabljanje modela so bile izbrane takšne kombinacije slik (N, A, P), pri čemer N ne spominja na A, P pa se spominja na A (je polodllik). Nato se nevralna mreža uči, da sta A in P kar se da blizu, A in N pa kar se da daleč. Tako pride do manj lažnih pozyvov v primerjavi s tem, da bi preprosto prevzeli embeddinge iz predusposojenih mrež.
Ko nevralna mreža prejme slike, za vsako od njih generira N(128)-dimenzionalni vektor in izvede poizvedbo za oceno bližine slike. Nato se izračuna prag, pri katerem se blizu slike štejejo kot duplikati.
Model mojstrsko najde spamere, ki namerno fotografirajo isti izdelek z različnih kotov, da bi se izognili primerjavi po pHash.
Primer spamerskih fotografij, ki jih nevralna mreža združi kot duplikate.
Na končni stopnji se duplikati oglasov iščejo hkrati po besedilu in po slikah.
Če se v klastru združi dva ali več oglasov, sistem sproži samodejno blokado, ki na podlagi določenih algoritmov izbere, katere duplikate odstraniti in katere obdržati. Na primer, če imata dva uporabnika v oglasih enake fotografije, sistem blokira novejši oglas.
Po ustvarjanju vsi klastri preidejo skozi vrsto samodejnih filtrov. Vsak filter dodeli klastru število točk (score): s kakšno verjetnostjo ta vsebuje grožnjo, ki jo ta filter zazna.
Na primer, sistem analizira opis v oglasu in izbere potencialne kategorije. Nato vzame tisto, ki ima največjo verjetnost, in jo primerja s kategorijo, ki jo je navedel avtor oglasa. Če se ne ujemata, se oglas blokira zaradi napačne kategorije. In ker smo prijazni in pošteni, uporabniku neposredno povemo, katero kategorijo bi moral izbrati, da bi oglas prestal moderacijo.
Obvestilo o blokadi zaradi napačne kategorije.
Na naši platformi se strojno učenje obnaša kot doma. Na primer, z njegovo pomočjo iščemo v naslovih in opisih prepovedane artikle v RF. In modeli nevralnih mrež natančno 'pregledujejo' slike, če na njih ni URL naslovov, spamerskih besedil, telefonov in vseh tistih 'prepovedanih' stvari.
V primerih, ko poskušajo prodati prepovedano blago, zamaskirano kot nekaj zakonitega, in pri tem ni nobenega besedila niti v naslovu niti v opisu, uporabljamo označevanje slik. Za vsako sliko je mogoče dodeliti do 11 tisoč različnih oznak, ki opisujejo, kaj je na sliki.
Vodna pipica poskušajo prodati, zamaskirano kot samovar.
Ob tem delujejo tudi preprosti filtri, ki rešujejo očitne naloge, povezane z besedilom:
- antimat;
- detektor URL-jev in telefonskih številk;
- omembe sporočilnikov in drugih kontaktnih informacij;
- znižana cena;
- oglasi, v katerih se nič ne prodaja, itd.
Danes vsak oglas preide skozi drobno sito več kot 50 avtomatskih filtrov, ki poskušajo najti nekaj slabega v oglasu.
Če noben od detektorjev ne deluje, se pošlje odgovor, da je z oglasom 'verjetno' vse v redu. Ta odgovor uporabljamo pri nas in uporabniki, ki so se naročili na prodajalca, dobijo obvestilo o novem izdelku.
Obvestilo o tem, da je pri prodajalcu na voljo nov izdelek.
Na koncu vsak oglas 'obstaja' z metapodatki, del katerih se generira ob ustvarjanju oglasa (IP naslov avtorja, user-agent, platforma, geolokacija itd.), preostali pa so rezultati, ki jih dodeli vsak filter.
Čakalne liste oglasov
Ko oglas pride na platformo, ga sistem uvrsti v eno od čakalnih list. Vsaka čakalna lista se oblikuje s pomočjo matematične formule, ki kombinira metapodatke oglasa na način, da odkrije kakšen slab vzorec.
Na primer, lahko se ustvari čakalna lista oglasov v kategoriji 'Mobilni telefoni' od uporabnikov bolj ali manj iz Sankt Peterburga, vendar so njihovi IP naslovi iz Moskve ali drugih mest.
Primer oglasov, ki jih je objavil en uporabnik v različnih mestih.
Ali pa se čakalne liste lahko oblikujejo na podlagi točk, ki jih nevronska mreža dodeli oglasom, jih razporedi padajoče.
Vsaka čakalna lista dodeli oglasu končne točke, skladno s svojo formulo. Nato se lahko ravnamo različno:
- določimo prag, pri katerem bo oglas prejel določen tip blokade;
- vse objavleniya v ocheredi otpravit moderatoram na ruchnuyu proverku;
- ili skombinirovat predydushchie varianty: ukazat porog avtonomnoy blokirovki i otpravit moderatoram te ob'yavleniya, kotorye ne dostigli etogo poroga.
Zachem nuzhny eti ocheredi? Dopustim, pol'zovatel' zagruzil fotografiyu ognestrel'nogo oruzhiya. Neyroset' priskivaet yey score ot 95 do 100 i s 99-protsentnoy tochnost'yu opredelyaet, chto na kartinke oruzhie. No esli znachenie score nizhe 95 %, to tochnost' modeli nachinaet snizhatsya (takova osobennost' modely neyrosetey).
V rezul'tate formiruetsya ochered' na osnove score modeli, i te iz ob'yavleniy, kotorye poluchili ot 95 do 100, avtonomno blokiruyutsya kak «Zapreshennyy tovar». Ob'yavleniya s kolichestvom ballov nizhe 95 otpravlyayutsya na ruchnuyu obrabotku moderatoram.
Shokoladnaya Beretta s patronami. Tol'ko dlya ruchnoy moderatsii! 🙂
Ruchnaya moderatsiya
Na nachalo 2019 goda okolo 94 % vsekh ob'yavleniy v Yule moderiruyutsya avtonomno.
Esli platforma ne mozhet opredelit'sya s kakimi-to ob'yavleniyami, to otpravlyayet ikh na ruchnuyu moderatsiyu. Odnoklassniki razrabotali sobstvennyy instrument: v zadaniyakh dlya moderatorov srazu otobrazhayetsya vsya neobkhodimaya informatsiya dlya prinyatiya bystrogo resheniya — ob'yavlenie godnoe ili stoit ego zablokirovat' s ukazaniem prichiny.
A chtoby pri ruchnoy moderatsii ne stradalo kachestvo servisa, rabota lyudey postoyanno kontroliruetsya. Naprimer, v potoke zadaniy moderatoru pokazyvayutsya «lovushki» — ob'yavleniya, po kotorym uzhe yest' gotovye resheniya. Esli reshenie moderatora ne sovpadaet s gotovym, moderatoru zачityvayut oshibku.
Na proverku odnogo ob'yavleniya moderator v srednem tratit 10 sekund. Pri etom kolichestvo oshibok sostavlyaet ne bolee 0,5 % ot vsekh proverennykh ob'yavleniy.
Narodnaya moderatsiya
Kolleghi iz Odnoklassnikov poshli yesche dal'she, vospol'zovavshis' «pomoshch'yu zala»: napisan dlya sotsseti prilozhenie-igru, v kotorom mozhno bystro razmechat' bol'shoye kolichestvo dannykh, vydeleyaya kakoy-to plokhoy priznak, — Moderator Odnoklassnikov (). Khoroshiy sposob vospol'zovatsya pomoshch'yu pol'zovateley OK, kotorye starayutsya sdelat' kontent priyatnee.
Igra, v kotoroy pol'zovateli otmechayut fotografii, na kotorykh est' nomer telefona.
Vsako vrsto oglasov v platformi je mogoče preusmeriti v igro Moderator Odnoklassnikov. Vse, kar označijo uporabniki igre, nato pride na notranjo preverjanje moderatorjev. Takšna shema omogoča blokiranje oglasov, za katere še niso bili ustvarjeni filtri, in hkrati ustvarjanje učnih vzorcev.
Shranjevanje rezultatov moderiranja
Shranjujemo vse sprejete odločitve pri moderiranju, da kasneje ne obdelujemo še enkrat tistih oglasov, za katere smo že sprejeli kakšno odločitev.
Vsakodnevno se ustvari milijone oblakov za oglase. S časom vsak oblak dobi oznako 'dober' ali 'slab'. Vsak nov oglas ali njegova sprememba, ki pride v oblak z oznako, samodejno dobi resolucijo samega oblaka. Takšnih samodejnih resolucij na dan nastane približno 20.000.
Če v oblak ne pridejo novi oglasi, se ta odstrani iz pomnilnika, njegov hash in odločitev pa se zapišeta v Apache Cassandra.
Ko platforma prejme nov oglas, najprej poskuša najti podoben oblak med že ustvarjenimi in vzeti odločitev iz njega. Če tako oblak ne obstaja, gre platforma v Cassandro in tam išče. Je našla? Odlično, uporablja odločitev za oblak in jo pošlje v Yulu. Takšnih 'ponovnih' odločitev dnevno nastane povprečno 70.000 — 8 % od skupnega števila.
Na koncu
Platformo moderiranja Odnoklassnikov uporabljamo že dve leti in pol. Rezultati so nam všeč:
- Samodejno moderiramo 94 % vseh oglasov na dan.
- Stroške moderiranja enega oglasa smo znižali z 2 rubljev na 7 kopejk.
- Zaradi pripravljenega orodja smo pozabili na težave pri upravljanju moderatorjev.
- Število obdelanih ročnih oglasov smo povečali 2,5-krat ob istem številu moderatorjev in proračunu. Tudi kakovost ročnega moderiranja se je izboljšala zaradi avtomatiziranega nadzora in se giblje okoli 0,5 % napak.
- Hitro pokrivamo nove tipe spama s filtri.
- Hitro priključujemo nova oddelka k moderiranju . Od leta 2017 so v Yuli nastale vertikale Nepremičnine, Zaposlitve in Avtomobili.
Izvor: habr.com
