
Svaki servis čiji korisnici mogu stvarati vlastiti sadržaj (UGC - Sadržaj generiran od strane korisnika) prisiljen je ne samo rješavati poslovne zadatke, već i uspostaviti red u UGC-u. Loša ili nekvalitetna moderacija sadržaja može na kraju smanjiti privlačnost servisa za korisnike, čak do prekida njegovog rada.
Danas ćemo vam pričati o sinergiji između Jule i Odnoklassnika, koja nam pomaže učinkovito moderirati oglase na Julu.
Sinergija je uopće jako korisna stvar, a u današnjem svijetu, kada se tehnologije i trendovi brzo mijenjaju, može se pretvoriti u štapić za spas. Zašto trošiti rijetke resurse i vrijeme na izmišljanje onoga što je već izumljeno i dovedeno do savršenstva?
Tako smo i mi razmišljali kada se pred nama postavio zadatak moderiranja korisničkog sadržaja - slika, teksta i linkova. Naši korisnici svakodnevno učitavaju milijune jedinica sadržaja na Julu, i bez automatske obrade, ručna moderacija svih tih podataka jednostavno nije moguća.
Zato smo iskoristili već gotovu platformu za moderaciju koju su naši kolege iz Odnoklassnika do tada dovedene do stanja 'gotovo savršenstvo'.
Zašto Odnoklassnici?
Svaki dan u društvenu mrežu dolaze deseci milijuna korisnika koji objavljuju milijarde jedinica sadržaja: od fotografija do videozapisa i tekstova. Platforma za moderaciju Odnoklassnika pomaže u provjeri vrlo velikih količina podataka i suzbijanju spamera i botova.
Tim za moderaciju OK-a akumulirao je vrlo veliko iskustvo, jer unapređuje svoj alat već 12 godina. Važno je da ne samo da su mogli podijeliti svoja gotova rješenja, već su i prilagodili arhitekturu svoje platforme našim specifičnim zadacima.

Dalje ćemo, radi sažetka, nazivati platformu za moderaciju OK-a jednostavno 'platforma'.
Kako je sve postavljeno
Između Jule i Odnoklassnika razmjena podataka uspostavljena je putem .
Zašto smo odabrali ovaj alat:
- Na Julu svi oglasi prolaze postmoderaciju, pa inicijalno nije bio potreban sinhroni odgovor.
- Ako se dogodi ozbiljna situacija, i Jula ili Odnoklassnici budu nedostupni, uključujući zbog nekih vrhunskih opterećenja, podaci iz Kafke neće nestati i kasnije će ih biti moguće pročitati.
- Platforma je već integrirana s Kafkom, pa su tako većina sigurnosnih pitanja riješena.

Za svaku korisnički stvorenu ili promijenjenu objavu na Jula, formira se JSON s podacima koji se šalje u Kafku za daljnju moderaciju. Iz Kafke se objave preuzimaju na platformu, gdje se o njima donose odluke automatski ili ručno. Loše objave se blokiraju s naznačenim razlozima, dok se one u kojima platforma nije pronašla povrede označavaju kao "dobre". Nakon toga, sve odluke se šalju natrag u Julu i primjenjuju u servisu.
Na kraju, za Julu sve se svodi na jednostavne radnje: poslati objavu na platformu Odnoklassniki i natrag dobiti rezoluciju "u redu", ili razlog zašto nije "u redu".
Automatska obrada
Što se događa s objavom nakon što dođe na platformu? Svaka objava se dijeli na nekoliko entiteta:
- naslov,
- opis,
- fotografije,
- izabrana kategorija i podkategorija objave od strane korisnika,
- cijena.

Zatim platforma provodi klasterizaciju po svakoj entitetu kako bi pronašla duplikate. Osim toga, tekst i fotografije klasteriziraju se prema različitim shemama.
Tekstovi se prije klasterizacije normaliziraju kako bi se uklonili posebni simboli, izmijenjena slova i druga smeća. Dobiveni podaci se dijele na N-gramove, od kojih se svaki hešira. Na kraju se dobije mnoštvo jedinstvenih heševa. Sličnost između tekstova se računa prema između dva dobijena mnoštva. Ako je sličnost iznad praga, tekstovi se spajaju u jedan klaster. Za ubrzanje pretraživanja sličnih klastera koristi se MinHash i lokalno osjetljivo heširanje.
Za fotografije su smišljene različite varijante spajanja slika, od usporedbe pHash slika do pretraživanja duplikata pomoću neuronske mreže.
Posljednja metoda je najstroža. Za obuku modela birale su se takve trojke slika (N, A, P), u kojima N nije sličan A, dok je P sličan A (polu-dublikat). Tada se neuronska mreža učila da A i P budu što bliže, a A i N što dalje. Tako se postiže manje lažnih pozitivnih nego jednostavnim uzimanjem embediranja od unaprijed obučene mreže.
Kada neuralna mreža primi slike, ona za svaku od njih generiše N(128)-dimenzionalni vektor i šalje zahtev za ocenu sličnosti slike. Zatim se izračunava prag, pri kojem se slične slike smatraju duplikatima.
Model majstorski pronalazi spamera koji namerno fotografišu isti proizvod iz različitih uglova kako bi prevarili pHash upoređivanje.


Primer spammerskih fotografija, spojeni u hrpu duplikata putem neuralne mreže.
Na završnoj fazi, duplikati oglasa se pretražuju istovremeno i prema tekstu i prema slici.
Ako se u klasteru spoji dva ili više oglasa, sistem pokreće automatsku blokadu koja prema određenim algoritmima bira koje duplikate ukloniti, a koje zadržati. Na primer, ako dva korisnika imaju iste fotografije u oglasima, sistem će blokirati noviji oglas.
Nakon kreiranja, svi klasteri prolaze kroz niz automatskih filtera. Svaki filter dodeljuje klasteru broj poena (score): sa kojom verovatnoćom taj klaster sadrži pretnju koju taj filter otkriva.
Na primer, sistem analizira opis u oglasu i bira potencijalne kategorije za njega. Zatim uzima onu sa maksimalnom verovatnoćom i upoređuje je sa kategorijom koju je autor oglasa naveo. Ako se ne poklapaju, oglas se blokira zbog pogrešne kategorije. A pošto smo ljubazni i pošteni, odmah obaveštavamo korisnika koju kategoriju treba izabrati da bi oglas prošao moderaciju.

Obaveštenje o blokadi zbog pogrešne kategorije.
Našoj platformi mašinsko učenje se oseća kao kod kuće. Na primer, uz njegovu pomoć tražimo zabranjene proizvode u naslovima i opisima. A modeli neuralnih mreža pomno 'promatraju' slike, da li na njima ima URL adresa, spam tekstova, telefona i opet istih 'zabranjenih' stvari.
Za slučajeve kada pokušavaju da prodaju zabranjeni proizvod, prikriven kao legalan, i pritom nema nikakvog teksta ni u naslovu, ni u opisu, koristimo označavanje slika. Za svaku sliku može biti dodeljeno do 11.000 različitih oznaka koje opisuju šta se nalazi na slici.

Kalian pokušavaju da prodaju, maskirajući ga kao samovar.
Paralelno s složenim filtrima rade i jednostavni, koji rješavaju očite zadatke vezane za tekst:
- antimat;
- detektor URL adresa i brojeva telefona;
- pomenuo razne poruke i druge kontakte;
- snižena cijena;
- oglasi u kojima se ništa ne prodaje, itd.
Danas svaki oglas prolazi kroz sitno sito od više od 50 automatskih filtera koji pokušavaju pronaći nešto loše u oglasu.
Ako nijedan od detektora ne reagira, Oglasi se šalje odgovor da je s oglasom 'vjerovatno' sve u redu. Ovaj odgovor primjenjujemo kod nas, a korisnicima koji su se pretplatili na prodavača dolazi obavijest o novom proizvodu.

Obavijest o tome da je prodavač postavio novi proizvod.
Na kraju, svaki oglas 'dobija' metapodatke, od kojih se deo generira prilikom kreiranja oglasa (IP adresa autora, user-agent, platforma, geolokacija itd.), dok su ostali - score-ovi dodijeljeni od strane svakog filtera.
Redovi oglasa
Kada oglas uđe na platformu, sistem ga stavlja u jedan od redova. Svaki red se formira matematičkom formulom koja kombinuje metapodatke oglasa na način da otkrije neki loš obrazac.
Na primjer, može se kreirati red oglasa u kategoriji 'Mobilni telefoni' od korisnika Oglasi koji navodno dolaze iz Sanktpeterburga, ali njihove IP adrese su iz Moskve ili drugih gradova.

Primjer oglasa koje je postavio jedan korisnik u različitim gradovima.
Ili se redovi mogu formirati na osnovu bodova koje neuronska mreža dodjeljuje oglasima, rangirajući ih prema opadajućem.
Svaki red, prema svojoj formuli, dodjeljuje konačni rezultat oglasu. Nakon toga se može postupiti na razne načine:
- odrediti prag na kojem će oglas dobiti određeni tip blokade;
- svi oglasi u redu se šalju moderatorima na ručnu provjeru;
- ili kombinirati prethodne opcije: odrediti prag automatske blokade i poslati moderatorima one oglase koji nisu dostigli taj prag.

Zašto su potrebni ovi redovi? Recimo, korisnik je otpremio fotografiju vatrenog oružja. Neuro mreža joj dodeljuje score od 95 do 100 i sa 99-procentnom preciznošću određuje da se na slici nalazi oružje. Ali ako je value score ispod 95 %, preciznost modela počinje da opada (to je osobina modela neuro mreža).
Kao rezultat toga, formira se red na osnovu score modela, a oni od oglasa koji su dobili od 95 do 100 automatski se blokiraju kao 'Zabranjena roba'. Oglasi sa brojem bodova ispod 95 šalju se na ručnu obradu moderatorima.

Čokoladna Beretta s metcima. Samo za ručnu moderaciju! 🙂
Ručna moderacija
Na početku 2019. godine oko 94 % svih oglasa na Jula moderira se automatski.

Ako platforma ne može da odluči o nekim oglasima, šalje ih na ručnu moderaciju. Odnoklassnici su razvili vlastiti alat: u zadacima za moderatore odmah se prikazuje sve potrebne informacije za donošenje brze odluke — da li je oglas dobar ili treba da se blokira uz objašnjenje.
A da bi pri ručnoj moderaciji kvalitet usluge bio očuvan, rad ljudi se konstantno kontroliše. Na primer, u toku zadataka, moderatoru se prikazuju 'zamke' — oglasi za koje već postoje gotova rešenja. Ako se odluka moderatora ne poklapa s gotovim, moderatoru se računa greška.
Na proveru jednog oglasa moderator u proseku troši 10 sekundi. Pri tom, broj grešaka čini ne više od 0,5 % svih proverenih oglasa.
Narodna moderacija
Kolege iz Odnoklassnika su otišli još dalje, iskoristili su 'pomoć sale': napisali su za društvenu mrežu aplikaciju-igru, u kojoj može brzo da se označi veliki broj podataka, ističući neki loš znak — Moderator Odnoklassnika (). Dobar način da iskoristite pomoć korisnika OK, koji žele da sadržaj bude prijatniji.

Igra u kojoj korisnici označavaju fotografije na kojima se nalazi broj telefona.
Svaku grupu oglasa na platformi možete preusmjeriti u igru Moderator Odnoklassniki. Sve što korisnici igre označavaju, zatim dolazi internim moderatorima na provjeru. Ova shema omogućava blokiranje oglasa za koje još nisu stvoreni filteri, dok istovremeno stvara obrazovne uzorke.
Skladištenje rezultata moderacije
Čuvamo sve odluke donesene prilikom moderacije, kako bismo kasnije izbjegli ponovnu obradu oglasa za koje je već donesena neka odluka.
Svaki dan se za oglase stvara milioni klastera. S vremenom svaki klaster dobija oznaku „dobar“ ili „loš“. Svaki novi oglas ili njegova revizija, ulazeći u klaster sa oznakom, automatski dobija rezoluciju samog klastera. Ovakvih automatskih rezolucija dnevno se skupi oko 20 hiljada.

Ako u klaster ne dolaze novi oglasi, on se uklanja iz memorije, dok se njegov hash i odluka upisuju u Apache Cassandra.
Kada platforma dobije novi oglas, prvo pokušava pronaći sličan klaster među već stvorenima i preuzeti odluku iz njega. Ako takav klaster ne postoji, platforma ide u Cassandru i traži tamo. Pronašla? Odlično, primjenjuje odluku na klaster i šalje u Yulu. Ovakvih „ponovljenih“ odluka dnevno se u prosjeku skupi 70 hiljada — 8 % od ukupnog broja.
Zaključujući
Već dva i po godine koristimo platformu moderacije Odnoklassniki. Rezultati nam se sviđaju:
- Automatski moderiramo 94 % svih oglasa dnevno.
- Cijena moderacije jednog oglasa smanjena je sa 2 rublje na 7 kopejki.
- Zahvaljujući gotovom alatu, zaboravili smo na probleme upravljanja moderatorima.
- Povećali smo broj обработанных вручную oglasa 2,5 puta s istim brojem moderatora i budžetom. Također je poboljšan kvalitet ručne moderacije zahvaljujući automatizovanoj kontroli i fluktuira oko 0.5 % grešaka.
- Brzo pokrivamo nove tipove spama filterima.
- Brzo povezujemo nova odjeljenja u moderaciju . Od 2017. godine u Yuli su se pojavile vertikale Nekretnina, Poslova i Automobila.
Izvor: habr.com
