Ako moderujeme inzeráty

Každá služba, ktorej používatelia môžu vytvárať vlastný obsah (UGC – používateľom generovaný obsah), je nútená nielen riešiť obchodné úlohy, ale aj usporiadať UGC. Zlá alebo nekvalitná moderácia obsahu môže nakoniec znížiť atraktívnosť služby pre používateľov, až po ukončenie jej činnosti.

Dnes vám prerozprávame o synergii medzi Juhom a Odnoklassnikami, ktorá nám pomáha efektívne moderovať inzeráty v Juhe.

Synergia je vôbec veľmi užitočná vec, a v súčasnom svete, keď sa technológie a trendy veľmi rýchlo menia, sa môže stať našou záchranou. Prečo míňať obmedzené zdroje a čas na vynález toho, čo už pred vami vynašli a dovedené do dokonalosti?

Takto sme aj my uvažovali, keď sme sa stretli so zadaním moderácie používateľského obsahu – obrázkov, textov a odkazov. Naši používatelia každý deň nahrávajú do Júhu milióny kusov obsahu, a bez automatizovaného spracovania nie je realistické manuálne moderovať všetky tieto údaje.

Preto sme využili už pripravenú moderaciu, ktorú naši kolegovia z Odnoklassnikov doviedli do stavu "takmer dokonalosti".

Prečo Odnoklassniki?

Každý deň prichádzajú do sociálnej siete desiatky miliónov používateľov, ktorí publikujú miliardy kusov obsahu: od fotografií po videá a texty. Platforma moderácie Odnoklassnikov pomáha kontrolovať veľmi veľké objemy dát a bojovať proti spammerom a botom.

Tím moderácie OК nazbieral veľmi veľa skúseností, keďže zdokonaluje svoj nástroj už 12 rokov. Je dôležité, že nie len mohli zdieľať svoje hotové riešenia, ale aj prispôsobiť architektúru svojej platformy našim špecifickým úlohám.

Ďalej na skrátenie budeme platformu moderácie OК nazývať jednoducho "platforma".

Ako to celé funguje

Medzi Juhom a Odnoklassnikami je výmena dát usporiadaná cez Apache Kafka.

Prečo sme si vybrali tento nástroj:

• V Júhe prechádzajú všetky inzeráty postmoderáciou, preto spočiatku nebola potrebná synchronizácia.
• Ak nastane vážny problém a Júha alebo Odnoklassniki budú nedostupné, vrátane akýchkoľvek peakov, dáta z Kafka nikam nezmiznú a neskôr si ich bude možné dočítať.
• Platforma bola už integrovaná s Kafkou, takže väčšina otázok týkajúcich sa bezpečnosti bola vyriešená.

Na každé vytvorené alebo zmenené používateľské oznámenie na Jule sa vytvára JSON s údajmi, ktorý sa ukladá do Kafky na následnú moderáciu. Oznámenia sa načítavajú z Kafky do platformy, kde sa automaticky alebo ručne prijímajú rozhodnutia. Zlé oznámenia sú zablokované s uvedením dôvodu, zatiaľ čo tie, pri ktorých platforma nenašla porušenia, sú označené ako „dobré“. Potom sa všetky rozhodnutia posielajú späť do Jule a aplikujú sa v službe.

Nakoniec je pre Julu všetko zredukované na jednoduché kroky: poslať oznámenie do platformy Odnoklassnikov a späť získať rezolúciu „okay“, alebo dôvod, prečo nie je „okay“.

Automatizované spracovanie

Čo sa deje s oznámením po tom, čo sa dostane do platformy? Každé oznámenie sa rozdelí na niekoľko entít:

• názov,
• popis,
• fotografie,
• vybraná používateľská kategória a podkategória oznámenia,
• cena.

Potom platforma vykonáva klasifikáciu pre každú entitu, aby našla duplicity. Texty a fotografie sú klasifikované podľa rôznych schém.

Texty sa pred klasifikáciou normalizujú, aby sa odstránili špeciálne znaky, zmenené písmená a iný odpad. Získané údaje sa rozdelia na N-gramy, pričom každá z nich je hashnutá. Nakoniec vzniká množstvo unikátnych hashov. Podobnosť medzi textami sa posudzuje podľa Jaccardovej miery medzi dvoma získanými množinami. Ak je podobnosť vyššia ako prahová hodnota, texty sa spoja do jedného klastra. Na urýchlenie vyhľadávania podobných klastrov sa používa MinHash a lokálne citlivé hashnutie.

Pre fotografie existujú rôzne varianty spájania obrázkov, od porovnania pHash obrázkov po vyhľadávanie duplicít pomocou neurónovej siete.

Posledný spôsob je naj„prísnejší“. Na učenie modelu sa vyberali také trojice obrázkov (N, A, P), v ktorých N nie je podobný A a P je podobný A (je poloduplicitou). Neurónová sieť sa potom učila robiť tak, aby A a P boli maximálne blízke, zatiaľ čo A a N maximálne vzdialené. Takto sa dosahuje menej falošných pozitív v porovnaní s jednoduchým získavaním embeddings z predtrénovanej siete.

Keď neurónová sieť dostane obrázky, pre každý z nich vygeneruje N(128)-rozmerný vektor a vykoná požiadavku na hodnotenie blízkosti obrázku. Následne sa vypočíta prah, pri ktorom sú blízke obrázky považované za duplikáty.

Model majstrovsky nájde spammerov, ktorí úmyselne fotografujú rovnaký tovar z rôznych uhlov, aby obchádzali porovnanie podľa pHash.

Príklad spamerských fotografií, ktoré neurónová sieť spojila ako duplikáty.

V konečnej fáze sa duplikáty inzerátov hľadajú súčasne podľa textu aj podľa obrázku.

Ak sa v klastere spoja dva a viac inzerátov, systém spustí automatickú blokáciu, ktorá podľa určitých algoritmov vyberá, ktoré duplikáty odstrániť a ktoré nechať. Napríklad, ak majú dvaja používatelia v inzeráte rovnaké fotografie, systém zablokuje novšie inzerát.

Po vytvorení prejdú všetky klastre sériou automatických filtrov. Každý filter priradí klastru počet bodov (score): s akou pravdepodobnosťou obsahuje hrozbu, ktorú tento filter odhalil.

Napríklad systém analyzuje popis v inzeráte a vyberá preň potenciálne kategórie. Následne zoberie tú, ktorá má najvyššiu pravdepodobnosť, a porovná s kategóriou, ktorú uviedol autor inzerátu. Ak sa nezhodujú, inzerát sa zablokuje za nesprávnu kategóriu. A pretože sme dobří a čestní, priamo hovoríme používateľovi, ktorú kategóriu by mal zvoliť, aby inzerát prešiel moderáciou.

Upozornenie o blokovaní za nesprávnu kategóriu.

Našej platforme strojové učenie sa cíti ako doma. Napríklad, s jeho pomocou hľadáme v názvoch a popisoch zakázané tovary v RF. A modely neurónových sietí starostlivo „skúmajú“ obrázky, či na nich nie sú URL adresy, spamerské texty, telefónne čísla a stále rovnaké „zakázané“ položky.

Pre prípady, keď sa zakázaný tovar snaží predať zamaskovaný pod niečo legálne, a pritom nie je žiadny text ani v názve, ani v popise, používame tagovanie obrázkov. Pre každý obrázok môžu byť priradené až 11 000 rôznych tagov, opisujúcich, čo sa nachádza na obrázku.

Vodná fajka sa snažia predať zamaskovanú pod samovar.

Popri zložitých filtroch fungujú aj jednoduché, ktoré riešia zjavné úlohy súvisiace s textom:

• antimat;
• detektor URL adries a telefónnych čísel;
• zmienky o messengerov a iných kontaktoch;
• podhodnotená cena;
• inzeráty, v ktorých sa nič nepredáva, atď.

Dnes každý inzerát prechádza jemným sitom viac ako 50 automatických filtrov, ktoré sa snažia nájsť v inzeráte niečo zlé.

Ak žiaden z detektorov nezapracoval, do Yulu sa posiela odpoveď, že s inzerátom „pravdepodobne“ je všetko v poriadku. Túto odpoveď používame u seba a používateľom, ktorí sa prihlásili k predajcovi, prichádza upozornenie o objavení nového tovaru.

Upozornenie o tom, že predajca pridal nový tovar.

Vo finále každý inzerát „získava“ metadata, z ktorých časť sa generuje pri vytváraní inzerátu (IP adresa autora, user-agent, platforma, geolokácia atď.), a zvyšok sú hodnotenia vydané každým filtrom.

Čakacie zoznamy inzerátov

Keď inzerát vstúpi na platformu, systém ho uloží do jedného z čakacích zoznamov. Každý zoznam sa vytvára pomocou matematického vzorca, ktorý kombinuje metadata inzerátu tak, aby odhalil zlý vzor.

Napríklad, môže sa vytvoriť čakací zoznam inzerátov v kategórii „Mobilné telefóny“ od používateľov Yuly, ktorí sa údajne nachádzajú v Petrohrade, ale ich IP adresy sú z Moskvy alebo iných miest.

Príklad inzerátov, ktoré zverejnil jeden používateľ v rôznych mestách.

Alebo sa môžu vytvárať čakacie zoznamy na základe skóre, ktoré neurónová sieť priraďuje inzerátom, zoradených podľa zostupného poradia.

Každý zoznam, podľa svojho vzorca, priraďuje konečné skóre inzerátu. Následne je možné postupovať rôznymi spôsobmi:

• určiť prahovú hodnotu, pri ktorej inzerát dostane určitý typ blokácie;
• poslať všetky inzeráty v zozname moderátorom na manuálnu kontrolu;
• alebo skombinovať predchádzajúce možnosti: určiť prah automatickej blokácie a poslať moderátorom tie inzeráty, ktoré nedosiahli tento prah.

Prečo sú potrebné tieto čakacie fronty? Predpokladajme, že používateľ nahral fotografiu strelného zbrane. Neurová sieť jej priraďuje skóre od 95 do 100 a s 99-percentnou presnosťou určuje, že na obrázku je zbraň. Ak je však skóre pod 95 %, presnosť modelu sa začína znižovať (taká je špecifickosť modelov neurónových sietí).

Výsledkom sa vytvára čakacia fronta na základe skóre modelu a tie inzeráty, ktoré získali skóre od 95 do 100, sú automaticky blokované ako „Zakázané tovary“. Inzeráty so skóre nižším ako 95 sú zaslané na ručnú moderáciu moderátorom.

Čokoládová Beretta s nábojmi. Iba na ručnú moderáciu! 🙂

Ručná moderácia

Na začiatku roka 2019 bolo približne 94 % všetkých inzerátov na Youla moderovaných automaticky.

Ak si platforma nevie poradiť s niektorými inzerátmi, posiela ich na ručnú moderáciu. Odnoklassniki vyvinuli vlastný nástroj: v úlohách pre moderátorov sa okamžite zobrazuje všetka potrebná informácia na rýchle rozhodnutie — či je inzerát vhodný alebo by mal byť zablokovaný s uvedením dôvodu.

Aby sa pri ručnej moderácii nezhoršila kvalita služby, práca ľudí je neustále kontrolovaná. Napríklad v toku úloh moderátorovi ukazujú „pasce“ — inzeráty, na ktoré už existujú pripravené riešenia. Ak sa rozhodnutie moderátora nezhoduje s pripraveným, moderátorovi sa započítava chyba.

Na kontrolu jedného inzerátu moderátor v priemere potrebuje 10 sekúnd. Množstvo chýb pritom nepresahuje 0,5 % zo všetkých skontrolovaných inzerátov.

Ľudová moderácia

Kolegovia z Odnoklassnikov išli ešte ďalej, využili „pomoc súdu“: napísali pre sociálnu sieť aplikáciu-hru, v ktorej sa dajú rýchlo označovať veľké množstvá údajov, pričom sa vyzdvihujú nejaké zlé znaky — Moderátor Odnoklassnikov (https://ok.ru/app/moderator). Dobrý spôsob, ako využiť pomoc používateľov O.K., ktorí sa snažia urobiť obsah príjemnejším.

Hra, v ktorej používatelia označujú fotografie, na ktorých je telefónne číslo.

Akúkoľvek frontu reklám na platforme je možné presmerovať do hry Moderátor Odnoklassnikov. Všetko, čo označia používatelia hry, sa následne dostáva k interným moderátorom na kontrolu. Takáto schéma umožňuje blokovať reklamy, pre ktoré ešte neboli vytvorené filtre, a zároveň vytvárať vzorové databázy.

Ukladanie výsledkov moderovania

Ukladáme všetky prijaté rozhodnutia pri moderovaní, aby sme sa nielenže nemuseli znovu zaoberať tými reklamami, pre ktoré už bolo vydané nejaké rozhodnutie.

Každý deň sú o reklám vytvárané milióny klastrov. Postupom času každý klaster dostáva označenie 'dobrý' alebo 'zlý'. Každá nová reklama alebo jej úprava, ktorá sa dostane do klasteru s označením, automaticky získa rozhodnutie daného klasteru. Týchto automatických rozhodnutí sa za deň nazbiera približne 20-tisíc.

Ak do klasteru neprichádzajú nové reklamy, je odstránený z pamäte a jeho hash a rozhodnutie sú uložené v Apache Cassandra.

Keď platforma získa novú reklamu, najprv sa snaží nájsť podobný klaster medzi už existujúcimi a prevziať od neho rozhodnutie. Ak taký klaster neexistuje, platforma ide do Cassandry a hľadá tam. Našla? Skvele, použije rozhodnutie z klasteru a pošle ho do Júly. Takých 'opakovaných' rozhodnutí sa každý deň nazbiera v priemere 70-tisíc — 8 % z celkového počtu.

Na záver

Platformu moderovania Odnoklassnikov používame dva a pol roka. Výsledky nás tešia:

• Automaticky moderujeme 94 % všetkých reklám za deň.
• Náklady na moderovanie jednej reklamy sme znížili z 2 rubľov na 7 kopejok.
• Vďaka hotovému nástroju sme zabudli na problémy s riadením moderátorov.
• 2,5-krát sme zvýšili počet spracovaných ručne inzerátov pri rovnakom počte moderátorov a rozpočte. Kvalita ručnej moderácie sa tiež zvýšila vďaka automatizovanej kontrole a pohybuje sa okolo 0,5 % chýb.
• Rýchlo pokrývame nové typy spamu filtrami.
• Rýchlo pripojujeme nové oddelenia k moderovaniu „Júla Vertikály“. Od roku 2017 sa v Júle objavili vertikály Nehnuteľnosti, Zamestnanie a Automobily.

Zdroj: habr.com