Како модерирамо огласе

Сваки сервис чији корисници могу да креирају сопствени садржај (УГЦ - Усер-генератед цонтент) принуђен је не само да решава пословне проблеме, већ и да доводи ствари у ред у УГЦ-у. Лоша или неквалитетна модерација садржаја може на крају да умањи атрактивност услуге за кориснике, чак и да прекине њен рад.

Данас ћемо вам рећи о синергији између Иуле и Одноклассники, која нам помаже да ефикасно модерирамо огласе у Иула.

Синергија је генерално веома корисна ствар, а у савременом свету, када се технологије и трендови мењају веома брзо, може да се претвори у спас. Зашто трошити оскудне ресурсе и време на измишљање нечега што је већ измишљено и пало на памет пре вас?

Исто смо мислили када смо били суочени са пуним задатком модерирања корисничког садржаја – слика, текста и линкова. Наши корисници свакодневно постављају милионе садржаја на Иулу, а без аутоматске обраде потпуно је немогуће ручно модерирати све ове податке.

Због тога смо користили готову платформу за модерирање, коју су до тада наше колеге из Одноклассника довели до „скоро савршенства“.

Зашто Одноклассники?

Сваког дана десетине милиона корисника долазе на друштвену мрежу и објављују милијарде садржаја: од фотографија до видео записа и текстова. Платформа за модерирање Одноклассники помаже да се провери веома велика количина података и супротстави спамерима и ботовима.

Тим ОК модератора је акумулирао много искуства, јер већ 12 година унапређује свој алат. Важно је да не само да могу да поделе своја готова решења, већ и да прилагоде архитектуру своје платформе тако да одговара нашим специфичним задацима.

Од сада, ради краткоће, платформу за модерирање ОК ћемо једноставно звати „платформа“.

Како све функционише

Размена података између Иуле и Одноклассники је успостављена преко Апацхе Кафка.

Зашто смо изабрали овај алат:

• У Иули су све рекламе постмодерисане, тако да у почетку није био потребан синхрони одговор.
• Ако се деси лош параграф и Иула или Одноклассники су недоступни, укључујући и због неких вршних оптерећења, онда подаци из Кафке неће нестати нигде и могу се прочитати касније.
• Платформа је већ била интегрисана са Кафком, тако да је већина безбедносних проблема решена.

За сваки оглас који корисник креира или измени у Иула-у, генерише се ЈСОН са подацима, који се поставља у Кафку ради накнадног модерирања. Од Кафке, најаве се учитавају на платформу, где се просуђују аутоматски или ручно. Лоши огласи се блокирају са разлогом, а они у којима платформа не пронађе прекршаје су означени као „добри“. Затим се све одлуке шаљу назад Иули и примењују у служби.

На крају, за Иулу се све своди на једноставне радње: пошаљите оглас на платформу Одноклассники и вратите резолуцију „ок“, или зашто не „ок“.

Аутоматска обрада

Шта се дешава са огласом након што се појави на платформи? Сваки оглас је подељен на неколико целина:

• име,
• Опис,
• фотографије,
• категорију и подкатегорију огласа коју одабере корисник,
• цена

Платформа затим врши груписање за сваки ентитет како би пронашла дупликате. Штавише, текст и фотографије су груписани према различитим шемама.

Пре груписања, текстови се нормализују да би се уклонили специјални знакови, промењена слова и остало смеће. Примљени подаци се деле на Н-граме, од којих је сваки хеширан. Резултат је много јединствених хешева. Сличност међу текстовима одређена је Јацкцардова мера између два резултујућа скупа. Ако је сличност већа од прага, онда се текстови спајају у један кластер. Да би се убрзала претрага сличних кластера, користе се МинХасх и хеширање осетљиво на локализацију.

Различите опције за лепљење слика су измишљене за фотографије, од поређења пХасх слика до тражења дупликата помоћу неуронске мреже.

Последњи метод је најтежи. За обуку модела одабрани су триплети слика (Н, А, П) у којима Н није сличан А, а П је сличан А (је полу-дупликат). Тада је неуронска мрежа научила да А и П учини што ближе, а А и Н што је могуће даље. Ово резултира мањим бројем лажних позитивних резултата у поређењу са једноставним узимањем уградње са унапред обучене мреже.

Када неуронска мрежа прими слике као улаз, генерише Н(128)-димензионални вектор за сваку од њих и поставља се захтев да се процени близина слике. Затим се израчунава праг на коме се блиске слике сматрају дупликатима.

Модел је у стању да вешто пронађе спамере који посебно фотографишу исти производ из различитих углова како би заобишли пХасх поређење.

Пример нежељених фотографија које је неуронска мрежа залепила као дупликате.

У завршној фази, дупликати огласа се истовремено претражују и по тексту и по слици.

Ако се две или више реклама заглаве у кластеру, систем покреће аутоматско блокирање, које помоћу одређених алгоритама бира које дупликате ће избрисати, а које оставити. На пример, ако два корисника имају исте фотографије у огласу, систем ће блокирати новији оглас.

Једном креирани, сви кластери пролазе кроз низ аутоматских филтера. Сваки филтер додељује оцену кластеру: колико је вероватно да садржи претњу коју овај филтер идентификује.

На пример, систем анализира опис у огласу и бира потенцијалне категорије за њега. Затим узима ону са максималном вероватноћом и упоређује је са категоријом коју је одредио аутор огласа. Ако се не подударају, оглас се блокира за погрешну категорију. А пошто смо љубазни и поштени, директно кажемо кориснику коју категорију треба да изабере да би оглас прошао модерацију.

Обавештење о блокирању за нетачну категорију.

Машинско учење се осећа као код куће на нашој платформи. На пример, уз помоћ њега тражимо називе и описе робе забрањене у Руској Федерацији. И модели неуронских мрежа пажљиво „испитују“ слике да би видели да ли садрже УРЛ адресе, нежељене текстове, бројеве телефона и исте „забрањене“ информације.

За случајеве када покушавају да продају забрањени производ прерушен у нешто легално, а нема текста ни у наслову ни у опису, користимо означавање сликама. За сваку слику може се додати до 11 хиљада различитих ознака које описују шта се налази на слици.

Покушавају да продају наргилу прерушавајући је у самовар.

Паралелно са сложеним филтерима, раде и једноставни, решавајући очигледне проблеме везане за текст:

• антимат;
• детектор УРЛ и телефонских бројева;
• помињање инстант месинџера и других контаката;
• смањена цена;
• огласи у којима се ништа не продаје итд.

Данас сваки оглас пролази кроз фино сито од више од 50 аутоматских филтера који покушавају да пронађу нешто лоше у огласу.

Ако ниједан од детектора није радио, Иули се шаље одговор да је оглас „највероватније“ у савршеном реду. Овај одговор користимо сами, а корисници који су се претплатили на продавца добијају обавештење о доступности новог производа.

Обавештење да продавац има нови производ.

Као резултат тога, сваки оглас је „обрастао“ метаподацима, од којих се неки генеришу када се оглас креира (ауторска ИП адреса, кориснички агент, платформа, геолокација, итд.), а остатак је оцена коју даје сваки филтер .

Редови за најаве

Када оглас дође на платформу, систем га ставља у један од редова. Сваки ред се креира помоћу математичке формуле која комбинује метаподатке огласа на начин који открива све лоше обрасце.

На пример, можете да направите ред огласа у категорији „Мобилни телефони“ од Иула корисника који су наводно из Санкт Петербурга, али њихове ИП адресе су из Москве или других градова.

Пример огласа које је поставио један корисник у различитим градовима.

Или можете формирати редове на основу резултата које неуронска мрежа додељује огласима, распоређујући их у опадајућем редоследу.

Сваки ред, према сопственој формули, огласу додељује коначан резултат. Затим можете наставити на различите начине:

• наведите праг на којем ће оглас добити одређену врсту блокирања;
• послати све огласе у реду модераторима на ручни преглед;
• или комбинујте претходне опције: одредите праг за аутоматско блокирање и пошаљите модераторима оне огласе који нису достигли овај праг.

Зашто су ти редови потребни? Рецимо да је корисник поставио фотографију ватреног оружја. Неуронска мрежа му додељује оцену од 95 до 100 и са тачношћу од 99 процената утврђује да се на слици налази оружје. Али ако је вредност резултата испод 95%, тачност модела почиње да опада (ово је карактеристика модела неуронских мрежа).

Као резултат, формира се ред на основу модела резултата, а они огласи који су добили између 95 и 100 аутоматски се блокирају као „Забрањени производи“. Огласи са оценом испод 95 шаљу се модераторима на ручну обраду.

Чоколадна Берета са патронама. Само за ручну модерацију! 🙂

Ручна модерација

Почетком 2019. године, око 94% свих огласа у Иули се аутоматски модерира.

Ако платформа не може да се одлучи за неке огласе, шаље их на ручну модерацију. Одноклассники су развили сопствени алат: задаци за модераторе одмах приказују све потребне информације за доношење брзе одлуке - оглас је прикладан или треба да буде блокиран, наводећи разлог.

А како квалитет услуге не би страдао током ручног модерирања, рад људи се стално прати. На пример, у стриму задатака, модератору се приказују „замке“ — огласи за које већ постоје готова решења. Ако се одлука модератора не поклопи са завршеном, модератору се даје грешка.

У просеку, модератор проверава један оглас 10 секунди. Штавише, број грешака није већи од 0,5% свих верификованих огласа.

Народна умереност

Колеге из Одноклассника отишли ​​су још даље и искористили „помоћ публике“: написали су апликацију за игру за друштвену мрежу у којој можете брзо да означите велику количину података, истичући неки лош знак - Одноклассники Модератор (https://ok.ru/app/moderator). Добар начин да искористите помоћ корисника ОК који покушавају да садржај учине пријатнијим.

Игра у којој корисници означавају фотографије које имају број телефона.

Било који ред огласа на платформи може бити преусмерен на игру Одноклассники Модератор. Све што корисници игре маркирају се затим шаље интерним модераторима на преглед. Ова шема вам омогућава да блокирате огласе за које филтери још нису креирани и истовремено креирате узорке за обуку.

Чување резултата модерирања

Чувамо све одлуке донете током модерирања како не бисмо поново обрађивали оне огласе о којима смо већ донели одлуку.

Сваки дан се стварају милиони кластера на основу реклама. Временом, сваки кластер је означен као „добар“ или „лош“. Сваки нови оглас или његова ревизија, улазак у кластер са ознаком, аутоматски добија решење од самог кластера. Таквих аутоматских резолуција има око 20 хиљада дневно.

Ако у кластер не стигну нове најаве, он се уклања из меморије и његов хеш и решење се записују у Апацхе Цассандра.

Када платформа добије нову рекламу, прво покушава да пронађе сличан кластер међу већ креираним и из њега узме решење. Ако таквог кластера нема, платформа иде до Касандре и гледа тамо. Да ли сте га пронашли? Одлично, примењује решење на кластер и шаље га Иули. У просеку има 70 хиљада таквих „поновљених“ одлука сваког дана — 8% од укупног броја.

Резиме

Користимо платформу за модерирање Одноклассники две и по године. Свиђају нам се резултати:

• Аутоматски модерирамо 94% свих огласа дневно.
• Трошкови модерирања једног огласа смањени су са 2 рубље на 7 копејки.
• Захваљујући готовом алату, заборавили смо на проблеме управљања модераторима.
• Повећали смо број ручно обрађених огласа за 2,5 пута уз исти број модератора и буџет. Квалитет ручног модерирања је такође повећан због аутоматизоване контроле и варира око 0,5% грешака.
• Брзо покривамо нове врсте нежељене поште филтерима.
• Брзо повезујемо нова одељења са модерацијом "Јула вертикала". Од 2017. Иула је додала вертикале Некретнине, Слободна радна места и Ауто.

Извор: ввв.хабр.цом