Како отворити коментаре и не утопити се у нежељену пошту

Када је ваш посао да направите нешто лепо, не морате превише да причате о томе, јер је резултат свима пред очима. Али ако обришете натписе са ограда, нико неће приметити ваш рад све док ограде изгледају пристојно или док не избришете нешто погрешно.

Свака услуга у којој можете оставити коментар, рецензију, послати поруку или поставити слике пре или касније суочава се са проблемом нежељене поште, преваре и опсцености. Ово се не може избећи, али се мора решити.

Моје име је Микхаил, радим у тиму Антиспам који штити кориснике Иандек сервиса од оваквих проблема. Наш рад се ретко примећује (и то је добро!), па ћу вам данас рећи нешто више о томе. Научићете када је модерација бескорисна и зашто тачност није једини показатељ њене ефикасности. Такође ћемо говорити о псовању на примеру мачака и паса и зашто је понекад корисно „размишљати као псовка“.

Све више услуга се појављује у Иандек-у где корисници објављују свој садржај. Можете поставити питање или написати одговор у Иандек.К, разговарати о новостима из дворишта у Иандек.Дистрицт, делити услове саобраћаја у разговорима на Иандек.Мапс. Али када публика услуге расте, она постаје привлачна за преваранте и спамере. Долазе и попуњавају коментаре: нуде лак новац, рекламирају чудотворне лекове и обећавају социјалне бенефиције. Због спамера, неки корисници губе новац, док други губе жељу да проводе време на неуређеном сервису обраслом нежељеном поштом.

И ово није једини проблем. Настојимо не само да заштитимо кориснике од превараната, већ и да створимо угодну атмосферу за комуникацију. Ако се људи суоче са псовкама и увредама у коментарима, вероватно ће отићи и никада се неће вратити. То значи да и ви морате бити у стању да се носите са овим.

Цлеан Веб

Као што код нас често бива, први развој је рођен у Претрази, у делу који се бори против нежељене поште у резултатима претраге. Пре десетак година ту се појавио задатак филтрирања садржаја за одрасле за породичне претраге и за упите за које нису били потребни одговори из категорије 18+. Тако су се појавили први ручно куцани речници порнографије и псовки, које су допунили аналитичари. Главни задатак је био разврставање захтева на оне где је прихватљиво приказивање садржаја за одрасле и где није. За овај задатак прикупљене су ознаке, изграђене хеуристика и обучени модели. Тако су се појавили први развоји за филтрирање нежељеног садржаја.

Временом је у Иандек-у почео да се појављује УГЦ (садржај који генерише корисник) - поруке које пишу сами корисници, а Јандекс само објављује. Из горе описаних разлога, многе поруке нису могле бити објављене без гледања – била је потребна модерација. Затим су одлучили да креирају услугу која ће обезбедити заштиту од нежељене поште и нападача за све Иандек УГЦ производе и користити развој за филтрирање нежељеног садржаја у Претрази. Услуга се звала „Чиста веб“.

Нови задаци и помоћ гурача

У почетку нам је радила само једноставна аутоматизација: сервиси су нам слали текстове, а ми смо на њима покретали речнике опсцености, порно речнике и регуларне изразе - аналитичари су све ручно састављали. Али временом је услуга коришћена у све већем броју Иандек производа и морали смо да научимо да радимо са новим проблемима.

Често, уместо рецензије, корисници објављују бесмислен скуп писама, покушавајући да повећају своја достигнућа, понекад рекламирају своју компанију у рецензијама конкурентске компаније, а понекад једноставно збуне организације и напишу у рецензији о продавници кућних љубимаца: „ Савршено кувана риба!” Можда ће једног дана вештачка интелигенција научити да савршено схвати значење било ког текста, али сада се аутоматизација понекад носи горе од људи.

Постало је јасно да то не можемо да урадимо без ручног обележавања и додали смо другу фазу нашем кругу - послали га на ручну инспекцију од стране особе. Ту су уврштени они објављени текстови за које класификатор није видео проблеме. Лако можете замислити размере таквог задатка, па смо се не само ослонили на проценитеље, већ смо искористили и „мудрост гомиле“, односно обратили се за помоћ толокерима. Они су ти који нам помажу да идентификујемо шта је машина пропустила и на тај начин је подучавају.

Паметно кеширање и ЛСХ хеширање

Други проблем на који смо наишли у раду са коментарима је нежељена пошта, тачније, њен обим и брзина ширења. Када је публика Иандек.Регион почела брзо да расте, тамо су дошли спамери. Научили су да заобилазе регуларне изразе тако што су мало мењали текст. Спам је, наравно, и даље пронађен и обрисан, али на скали Иандека, неприхватљиву поруку објављену чак и на 5 минута могло је да види стотине људи.

Наравно, ово нам није одговарало и направили смо паметно кеширање текста на основу ЛСХ (хеширање осетљиво на локалитет). Функционише овако: нормализовали смо текст, уклонили везе из њега и исекли га на н-граме (низове од н слова). Затим су израчунати хешови н-грама и од њих је изграђен ЛСХ вектор документа. Поента је да су се слични текстови, макар и мало измењени, претворили у сличне векторе.

Ово решење је омогућило да се пресуде класификатора и толокера поново користе за сличне текстове. Током спам напада, чим је прва порука прошла скенирање и ушла у кеш са пресудом „спам“, све нове сличне поруке, чак и оне измењене, добијале су исту пресуду и аутоматски су избрисане. Касније смо научили како да обучимо и аутоматски поново обучимо класификаторе нежељене поште, али овај „паметни кеш“ је остао са нама и још увек нам често помаже.

Добар класификатор текста

Без времена да се одморимо од борбе против нежељене поште, схватили смо да се 95% нашег садржаја модерира ручно: класификатори реагују само на кршења, а већина текстова је добра. Учитавамо чистаче који у 95 случајева од 100 дају оцену „Све је у реду“. Морао сам да урадим необичан посао - да направим класификаторе доброг садржаја, на срећу се за то време накупило довољно марака.

Први класификатор је изгледао овако: лематизујемо текст (сводимо речи на почетни облик), избацујемо све помоћне делове говора и користимо унапред припремљен „речник добрих лема“. Ако су све речи у тексту „добре“, онда цео текст не садржи никакве повреде. На различитим сервисима, овај приступ је одмах дао од 25 до 35% аутоматизације ручног означавања. Наравно, овај приступ није идеалан: лако је комбиновати неколико невиних речи и добити веома увредљиву изјаву, али нам је омогућио да брзо дођемо до доброг нивоа аутоматизације и дао нам је времена да обучимо сложеније моделе.

Следеће верзије добрих текстуалних класификатора су већ укључивале линеарне моделе, стабла одлучивања и њихове комбинације. Да бисмо, на пример, обележили грубост и увреде, испробавамо БЕРТ неуронску мрежу. Важно је схватити значење речи у контексту и везу између речи из различитих реченица, а БЕРТ то добро ради. (Узгред, недавно колеге из Новости рекао је, како се технологија користи за нестандардни задатак – проналажење грешака у заглављима.) Као резултат, било је могуће аутоматизовати до 90% тока, у зависности од услуге.

Тачност, потпуност и брзина

Да бисте га развили, морате разумети које предности доносе одређени аутоматски класификатори, промене у њима и да ли је квалитет ручних провера деградирајући. Да бисмо то урадили, користимо метрику прецизности и присећања.

Тачност је пропорција тачних пресуда међу свим пресудама о лошем садржају. Што је већа тачност, то је мање лажних позитивних резултата. Ако не обраћате пажњу на тачност, онда у теорији можете избрисати сву нежељену пошту и непристојности, а са њима и половину добрих порука. С друге стране, ако се ослањате само на тачност, онда ће најбоља технологија бити она која никога не ухвати. Дакле, постоји и показатељ комплетности: удео идентификованог лошег садржаја у укупном обиму лошег садржаја. Ове две метрике уравнотежују једна другу.

За мерење узоркујемо цео долазни ток за сваку услугу и дајемо узорке садржаја проценитељима за стручну процену и поређење са машинским решењима.

Али постоји још један важан показатељ.

Горе сам написао да неприхватљиву поруку стотине људи могу да виде и за 5 минута. Дакле, рачунамо колико смо пута људима показали лош садржај пре него што смо га сакрили. Ово је важно јер није довољно да радите ефикасно - потребно је и да радите брзо. И када смо изградили одбрану од псовки, осетили смо то у потпуности.

Антиматизам на примеру мачака и паса

Мала лирска дигресија. Неко би могао рећи да опсценост и увреде нису толико опасни као злонамерни линкови, и да нису досадни као спам. Али трудимо се да одржимо удобне услове за комуникацију за милионе корисника, а људи не воле да се враћају на места где их вређају. Није узалуд што је забрана псовки и увреда наведена у правилима многих заједница, укључујући и Хабре. Али ми скрећемо пажњу.

Псовни речници не могу да се носе са свим богатством руског језика. Упркос чињеници да постоје само четири главна корена псовки, од њих можете саставити безброј речи које не могу да ухвате ниједан обичан мотор. Осим тога, део речи можете написати у транслитерацији, заменити слова сличним комбинацијама, преуредити слова, додати звездице итд. Понекад је без контекста у основи немогуће утврдити да је корисник мислио на псовку. Поштујемо Хаброва правила, па ћемо то показати не на живим примерима, већ на мачкама и псима.

"Закон", рече мачка. Али разумемо да је мачка рекла другу реч...

Почели смо да размишљамо о алгоритмима за „неразговетно подударање“ за наш речник и о паметнијој претходној обради: обезбедили смо транслитерацију, залепили размаке и интерпункцију заједно, тражили обрасце и написали одвојене регуларне изразе на њима. Овакав приступ је донео резултате, али је често смањивао тачност и није давао жељену комплетност.

Онда смо одлучили да „размишљамо као псовке“. Почели смо сами да уносимо буку у податке: преуређивали смо слова, генерисали грешке у куцању, заменили слова сличним правописом итд. Почетна ознака за ово је узета применом мат речника на велике корпусе текстова. Ако узмете једну реченицу и изврнете је на више начина, на крају ћете добити много реченица. На овај начин можете повећати узорак за обуку десетинама пута. Остало је само да се на добијеном базену обуче неки мање-више паметан модел који је узео у обзир контекст.

Још је рано говорити о коначној одлуци. Још увек експериментишемо са приступима овом проблему, али већ видимо да једноставна симболичка конволуциона мрежа од неколико слојева значајно надмашује речнике и обичне машине: могуће је повећати и тачност и памћење.

Наравно, разумемо да ће увек постојати начини да се заобиђе чак и најнапреднија аутоматизација, посебно када је ствар толико опасна: пишите на такав начин да глупа машина неће разумети. Овде, као иу борби против нежељене поште, наш циљ није да искоренимо саму могућност да напишемо нешто безобразно, наш задатак је да се побринемо да игра није вредна свеће.

Отварање прилике да поделите своје мишљење, комуницирате и коментаришете није тешко. Много је теже постићи безбедне, удобне услове и поштовање према људима. А без овога нема развоја ниједне заједнице.

Извор: ввв.хабр.цом