Как да отворите коментарите и да не се потопите в спама

Когато работата ти е да създаваш нещо красиво, не е нужно да разказваш много за нея, защото резултатът е видим за всички. Обаче, ако изтриваш надписи от огради, работата ти остава незабелязана, докато оградите изглеждат прилично или докато не изтриеш нещо неподходящо.

Всеки услуга, където може да се остави коментар, отзив, да се изпрати съобщение или да се качат снимки, рано или късно се сблъсква с проблема на спама, измамите и нецензурния език. Това не може да се избегне, но трябва да се бори с него.

Казвам се Михаил и работя в екипа по Антиспам, който защитава потребителите на услугите на Яндекс от подобни проблеми. Работата ни рядко става забележима (и добре!), затова днес ще я разкажа по-подробно. Ще научите, при кои случаи модерацията е безполезна и защо точността не е единственият показател за нейната ефективност. Ще поговорим и за нецензурния език чрез примери с котки и кучета и защо понякога е полезно да „мислиш като нецензурен“.

В Яндекс се появяват все повече услуги, където потребителите публикуват своето съдържание. Може да зададеш въпрос или да напишеш отговор в Яндекс.Кю, да обсъждаш новини от съседството в Яндекс.Район, да споделяш информация за трафика в разговорите на Яндекс.Карти. Но когато аудиторията на услугата расте, тя става привлекателна за измамници и спамери. Те идват и запълват коментарите: предлагат лесно печалба, рекламират чудодейни средства и обещават социални плащания. Поради спамерите, някои потребители губят пари, а други — желание да прекарват време на неугледна, зацапана със спам услуга.

И това не е единствената проблематика. Ние се стремим не само да защитим потребителите от измамници, но и да създадем комфортна атмосфера за общуване. Ако хората в коментарите се сблъскват с нецензурен език и обиди, те с голяма вероятност ще се откажат и няма да се върнат. Значи, с това също трябва да умеем да се борим.

Чист Веб

Както често се случва при нас, първоначалните разработки се появиха в Търсене, в частта, която се бори с спама в резултатите. Още преди десет години там възникна необходимостта от филтриране на възрастно съдържание за семеен търсене и за запитвания, които не предвиждат отговори от категория 18+. Така се появиха първите, ръчно набрани речници на порно и вулгарен език, които се допълваха от анализатори. Основната задача беше класификация на запитванията - къде е допустимо да се показва възрастно съдържание и къде не. За тази задача се събираха етикети, изграждаха се евристики, обучаваха се модели. Така се появиха първите разработки за филтриране на нежелано съдържание.

С течение на времето в Яндекс започнаха да се появяват UGC (съдържание, генерирано от потребители) — съобщения, които самите потребители пишат, а Яндекс просто публикува. По описаните по-горе причини много съобщения не можеха да бъдат публикувани без проверка — беше необходима модерация. Тогава решиха да направят услуга, която да предоставя защита от спам и злоумишленици за всички UGC-продукти на Яндекс и да използва разработките за филтриране на нежелано съдържание в Търсенето. Услугата беше наречена „Чистият Уеб“.

Нови задачи и помощ от талокерите

Първоначално работеше само простата автоматизация: услугите ни изпращаха текстове, а ние прилагахме на тях речниците на вулгарен език, речниците на порно и регулярни изрази — анализаторите всичко съставяха ръчно. Но с течение на времето, услугата се прилагаше в все повече продукти на Яндекс и ни се наложи да се научим да работим с новите проблеми.

Често вместо отзиви, потребителите публикуват безсмислен набор от букви, опитвайки се да повишат своята активност, понякога рекламират своята компания в отзиви за конкуренти, а понякога просто бъркат организациите и в отзив за зоомагазин пишат: „Прекрасно приготвена риба!“. Може би някога изкуственият интелект ще се научи идеално да улавя смисъла на всеки текст, но в момента автоматизацията понякога се справя по-зле от човек.

Стана ясно, че без ръчна маркировка тук не може да се мине, и ние добавихме второ ниво към нашата структура — изпращане за ръчна проверка от човек. Там попадат публикуваните текстове, по отношение на които класификаторът не е открил проблеми. Масштабите на тази задача са лесно представлявими, затова ние не само разчитахме на оценители, но и се възползвахме от "мъдростта на тълпата", тоест се обърнахме за помощ към толокерите. Именно те ни помагат да идентифицираме това, което машината е изпуснала, и по този начин я обучават.

Умно кеширане и LSH хеширане

Още един проблем, с който се сблъскахме при работа с коментари, е спамът, а по-точно, неговите обеми и скорост на разпространение. Когато аудиторията на Яндекс.Район започна бързо да нараства, там се появиха спамери. Те се научиха да заобикалят регулярни изрази, леко променяйки текста. Спамът, разбира се, все пак се откриваше и изтриваше, но в мащабите на Яндекс, дори размесеното за 5 минути неприемливо съобщение можеше да бъде видяно от стотици хора.

Това, разбира се, не ни удовлетворяваше, и ние разработихме умно кеширане на текстовете на базата на LSH (locality-sensitive hashing). Работи по следния начин: ние нормализирахме текста, премахвахме от него линкове и го разделяхме на n-грамми (последователности от n букви). След това създавахме хешове от n-грамите и по тях изграждахме LSH вектор на документа. Същността е, че подобни текстове, дори и да са леко променени, се трансформираха в подобни вектори.

Това решение позволи да се преизползват решенията на класификаторите и оценителите за подобни текстове. При спам атака, щом първото съобщение преминаваше проверка и попадаше в кеша с решение "спам", всички нови подобни съобщения, дори изменени, получаваха същото решение и автоматично се изтриваха. По-късно се научихме да обучаваме и автоматично преобучаваме класификаторите за спам, но това "умно кеширане" остана с нас и до днешния ден често ни помага.

Класификатор на добри текстове

Неуспели да починете от борбата със спама, осъзнахме, че 95% от съдържанието ни се модерира ръчно: класификаторите реагират само на нарушения, а повечето текстове са добри. Зареждаме толокери, които в 95 от 100 случая дават оценка "Всичко е наред". Приказваше да се заеме с нетипична работа - да създадем класификатори на добро съдържание, за щастие много разметки се натрупаха за това време.

Първият класификатор изглеждаше така: лематираме текста (привеждаме думите в основна форма), изхвърляме всички служебни части на речта и прилагаме предварително подготвен "словарь на добри леми". Ако в текста всички думи са "добри", следователно текстът изцяло не съдържа нарушения. На различни услуги такъв подход веднага даде от 25 до 35% автоматизация на ръчната разметка. Разбира се, този подход не е идеален: не е трудно да комбинираш няколко невинни думи и да получиш много обидно изказване, но той ни позволи бързо да достигнем добро ниво на автоматизация и даде време за обучение на по-сложни модели.

Следващите версии на класификаторите на добрите текстове вече включваха линейни модели, решаващи дървета и техни комбинации. За разметка на грубости и обиди, например, опитваме невронната мрежа BERT. Тук е важно да уловим значението на думата в контекста и връзката между думите в различни изречения, и BERT се справя добре с това. (Между другото, наскоро колегите от Новини, разказвахме, как прилагат технологията за нестандартна задача — откриване на грешки в заглавията.) В крайна сметка успяхме да автоматизираме до 90% от потока в зависимост от услугата.

Точност, пълнота и скорост

За да се развиваме, трябва да разберем каква полза носят различните автоматични класификатори, измененията в тях и също така да не деградира ли качеството на ръчните проверки. За целта прилагаме показатели за точност и пълнота.

Точността е делът на коректните решения сред всички решения за лошо съдържание. Колкото по-висока е точността, толкова по-малко са фалшивите срабатывания. Ако не следите точността, в теория можете да премахнете целия спам и нецензурната лексика, но заедно с тях ще изчезнат и половината добри съобщения. От друга страна, ако разчитате само на точността, най-добра ще бъде технологията, която въобще не хваща никого. Затова има и още един показател — пълнотата: делът на откритото лошо съдържание сред целия обем на лошото съдържание. Тези две метрики се балансират помежду си.

За измерване взимаме проби от целия входящ поток за всеки сервис и предоставяме проби от съдържанието на оценители за експертна оценка и сравнение с решенията на машината.

Но има и друг важен показател.

По-горе писах, че неприемливо съобщение дори за 5 минути могат да видят стотици хора. Затова смятаме колко пъти успяха да видят хората лошо съдържание преди да го скрием. Това е важно, защото не е достатъчно да работите качествено — трябва да работите и бързо. Когато изграждахме защита от нецензурна лексика, усетихме това напълно.

Анти-мат на примера с котенца и кучета

Небрежно отклонение. Някой може да каже, че нецензурната лексика и обидите не са толкова опасни, колкото злонамерените линкове, и не са толкова дразнещи, колкото спам. Но ние се стремим да поддържаме комфортни условия за общуване на милиони потребители, а хората не обичат да се връщат там, където ги обиждат. Не напразно забраната за нецензурна лексика и обиди е записана в правилата на много общности, включително и на Хабра. Но се отклонихме.

Речниците за нецензурна лексика не смогват да се справят с богатството на руския език. Въпреки че има само четири основни корена на нецензурната лексика, от тях могат да се съставят безбройни думи, които не можете да уловите с никакви регулярни изрази. Освен това е възможно да пишете транслит част от думата, да заменяте букви с подобни комбинации, да пренареждате букви, да добавяте звездички и т.н. Понякога без контекст не може да се определи какво точно е имал предвид потребителят с нецензурната дума. Ние уважаваме правилата на Хабра, затова ще демонстрираме това не на живи примери, а на котенца и кучета.

«Ляу», каза котенцето. Но разбираме, че котенцето каза друга дума...

Започнахме да се замисляме за алгоритмите на „неясното съвпадение“ на нашия речник и за по-интелигентна предварителна обработка: приводихме транслитерации, обединявахме интервали и пунктуация, търсехме модели и пишехме отделни регулярки за тях. Този подход носеше резултати, но често намаляваше точността, без да дава желаната пълнота.

Тогава решихме да „мислим като нецензурни“. Започнахме сами да добавяме шум в данните: размествахме букви, генерирахме правописни грешки, заменяхме букви с подобни по форма и така нататък. Началната разметка за това взимахме, прилагайки речници на нецензурната лексика към големи корпуси от текстове. Ако вземете едно изречение и го изкривите по няколко начина, ще получите много изречения. Така може да се увеличи обучаващата извадка десетки пъти. Оставаше само да обучим някаква по-приемлива умна модель, която взема предвид контекста.

Все още е рано да говорим за окончателното решение. Все още експериментираме с подходите към този проблем, но вече виждаме, че простата символна свивка от няколко слоя значително надминава речниците и регулярките: така успяваме да увеличим както точността, така и пълнотата.

Разбира се, осъзнаваме, че винаги ще се намерят начини да се заобиколи дори най-напредналата автоматика, особено когато става въпрос за нещо толкова вълнуващо: да се напише така, че глупавата машина да не разбере. Тук, както и при борбата срещу спама, нашата цел не е да заличим самата възможност да се напише нещо нецензурно, а да направим така, че играта да не си заслужава.

Отворенето на възможността да споделяте своето мнение, да общувате и коментирате — не е трудно. Къде по-сложно е да се постигнат безопасни, комфортни условия и уважение към хората. А без това не може да има развитие на която и да е общност.

Източник: habr.com