Как да отваряте коментари и да не се удавите в спам

Когато работата ви е да създадете нещо красиво, не е нужно да говорите много за това, защото резултатът е пред очите на всички. Но ако изтриете надписи от огради, никой няма да забележи работата ви, докато оградите изглеждат прилични или докато не изтриете нещо нередно.

Всяка услуга, в която можете да оставите коментар, преглед, да изпратите съобщение или да качите снимки, рано или късно се сблъсква с проблема със спам, измама и непристойност. Това не може да бъде избегнато, но трябва да се справим с него.

Казвам се Михаил, работя в екипа за антиспам, който защитава потребителите на услугите на Yandex от подобни проблеми. Нашата работа рядко се забелязва (и това е добре!), така че днес ще ви разкажа повече за нея. Ще научите кога умереността е безполезна и защо точността не е единственият показател за нейната ефективност. Ще говорим и за псуването на примера на котки и кучета и защо понякога е полезно да „мислим като псувник“.

Все повече и повече услуги се появяват в Yandex, където потребителите публикуват своето съдържание. Можете да зададете въпрос или да напишете отговор в Yandex.Q, да обсъдите новини в двора в Yandex.District, да споделите условията на трафика в разговори в Yandex.Maps. Но когато аудиторията на услугата расте, тя става привлекателна за измамници и спамери. Идват и пълнят коментари: предлагат лесни пари, рекламират чудотворни лекарства и обещават социални придобивки. Заради спамерите някои потребители губят пари, докато други губят желание да прекарват времето си в неподдържана услуга, обрасла със спам.

И това не е единственият проблем. Ние се стремим не само да защитим потребителите от измамници, но и да създадем комфортна атмосфера за комуникация. Ако хората се сблъскат с псувни и обиди в коментарите, те вероятно ще си тръгнат и никога няма да се върнат. Това означава, че вие ​​също трябва да можете да се справите с това.

Чиста мрежа

Както често се случва с нас, първите разработки се родиха в Търсене, в частта, която се бори със спама в резултатите от търсенето. Преди около десет години там се появи задачата за филтриране на съдържание за възрастни за семейни търсения и за заявки, които не изискват отговори от категорията 18+. Така се появиха първите ръчно въведени речници на порно и псувни, те бяха попълнени от анализатори. Основната задача беше да се класифицират заявките в такива, при които е приемливо да се показва съдържание за възрастни и къде не. За тази задача беше събрана маркировка, изградени бяха евристики и бяха обучени модели. Така се появяват първите разработки за филтриране на нежелано съдържание.

С течение на времето UGC (съдържание, генерирано от потребителите) започна да се появява в Yandex - съобщения, които се пишат от самите потребители, а Yandex само публикува. Поради причините, описани по-горе, много съобщения не можаха да бъдат публикувани без преглед - изискваше се модериране. Тогава те решиха да създадат услуга, която да осигури защита срещу спам и нападатели за всички UGC продукти на Yandex и да използва разработки за филтриране на нежелано съдържание в Търсене. Услугата беше наречена „Чиста мрежа“.

Нови задачи и помощ от бутачи

Отначало за нас работеше само проста автоматизация: услугите ни изпращаха текстове и ние управлявахме речници на нецензурни думи, порно речници и регулярни изрази върху тях - анализаторите компилираха всичко ръчно. Но с течение на времето услугата се използва във все по-голям брой продукти на Yandex и трябваше да се научим да работим с нови проблеми.

Често вместо рецензия потребителите публикуват безсмислен набор от писма, опитвайки се да увеличат своите постижения, понякога рекламират своята компания в рецензии на компания на конкурент, а понякога просто объркват организациите и пишат в рецензия за магазин за домашни любимци: „ Перфектно приготвена риба!” Може би някой ден изкуственият интелект ще се научи да разбира перфектно значението на всеки текст, но сега автоматизацията понякога се справя по-зле от хората.

Стана ясно, че не можем да направим това без ръчно маркиране и добавихме втори етап към нашата верига - изпращайки я за ръчна проверка от човек. Там бяха включени онези публикувани текстове, за които класификаторът не видя проблеми. Лесно можете да си представите мащаба на такава задача, така че ние не само разчитахме на оценители, но и се възползвахме от „мъдростта на тълпата“, тоест се обърнахме за помощ към толокерите. Те са тези, които ни помагат да идентифицираме какво е пропуснала машината и по този начин да я научим.

Интелигентно кеширане и LSH хеширане

Друг проблем, с който се сблъскахме при работата с коментарите, беше спамът или по-точно неговият обем и скорост на разпространение. Когато аудиторията на Yandex.Region започна да расте бързо, спамърите дойдоха там. Те се научиха да заобикалят регулярните изрази, като леко променят текста. Спамът, разбира се, все още беше открит и изтрит, но в мащаба на Yandex неприемливо съобщение, публикувано дори за 5 минути, можеше да бъде видяно от стотици хора.

Разбира се, това не ни устройваше и направихме интелигентно кеширане на текст, базирано на LSH (чувствително към местоположението хеширане). Работи по следния начин: нормализирахме текста, премахнахме връзките от него и го нарязахме на n-грами (последователности от n букви). След това бяха изчислени хешовете на n-грамите и от тях беше изграден LSH векторът на документа. Въпросът е, че подобни текстове, дори и леко променени, се превръщат в подобни вектори.

Това решение направи възможно повторното използване на присъдите на класификаторите и толокерите за подобни текстове. По време на спам атака, веднага щом първото съобщение премине сканирането и влезе в кеша с присъда „спам“, всички нови подобни съобщения, дори модифицирани, получиха същата присъда и бяха изтрити автоматично. По-късно се научихме как да обучаваме и автоматично преобучаваме класификатори на спам, но този „интелигентен кеш“ остана с нас и все още често ни помага.

Добър текстов класификатор

Без да имаме време да си починем от борбата със спама, осъзнахме, че 95% от нашето съдържание се модерира ръчно: класификаторите реагират само на нарушения и повечето от текстовете са добри. Зареждаме чистачи, които в 95 случая от 100 дават оценка „Всичко е наред“. Трябваше да свърша необичайна работа - да направя класификатори с добро съдържание, за щастие през това време се беше натрупала достатъчно маркировка.

Първият класификатор изглеждаше така: ние лематизираме текста (намаляваме думите до първоначалната им форма), изхвърляме всички спомагателни части на речта и използваме предварително подготвен „речник на добрите леми“. Ако всички думи в текста са „добри“, тогава целият текст не съдържа никакви нарушения. При различни услуги този подход веднага даде от 25 до 35% автоматизация на ръчното маркиране. Разбира се, този подход не е идеален: лесно е да комбинирате няколко невинни думи и да получите много обидно изявление, но ни позволи бързо да достигнем добро ниво на автоматизация и ни даде време да обучим по-сложни модели.

Следващите версии на добри текстови класификатори вече включват линейни модели, дървета на решенията и техните комбинации. За да маркираме грубостта и обидите, например, пробваме невронната мрежа BERT. Важно е да се разбере значението на една дума в контекста и връзката между думите от различни изречения и BERT се справя добре с това. (Между другото, наскоро колеги от News каза, как технологията се използва за нестандартна задача - намиране на грешки в заглавки.) В резултат на това беше възможно да се автоматизират до 90% от потока, в зависимост от услугата.

Точност, пълнота и бързина

За да се развивате, трябва да разберете какви ползи носят определени автоматични класификатори, промени в тях и дали качеството на ръчните проверки се влошава. За да направим това, използваме показатели за точност и припомняне.

Точността е делът на правилните присъди сред всички присъди за лошо съдържание. Колкото по-висока е точността, толкова по-малко са фалшивите положителни резултати. Ако не обръщате внимание на точността, тогава на теория можете да изтриете целия спам и нецензурни съобщения, а заедно с тях и половината от добрите съобщения. От друга страна, ако разчитате само на точността, тогава най-добрата технология ще бъде тази, която изобщо не хваща никого. Следователно има и индикатор за пълнота: делът на идентифицираното лошо съдържание сред общия обем на лошото съдържание. Тези два показателя се балансират взаимно.

За да измерим, ние вземаме проби от целия входящ поток за всяка услуга и даваме проби от съдържание на оценители за експертна оценка и сравнение с машинни решения.

Но има още един важен показател.

По-горе писах, че неприемливо съобщение може да бъде видяно от стотици хора дори за 5 минути. Така че броим колко пъти сме показали на хората лошо съдържание, преди да го скрием. Това е важно, защото не е достатъчно да работите ефективно – трябва да работите и бързо. И когато изградихме защита срещу псувните, я усетихме в най-голяма степен.

Антиматизъм по примера на котки и кучета

Малко лирично отклонение. Някои може да кажат, че нецензурните думи и обидите не са толкова опасни, колкото злонамерените връзки, нито толкова досадни, колкото спама. Но ние се стремим да поддържаме удобни условия за комуникация за милиони потребители и хората не обичат да се връщат на места, където ги обиждат. Не напразно забраната за псувни и обиди е разписана в правилата на много общности, включително на Хабре. Но ние се отклонихме.

Псувните речници не могат да се справят с цялото богатство на руския език. Въпреки факта, че има само четири основни корена на псувнята, от тях можете да съставите безброй думи, които не могат да бъдат уловени от никакви обикновени машини. Освен това можете да напишете част от дума в транслитерация, да замените букви с подобни комбинации, да пренаредите буквите, да добавите звездички и т.н. Понякога без контекст е невъзможно да се определи, че потребителят е имал предвид псувня. Ние спазваме правилата на Habr, така че ще демонстрираме това не с живи примери, а с котки и кучета.

"Закон", каза котката. Но разбираме, че котката каза друга дума...

Започнахме да мислим за алгоритми за „размито съпоставяне“ за нашия речник и за по-интелигентна предварителна обработка: предоставихме транслитерация, залепихме интервали и препинателни знаци заедно, потърсихме модели и написахме отделни регулярни изрази върху тях. Този подход дава резултати, но често намалява точността и не осигурява желаната пълнота.

Тогава решихме да „мислим като псувници“. Започнахме сами да въвеждаме шум в данните: пренареждахме букви, генерирахме печатни грешки, заменяхме букви с подобно изписване и т.н. Първоначалната маркировка за това беше взета чрез прилагане на матови речници към големи корпуси от текстове. Ако вземете едно изречение и го завъртите по няколко начина, ще получите много изречения. По този начин можете да увеличите обучителната извадка десетки пъти. Всичко, което оставаше, беше да се обучи върху получения пул някакъв повече или по-малко интелигентен модел, който взема предвид контекста.

Рано е да се говори за окончателно решение. Все още експериментираме с подходи към този проблем, но вече можем да видим, че една проста символична конволюционна мрежа от няколко слоя значително превъзхожда речниците и обикновените машини: възможно е да се повишат както точността, така и запомнянето.

Разбира се, ние разбираме, че винаги ще има начини да заобиколите дори най-напредналата автоматизация, особено когато въпросът е толкова опасен: пишете по такъв начин, че една глупава машина да не разбере. Тук, както и в борбата срещу спама, нашата цел не е да изкореним самата възможност да напишем нещо нецензурно; нашата задача е да се уверим, че играта не си струва свещта.

Отварянето на възможността да споделяте мнението си, да общувате и коментирате не е трудно. Много по-трудно е да се постигнат безопасни, комфортни условия и уважително отношение към хората. И без това няма да има развитие на никоя общност.

Източник: www.habr.com