Како да отворите коментари и да не се удавите во спам

Кога вашата работа е да создадете нешто убаво, не мора да зборувате премногу за тоа, бидејќи резултатот е пред очите на сите. Но, ако ги избришете натписите од оградите, никој нема да ја забележи вашата работа сè додека оградите изгледаат пристојно или додека не избришете нешто погрешно.

Секоја услуга каде што можете да оставите коментар, преглед, да испратите порака или да прикачувате слики, порано или подоцна се соочува со проблемот на спам, измама и непристојност. Ова не може да се избегне, но мора да се реши.

Моето име е Михаил, работам во тимот Антиспам, кој ги штити корисниците на услугите на Yandex од вакви проблеми. Нашата работа ретко се забележува (и тоа е добро!), па затоа денес ќе ви кажам повеќе за тоа. Ќе дознаете кога умереноста е бескорисна и зошто точноста не е единствениот показател за нејзината ефикасност. Ќе зборуваме и за пцуењето користејќи го примерот на мачки и кучиња и зошто понекогаш е корисно да се „размислува како пцовка“.

Се повеќе и повеќе услуги се појавуваат во Yandex каде корисниците ја објавуваат својата содржина. Можете да поставите прашање или да напишете одговор во Yandex.Q, да разговарате за вестите од дворот во Yandex.District, да споделувате сообраќајни услови во разговорите на Yandex.Maps. Но, кога публиката на услугата расте, таа станува привлечна за измамниците и спамерите. Тие доаѓаат и пополнуваат коментари: нудат лесни пари, рекламираат чудотворни лекови и ветуваат социјални придобивки. Поради спамери, некои корисници губат пари, додека други ја губат желбата да трошат време на неуредна услуга преполна со спам.

И ова не е единствениот проблем. Ние се стремиме не само да ги заштитиме корисниците од измамници, туку и да создадеме удобна атмосфера за комуникација. Ако луѓето се соочат со пцовки и навреди во коментарите, тие најверојатно ќе заминат и никогаш нема да се вратат. Ова значи дека и вие треба да бидете способни да се справите со ова.

Чиста веб

Како што често се случува кај нас, првите случувања се родени во Search, во делот што се бори со спам во резултатите од пребарувањето. Пред околу десет години, таму се појави задачата за филтрирање на содржини за возрасни за семејни пребарувања и за прашања кои не бараа одговори од категоријата 18+. Вака се појавија првите рачно пишувани речници на порно и пцовки, тие беа надополнети од аналитичарите. Главната задача беше да се класифицираат барањата во оние каде што е прифатливо да се прикажува содржина за возрасни, а каде не е. За оваа задача, беше собрано обележување, беа изградени хеуристики и беа обучени модели. Вака се појавија првите случувања за филтрирање на несакани содржини.

Со текот на времето, UGC (содржината генерирана од корисниците) почна да се појавува во Yandex - пораки што се напишани од самите корисници, а Yandex само ги објавува. Од причините опишани погоре, многу пораки не можеа да се објават без да се погледнат - потребна беше умереност. Потоа решија да создадат услуга што ќе обезбеди заштита од спам и напаѓачи за сите производи на Yandex UGC и ќе ги користи развојот за филтрирање на несаканата содржина во Search. Услугата беше наречена „Чиста мрежа“.

Нови задачи и помош од туркачите

Отпрвин ни работеше само едноставната автоматизација: службите ни испраќаа текстови, а ние водевме речници за непристојни зборови, порно речници и редовни изрази на нив - аналитичарите составуваа сè рачно. Но, со текот на времето, услугата се користеше во зголемен број производи на Yandex и моравме да научиме да работиме со нови проблеми.

Честопати, наместо преглед, корисниците објавуваат бесмислен сет на писма, обидувајќи се да ги зголемат своите достигнувања, понекогаш ја рекламираат својата компанија во прегледите на компанијата на конкурентот, а понекогаш едноставно ги збунуваат организациите и пишуваат во рецензија за продавница за миленичиња: „ Совршено зготвена риба!“ Можеби еден ден вештачката интелигенција ќе научи совршено да го сфаќа значењето на секој текст, но сега автоматизацијата понекогаш се справува полошо од луѓето.

Стана јасно дека не можеме да го направиме ова без рачно обележување и додадовме втора фаза на нашето коло - испраќање на рачна проверка од страна на лице. Таму беа вклучени оние објавени текстови за кои класификаторот не видел никакви проблеми. Можете лесно да го замислите обемот на таквата задача, така што не само што се потпиравме на проценувачите, туку ја искористивме и „мудроста на толпата“, односно се обративме до толокерите за помош. Тие се оние кои ни помагаат да идентификуваме што пропуштила машината и со тоа да ја научиме.

Паметно кеширање и хаширање на LSH

Друг проблем на кој наидовме при работа со коментари беше спам, поточно неговиот обем и брзина на ширење. Кога публиката на Yandex.Region почна брзо да расте, таму дојдоа спамери. Тие научија да ги заобиколуваат регуларните изрази со малку менување на текстот. Спам, се разбира, сè уште беше пронајден и избришан, но на скалата на Yandex, неприфатлива порака објавена дури и 5 минути можеше да ја видат стотици луѓе.

Се разбира, ова не ни одговараше и направивме паметно кеширање на текст врз основа на LSH (хаширање чувствително на локалитет). Работи вака: го нормализиравме текстот, ги отстранивме врските од него и го исечевме на n-грами (секвенци од n букви). Следно, беа пресметани хашовите на n-грами и од нив беше изграден векторот LSH на документот. Поентата е дека сличните текстови, дури и да биле малку изменети, се претвориле во слични вектори.

Ова решение овозможи повторно користење на пресудите на класификаторите и толокерите за слични текстови. За време на напад со спам, штом првата порака го помина скенирањето и влезе во кешот со пресуда „спам“, сите нови слични пораки, дури и изменетите, ја добиваа истата пресуда и автоматски се бришат. Подоцна, научивме како да обучуваме и автоматски да ги преквалификуваме класификаторите на спам, но овој „паметен кеш“ остана со нас и сè уште често ни помага.

Добар класификатор на текст

Без да имаме време да се одмориме од борбата против спам, сфативме дека 95% од нашата содржина се модерира рачно: класификаторите реагираат само на прекршувањата, а повеќето текстови се добри. Вчитуваме чистачи кои во 95 случаи од 100 даваат оцена „Сè е во ред“. Морав да направам необична работа - правејќи класификатори на добра содржина, за среќа, доволно означување се акумулираше во ова време.

Првиот класификатор изгледаше вака: го лематизираме текстот (зборовите ги намалуваме до нивната почетна форма), ги исфрламе сите помошни делови од говорот и користиме претходно подготвен „речник на добри леми“. Ако сите зборови во текстот се „добри“, тогаш целиот текст не содржи никакви прекршувања. На различни услуги, овој пристап веднаш даде од 25 до 35% автоматизација на рачното обележување. Се разбира, овој пристап не е идеален: лесно е да се комбинираат неколку невини зборови и да се добие многу навредлива изјава, но ни овозможи брзо да достигнеме добро ниво на автоматизација и ни даде време да тренираме посложени модели.

Следните верзии на добри класификатори на текст веќе вклучуваа линеарни модели, стебла на одлуки и нивни комбинации. За да означиме грубост и навреди, на пример, ја пробуваме нервната мрежа БЕРТ. Важно е да се сфати значењето на зборот во контекст и врската помеѓу зборовите од различни реченици, а БЕРТ добро го прави тоа. (Инаку, неодамна колеги од Вести кажа, како технологијата се користи за нестандардна задача - пребарување на грешки во заглавијата.) Како резултат на тоа, беше можно да се автоматизира до 90% од протокот, во зависност од услугата.

Точност, комплетност и брзина

За да се развие, треба да разберете какви придобивки носат одредени автоматски класификатори, промени во нив и дали квалитетот на рачните проверки е понижувачки. За да го направите ова, ние користиме прецизност и метрика за потсетување.

Точноста е процентот на точни пресуди меѓу сите пресуди за лоша содржина. Колку е поголема точноста, толку помалку лажни позитиви. Ако не внимавате на точноста, тогаш теоретски можете да ги избришете сите спам и непристојности, а заедно со нив и половина од добрите пораки. Од друга страна, ако се потпирате само на точноста, тогаш најдобрата технологија ќе биде онаа што воопшто не фаќа никого. Затоа, постои и индикатор за комплетноста: уделот на идентификуваната лоша содржина меѓу вкупниот обем на лоша содржина. Овие две метрики се балансираат една со друга.

За мерење, го примеруваме целиот дојдовен тек за секоја услуга и им даваме примероци на содржина на оценувачите за експертска евалуација и споредба со машински решенија.

Но, постои уште еден важен индикатор.

Погоре напишав дека неприфатлива порака можат да видат стотици луѓе дури и за 5 минути. Значи, броиме колку пати сме им покажале на луѓето лоша содржина пред да ја скриеме. Ова е важно бидејќи не е доволно да работите ефикасно - исто така треба да работите брзо. И кога изградивме одбрана од пцуење, тоа го почувствувавме максимално.

Антиматизам користејќи го примерот на мачки и кучиња

Мала лирска дигресија. Некои би можеле да речат дека непристојноста и навредите не се толку опасни како злонамерните врски и не се досадни како спам. Но, ние се стремиме да одржуваме удобни услови за комуникација за милиони корисници, а луѓето не сакаат да се враќаат на места каде што ги навредуваат. Не за џабе забраната за пцовки и навреди е наведена во правилата на многу заедници, вклучително и на Хабре. Но, ние отстапуваме.

Речниците за пцовки не можат да се справат со целото богатство на рускиот јазик. И покрај фактот дека постојат само четири главни корени на заклетва, од нив можете да составите безброј зборови што не можат да ги фатат ниту еден обичен мотор. Дополнително, можете да напишете дел од зборот во транслитерација, да ги замените буквите со слични комбинации, да ги преуредите буквите, да додавате ѕвездички итн. Понекогаш, без контекст, во основа е невозможно да се утврди дека корисникот мислел на пцовка. Ги почитуваме правилата на Хабр, па тоа ќе го покажеме не со живи примери, туку со мачки и кучиња.

„Закон“, рече мачката. Но, ние разбираме дека мачката кажа поинаков збор...

Почнавме да размислуваме за алгоритми за „нејасно совпаѓање“ за нашиот речник и за попаметна претобработка: обезбедивме транслитерација, залепени празни места и интерпункциски знаци, баравме обрасци и напишавме посебни редовни изрази на нив. Овој пристап донесе резултати, но често ја намалуваше точноста и не ја даваше посакуваната комплетност.

Тогаш решивме да „размислуваме како пцовки“. Почнавме сами да внесуваме бучава во податоците: ги преуредивме буквите, генериравме печатни грешки, ги заменивме буквите со слични правописи итн. Првичната ознака за ова беше преземена со примена на мат речници на големи корпуси текстови. Ако земете една реченица и ја извртите на неколку начини, ќе завршите со многу реченици. На овој начин можете да го зголемите примерокот за обука десетици пати. Остануваше само да се тренира на добиениот базен некој повеќе или помалку паметен модел кој го зема предвид контекстот.

Рано е да се зборува за конечната одлука. Сè уште експериментираме со пристапи кон овој проблем, но веќе можеме да видиме дека едноставната симболична конволуциона мрежа од неколку слоеви значително ги надминува речниците и обичните мотори: можно е да се зголеми и точноста и да се потсетиме.

Се разбира, разбираме дека секогаш ќе има начини да се заобиколи дури и најнапредната автоматизација, особено кога работата е толку опасна: пишувајте на таков начин што глупавата машина нема да разбере. Овде, како и во борбата против спам, нашата цел не е да ја искорениме самата можност да пишуваме нешто непристојно; нашата задача е да се погрижиме играта да не вреди за свеќата.

Отворањето можност да го споделите вашето мислење, да комуницирате и да коментирате не е тешко. Многу е потешко да се постигнат безбедни, удобни услови и почит кон луѓето. И без ова нема да има развој на ниту една заедница.

Извор: www.habr.com