Работење на машинско учење во Mail.ru Mail

Врз основа на моите говори на Highload++ и DataFest Minsk 2019 година.

За многумина денес, поштата е составен дел од онлајн животот. Со негова помош водиме деловна кореспонденција, складираме секакви важни информации поврзани со финансиите, хотелските резервации, нарачките и многу повеќе. Во средината на 2018 година, формулиравме производна стратегија за развој на пошта. Каква треба да биде модерната пошта?

Поштата мора да биде паметен, односно, помагање на корисниците да се движат низ зголемениот обем на информации: филтрирајте, структура и дајте ги на најзгодно. Таа мора да биде корисни, овозможувајќи ви да решавате разни задачи директно во вашето поштенско сандаче, на пример, да платите казни (функција што, за жал, ја користам). И во исто време, се разбира, поштата мора да обезбеди заштита на информации, отсекување на спам и заштита од хакирање, односно да биде безбеден.

Овие области дефинираат голем број клучни проблеми, од кои многу може ефективно да се решат со користење на машинско учење. Еве примери на веќе постоечки карактеристики развиени како дел од стратегијата - по една за секоја насока.

• Паметен одговор. Пошта има функција за паметен одговор. Невронската мрежа го анализира текстот на писмото, го разбира неговото значење и цел, и како резултат ги нуди трите најсоодветни опции за одговор: позитивен, негативен и неутрален. Ова помага значително да заштедите време кога одговарате на писма, а исто така често одговарате на нестандарден и смешен начин.
• Групирање на е-поштаповрзани со нарачки во онлајн продавници. Често купуваме онлајн и, по правило, продавниците можат да испратат неколку е-пошта за секоја нарачка. На пример, од AliExpress, најголемата услуга, доаѓаат многу букви за една нарачка, а ние пресметавме дека во терминалниот случај нивниот број може да достигне до 29. Затоа, користејќи го моделот за препознавање именуван ентитет, го извлекуваме бројот на нарачката и други информации од текстот и групирајте ги сите букви во една нишка. Исто така, ги прикажуваме основните информации за нарачката во посебно поле, што ја олеснува работата со овој тип на е-пошта.

  

• Анти-фишинг. Фишингот е особено опасен лажен тип на е-пошта, со помош на кој напаѓачите се обидуваат да добијат финансиски информации (вклучувајќи ги и банкарските картички на корисникот) и најавувања. Ваквите писма имитираат вистински испратени од услугата, вклучително и визуелно. Затоа, со помош на Computer Vision, препознаваме логоа и стил на дизајн на букви од големи компании (на пример, Mail.ru, Sber, Alfa) и го земаме предвид ова заедно со текстот и другите карактеристики во нашите класификатори за спам и фишинг .

Машинско учење

Малку за машинското учење во е-пошта воопшто. Поштата е силно оптоварен систем: просечно 1,5 милијарди букви дневно поминуваат низ нашите сервери за 30 милиони корисници на DAU. Околу 30 системи за машинско учење ги поддржуваат сите потребни функции и карактеристики.

Секоја буква поминува низ цела класификација. Прво отсекуваме спам и оставаме добри мејлови. Корисниците често не ја забележуваат работата на антиспам, бидејќи 95-99% од спам не завршуваат ни во соодветната папка. Препознавањето на спам е многу важен дел од нашиот систем, а најтежок, бидејќи на полето на анти-спам постои постојана адаптација помеѓу системите за одбрана и напад, што обезбедува континуиран инженерски предизвик за нашиот тим.

Следно, ги одделуваме буквите од луѓето и роботите. Е-поштата од луѓето се најважни, па затоа нудиме функции како што е паметен одговор за нив. Писмата од роботите се поделени на два дела: трансакциски - ова се важни писма од услуги, на пример, потврди за купување или хотелски резервации, финансии и информативни - тоа се деловно рекламирање, попусти.

Ние веруваме дека трансакциските е-пошта се еднакви по важност на личната кореспонденција. Тие треба да бидат при рака, бидејќи честопати треба брзо да најдеме информации за нарачка или резервација на авионски билет, а времето го трошиме во потрага по овие писма. Затоа, за погодност, автоматски ги делиме во шест главни категории: патување, нарачки, финансии, билети, регистрации и, конечно, казни.

Информативните писма се најголемата и веројатно помалку важна група, која не бара итен одговор, бидејќи ништо значајно нема да се промени во животот на корисникот ако тој не прочита такво писмо. Во нашиот нов интерфејс, ги собираме во две нишки: социјални мрежи и билтени, со што визуелно го чистиме сандачето и оставаме видливи само важни пораки.

Експлоатација

Голем број системи предизвикуваат многу потешкотии во работењето. На крајот на краиштата, моделите се деградираат со текот на времето, како и секој софтвер: функциите се распаѓаат, машините откажуваат, кодот станува искривен. Дополнително, податоците постојано се менуваат: се додаваат нови, се трансформираат моделите на однесување на корисниците итн., така што моделот без соодветна поддршка ќе работи полошо и полошо со текот на времето.

Не смееме да заборавиме дека колку подлабоко машинското учење продира во животот на корисниците, толку е поголемо влијанието што тие го имаат врз екосистемот и, како резултат на тоа, толку повеќе финансиски загуби или профити можат да добијат играчите на пазарот. Затоа, во сè поголем број области, играчите се прилагодуваат на работата на ML алгоритмите (класични примери се рекламирањето, пребарувањето и веќе споменатиот антиспам).

Исто така, задачите за машинско учење имаат особеност: секоја, дури и помала, промена во системот може да генерира многу работа со моделот: работа со податоци, преквалификација, распоредување, што може да трае со недели или месеци. Затоа, колку побрзо се менува околината во која работат вашите модели, толку повеќе напор е потребен за нивно одржување. Тимот може да создаде многу системи и да биде среќен поради тоа, но потоа да ги троши речиси сите свои ресурси за да ги одржува, без можност да направи нешто ново. Еднаш наидовме на таква ситуација во антиспам тимот. И тие донесоа очигледен заклучок дека поддршката треба да се автоматизира.

Автоматизација

Што може да се автоматизира? Скоро сè, всушност. Идентификував четири области кои ја дефинираат инфраструктурата за машинско учење:

• собирање на податоци;
• дополнителна обука;
• распоредување;
• тестирање и следење.

Ако околината е нестабилна и постојано се менува, тогаш целата инфраструктура околу моделот се покажува многу поважна од самиот модел. Можеби е добар стар линеарен класификатор, но ако го нахраните со вистинските карактеристики и добиете добри повратни информации од корисниците, ќе работи многу подобро од најсовремените модели со сите ѕвона и свирки.

Јамка за повратни информации

Овој циклус комбинира собирање податоци, дополнителна обука и распоредување - всушност, целиот циклус на ажурирање на моделот. Зошто е важно? Погледнете го распоредот за регистрација по пошта:

Програмер за машинско учење имплементирал модел против ботови што ги спречува ботови да се регистрираат во е-пошта. Графикот паѓа до вредност каде што остануваат само вистински корисници. Се е супер! Но, поминуваат четири часа, ботовите ги дотеруваат нивните скрипти и сè се враќа во нормала. Во оваа имплементација, инвеститорот помина еден месец додавајќи функции и преквалификација на моделот, но спамерот можеше да се прилагоди за четири часа.

За да не бидеме толку мачно болно и да не мораме да правиме сè подоцна, прво мораме да размислиме како ќе изгледа циклусот за повратни информации и што ќе правиме ако околината се промени. Да почнеме со собирање податоци - ова е гориво за нашите алгоритми.

Собирање на податоци

Јасно е дека за модерните невронски мрежи, колку повеќе податоци, толку подобро, а тие, всушност, се генерирани од корисниците на производот. Корисниците можат да ни помогнат со означување на податоците, но ние не можеме да го злоупотребиме тоа, бидејќи во одреден момент корисниците ќе се изморат од комплетирањето на вашите модели и ќе се префрлат на друг производ.

Една од најчестите грешки (тука се повикувам на Ендру Нг) е преголемото фокусирање на метриката на тест базата, а не на повратните информации од корисникот, што всушност е главната мерка за квалитетот на работата, бидејќи ние создаваме производ за корисникот. Ако корисникот не ја разбира или не му се допаѓа работата на моделот, тогаш сè е уништено.

Затоа, корисникот секогаш треба да може да гласа и треба да му се даде алатка за повратна информација. Ако мислиме дека во поштенското сандаче пристигнало писмо поврзано со финансии, треба да го означиме „финансирање“ и да нацртаме копче на кое корисникот може да кликне и да каже дека ова не е финансии.

Квалитет на повратни информации

Ајде да зборуваме за квалитетот на повратните информации од корисниците. Прво, вие и корисникот можете да ставите различни значења во еден концепт. На пример, вие и вашите менаџери на производи мислите дека „финансирање“ значи писма од банката, а корисникот мисли дека писмото од баба за нејзината пензија се однесува и на финансиите. Второ, има корисници кои безумно сакаат да притискаат копчиња без никаква логика. Трето, корисникот може да биде длабоко погрешен во своите заклучоци. Впечатлив пример од нашата практика е имплементацијата на класификатор Нигериски спам, многу смешен тип на спам каде од корисникот се бара да земе неколку милиони долари од ненадејно пронајден далечен роднина во Африка. Откако го имплементиравме овој класификатор, ги проверивме кликовите „Не е спам“ на овие е-пошта и се покажа дека 80% од нив се сочни нигериски спам, што сугерира дека корисниците можат да бидат крајно лековерни.

И да не заборавиме дека на копчињата може да кликнат не само луѓе, туку и секакви ботови кои се преправаат дека се прелистувач. Значи, суровата повратна информација не е добра за учење. Што можете да направите со оваа информација?

Ние користиме два пристапи:

• Повратни информации од поврзаниот ML. На пример, имаме онлајн систем против ботови, кој, како што споменав, донесува брза одлука врз основа на ограничен број на знаци. И има втор, бавен систем кој работи после фактот. Има повеќе податоци за корисникот, неговото однесување итн. Како резултат на тоа, се донесува најинформираната одлука, соодветно, таа има поголема точност и комплетност. Разликата во работата на овие системи можете да ја насочите кон првиот како податок за обука. Така, поедноставниот систем секогаш ќе се обиде да пристапи кон перформансите на покомплексниот.
• Кликнете на класификација. Можете едноставно да го класифицирате секој кориснички клик, да ја оцените неговата валидност и употребливост. Ова го правиме во антиспам пошта, користејќи ги корисничките атрибути, неговата историја, атрибутите на испраќачот, самиот текст и резултатот од класификаторите. Како резултат на тоа, добиваме автоматски систем кој ги потврдува повратните информации од корисниците. И бидејќи треба многу поретко да се преквалификува, неговата работа може да стане основа за сите други системи. Главниот приоритет во овој модел е прецизноста, бидејќи обуката на моделот за неточни податоци е полн со последици.

Додека ги чистиме податоците и ги обучуваме нашите ML системи, не смееме да заборавиме на корисниците, бидејќи за нас илјадници, милиони грешки на графикот се статистика, а за корисникот секоја грешка е трагедија. Покрај тоа што корисникот мора некако да живее со вашата грешка во производот, по добивањето повратни информации, тој очекува дека слична ситуација ќе биде елиминирана во иднина. Затоа, секогаш вреди да им се даде на корисниците можност не само да гласаат, туку и да го поправат однесувањето на ML системите, создавајќи, на пример, лични хеуристики за секој клик на повратни информации; во случај на пошта, ова може да биде способност за филтрирање такви писма по испраќач и наслов за овој корисник.

Исто така, треба да изградите модел врз основа на некои извештаи или барања за поддршка во полуавтоматски или рачен режим, така што другите корисници не страдаат од слични проблеми.

Хеуристика за учење

Има два проблеми со овие хеуристики и патерици. Првата е дека постојано зголемувањето на бројот на патерици е тешко да се одржуваат, а камоли нивниот квалитет и перформанси на долги патеки. Вториот проблем е што грешката можеби не е честа, а неколку кликања за понатамошно обучување на моделот нема да бидат доволни. Се чини дека овие два неповрзани ефекти може значително да се неутрализираат доколку се примени следниот пристап.

1. Создаваме привремена патерица.
2. Ние испраќаме податоци од него до моделот, тој редовно се ажурира самиот, вклучително и на примените податоци. Тука, се разбира, важно е хеуристиката да има висока точност за да не се намали квалитетот на податоците во комплетот за обука.
3. Потоа го поставивме мониторингот да ја активира патерицата и ако по некое време патерицата повеќе не работи и е целосно покриена со моделот, тогаш можете безбедно да ја отстраните. Сега овој проблем веројатно нема да се повтори.

Така, армија од патерици е многу корисна. Главната работа е дека нивната услуга е итна и не е постојана.

Дополнителна обука

Преквалификацијата е процес на додавање нови податоци добиени како резултат на повратни информации од корисниците или други системи и обука на постоечки модел за нив. Може да има неколку проблеми со дополнителна обука:

1. Моделот едноставно не поддржува дополнителна обука, но учи само од нула.
2. Никаде во книгата на природата не пишува дека со дополнителна обука сигурно ќе се подобри квалитетот на работата во производството. Честопати се случува спротивното, односно можно е само влошување.
3. Промените можат да бидат непредвидливи. Ова е прилично суптилна точка што самите ја идентификувавме. Дури и ако нов модел на A/B тест покажува слични резултати во споредба со сегашниот, тоа не значи дека ќе работи идентично. Нивната работа може да се разликува за само еден процент, што може да донесе нови грешки или да ги врати старите веќе поправени. И ние и корисниците веќе знаеме како да живееме со тековните грешки, а кога ќе се појават голем број нови грешки, корисникот исто така може да не разбере што се случува, бидејќи очекува предвидливо однесување.

Затоа, најважно во дополнителната обука е да се осигура дека моделот е подобрен или барем не влошен.

Првото нешто што ни паѓа на ум кога зборуваме за дополнителна обука е пристапот Активно учење. Што значи тоа? На пример, класификаторот одредува дали е-поштата е поврзана со финансиите, а околу нејзината граница на одлуки додаваме примерок од етикетирани примери. Ова функционира добро, на пример, во рекламирањето, каде што има многу повратни информации и можете да го обучите моделот онлајн. И ако има малку повратни информации, тогаш добиваме многу пристрасен примерок во однос на дистрибуцијата на податоци за производство, врз основа на кои е невозможно да се оцени однесувањето на моделот за време на работата.

Всушност, нашата цел е да ги зачуваме старите модели, веќе познатите модели и да стекнеме нови. Континуитетот е важен овде. Моделот, за кој често се трудевме да го претставиме, веќе работи, па можеме да се фокусираме на неговите перформанси.

Во поштата се користат различни модели: дрвја, линеарни, невронски мрежи. За секој правиме свој алгоритам за дополнителна обука. Во процесот на дополнителна обука, добиваме не само нови податоци, туку честопати и нови функции, кои ќе ги земеме предвид во сите алгоритми подолу.

Линеарни модели

Да речеме дека имаме логистичка регресија. Ние создаваме модел на загуба од следниве компоненти:

• LogLoss на нови податоци;
• ги регулираме тежините на новите карактеристики (не ги допираме старите);
• учиме и од стари податоци за да ги зачуваме старите обрасци;
• и, можеби, најважното нешто: додаваме Хармонична регулација, која гарантира дека тежините нема да се променат многу во однос на стариот модел според нормата.

Бидејќи секоја компонента на загуба има коефициенти, можеме да ги избереме оптималните вредности за нашата задача преку вкрстена валидација или врз основа на барањата на производот.

Деревья

Ајде да продолжиме со дрвјата на одлуки. Го составивме следниов алгоритам за дополнителна обука на дрвјата:

1. Производството води шума од 100-300 дрвја, кои се обучени на стар сет на податоци.
2. На крајот отстрануваме M = 5 парчиња и додаваме 2M = 10 нови, обучени на целиот сет на податоци, но со голема тежина за новите податоци, што природно гарантира постепена промена на моделот.

Очигледно, со текот на времето, бројот на дрвјата значително се зголемува и тие мора периодично да се намалуваат за да се исполнат временските услови. За да го направиме ова, ја користиме сега сеприсутната дестилација на знаење (KD). Накратко за принципот на неговото функционирање.

1. Го имаме сегашниот „комплексен“ модел. Го извршуваме на збирот на податоци за обука и ја добиваме распределбата на веројатноста за класа на излезот.
2. Следно, го обучуваме студентскиот модел (моделот со помалку дрвја во овој случај) да ги повторува резултатите од моделот користејќи ја распределбата на класата како целна променлива.
3. Овде е важно да се забележи дека ние на кој било начин не користиме означување на множеството податоци и затоа можеме да користиме произволни податоци. Се разбира, ние користиме примерок од податоци од борбениот тек како примерок за обука за студентскиот модел. Така, комплетот за обука ни овозможува да ја обезбедиме точноста на моделот, а примерокот за поток гарантира слични перформанси на производната дистрибуција, компензирајќи за пристрасноста на комплетот за обука.

Комбинацијата на овие две техники (додавање дрвја и периодично намалување на нивниот број со помош на дестилација на знаење) обезбедува воведување нови модели и целосен континуитет.

Со помош на KD, вршиме и различни операции на карактеристиките на моделот, како што се отстранување карактеристики и работа на празнини. Во нашиот случај, имаме голем број важни статистички карактеристики (по испраќачи, хашови на текст, URL-адреси итн.) кои се складирани во базата на податоци, кои имаат тенденција да не успеат. Моделот, се разбира, не е подготвен за таков развој на настани, бидејќи неуспешни ситуации не се случуваат во комплетот за обука. Во такви случаи, ги комбинираме техниките за KD и зголемување: кога тренираме за дел од податоците, ги отстрануваме или ресетираме потребните карактеристики и ги земаме оригиналните етикети (излези од тековниот модел), а моделот на студентот учи да ја повторува оваа дистрибуција .

Забележавме дека колку посериозна манипулација со моделот се случува, толку е поголем процентот на потребен примерок од конец.

Отстранувањето на карактеристиките, наједноставната операција, бара само мал дел од протокот, бидејќи само неколку карактеристики се менуваат, а сегашниот модел беше обучен на истиот сет - разликата е минимална. За да се поедностави моделот (намалување на бројот на дрвјата неколку пати), веќе се потребни 50 до 50. А за пропусти на важни статистички карактеристики кои сериозно ќе влијаат на перформансите на моделот, потребен е уште поголем проток за да се израмни работата на нов модел отпорен на пропусти на сите видови букви.

Брз текст

Ајде да преминеме на FastText. Да ве потсетам дека претставувањето (Вградување) на зборот се состои од збирот на вметнувањето на самиот збор и сите негови букви N-грами, обично триграми. Бидејќи може да има доста триграми, се користи Bucket Hashing, односно конвертирање на целиот простор во одредена фиксна хашмапа. Како резултат на тоа, матрицата на тежината се добива со димензија на внатрешниот слој по број на зборови + кофи.

Со дополнителна обука се појавуваат нови знаци: зборови и триграми. Ништо значајно не се случува во стандардната обука за следење од Facebook. Само старите тежини со вкрстена ентропија се преквалификуваат на нови податоци. Така, новите карактеристики не се користат, се разбира, овој пристап ги има сите гореопишани недостатоци поврзани со непредвидливоста на моделот во производството. Затоа малку го изменивме FastText. Ги додаваме сите нови тежини (зборови и триграми), ја прошируваме целата матрица со вкрстена ентропија и додаваме хармонска регулација по аналогија со линеарниот модел, што гарантира незначителна промена на старите тежини.

Ен-Ен

Конволуционите мрежи се малку покомплицирани. Ако последните слоеви се завршени во CNN, тогаш, се разбира, можете да примените хармонична регулација и да гарантирате континуитет. Но, ако е потребна дополнителна обука на целата мрежа, тогаш таквата регулација повеќе не може да се применува на сите слоеви. Сепак, постои опција да се обучуваат дополнителни вградувања преку загуба на тројки (оригинална статија).

Тројна загуба

Користејќи ја задачата против фишинг како пример, ајде да погледнеме во тројна загуба во општи рамки. Го земаме нашето лого, како и позитивни и негативни примери на логоа на други компании. Го минимизираме растојанието помеѓу првото и го максимизираме растојанието помеѓу второто, го правиме тоа со мала празнина за да обезбедиме поголема компактност на класите.

Ако дополнително ја обучиме мрежата, тогаш нашиот метрички простор целосно се менува и станува целосно некомпатибилен со претходниот. Ова е сериозен проблем во проблемите кои користат вектори. За да го заобиколиме овој проблем, ќе се мешаме во старите вградувања за време на тренингот.

Додадовме нови податоци во комплетот за обука и ја тренираме втората верзија на моделот од нула. Во втората фаза дополнително ја обучуваме нашата мрежа (Finetuning): прво се комплетира последниот слој, а потоа се одмрзнува целата мрежа. Во процесот на составување тројки, ние пресметуваме само дел од вградувањата користејќи го обучениот модел, а остатокот - користејќи го стариот. Така, во процесот на дополнителна обука, обезбедуваме компатибилност на метричките простори v1 и v2. Единствена верзија на хармонична регулација.

Цела архитектура

Ако го земеме предвид целиот систем користејќи антиспам како пример, тогаш моделите не се изолирани, туку вгнездени еден во друг. Фотографираме, текст и други функции, користејќи CNN и Fast Text добиваме вградувања. Следно, класификаторите се применуваат на врвот на вградувањата, кои обезбедуваат резултати за различни класи (типови букви, спам, присуство на лого). Сигналите и знаците веќе влегуваат во шумата од дрвја за да се донесе конечната одлука. Индивидуалните класификатори во оваа шема овозможуваат подобро да се интерпретираат резултатите од системот и поконкретно да се преквалификуваат компонентите во случај на проблеми, наместо да се хранат сите податоци во стеблата на одлучување во сурова форма.

Како резултат на тоа, гарантираме континуитет на секое ниво. На дното во CNN и Fast Text користиме хармонична регулација, за класификаторите во средината користиме и хармонска регулација и калибрација на стапка за конзистентност на распределбата на веројатноста. Па, зајакнувањето на дрвјата се тренира постепено или со користење на дестилација на знаење.

Општо земено, одржувањето на таков вгнезден систем за машинско учење обично е болка, бидејќи секоја компонента на пониско ниво води до ажурирање на целиот систем погоре. Но, бидејќи во нашето поставување секоја компонента малку се менува и е компатибилна со претходната, целиот систем може да се ажурира дел по дел без потреба од преквалификација на целата структура, што овозможува да се поддржи без сериозни трошоци.

Распоредување

Разговаравме за собирање податоци и дополнителна обука за различни типови на модели, па продолжуваме кон нивно распоредување во производствената средина.

А/Б тестирање

Како што реков претходно, во процесот на собирање податоци, обично добиваме пристрасен примерок, од кој е невозможно да се процени производствените перформанси на моделот. Затоа, при распоредувањето, моделот мора да се спореди со претходната верзија за да се разбере како всушност се одвиваат работите, односно да се спроведат A/B тестови. Всушност, процесот на извлекување и анализа на графиконите е прилично рутински и може лесно да се автоматизира. Ги нудиме нашите модели постепено на 5%, 30%, 50% и 100% од корисниците, додека ги собираме сите достапни метрики за одговорите на моделите и повратните информации од корисниците. Во случај на некои сериозни оддалечени, ние автоматски го враќаме моделот назад, а за други случаи, откако собравме доволен број кориснички кликови, одлучуваме да го зголемиме процентот. Како резултат на тоа, целосно автоматски го донесуваме новиот модел до 50% од корисниците, а пуштањето во употреба на целата публика ќе биде одобрено од лице, иако овој чекор може да се автоматизира.

Сепак, процесот на тестирање A/B нуди простор за оптимизација. Факт е дека секој A/B тест е прилично долг (во нашиот случај потребни се од 6 до 24 часа во зависност од количината на повратни информации), што го прави прилично скап и со ограничени ресурси. Дополнително, потребен е доволно висок процент на проток за тестот за суштински да се забрза целокупното време на A/B тестот (регрутирањето статистички значаен примерок за оценување на метриката во мал процент може да потрае многу долго), што прави бројот на A/B слотови екстремно ограничен. Очигледно, треба да ги тестираме само најперспективните модели, од кои добиваме доста за време на процесот на дополнителна обука.

За да го решиме овој проблем, обучивме посебен класификатор кој го предвидува успехот на A/B тестот. За да го направите ова, земаме статистика за донесување одлуки, прецизност, отповикување и други метрики на комплетот за обука, на одложениот и на примерокот од преносот како карактеристики. Моделот го споредуваме и со сегашниот во производство, со хеуристика и ја земаме предвид Комплексноста на моделот. Користејќи ги сите овие карактеристики, класификаторот обучен за историја на тестови ги оценува моделите на кандидати, во нашиот случај тоа се шуми од дрвја и одлучува кој да го користи во A/B тестот.

Во моментот на имплементација, овој пристап ни овозможи неколкукратно да го зголемиме бројот на успешни A/B тестови.

Тестирање и следење

Тестирањето и следењето, што е доволно чудно, не му наштетуваат на нашето здравје, туку напротив, го подобруваат и нè ослободуваат од непотребниот стрес. Тестирањето ви овозможува да спречите дефект, а следењето ви овозможува да го откриете навреме за да го намалите влијанието врз корисниците.

Овде е важно да се разбере дека порано или подоцна вашиот систем секогаш ќе прави грешки - ова се должи на циклусот на развој на кој било софтвер. На почетокот на развојот на системот секогаш има многу грешки додека сè не се среди и не се заврши главната фаза на иновацијата. Но, со текот на времето, ентропијата си го зема данокот и повторно се појавуваат грешки - поради деградацијата на компонентите наоколу и промените во податоците, за кои зборував на почетокот.

Овде би сакал да забележам дека секој систем за машинско учење треба да се разгледува од гледна точка на неговиот профит во текот на целиот животен циклус. Графиконот подолу покажува пример за тоа како функционира системот за да фати редок тип на спам (линијата во графиконот е близу нула). Еден ден, поради погрешно зачуван атрибут, таа полуде. За среќа, немаше мониторинг за абнормално активирање; како резултат на тоа, системот почна да зачувува букви во големи количини во папката „спам“ на границата за донесување одлуки. И покрај корегирањето на последиците, системот веќе толку пати греши што нема да се исплати ни за пет години. И ова е целосен неуспех од гледна точка на животниот циклус на моделот.

Затоа, толку едноставна работа како мониторинг може да стане клучна во животот на моделот. Покрај стандардните и очигледни метрики, ја разгледуваме распределбата на одговорите и оценките на моделот, како и распределбата на вредностите на клучните карактеристики. Користејќи ја дивергенцијата KL, можеме да ја споредиме тековната дистрибуција со историската или вредностите во тестот A/B со останатиот дел од потокот, што ни овозможува да забележиме аномалии во моделот и навремено да ги вратиме промените.

Во повеќето случаи, ги лансираме нашите први верзии на системи користејќи едноставни хеуристики или модели кои ги користиме како мониторинг во иднина. На пример, го следиме моделот NER во споредба со редовните за одредени онлајн продавници, и ако покриеноста на класификаторот падне во споредба со нив, тогаш ги разбираме причините. Уште една корисна употреба на хеуристиката!

Резултатите од

Ајде повторно да ги разгледаме клучните идеи на статијата.

• Фибдек. Секогаш размислуваме за корисникот: како ќе живее со нашите грешки, како ќе може да ги пријави. Не заборавајте дека корисниците не се извор на чиста повратна информација за моделите за обука и треба да се исчистат со помош на помошни ML системи. Ако не е можно да се собере сигнал од корисникот, тогаш бараме алтернативни извори на повратни информации, на пример, поврзани системи.
• Дополнителна обука. Овде главната работа е континуитетот, затоа се потпираме на сегашниот производствен модел. Тренираме нови модели за да не се разликуваат многу од претходните поради хармонична регулација и слични трикови.
• Распоредување. Автоматското распоредување врз основа на метрика значително го намалува времето за имплементација на модели. Следењето на статистиката и дистрибуцијата на одлучувањето, бројот на падови од корисниците е задолжителен за вашиот мирен сон и продуктивен викенд.

Па, се надевам дека ова ќе ви помогне побрзо да ги подобрите вашите ML-системи, да ги наведете побрзо на пазарот и да ги направите посигурни и помалку стресни.

Извор: www.habr.com