Работа на машинното обучение в Mail.ru Mail

Въз основа на моите изказвания на Highload++ и DataFest Minsk 2019.

За мнозина днес пощата е неразделна част от онлайн живота. С негова помощ водим бизнес кореспонденция, съхраняваме всякакъв вид важна информация, свързана с финанси, хотелски резервации, правене на поръчки и много други. В средата на 2018 г. формулирахме продуктова стратегия за развитие на пощата. Каква трябва да бъде съвременната поща?

Пощата трябва да бъде умен, тоест помага на потребителите да навигират в нарастващия обем информация: филтрирайте, структурирайте и я предоставяйте по най-удобния начин. Тя трябва да бъде полезен, което ви позволява да решавате различни задачи направо в пощенската си кутия, например да плащате глоби (функция, която, за съжаление, използвам). И в същото време, разбира се, пощата трябва да осигурява защита на информацията, прекъсване на спама и защита срещу хакване, т.е. безопасно.

Тези области определят редица ключови проблеми, много от които могат да бъдат ефективно разрешени с помощта на машинно обучение. Ето примери за вече съществуващи функции, разработени като част от стратегията - по една за всяка посока.

• Smart Отговор. Mail има функция за интелигентен отговор. Невронната мрежа анализира текста на писмото, разбира неговия смисъл и цел и в резултат предлага три най-подходящи варианта за отговор: положителен, отрицателен и неутрален. Това помага значително да спестите време, когато отговаряте на писма, а също така често отговаряте по нестандартен и забавен начин.
• Групиране на имейлисвързани с поръчки в онлайн магазини. Често пазаруваме онлайн и като правило магазините могат да изпращат няколко имейла за всяка поръчка. Например от AliExpress, най-голямата услуга, идват много писма за една поръчка и ние изчислихме, че в терминалния случай техният брой може да достигне до 29. Следователно, използвайки модела за разпознаване на именуван обект, извличаме номера на поръчката и друга информация от текста и групирайте всички букви в една нишка. Извеждаме и основна информация за поръчката в отделно поле, което улеснява работата с този тип имейл.

  

• Анти-фишинг. Фишингът е особено опасен измамен вид имейл, с помощта на който нападателите се опитват да получат финансова информация (включително банковите карти на потребителя) и данни за вход. Такива писма имитират истински, изпратени от услугата, включително визуално. Ето защо, с помощта на Computer Vision, ние разпознаваме лога и стила на дизайн на писма от големи компании (например Mail.ru, Sber, Alfa) и вземаме това предвид заедно с текста и други функции в нашите класификатори за спам и фишинг .

Машинно обучение

Малко за машинното обучение в имейл като цяло. Mail е силно натоварена система: средно 1,5 милиарда писма на ден преминават през нашите сървъри за 30 милиона DAU потребители. Около 30 системи за машинно обучение поддържат всички необходими функции и функции.

Всяка буква преминава през цял класификационен канал. Първо прекъсваме спама и оставяме добри имейли. Потребителите често не забелязват работата на антиспама, тъй като 95-99% от спама дори не попада в съответната папка. Разпознаването на спам е много важна част от нашата система и най-трудната, тъй като в областта на анти-спама има постоянна адаптация между системите за защита и атака, което осигурява непрекъснато инженерно предизвикателство за нашия екип.

След това отделяме букви от хора и роботи. Имейлите от хората са най-важни, затова предоставяме функции като Интелигентен отговор за тях. Писмата от роботи са разделени на две части: транзакционни - това са важни писма от услуги, например потвърждения за покупки или хотелски резервации, финанси и информационни - това са бизнес реклами, отстъпки.

Вярваме, че транзакционните имейли са еднакви по важност с личната кореспонденция. Те трябва да са под ръка, защото често трябва бързо да намерим информация за поръчка или резервация на самолетен билет и прекарваме време в търсене на тези букви. Затова за удобство автоматично ги разделяме на шест основни категории: пътуване, поръчки, финанси, билети, регистрации и накрая глоби.

Информационните писма са най-голямата и вероятно по-малко важна група, която не изисква незабавен отговор, тъй като нищо съществено няма да се промени в живота на потребителя, ако той не прочете такова писмо. В нашия нов интерфейс ги свиваме в две нишки: социални мрежи и бюлетини, като по този начин визуално изчистваме входящата кутия и оставяме видими само важни съобщения.

Експлоатация

Голям брой системи причиняват много трудности при работа. В края на краищата, моделите се влошават с течение на времето, както всеки софтуер: функции се повреждат, машините се провалят, кодът става крив. Освен това данните непрекъснато се променят: добавят се нови, моделите на поведение на потребителите се трансформират и т.н., така че модел без подходяща поддръжка ще работи все по-зле и по-зле с времето.

Не трябва да забравяме, че колкото по-дълбоко навлиза машинното обучение в живота на потребителите, толкова по-голямо е въздействието върху екосистемата и в резултат на това толкова повече финансови загуби или печалби могат да получат играчите на пазара. Следователно във все по-голям брой области играчите се адаптират към работата на ML алгоритмите (класически примери са рекламата, търсенето и вече споменатият антиспам).

Освен това задачите за машинно обучение имат особеност: всяка, дори незначителна, промяна в системата може да генерира много работа с модела: работа с данни, преквалификация, внедряване, което може да отнеме седмици или месеци. Следователно, колкото по-бързо се променя средата, в която работят вашите модели, толкова повече усилия са необходими за поддържането им. Един екип може да създаде много системи и да е доволен от това, но след това да изразходва почти всичките си ресурси за поддържането им, без възможност да направи нещо ново. Веднъж се сблъскахме с такава ситуация в антиспам екипа. И направиха очевидното заключение, че поддръжката трябва да бъде автоматизирана.

Автоматизация

Какво може да се автоматизира? Всъщност почти всичко. Идентифицирах четири области, които определят инфраструктурата за машинно обучение:

• събиране на данни;
• допълнително обучение;
• разгръщам;
• тестване и мониторинг.

Ако средата е нестабилна и постоянно се променя, тогава цялата инфраструктура около модела се оказва много по-важна от самия модел. Може да е добър стар линеен класификатор, но ако му предоставите правилните функции и получите добра обратна връзка от потребителите, той ще работи много по-добре от най-съвременните модели с всички предимства.

Обратна връзка

Този цикъл съчетава събиране на данни, допълнително обучение и внедряване – всъщност целият цикъл на актуализиране на модела. Защо е важно? Вижте графика за регистрация в пощата:

Разработчик на машинно обучение е внедрил анти-бот модел, който не позволява на ботове да се регистрират в имейл. Графиката пада до стойност, при която остават само реални потребители. Всичко е страхотно! Но минават четири часа, ботовете променят скриптовете си и всичко се връща към нормалното. При това внедряване разработчикът прекара месец в добавяне на функции и преобучаване на модела, но спамерът успя да се адаптира за четири часа.

За да не бъде толкова мъчително болезнено и да не се налага да преработваме всичко по-късно, трябва първоначално да помислим как ще изглежда обратната връзка и какво ще правим, ако средата се промени. Да започнем със събирането на данни – това е горивото за нашите алгоритми.

Събиране на данни

Ясно е, че за съвременните невронни мрежи колкото повече данни, толкова по-добре, и те всъщност се генерират от потребителите на продукта. Потребителите могат да ни помогнат, като маркират данни, но не можем да злоупотребяваме с това, защото в един момент потребителите ще се уморят да попълват вашите модели и ще преминат към друг продукт.

Една от най-честите грешки (тук правя препратка към Andrew Ng) е прекаленото фокусиране върху показателите на набора от тестови данни, а не върху обратната връзка от потребителя, което всъщност е основната мярка за качеството на работа, тъй като ние създаваме продукт за потребителя. Ако потребителят не разбира или не харесва работата на модела, тогава всичко е съсипано.

Следователно потребителят винаги трябва да може да гласува и трябва да му бъде предоставен инструмент за обратна връзка. Ако смятаме, че в пощенската кутия е пристигнало писмо, свързано с финанси, трябва да го маркираме „финанси“ и да нарисуваме бутон, който потребителят да кликне и да каже, че това не са финанси.

Качество на обратната връзка

Нека поговорим за качеството на обратната връзка с потребителите. Първо, вие и потребителят можете да поставите различни значения в една концепция. Например, вие и вашите продуктови мениджъри смятате, че „финанси“ означава писма от банката, а потребителят смята, че писмо от баба за нейната пенсия също се отнася за финанси. Второ, има потребители, които безсмислено обичат да натискат бутони без никаква логика. Трето, потребителят може да греши дълбоко в заключенията си. Ярък пример от нашата практика е внедряването на класификатор Нигерийски спам, много забавен вид спам, при който от потребителя се иска да вземе няколко милиона долара от внезапно намерен далечен роднина в Африка. След като внедрихме този класификатор, проверихме кликванията „Не е спам“ върху тези имейли и се оказа, че 80% от тях са сочен нигерийски спам, което предполага, че потребителите могат да бъдат изключително лековерни.

И да не забравяме, че бутоните могат да се кликват не само от хора, но и от всякакви ботове, които се представят за браузър. Така че необработената обратна връзка не е добра за учене. Какво можете да направите с тази информация?

Използваме два подхода:

• Обратна връзка от свързания ML. Например имаме онлайн анти-бот система, която, както споменах, взема бързо решение въз основа на ограничен брой знаци. Има и втора, бавна система, която работи постфактум. Има повече данни за потребителя, поведението му и т.н. В резултат на това се взема най-информираното решение, съответно то е с по-висока точност и пълнота. Можете да насочите разликата в работата на тези системи към първата като данни за обучение. Така една по-проста система винаги ще се опитва да се доближи до производителността на по-сложна.
• Кликнете върху класификация. Можете просто да класифицирате всяко потребителско кликване, да оцените неговата валидност и използваемост. Ние правим това в антиспам поща, използвайки потребителски атрибути, неговата история, атрибути на изпращача, самия текст и резултата от класификаторите. В резултат на това получаваме автоматична система, която валидира отзивите на потребителите. И тъй като трябва да се преквалифицира много по-рядко, работата му може да стане основа за всички останали системи. Основният приоритет в този модел е прецизността, тъй като обучението на модела върху неточни данни е изпълнено с последствия.

Докато почистваме данните и допълнително обучаваме нашите ML системи, не трябва да забравяме за потребителите, защото за нас хиляди, милиони грешки на графиката са статистика, а за потребителя всеки бъг е трагедия. В допълнение към факта, че потребителят трябва по някакъв начин да живее с вашата грешка в продукта, след получаване на обратна връзка, той очаква, че подобна ситуация ще бъде елиминирана в бъдеще. Следователно винаги си струва да дадете на потребителите не само възможност да гласуват, но и да коригират поведението на системите за машинно обучение, създавайки например лична евристика за всяко щракване за обратна връзка; в случай на поща това може да бъде възможността за филтриране такива писма по подател и заглавие за този потребител.

Също така трябва да изградите модел въз основа на някои отчети или заявки за поддръжка в полуавтоматичен или ръчен режим, така че други потребители да не страдат от подобни проблеми.

Евристика за учене

Има два проблема с тези евристики и патерици. Първият е, че непрекъснато увеличаващият се брой патерици е труден за поддръжка, да не говорим за тяхното качество и ефективност в дългосрочен план. Вторият проблем е, че грешката може да не е честа и няколко кликвания за по-нататъшно обучение на модела няма да са достатъчни. Изглежда, че тези два несвързани ефекта могат да бъдат значително неутрализирани, ако се приложи следният подход.

1. Създаваме временна патерица.
2. Изпращаме данни от него към модела, той редовно се актуализира, включително и върху получените данни. Тук, разбира се, е важно евристиката да е с висока точност, за да не се намали качеството на данните в набора за обучение.
3. След това настройваме наблюдението да задейства патерицата и ако след известно време патерицата вече не работи и е напълно покрита от модела, тогава можете безопасно да я премахнете. Сега този проблем едва ли ще се повтори.

Така че армия от патерици е много полезна. Основното е, че услугата им е спешна, а не постоянна.

Допълнително обучение

Преобучението е процес на добавяне на нови данни, получени в резултат на обратна връзка от потребители или други системи, и обучение на съществуващ модел върху тях. Може да има няколко проблема с допълнителното обучение:

1. Моделът може просто да не поддържа допълнително обучение, а да се учи само от нулата.
2. Никъде в книгата на природата не пише, че допълнителното обучение със сигурност ще подобри качеството на работа в производството. Често се случва обратното, т.е. възможно е само влошаване.
3. Промените могат да бъдат непредвидими. Това е доста тънък момент, който ние идентифицирахме за себе си. Дори ако нов модел при A/B тест покаже сходни резултати спрямо текущия, това не означава, че ще работи идентично. Тяхната работа може да се различава само с един процент, което може да доведе до нови грешки или да върне стари, които вече са коригирани. И ние, и потребителите вече знаем как да живеем с текущите грешки и когато възникнат голям брой нови грешки, потребителят също може да не разбере какво се случва, защото очаква предвидимо поведение.

Следователно най-важното при допълнителното обучение е да се гарантира, че моделът се подобрява или поне не се влошава.

Първото нещо, за което се сещаме, когато говорим за допълнително обучение, е подходът на активното обучение. Какво означава това? Например класификаторът определя дали даден имейл е свързан с финанси и около неговата граница на решение добавяме извадка от обозначени примери. Това работи добре, например, в рекламата, където има много обратна връзка и можете да обучите модела онлайн. И ако има малко обратна връзка, тогава получаваме силно предубедена извадка спрямо разпределението на производствените данни, въз основа на която е невъзможно да се оцени поведението на модела по време на работа.

Всъщност, нашата цел е да запазим стари модели, вече познати модели и да придобием нови. Тук е важна приемствеността. Моделът, който често полагахме големи усилия да внедрим, вече работи, така че можем да се съсредоточим върху представянето му.

В пощата се използват различни модели: дървета, линейни, невронни мрежи. За всеки изработваме собствен алгоритъм за допълнително обучение. В процеса на допълнително обучение получаваме не само нови данни, но често и нови функции, които ще вземем предвид във всички алгоритми по-долу.

Линейни модели

Да кажем, че имаме логистична регресия. Създаваме модел на загуба от следните компоненти:

• LogLoss при нови данни;
• регулираме теглата на новите функции (не докосваме старите);
• ние също се учим от стари данни, за да запазим старите модели;
• и може би най-важното: добавяме Harmonic Regularization, което гарантира, че теглата няма да се променят много спрямо стария модел според нормата.

Тъй като всеки компонент на загубата има коефициенти, можем да изберем оптималните стойности за нашата задача чрез кръстосано валидиране или въз основа на изискванията на продукта.

дървета

Да преминем към дърветата на решенията. Съставихме следния алгоритъм за допълнително обучение на дървета:

1. Производството управлява гора от 100-300 дървета, която се обучава на стар набор от данни.
2. Накрая премахваме M = 5 парчета и добавяме 2M = 10 нови, обучени върху целия набор от данни, но с висока тежест за новите данни, което естествено гарантира постепенна промяна в модела.

Очевидно с течение на времето броят на дърветата се увеличава значително и те трябва периодично да се намаляват, за да отговарят на времето. За да направим това, ние използваме вече повсеместната дестилация на знания (KD). Накратко за принципа на неговото действие.

1. Имаме настоящия "сложен" модел. Изпълняваме го върху набора от данни за обучение и получаваме разпределението на вероятностите за класа на изхода.
2. След това обучаваме ученическия модел (модела с по-малко дървета в този случай) да повтаря резултатите от модела, използвайки разпределението на класа като целева променлива.
3. Тук е важно да се отбележи, че ние не използваме маркирането на набора от данни по никакъв начин и следователно можем да използваме произволни данни. Разбира се, ние използваме извадка от данни от бойния поток като обучителна извадка за ученическия модел. По този начин наборът за обучение ни позволява да гарантираме точността на модела, а пробата на потока гарантира подобна производителност при разпределението на продукцията, компенсирайки отклонението на набора за обучение.

Комбинацията от тези две техники (добавяне на дървета и периодично намаляване на броя им чрез дестилация на знания) гарантира въвеждането на нови модели и пълна приемственост.

С помощта на KD ние също извършваме различни операции върху характеристики на модела, като премахване на функции и работа върху пропуски. В нашия случай имаме редица важни статистически характеристики (по податели, текстови хешове, URL адреси и т.н.), които се съхраняват в базата данни, които са склонни да се провалят. Моделът, разбира се, не е готов за такова развитие на събитията, тъй като ситуации на неуспех не възникват в набора за обучение. В такива случаи ние комбинираме KD и техники за увеличаване: когато тренираме за част от данните, ние премахваме или нулираме необходимите функции и вземаме оригиналните етикети (изходите на текущия модел), а моделът ученик се научава да повтаря това разпределение .

Забелязахме, че колкото по-сериозна е манипулацията на модела, толкова по-голям е процентът на необходимата проба от нишка.

Премахването на функция, най-простата операция, изисква само малка част от потока, тъй като се променят само няколко функции, а текущият модел е обучен на същия набор - разликата е минимална. За да се опрости моделът (намаляване на броя на дърветата няколко пъти), вече са необходими 50 на 50. А за пропуски на важни статистически характеристики, които сериозно ще повлияят на ефективността на модела, е необходим още по-голям поток, за да се изравни работата на нов устойчив на пропуски модел на всички видове букви.

FastText

Да преминем към FastText. Позволете ми да ви напомня, че представянето (вграждането) на една дума се състои от сумата от вграждането на самата дума и всички нейни буквени N-грами, обикновено триграми. Тъй като може да има доста много триграми, се използва Bucket Hashing, тоест преобразуване на цялото пространство в определена фиксирана hashmap. В резултат на това матрицата на теглото се получава с размерността на вътрешния слой на брой думи + кофи.

С допълнително обучение се появяват нови знаци: думи и триграми. Нищо съществено не се случва в стандартното последващо обучение от Facebook. Само стари тегла с кръстосана ентропия се обучават отново на нови данни. По този начин не се използват нови функции; разбира се, този подход има всички гореописани недостатъци, свързани с непредвидимостта на модела в производството. Ето защо модифицирахме малко FastText. Добавяме всички нови тегла (думи и триграми), разширяваме цялата матрица с крос-ентропия и добавяме хармонична регуляризация по аналогия с линейния модел, което гарантира незначителна промяна в старите тегла.

CNN

Конволюционните мрежи са малко по-сложни. Ако последните слоеве са завършени в CNN, тогава, разбира се, можете да приложите хармонично регулиране и да гарантирате непрекъснатост. Но ако е необходимо допълнително обучение на цялата мрежа, тогава такова регулиране вече не може да се прилага към всички слоеве. Има обаче опция за обучение на допълнителни вграждания чрез Triplet Loss (оригинална статия).

Тройна загуба

Като използваме задача срещу фишинг като пример, нека да разгледаме Triplet Loss в общи линии. Ние вземаме нашето лого, както и положителни и отрицателни примери на лога на други компании. Минимизираме разстоянието между първото и увеличаваме максимално разстоянието между второто, правим това с малка разлика, за да осигурим по-голяма компактност на класовете.

Ако допълнително обучим мрежата, тогава нашето метрично пространство напълно се променя и става напълно несъвместимо с предишното. Това е сериозен проблем при задачи, които използват вектори. За да заобиколим този проблем, ще смесим стари вграждания по време на обучението.

Добавихме нови данни към набора за обучение и обучаваме втората версия на модела от нулата. На втория етап ние допълнително обучаваме нашата мрежа (Finetuning): първо се завършва последният слой и след това цялата мрежа се размразява. В процеса на съставяне на триплети, ние изчисляваме само част от вгражданията, използвайки обучения модел, останалите - използвайки стария. Така в процеса на допълнително обучение ние осигуряваме съвместимостта на метричните пространства v1 и v2. Уникална версия на хармонична регулация.

Цялата архитектура

Ако разгледаме цялата система, използвайки антиспам като пример, тогава моделите не са изолирани, а вложени един в друг. Ние правим снимки, текст и други функции, като използваме CNN и Fast Text получаваме вграждания. След това върху вгражданията се прилагат класификатори, които предоставят резултати за различни класове (видове писма, спам, наличие на лого). Сигналите и знаците вече навлизат в гората от дървета, за да бъде взето окончателното решение. Индивидуалните класификатори в тази схема позволяват по-добро интерпретиране на резултатите от системата и по-конкретно повторно обучение на компоненти в случай на проблеми, вместо да подават всички данни в дърветата на решенията в сурова форма.

В резултат на това гарантираме приемственост на всяко ниво. На долното ниво в CNN и Fast Text използваме хармонично регулиране, за класификаторите в средата също използваме хармонично регулиране и калибриране на скоростта за последователност на вероятностното разпределение. Е, повишаването на дървото се обучава постепенно или с помощта на дестилация на знания.

Като цяло поддържането на такава вложена система за машинно обучение обикновено е трудно, тъй като всеки компонент на по-ниско ниво води до актуализация на цялата система по-горе. Но тъй като в нашата настройка всеки компонент се променя леко и е съвместим с предишния, цялата система може да се актуализира част по част, без да е необходимо да се обучава отново цялата структура, което позволява тя да бъде поддържана без сериозни разходи.

Разположете

Обсъдихме събиране на данни и допълнително обучение на различни видове модели, така че преминаваме към внедряването им в производствената среда.

A/B тестване

Както казах по-рано, в процеса на събиране на данни обикновено получаваме предубедена извадка, от която е невъзможно да се оцени производственото представяне на модела. Следователно, когато се внедрява, моделът трябва да се сравни с предишната версия, за да се разбере как всъщност вървят нещата, тоест да се проведат A/B тестове. Всъщност процесът на разгръщане и анализиране на диаграми е доста рутинен и може лесно да се автоматизира. Разгръщаме нашите модели постепенно до 5%, 30%, 50% и 100% от потребителите, като същевременно събираме всички налични показатели за отговорите на моделите и отзивите на потребителите. В случай на някои сериозни отклонения, ние автоматично връщаме модела назад, а за други случаи, след като сме събрали достатъчен брой потребителски кликвания, решаваме да увеличим процента. В резултат на това предоставяме новия модел на 50% от потребителите напълно автоматично, а разпространението на цялата аудитория ще бъде одобрено от лице, въпреки че тази стъпка може да бъде автоматизирана.

Процесът на A/B тестване обаче предлага място за оптимизация. Факт е, че всеки A/B тест е доста дълъг (в нашия случай отнема от 6 до 24 часа в зависимост от количеството обратна връзка), което го прави доста скъп и с ограничен ресурс. Освен това е необходим достатъчно висок процент поток за теста, за да се ускори по същество общото време на A/B теста (набирането на статистически значима извадка за оценка на показателите при малък процент може да отнеме много дълго време), което прави броят на A/B слотовете е изключително ограничен. Очевидно трябва да тестваме само най-обещаващите модели, от които получаваме доста по време на процеса на допълнително обучение.

За да разрешим този проблем, ние обучихме отделен класификатор, който предвижда успеха на A/B тест. За да направим това, ние вземаме статистически данни за вземане на решения, прецизност, припомняне и други показатели за набора за обучение, за отложения и за извадката от потока като функции. Ние също така сравняваме модела с текущия в производство, с евристика и вземаме предвид сложността на модела. Използвайки всички тези характеристики, класификатор, обучен на хронологията на тестовете, оценява кандидат-моделите, в нашия случай това са гори от дървета, и решава кой да използва в A/B теста.

По време на внедряването този подход ни позволи да увеличим няколко пъти броя на успешните A/B тестове.

Тестване и мониторинг

Тестването и наблюдението, колкото и да е странно, не вредят на нашето здраве, а напротив, те го подобряват и ни освобождават от ненужния стрес. Тестването ви позволява да предотвратите повреда, а наблюдението ви позволява да я откриете навреме, за да намалите въздействието върху потребителите.

Тук е важно да разберете, че рано или късно вашата система винаги ще прави грешки - това се дължи на цикъла на разработка на всеки софтуер. В началото на разработката на системата винаги има много грешки, докато всичко се уталожи и основният етап на иновациите приключи. Но с течение на времето ентропията взема своето и грешките се появяват отново - поради деградацията на компонентите наоколо и промените в данните, за които говорих в началото.

Тук бих искал да отбележа, че всяка система за машинно обучение трябва да се разглежда от гледна точка на нейната печалба през целия й жизнен цикъл. Графиката по-долу показва пример за това как системата работи за улавяне на рядък тип спам (линията на графиката е близо до нула). Един ден, поради неправилно кеширан атрибут, тя полудя. За щастие нямаше наблюдение за необичайно задействане; в резултат на това системата започна да записва големи количества писма в папката „спам“ на границата за вземане на решения. Въпреки коригирането на последствията, системата вече е допуснала грешки толкова много пъти, че няма да се изплати дори след пет години. И това е пълен провал от гледна точка на жизнения цикъл на модела.

Следователно такова просто нещо като наблюдението може да стане ключово в живота на модела. В допълнение към стандартните и очевидни показатели, ние вземаме предвид разпределението на отговорите и резултатите на модела, както и разпределението на стойностите на ключови характеристики. Използвайки KL дивергенция, можем да сравним текущото разпределение с историческото или стойностите в A/B теста с останалата част от потока, което ни позволява да забележим аномалии в модела и да върнем промените своевременно.

В повечето случаи пускаме първите си версии на системи, използвайки прости евристики или модели, които използваме като мониторинг в бъдеще. Например, ние наблюдаваме модела NER в сравнение с обикновените за конкретни онлайн магазини и ако покритието на класификатора спадне в сравнение с тях, тогава разбираме причините. Друга полезна употреба на евристика!

Резултати от

Нека отново да разгледаме основните идеи на статията.

• Fibdeck. Винаги мислим за потребителя: как той ще живее с нашите грешки, как ще може да ги докладва. Не забравяйте, че потребителите не са източник на чиста обратна връзка за тренировъчни модели и тя трябва да бъде изчистена с помощта на спомагателни ML системи. Ако не е възможно да се събере сигнал от потребителя, тогава търсим алтернативни източници на обратна връзка, например свързани системи.
• Допълнително обучение. Основното тук е приемствеността, затова залагаме на настоящия модел на производство. Ние обучаваме нови модели, така че да не се различават много от предишния поради хармонична регулация и подобни трикове.
• Разположете. Автоматичното внедряване въз основа на показатели значително намалява времето за внедряване на модели. Наблюдението на статистиката и разпределението на вземането на решения, броя на паданията от потребителите е задължително за вашия спокоен сън и продуктивен уикенд.

Е, надявам се това да ви помогне да подобрите вашите ML системи по-бързо, да ги пуснете на пазара по-бързо и да ги направите по-надеждни и по-малко стресиращи.

Източник: www.habr.com