MLOps: DevOps в света на машинното обучение

През 2018 г. в професионалните среди и на тематични конференции, посветени на AI, се появи концепцията MLOps, която бързо се наложи в индустрията и вече се развива като самостоятелно направление. В бъдеще MLOps може да стане една от най-популярните области в ИТ. Какво представлява и с какво се яде, нека разберем по-долу.

Какво е MLOps

MLOps (комбиниране на технологии и процеси за машинно обучение и подходи за внедряване на разработени модели в бизнес процеси) е нов начин за сътрудничество между представители на бизнеса, учени, математици, специалисти по машинно обучение и ИТ инженери при създаване на системи с изкуствен интелект.

С други думи, това е начин за превръщане на методите и технологиите за машинно обучение в полезен инструмент за решаване на бизнес проблеми. 

Необходимо е да се разбере, че веригата на производителността започва много преди разработването на модела. Първата му стъпка е да се дефинира бизнес проблем, хипотеза за стойността, която може да бъде извлечена от данните, и бизнес идея за нейното прилагане. 

Самата концепция за MLOps възниква като аналогия на концепцията за DevOps във връзка с моделите и технологиите за машинно обучение. DevOps е подход към разработката на софтуер, който ви позволява да увеличите скоростта на внедряване на индивидуални промени, като същевременно поддържате гъвкавост и надеждност, като използвате редица подходи, включително непрекъснато развитие, разделяне на функциите в редица независими микроуслуги, автоматизирано тестване и внедряване на индивидуални промени, глобален мониторинг на здравето, система за бързо реагиране при открити повреди и др. 

DevOps дефинира жизнения цикъл на софтуера и общността излезе с идеята да приложи същата методология към големи данни. DataOps е опит за адаптиране и разширяване на методологията, като се вземат предвид характеристиките на съхранение, предаване и обработка на големи количества данни в различни и оперативно съвместими платформи.
  
С появата на определена критична маса модели за машинно обучение, внедрени в бизнес процесите на предприятията, се забелязва силно сходство между жизнения цикъл на математическите модели за машинно обучение и жизнения цикъл на софтуера. Единствената разлика е, че моделните алгоритми се създават с помощта на инструменти и методи за машинно обучение. Затова естествено възниква идеята да се приложат и адаптират вече познати подходи за разработка на софтуер за модели на машинно обучение. По този начин могат да бъдат разграничени следните ключови етапи в жизнения цикъл на моделите за машинно обучение:

• дефиниране на бизнес идея;
• модел обучение;
• тестване и внедряване на модела в бизнес процеса;
• работа на модела.

Когато по време на работа има нужда от промяна или повторно обучение на модела на нови данни, цикълът започва отново - моделът се усъвършенства, тества и се внедрява нова версия.

Отстъпление. Защо да се преквалифицира, а не да се преквалифицира? Терминът „преобучение на модела“ има двойно значение: сред експертите това означава дефект на модела, когато моделът прогнозира добре, всъщност повтаря прогнозирания параметър на набора за обучение, но се представя много по-зле на извадката от външни данни. Естествено, такъв модел е дефект, тъй като този дефект не позволява използването му.

В този жизнен цикъл изглежда логично да се използват инструменти на DevOps: автоматизирано тестване, внедряване и наблюдение, проектиране на моделни изчисления под формата на отделни микроуслуги. Но има и редица функции, които предотвратяват директното използване на тези инструменти без допълнително ML обвързване.

Как да накараш моделите да работят и да бъдат печеливши

Като пример, в който ще демонстрираме използването на подхода MLOps, ще вземем класическата задача за роботизиране на поддръжка за чат за банков (или друг) продукт. Обикновено бизнес процесът за поддръжка на чат изглежда така: клиент въвежда съобщение с въпрос в чат и получава отговор от специалист в рамките на предварително дефинирано диалогово дърво. Задачата за автоматизиране на такъв чат обикновено се решава с помощта на експертно дефинирани набори от правила, чието разработване и поддържане е много трудоемко. Ефективността на такава автоматизация, в зависимост от нивото на сложност на задачата, може да бъде 20–30%. Естествено възниква идеята, че е по-изгодно да се внедри модул с изкуствен интелект - модел, разработен чрез машинно обучение, който:

• може да обработва по-голям брой заявки без участие на оператор (в зависимост от темата, в някои случаи ефективността може да достигне 70–80%);
• адаптира се по-добре към нестандартни формулировки в диалог - умее да определя намерението, истинското желание на потребителя въз основа на неясно формулирана заявка;
• знае как да определи кога отговорът на модела е адекватен и когато има съмнения относно „осъзнаването“ на този отговор и трябва да зададете допълнителен изясняващ въпрос или да преминете към оператора;
• може допълнително да се обучава автоматично (вместо група разработчици, които постоянно адаптират и коригират скриптове за отговор, моделът се обучава допълнително от специалист по Data Science, използвайки подходящите библиотеки за машинно обучение). 

Как да накарате такъв напреднал модел да работи? 

Както при решаването на всеки друг проблем, преди разработването на подобен модул е ​​необходимо да дефинираме бизнес процес и да опишем формално конкретната задача, която ще решаваме чрез метода на машинно обучение. В този момент започва процесът на операционализация, обозначен с акронима Ops. 

Следващата стъпка е, че Data Scientist, в сътрудничество с Data Engineer, проверява наличността и достатъчността на данните и бизнес хипотезата за жизнеспособността на бизнес идеята, като разработва модел на прототип и тества действителната му ефективност. Едва след потвърждение от страна на бизнеса може да започне преходът от разработване на модел към интегрирането му в системи, изпълняващи конкретен бизнес процес. Планирането на внедряването от край до край, дълбокото разбиране на всеки етап за това как ще се използва моделът и какъв икономически ефект ще донесе, е фундаментална точка в процесите на въвеждане на подходи MLOps в технологичния пейзаж на компанията.

С развитието на AI технологиите, броят и разнообразието от проблеми, които могат да бъдат решени с помощта на машинно обучение, нарастват експоненциално. Всеки такъв бизнес процес е икономия за компанията поради автоматизирането на труда на служителите на масови позиции (кол център, проверка и сортиране на документи и др.), разширяване на клиентската база чрез добавяне на нови атрактивни и удобни функции , това е спестяване на пари поради оптималното им използване и преразпределение на ресурсите и много други. В крайна сметка всеки процес е насочен към създаване на стойност и в резултат на това трябва да носи определен икономически ефект. Тук е много важно ясно да се формулира бизнес идеята и да се изчисли очакваната печалба от внедряването на модела в цялостната структура на създаване на стойност на компанията. Има ситуации, когато внедряването на модела не се оправдава и времето, прекарано от специалистите по машинно обучение, е много по-скъпо от работното място на оператора, изпълняващ тази задача. Ето защо е необходимо да се опитаме да идентифицираме такива случаи в ранните етапи на създаване на AI системи.

Следователно моделите започват да генерират печалба само когато бизнес проблемът е правилно формулиран в процеса на MLOps, приоритетите са зададени и процесът на въвеждане на модела в системата е формулиран в ранните етапи на развитие.

Нов процес – нови предизвикателства

Изчерпателен отговор на основния бизнес въпрос за това колко приложими са ML моделите за решаване на проблеми, общият въпрос за доверието в AI е едно от ключовите предизвикателства в процеса на разработване и внедряване на MLOps подходи. Първоначално бизнесът е скептичен относно въвеждането на машинно обучение в процесите - трудно е да се разчита на модели на места, където преди това по правило хората са работили. За бизнеса програмите изглеждат като „черна кутия“, чиято уместност все още трябва да бъде доказана. Освен това в банкирането, в бизнеса на телекомуникационните оператори и други има строги изисквания на държавните регулатори. На одит подлежат всички системи и алгоритми, които са внедрени в банковите процеси. За да се реши този проблем, за да се докаже на бизнеса и регулаторите валидността и коректността на отговорите на изкуствения интелект, заедно с модела се въвеждат инструменти за наблюдение. Освен това има независима процедура за валидиране, задължителна за регулаторните модели, която отговаря на изискванията на Централната банка. Независима експертна група одитира резултатите, получени от модела, като взема предвид входните данни.

Второто предизвикателство е оценката и отчитането на рисковете от модела при внедряването на модел за машинно обучение. Дори човек да не може да отговори със сто процента сигурност на въпроса дали същата рокля е бяла или синя, то изкуственият интелект също има право на грешка. Също така си струва да се има предвид, че данните могат да се променят с течение на времето и моделите трябва да бъдат преквалифицирани, за да се получи достатъчно точен резултат. За да се гарантира, че бизнес процесът не страда, е необходимо да се управляват рисковете на модела и да се наблюдава ефективността на модела, като редовно се преквалифицира с нови данни.

Но след първия етап на недоверие започва да се проявява обратният ефект. Колкото повече модели се внедряват успешно в процеси, толкова повече расте апетитът на бизнеса за използване на изкуствен интелект – откриват се нови и нови проблеми, които могат да бъдат решени с помощта на методите за машинно обучение. Всяка задача задейства цял процес, който изисква определени компетенции:

• инженерите по данни подготвят и обработват данни;
• учените по данни използват инструменти за машинно обучение и разработват модел;
• ИТ внедрява модела в системата;
• ML инженерът определя как правилно да интегрира този модел в процеса, кои ИТ инструменти да използва в зависимост от изискванията за начина на приложение на модела, като взема предвид потока от заявки, времето за реакция и др. 
• ML архитект проектира как софтуерен продукт може да бъде физически внедрен в индустриална система.

Целият цикъл изисква голям брой висококвалифицирани специалисти. В определен момент от развитието и степента на навлизане на ML моделите в бизнес процесите се оказва, че линейното мащабиране на броя на специалистите пропорционално на увеличаването на броя на задачите става скъпо и неефективно. Следователно възниква въпросът за автоматизиране на процеса MLOps - дефиниране на няколко стандартни класа проблеми с машинно обучение, разработване на стандартни конвейери за обработка на данни и допълнително обучение на модели. В идеална картина решаването на такива проблеми изисква професионалисти, които са еднакво опитни в компетенциите в пресечната точка на Big Data, Data Science, DevOps и IT. Следователно, най-големият проблем в индустрията на Data Science и най-голямото предизвикателство при организирането на MLOps процеси е липсата на такава компетентност на съществуващия пазар на обучение. Специалистите, които отговарят на тези изисквания, в момента са рядкост на пазара на труда и си струват злато.

По въпроса за компетенциите

На теория всички MLOps задачи могат да бъдат решени с помощта на класически DevOps инструменти и без да се прибягва до специализирано разширение на ролевия модел. След това, както отбелязахме по-горе, специалистът по данни трябва да бъде не само математик и анализатор на данни, но и гуру на целия тръбопровод - той отговаря за разработването на архитектурата, програмирането на модели на няколко езика в зависимост от архитектурата, подготовката витрина за данни и внедряване на самото приложение. Въпреки това, създаването на технологичната рамка, внедрена в MLOps процеса от край до край, отнема до 80% от разходите за труд, което означава, че един квалифициран математик, който е качествен Data Scientist, ще посвети само 20% от времето си на своята специалност . Следователно очертаването на ролите на специалистите, участващи в процеса на внедряване на модели за машинно обучение, става жизненоважно. 

Колко подробно трябва да бъдат очертани ролите зависи от размера на предприятието. Едно е, когато стартъпът има един специалист, усърден работник в енергийния резерв, който е свой собствен инженер, архитект и DevOps. Съвсем различен е въпросът, когато в едно голямо предприятие всички процеси на разработване на модели са съсредоточени върху няколко висококвалифицирани специалисти по Data Science, докато програмист или специалист по база данни - по-често срещана и по-евтина компетентност на пазара на труда - може да вземе върху по-голямата част от работата.рутинни задачи.

По този начин скоростта и качеството на разработените модели, производителността на екипа и микроклимата в него пряко зависят от това къде минава границата при подбора на специалисти, които да поддържат MLOps процеса и как е организиран процесът на операционализация на разработените модели. .

Това, което нашият екип вече направи

Наскоро започнахме да изграждаме структура на компетентност и MLOps процеси. Но нашите проекти за управление на жизнения цикъл на модела и за използване на модели като услуга вече са в етап на тестване на MVP.

Определихме и оптималната структура на компетенциите за голямо предприятие и организационната структура на взаимодействие между всички участници в процеса. Бяха организирани гъвкави екипи за решаване на проблеми за целия кръг от бизнес клиенти и беше установен процес на взаимодействие с проектни екипи за създаване на платформи и инфраструктура, която е в основата на изграждащата се сграда MLOps.

Въпроси за бъдещето

MLOps е разрастваща се област, която изпитва недостиг на компетенции и ще набира скорост в бъдеще. Междувременно е най-добре да надграждате разработките и практиките на DevOps. Основната цел на MLOps е по-ефективното използване на ML моделите за решаване на бизнес проблеми. Но това повдига много въпроси:

• Как да намалим времето за пускане на моделите в производство?
• Как да намалим бюрократичните търкания между екипи с различни компетенции и да увеличим фокуса върху сътрудничеството?
• Как да проследяваме моделите, да управляваме версиите и да организираме ефективен мониторинг?
• Как да създадете наистина кръгъл жизнен цикъл за модерен ML модел?
• Как да стандартизираме процеса на машинно обучение?

Отговорите на тези въпроси до голяма степен ще определят колко бързо MLO ще достигне пълния си потенциал.

Източник: www.habr.com