У 2018, концепт МЛОпс-а се појавио у стручним круговима и на тематским конференцијама посвећеним АИ, који је брзо заживео у индустрији и сада се развија као самосталан правац. У будућности, МЛОпс може постати једна од најпопуларнијих области у ИТ-у. Шта је то и са чиме се једе, сазнајмо у наставку.
Шта је МЛОпс
МЛОпс (комбиновање технологија машинског учења и процеса и приступа имплементацији развијених модела у пословне процесе) је нови начин сарадње између пословних представника, научника, математичара, стручњака за машинско учење и ИТ инжењера приликом креирања система вештачке интелигенције.
Другим речима, то је начин претварања метода и технологија машинског учења у користан алат за решавање пословних проблема.
Неопходно је схватити да ланац продуктивности почиње много пре развоја модела. Његов први корак је дефинисање пословног проблема, хипотезе о вредности која се може извући из података и пословне идеје за њихову примену.
Сам концепт МЛОпс-а је настао као аналогија концепту ДевОпс-а у односу на моделе и технологије машинског учења. ДевОпс је приступ развоју софтвера који вам омогућава да повећате брзину имплементације појединачних промена уз задржавање флексибилности и поузданости користећи низ приступа, укључујући континуирани развој, поделу функција на већи број независних микросервиса, аутоматизовано тестирање и примену појединачних промене, глобално праћење здравља, систем брзог реаговања на откривене кварове итд.
ДевОпс је дефинисао животни циклус софтвера, а заједница је дошла на идеју да примени исту методологију на велике податке. ДатаОпс је покушај прилагођавања и проширења методологије узимајући у обзир карактеристике складиштења, преноса и обраде великих количина података на различитим и интероперабилним платформама.
Са појавом одређене критичне масе модела машинског учења имплементираних у пословне процесе предузећа, уочена је снажна сличност између животног циклуса модела математичког машинског учења и животног циклуса софтвера. Једина разлика је у томе што се алгоритми модела креирају помоћу алата и метода машинског учења. Стога се природно појавила идеја да се већ познати приступи развоју софтвера примењују и прилагођавају за моделе машинског учења. Дакле, у животном циклусу модела машинског учења могу се разликовати следеће кључне фазе:
- дефинисање пословне идеје;
- обука модела;
- тестирање и имплементација модела у пословни процес;
- рад модела.
Када током рада постоји потреба да се промени или поново обучи модел на новим подацима, циклус почиње поново - модел се дорађује, тестира и поставља нова верзија.
Повлачење. Зашто преквалификација, а не преквалификација? Термин „преобука модела” има двоструко значење: међу стручњацима то значи дефект модела, када модел добро предвиђа, заправо понавља предвиђени параметар на скупу за обуку, али има много лошији учинак на узорку екстерних података. Наравно, такав модел је дефект, јер овај недостатак не дозвољава његову употребу.
У овом животном циклусу, чини се логичним користити ДевОпс алате: аутоматизовано тестирање, имплементацију и праћење, пројектовање прорачуна модела у облику засебних микросервиса. Али постоје и бројне функције које спречавају директну употребу ових алата без додатног МЛ везивања.
Како учинити да модели раде и буду профитабилни
Као пример у коме ћемо демонстрирати употребу МЛОпс приступа, узећемо класични задатак роботизације подршке за ћаскање за банкарски (или било који други) производ. Типично, пословни процес подршке за ћаскање изгледа овако: клијент унесе поруку са питањем у ћаскање и добије одговор од стручњака у оквиру унапред дефинисаног стабла дијалога. Задатак аутоматизације оваквог ћаскања обично се решава коришћењем стручно дефинисаних скупова правила, који су веома напорни за развој и одржавање. Ефикасност такве аутоматизације, у зависности од нивоа сложености задатка, може бити 20–30%. Наравно, намеће се идеја да је исплативије имплементирати модул вештачке интелигенције - модел развијен коришћењем машинског учења, који:
- може да обради већи број захтева без учешћа оператера (у зависности од теме, у неким случајевима ефикасност може да достигне 70–80%);
- боље се прилагођава нестандардним формулацијама у дијалогу – у стању је да одреди намеру, стварну жељу корисника на основу нејасно формулисаног захтева;
- зна да одреди када је одговор модела адекватан, а када постоје сумње у „свесност“ овог одговора и потребно је да поставите додатно питање за појашњење или пређете на оператера;
- може се додатно обучавати аутоматски (уместо да група програмера стално прилагођава и исправља скрипте одговора, модел додатно обучава стручњак за науку података користећи одговарајуће библиотеке машинског учења).
Како учинити да тако напредан модел функционише?
Као и код решавања било ког другог проблема, пре израде оваквог модула потребно је дефинисати пословни процес и формално описати конкретан задатак који ћемо решавати методом машинског учења. У овом тренутку почиње процес операционализације, означен акронимом Опс.
Следећи корак је да Дата Сциентист, у сарадњи са Дата Енгинеером, проверава доступност и довољност података и пословну хипотезу о одрживости пословне идеје, развијајући прототип модела и тестирајући његову стварну ефективност. Тек након потврде од стране предузећа може да почне прелазак са развоја модела на интеграцију у системе који обављају одређени пословни процес. Планирање имплементације од краја до краја, дубоко разумевање у свакој фази како ће се модел користити и какав ће економски ефекат донети, је фундаментална тачка у процесима увођења МЛОпс приступа у технолошки пејзаж компаније.
Са развојем АИ технологија, број и разноврсност проблема који се могу решити коришћењем машинског учења експоненцијално расте. Сваки такав пословни процес је уштеда за компанију због аутоматизације рада масовних запослених (позивни центар, провера и сортирање докумената и сл.), то је проширење базе клијената додавањем нових атрактивних и практичних функција, је уштеда новца због оптималног коришћења и прерасподеле ресурса и још много тога. На крају крајева, сваки процес је усмерен на стварање вредности и као резултат мора донети одређени економски ефекат. Овде је веома важно јасно формулисати пословну идеју и израчунати очекивани профит од имплементације модела у укупну структуру стварања вредности компаније. Постоје ситуације када се имплементација модела не оправдава, а време које троше стручњаци за машинско учење је много скупље од радног места оператера који обавља овај задатак. Зато је неопходно покушати идентификовати такве случајеве у раним фазама стварања АИ система.
Сходно томе, модели почињу да генеришу профит тек када је пословни проблем правилно формулисан у МЛОпс процесу, постављени приоритети и када је процес увођења модела у систем формулисан у раним фазама развоја.
Нови процес - нови изазови
Свеобухватан одговор на основно пословно питање о томе колико су МЛ модели применљиви на решавање проблема, опште питање поверења у вештачку интелигенцију један је од кључних изазова у процесу развоја и имплементације МЛОпс приступа. У почетку, предузећа су скептична према увођењу машинског учења у процесе – тешко је ослонити се на моделе на местима где су раније, по правилу, људи радили. За пословање, програми изгледају као „црна кутија“, чија релевантност тек треба да се докаже. Поред тога, у банкарству, у пословању телеком оператера и других, постоје строги захтеви државних регулатора. Сви системи и алгоритми који се имплементирају у банкарске процесе подлежу ревизији. Да би се решио овај проблем, да би се бизнису и регулаторима доказала валидност и исправност одговора вештачке интелигенције, уз модел се уводе и алати за праћење. Поред тога, постоји независна процедура валидације, обавезна за регулаторне моделе, која испуњава захтјеве Централне банке. Независна експертска група врши ревизију резултата добијених моделом узимајући у обзир улазне податке.
Други изазов је процена и узимање у обзир ризика модела приликом имплементације модела машинског учења. Чак и ако човек не може са стопостотном сигурношћу да одговори на питање да ли је та иста хаљина била бела или плава, онда и вештачка интелигенција има право на грешку. Такође је вредно узети у обзир да се подаци могу променити током времена, а моделе је потребно поново обучити да би се произвео довољно тачан резултат. Да би се осигурало да пословни процес не пати, потребно је управљати ризицима модела и пратити перформансе модела, редовно га обучавати на новим подацима.
Али након прве фазе неповерења почиње да се јавља супротан ефекат. Што се више модела успешно имплементира у процесе, то више расте апетит пословања за коришћење вештачке интелигенције – откривају се нови и нови проблеми који се могу решити методама машинског учења. Сваки задатак покреће читав процес који захтева одређене компетенције:
- инжењери података припремају и обрађују податке;
- научници података користе алате за машинско учење и развијају модел;
- ИТ имплементира модел у систем;
- МЛ инжењер одређује како правилно интегрисати овај модел у процес, које ИТ алате користити, у зависности од захтева за начин примене модела, узимајући у обзир ток захтева, време одговора итд.
- МЛ архитекта дизајнира како се софтверски производ може физички имплементирати у индустријски систем.
Цео циклус захтева велики број висококвалификованих стручњака. У одређеном тренутку развоја и степена продора МЛ модела у пословне процесе, испоставља се да линеарно скалирање броја специјалиста сразмерно повећању броја задатака постаје скупо и неефикасно. Стога се поставља питање аутоматизације МЛОпс процеса – дефинисање неколико стандардних класа проблема машинског учења, развој стандардних цевовода за обраду података и додатна обука модела. У идеалној слици, решавање оваквих проблема захтева професионалце који су подједнако вешти у компетенцијама на раскрсници великих података, науке о подацима, ДевОпс-а и ИТ-а. Стога је највећи проблем у индустрији науке о подацима и највећи изазов у организовању МЛОпс процеса недостатак такве компетенције на постојећем тржишту обуке. Специјалисти који испуњавају ове услове тренутно су ретки на тржишту рада и злата су вредни.
По питању надлежности
У теорији, сви МЛОпс задаци се могу решити коришћењем класичних ДевОпс алата и без прибегавања специјализованом проширењу узора. Затим, као што смо горе напоменули, научник података мора бити не само математичар и аналитичар података, већ и гуру читавог цевовода - одговоран је за развој архитектуре, програмирање модела на неколико језика у зависности од архитектуре, припрему база података и имплементација саме апликације. Међутим, креирање технолошког оквира имплементираног у енд-то-енд МЛОпс процесу узима до 80% трошкова рада, што значи да ће квалификовани математичар, који је квалитетан Дата Сциентист, посветити само 20% свог времена својој специјалности . Стога, разграничење улога стручњака укључених у процес имплементације модела машинског учења постаје витално.
Колико детаљно треба разграничити улоге зависи од величине предузећа. Једна је ствар када стартап има једног стручњака, вредног радника у резерви енергије, који је његов сопствени инжењер, архитекта и ДевОпс. Потпуно је друга ствар када су, у великом предузећу, сви процеси развоја модела концентрисани на неколико стручњака за науку података високог нивоа, док програмер или специјалиста за базе података – уобичајена и јефтинија компетенција на тржишту рада – може да преузме на већини рутинских задатака.
Дакле, брзина и квалитет развијених модела, продуктивност тима и микроклима у њему директно зависе од тога где се налази граница у избору стручњака за подршку МЛОпс процесу и како је организован процес операционализације развијених модела. .
Оно што је наш тим већ урадио
Недавно смо почели да градимо структуру компетенција и МЛОпс процесе. Али наши пројекти о управљању животним циклусом модела и коришћењу модела као услуге су већ у фази МВП тестирања.
Такође смо утврдили оптималну структуру компетенција за велико предузеће и организациону структуру интеракције између свих учесника у процесу. Организовани су агилни тимови за решавање проблема читавог спектра пословних корисника, а успостављен је и процес интеракције са пројектним тимовима на креирању платформи и инфраструктуре, која је темељ зграде МЛОпс у изградњи.
Питања за будућност
МЛОпс је растућа област која доживљава недостатак компетенција и која ће добити замах у будућности. У међувремену, најбоље је градити на развоју и пракси ДевОпс-а. Главни циљ МЛОпс-а је ефикасније коришћење МЛ модела за решавање пословних проблема. Али ово поставља многа питања:
- Како смањити време за пуштање модела у производњу?
- Како смањити бирократска трења између тимова различитих компетенција и повећати фокус на сарадњи?
- Како пратити моделе, управљати верзијама и организовати ефикасан надзор?
- Како креирати истински кружни животни циклус за модеран МЛ модел?
- Како стандардизовати процес машинског учења?
Одговори на ова питања ће у великој мери одредити колико брзо ће МЛОпс достићи свој пуни потенцијал.
Извор: ввв.хабр.цом