In u 2018, u cuncettu di MLOps hè apparsu in i circoli prufessiunali è in cunferenze tematiche dedicate à l'IA, chì s'hè impastatu rapidamente in l'industria è si sviluppa avà cum'è una direzzione indipendente. In u futuru, MLOps pò diventà una di e zone più populari in IT. Chì ghjè è ciò chì si manghja ?
Cosa hè MLOps
MLOps (unisce tecnulugii d'apprendimentu automaticu è prucessi è approcci per implementà mudelli sviluppati in prucessi cummerciale) hè un novu modu di cullaburazione trà rapprisentanti di l'imprese, scientisti, matematichi, specialisti in apprendimentu di machine è ingegneri IT quandu creanu sistemi di intelligenza artificiale.
In altre parolle, hè un modu di trasfurmà i metudi è e tecnulugia di l'apprendimentu di a macchina in un strumentu utile per risolve i prublemi di l'affari.
Hè necessariu capisce chì a catena di produtividade principia assai prima di u sviluppu di u mudellu. U so primu passu hè di definisce un prublema cummerciale, una ipotesi nantu à u valore chì pò esse estratti da e dati, è una idea di cummerciale per l'applicà.
U cuncettu stessu di MLOps hè natu cum'è una analogia à u cuncettu di DevOps in relazione à i mudelli è e tecnulugia di l'apprendimentu automaticu. DevOps hè un approcciu à u sviluppu di software chì permette di aumentà a velocità di implementazione di cambiamenti individuali, mantenendu a flessibilità è l'affidabilità utilizendu una quantità di approcci, cumprese u sviluppu cuntinuu, a divisione di funzioni in una quantità di microservizi indipendenti, teste automatizati è implementazione di individui. cambiamenti, monitoraghju di a salute globale, sistema di risposta rapida per fallimenti rilevati, etc.
DevOps hà definitu u ciclu di vita di u software, è a cumunità hà avutu l'idea di applicà a stessa metodulugia à i big data. DataOps hè un tentativu di adattà è espansione a metodulugia tenendu in contu e caratteristiche di almacenà, trasmissione è trasfurmazioni di grande quantità di dati in piattaforme diverse è interoperabili.
Cù l'avventu di una certa massa critica di mudelli di machine learning implementati in i prucessi di cummerciale di l'imprese, una forte similitudine hè stata nutata trà u ciclu di vita di i mudelli matematichi di machine learning è u ciclu di vita di u software. L'unica diffarenza hè chì l'algoritmi di mudelli sò creati cù arnesi è metudi d'apprendimentu di macchina. Dunque, l'idea hè nata naturalmente per applicà è adattà approccii digià cunnisciuti à u sviluppu di software per i mudelli di apprendimentu machine. Cusì, i seguenti fasi chjave ponu esse distinti in u ciculu di vita di i mudelli di apprendimentu machine:
- definisce una idea di cummerciale;
- furmazione mudellu;
- prova è implementazione di u mudellu in u prucessu cummerciale;
- funziunamentu di u mudellu.
Quandu durante u funziunamentu ci hè bisognu di cambià o di ricuperà u mudellu nantu à novi dati, u ciculu principia di novu - u mudellu hè raffinatu, pruvatu, è una nova versione hè implementata.
Ritirata. Perchè ricuperà è micca ricuperà? U terminu "retraining di mudellu" hà un doppiu significatu: trà l'esperti significa un difettu di mudellu, quandu u mudellu predice bè, in realtà ripete u paràmetru previstu nantu à u gruppu di furmazione, ma rende assai peggiu nantu à a mostra di dati esterni. Naturalmente, un tali mudellu hè un difettu, postu chì stu difettu ùn permette micca u so usu.
In questu ciclu di vita, pare logicu di utilizà l'arnesi DevOps: teste automatizati, implementazione è monitoraghju, cuncepimentu di calculi di mudelli in forma di microservizi separati. Ma ci sò ancu una quantità di funziunalità chì impediscenu l'usu direttu di sti strumenti senza vincolante ML supplementu.
Cumu fà mudelli di travaglià è esse prufittu
Cum'è un esempiu in quale avemu da dimustrà l'usu di l'approcciu MLOps, piglià u compitu classicu di robotizà un supportu di chat per un pruduttu bancariu (o qualsiasi altru). Di genere, un prucessu di cummerciale di supportu di chat s'assumiglia cusì: un cliente entra in un missaghju cù una quistione in un chat è riceve una risposta da un specialista in un arbre di dialogu predefinitu. U compitu di l'automatizazione di un tali chat hè di solitu risolta utilizendu setti di regule definite da esperti, chì sò assai intensivi di travagliu per sviluppà è mantene. L'efficienza di tali automatizazione, secondu u livellu di cumplessità di u compitu, pò esse 20-30%. Naturalmente, nasce l'idea chì hè più prufittuosa per implementà un modulu di intelligenza artificiale - un mudellu sviluppatu cù l'apprendimentu automaticu, chì:
- hè capaci di processà un gran numaru di dumande senza participazione di l'operatore (secondu u tema, in certi casi l'efficienza pò ghjunghje à 70-80%);
- s'adatta megliu à a parolla non standard in u dialogu - hè capaci di determinà l'intenzione, u veru desideriu di l'utilizatore basatu nantu à una dumanda micca chjaramente formulata;
- sà quantu à determinà quandu a risposta di u mudellu hè adattatu, è quandu ci sò dubbii nantu à a "cususcenza" di sta risposta è avete bisognu di dumandà una dumanda di clarificazione supplementaria o cambià à l'operatore;
- pò esse riqualificati automaticamente (invece di un gruppu di sviluppatori chì si adattanu è curreghjenu sempre i scenarii di risposta, u mudellu hè ricuperatu da un Data Scientist utilizendu e librerie di apprendimentu automaticu appropritate).
Cumu fà u travagliu di un mudellu cusì avanzatu?
Cum'è per risolve qualsiasi altru prublema, prima di sviluppà un tali modulu, hè necessariu di definisce un prucessu cummerciale è discrive formalmente u compitu specificu chì risolveremu cù u metudu di l'apprendimentu machine. À questu puntu, u prucessu di uperazione, designatu da l'acronimu Ops, principia.
U prossimu passu hè chì u Data Scientist, in cullaburazione cù u Data Engineer, verifica a dispunibilità è a sufficienza di e dati è l'ipotesi di l'affari nantu à a viabilità di l'idea cummerciale, sviluppendu un mudellu prototipu è pruvà a so efficacità attuale. Solu dopu a cunferma da l'affari, a transizione da u sviluppu di un mudellu à l'integrazione in sistemi chì realizanu un prucessu di cummerciale specificu pò principià. A pianificazione di implementazione end-to-end, una cunniscenza prufonda in ogni tappa di cumu u mudellu serà utilizatu è quale effettu ecunomicu hà da purtà, hè un puntu fundamentale in i prucessi di introduzione di approcci MLOps in u paisaghju tecnologicu di a cumpagnia.
Cù u sviluppu di e tecnulugii AI, u numeru è a varietà di prublemi chì ponu esse risolti cù l'apprendimentu automaticu aumentanu in modu esponenziale. Ogni tali prucessu di cummerciale hè un risparmiu per l'impresa per via di l'automatizazione di u travagliu di l'impiegati in pusizioni di massa (call center, verificazione è classificazione di documenti, etc.), hè una espansione di a basa di clientella aghjunghjendu novi funzioni attraenti è convenienti. , hè risparmià soldi per via ottimali di u so usu è ridistribuzione di risorse è assai più. In ultimamente, ogni prucessu hè focu annantu à a creazione di valore è, per quessa, deve purtà un certu effettu ecunomicu. Quì hè assai impurtante di furmulà chjaramente l'idea di cummerciale è calculà u prufittu previstu da implementà u mudellu in a struttura generale di creazione di valore di a cumpagnia. Ci sò situazioni quandu l'implementazione di un mudellu ùn hè micca ghjustificatu, è u tempu passatu da i specialisti di l'apprendimentu di a macchina hè assai più caru cà u locu di travagliu di l'operatore chì eseguisce stu compitu. Hè per quessa hè necessariu di pruvà à identificà tali casi in i primi fasi di creazione di sistemi AI.
In cunseguenza, i mudelli cumincianu à purtà un prufittu solu quandu u compitu cummerciale hè statu formulatu currettamente in u prucessu MLOps, e priorità sò state stabilite, è u prucessu di introduzzione di u mudellu in u sistema hè statu formulatu in i primi fasi di sviluppu.
Novu prucessu - novi sfide
Una risposta cumpleta à a quistione fundamentale di l'affari nantu à cumu sò i mudelli ML applicabili per risolve i prublemi, u prublema generale di fiducia in l'IA hè una di e sfide chjave in u prucessu di sviluppu è implementazione di approcci MLOps. Inizialmente, l'imprese sò scettichi nantu à l'intruduzioni di l'apprendimentu di a macchina in i prucessi - hè difficiule di s'appoghjanu à mudelli in i posti induve prima, in regula, a ghjente hà travagliatu. Per l'affari, i prugrammi parenu esse una "scatola nera", a pertinenza di quale deve esse pruvata. Inoltre, in i banche, in l'affari di l'operatori di telecomunicazioni è altri, ci sò strette esigenze di regulatori di u guvernu. Tutti i sistemi è l'algoritmi chì sò implementati in i prucessi bancari sò sottumessi à auditu. Per risolve stu prublema, per pruvà à l'imprese è i regulatori a validità è a correttezza di e risposte di l'intelligenza artificiale, l'arnesi di surviglianza sò intrudutti cù u mudellu. Inoltre, ci hè una prucedura di validazione indipendente, ubligatoria per i mudelli regulatori, chì risponde à i requisiti di a Banca Centrale. Un gruppu di esperti indipendenti verifica i risultati ottenuti da u mudellu tenendu in contu i dati di input.
A seconda sfida hè di valutà è di piglià in contu i risichi di mudelli quandu implementanu un mudellu d'apprendimentu machine. Ancu s'è una persona ùn pò micca risponde à a quistione cù centu per centu di certezza chì u stessu vestitu era biancu o turchinu, allora l'intelligenza artificiale hà ancu u dirittu di fà un sbagliu. Hè ancu vale a pena cunsiderà chì e dati pò cambià cù u tempu, è i mudelli anu bisognu di ricuperà per pruduce un risultatu abbastanza precisu. Per assicurà chì u prucessu di l'affari ùn soffre micca, hè necessariu di gestisce i risichi di u mudellu è di seguità u rendiment di u mudellu, ricuperendu regularmente nantu à novi dati.
Ma dopu à a prima tappa di sfiducia, l'effettu oppostu principia à cumparisce. Più mudelli sò implementati cù successu in i prucessi, più cresce l'appetite di l'affari per l'usu di l'intelligenza artificiale - si trovanu prublemi novi è novi chì ponu esse risolti cù metudi d'apprendimentu machine. Ogni compitu attiva un prucessu tutale chì richiede certe cumpetenze:
- l'ingegneri di dati preparanu è processanu e dati;
- i scientisti di dati utilizanu strumenti d'apprendimentu di macchina è sviluppanu un mudellu;
- IT implementa u mudellu in u sistema;
- L'ingegnere ML determina a manera di integrà currettamente stu mudellu in u prucessu, quale l'arnesi IT à aduprà, sicondu i bisogni di u modu di applicazione di u mudellu, tenendu in contu u flussu di richieste, u tempu di risposta, etc.
- Un architettu ML cuncepisce cumu un pruduttu software pò esse implementatu fisicamente in un sistema industriale.
U ciclu tutale richiede un gran numaru di specialisti altamente qualificati. À un certu puntu in u sviluppu è u gradu di penetrazione di mudelli ML in i prucessi di l'affari, risulta chì a scala lineale di u numeru di specialisti in proporzione à l'aumentu di u numeru di tarei diventa caru è inefficace. Per quessa, a quistione di l'automatizazione di u prucessu MLOps - definisce parechje classi standard di prublemi di apprendimentu machine, sviluppendu pipeline standard di trasfurmazioni di dati è furmazione supplementu di mudelli. In una stampa ideale, risolve tali prublemi richiede prufessiunali chì sò ugualmente competenti in cumpetenze à l'intersezzione di Big Data, Data Science, DevOps è IT. Dunque, u prublema più grande in l'industria di a Scienza di Dati è u più grande sfida in l'urganizazione di prucessi MLOps hè a mancanza di tali cumpetenza in u mercatu di furmazione esistenti. Specialists chì risponde à sti esigenze sò oghji raru nant'à u mercatu di u travagliu è valenu u so pesu in oru.
In u tema di e cumpetenze
In teoria, tutti i travaglii MLOps ponu esse risolti utilizendu strumenti DevOps classici è senza ricorrere à una estensione specializata di u mudellu di rolu. Allora, cum'è avemu nutatu sopra, un scientist di dati deve esse micca solu un matematicu è un analista di dati, ma ancu un guru di tuttu u pipeline - hè rispunsevule per u sviluppu di l'architettura, i mudelli di prugrammazione in parechje lingue secondu l'architettura, a preparazione. un data mart è implementà l'applicazione stessa. Tuttavia, a creazione di u quadru tecnologicu implementatu in u prucessu MLOps end-to-end pigghia sin'à 80% di i costi di u travagliu, chì significa chì un matematicu qualificatu, chì hè un Data Scientist di qualità, dedicà solu 20% di u so tempu à a so specialità. . Dunque, delineà i roli di i specialisti implicati in u prucessu di implementazione di mudelli di apprendimentu automaticu diventa vitale.
Quantu dettagliati i roli devenu esse delineati dipende da a dimensione di l'impresa. Hè una cosa quandu una startup hà un specialistu, un travagliadore duru in a riserva di energia, chì hè u so propiu ingegnere, architettu è DevOps. Hè una materia completamente diversa quandu, in una grande impresa, tutti i prucessi di sviluppu di mudelli sò cuncentrati nantu à uni pochi di specialisti di Data Science d'altu livellu, mentre chì un programatore o specialista di basa di dati - una cumpetenza più cumuna è menu caru in u mercatu di u travagliu - pò piglià nantu à a maiò parte di u travagliu, travaglii di rutina.
Cusì, a rapidità è a qualità di i mudelli sviluppati, a produtividade di a squadra è u microclima in questu dipende direttamente da induve si trova u cunfini in a selezzione di specialisti per sustene u prucessu MLOps è cumu hè urganizatu u prucessu di operazione di i mudelli sviluppati. .
Ciò chì a nostra squadra hà digià fattu
Recentemente avemu cuminciatu à custruisce una struttura di cumpetenze è prucessi MLOps. Ma i nostri prughjetti nantu à a gestione di u ciclu di vita di u mudellu è nantu à l'usu di mudelli cum'è serviziu sò digià in u stadiu di teste MVP.
Avemu ancu determinatu a struttura di cumpetenza ottima per una grande impresa è a struttura organizzativa di interazzione trà tutti i participanti in u prucessu. E squadre agili sò state urganizate per risolve i prublemi per tutta a gamma di i clienti di l'affari, è hè statu stabilitu un prucessu d'interazzione cù e squadre di prughjettu per creà piattaforme è infrastruttura, chì hè u fundamentu di l'edificiu MLOps in costruzione.
Dumande per u futuru
MLOps hè una zona in crescita chì hà una carenza di cumpetenze è guadagnà impulsu in u futuru. Intantu, hè megliu di custruisce nantu à i sviluppi è e pratiche DevOps. L'obiettivu principale di MLOps hè di utilizà mudelli ML in modu più efficace per risolve i prublemi di l'affari. Ma questu suscite parechje dumande:
- Cumu riduce u tempu per lancià mudelli in pruduzzione?
- Cumu riduce l'attrito burocraticu trà squadre di diverse cumpetenze è aumentà l'enfasi di a cooperazione ?
- Cumu seguità mudelli, gestisce e versioni è urganizà un monitoraghju efficace?
- Cumu creà un ciclu di vita veramente circular per un mudellu ML mudernu?
- Cumu standardizà u prucessu di apprendimentu di a macchina?
E risposte à queste dumande determinaranu largamente quantu rapidamente MLOps ghjunghjeranu u so pienu potenziale.
Source: www.habr.com