MLOps: DevOps masinõppe maailmas

2018. aastal ilmus MLOpsi mõiste professionaalsete ringide ja AI-teemaliste konverentside seas, mis kiiresti kinnistus valdkonnas ja areneb nüüd iseseisva suunana. Tulevikus võib MLOps saada üheks kõige nõutumaks valdkonnaks IT-s. Mis see täpselt on ja kuidas seda kasutada, saame teada järgnevalt.

Mis on MLOps

MLOps (masinõppe tehnoloogiate ja protsesside ning välja töötatud mudelite rakendamise lähenemiste ühendamine ettevõtte äriprotsessidesse) on uus koostööviis ettevõtete esindajate, teadlaste, matemaatikute, masinõppe spetsialistide ja IT-inseneride vahel kunstliku intelligentsuse süsteemide loomisel.

Teisisõnu, see on viis, kuidas muuta masinõppe meetodid ja tehnoloogiad tõhusaks tööriistaks äriprobleemide lahendamiseks. 

On oluline mõista, et tootmise ahel algab kaua enne mudeli väljatöötamist. Selle esimene samm on äriküsimuse määratlemine, hüpoteese väärtuse kohta, mida andmetest välja tuua, ja äriidee selle rakendamiseks. 

MLOpsi mõiste tekkis analoogiana DevOpsi mõistele masinõppe mudelite ja tehnoloogiate rakendamise kontekstis. DevOps on tarkvaraarenduse lähenemine, mis võimaldab suurendada eraldiseisvate muudatuste rakendamise kiirus, säilitades samal ajal paindlikkuse ja usaldusväärsuse, kasutades mitmeid lähenemisi, sealhulgas pidev arendus, funktsioonide jagamine sõltumatuteks mikroteenusteks, automatiseeritud testimine ja eraldi muudatuste rakendamine, globaalne töö monitorimine, süsteem kiiresti reageerimiseks tuvastatud probleemidele jne. 

DevOps määratles tarkvara elutsükli ja spetsialistide seas tekkis idee kasutada sama metoodikat suurte andmete kontekstis. DataOps — katse kohandada ja laiendada metoodikat, arvestades suurte andmemahtude hoidmise, edastamise ja töötlemise eripärasid erinevates ja omavahel seotud platvormides.
  
Teatud kriitilise massi masinõppe mudelite, mis on juurutatud ärihaldusprotsessidesse, ilmnemisel on märgata tugevat sarnasust masinõppe matemaatiliste mudelite elutsükli ja tarkvara elutsükli vahel. Erinevus seisneb vaid selles, et mudelite algoritmid luuakse masinõppe tööriistade ja meetodite abil. Seetõttu tekkis loomulikult idee rakendada ja kohandada juba tuntud tarkvaraarenduse lähenemisviise masinõppe mudelite jaoks. Seega saab masinõppe mudelite elutsüklist välja tuua järgmised põhietapid:

• äriidee määratlemine;
• mudeli koolitamine;
• mudeli testimine ja juurutamine äriprotsessi;
• mudeli kasutamine.

Kui kasutamise käigus tekib vajadus mudelit uute andmete alusel muuta või uuesti koolitada, käivitub tsükkel uuesti — mudelit täiustatakse, testitakse ja juurutatakse uus versioon.

Kaldkiri. Miks uuesti koolitada, mitte üle koolitada? Mõisted "mudeli üle koolitamine" on kaheastmelised: spetsialistide seas tähendab see mudeli defekti, kui mudel ennustab hästi, kordab tegelikult ette ennustatavat parameetrit koolitusseltskonnas, kuid töötab väliste andmete valimil palju halvemini. Loomulikult on selline mudel defektne, kuna selline viga ei võimalda seda rakendada.

Selles elutsüklis näib loogiline kasutada DevOps-tööriistu: automatiseeritud testimine, juurutamine ja jälgimine, mudelite arvutuste vormistamine eraldi mikroteenustena. Kuid on ka mitmeid eripära, mis takistavad nende tööriistade otsest rakendamist ilma täiendava ML-ühendita.

Kuidas panna mudelid tööle ja kasumit tooma

Näiteks, mille abil demonstreerime MLOpsi lähenemise rakendamist, võtame klassikalise ülesande panga (või mõne muu) toote tugichati automatiseerimise. Tüüpiliselt näeb tugiprotsess välja järgmiselt: klient saadab chat'is sõnumi küsimusega ja saab vastuse spetsialistilt eelnevalt määratud dialoogipuus. Sellise chati automatiseerimise ülesanne lahendatakse tavaliselt ekspertide määratud reeglite kogumitega, mille arendamine ja hooldamine on äärmiselt töömahukas. Sellise automatiseerimise efektiivsus, sõltuvalt ülesande keerukusest, võib ulatuda 20–30%ni. Loomulikult tekib idee, et kasulikum on rakendada tehisintellekti moodulit – mudelit, mis on välja töötatud masinõppe abil, mis:

• on võimeline töötlema suuremat hulka päringuid ilma operaatori abita (teema sõltuvalt võib efektiivsus mõnel juhul ulatuda 70–80%ni);
• paremini kohandub mittestandardsete sõnastustega dialoogis – suudab määrata kavatsuse, kasutaja tegeliku soovi ebatäpselt formuleeritud päringu põhjal;
• oskab määrata, millal mudeli vastus on asjakohane ja millal on selle vastuse "teadlikkuses" kahtlusi ning on vajalik esitada täiendav täpsustav küsimus või suunata juhtum operaatorile;
• seda saab automaatselt edasi koolitada (arendajate grupi asemel, kes pidevalt kohandavad ja parandavad vastuste stsenaariume, koolitab mudelit edasi Data Science'i spetsialist, kasutades vastavaid masinõppe raamatukogusid). 

Kuidas panna selline arenenud mudel tööle? 

Nagu mis tahes muu ülesande lahendamisel, tuleb enne sellise mooduli arendamist määratleda äriprotsess ja formaalselt kirja panna konkreetne ülesanne, mida me lahendame masinõppe meetodi rakendamisega. Just siin algab operatsioonide operacionaliseerimise protsess, mida tähistab lühend Ops. 

Järgmine samm on andeteaduse spetsialisti ja andengineeri koostöö, et kontrollida, kas andmed ja äriplaanid on piisavad ja kas äriidee töötab, arendades mudeli prototüüpi ja testides selle tegelikku efektiivsust. Ainult pärast äripoolt kinnitust võib alata üleminek mudeli arendamiselt selle integreerimisele süsteemidesse, mis täidavad konkreetseid äriprotsesse. Terve protsessi läbi mõeldud rakendamine, sügavam arusaam igast etapist, kuidas mudelit kasutatakse ja milline majanduslik mõju see toob, on MLOpsi lähenemisviiside rakendamise hädavajalik aspekt ettevõtte tehnoloogilises maastikus.

Tehnoloogia arengu tõttu AI valdkonnas suureneb plahvatuslikult ülesannete arv ja mitmekesisus, mida saab lahendada masinõppe abil. Iga selline äri protsess tähendab ettevõtte jaoks tööjõu automatiseerimist madalamate taseme ametikohtade (klienditeenindus, dokumentide kontrollimine ja sorteerimine jne) kaudu, see toob kaasa kliendibaasi laienemise uute atraktiivsete ja mugavate funktsioonide lisamisega, samuti rahaliste vahendite säästmisest optimaalsete kasutusviiside tõttu ja ressursside ümberjaotamisest. Lõppkokkuvõttes on iga protsessi eesmärk luua väärtust ja, seega, see peab tooma kindla majandusliku efekti. Siin on äärmiselt oluline selgelt sõnastada äridee ja arvutada mudeli rakendamise eeldatav kasum kogu ettevõtte väärtuse loomise struktuuris. On olukordi, kus mudeli rakendamine ei õigusta end, ja masinõppe spetsialistide kulutatud aeg on palju kallim kui operaatori palk, kes seda ülesannet täidab. Seetõttu on neid olukordi oluline tuvastada AI süsteemide arendamise varastele etappidele.

Seega hakkab mudel kasumit teenima ainult siis, kui MLOpsi protsessi käigus on õigesti sõnastatud äriküsimus, prioriteedid on paika pandud ja varases arendusetapis on sõnastatud mudeli rakendamise protsess süsteemis.

Uus protsess – uued väljakutsed

Üksikasjalik vastus äri põhiprobleemile, kui rakendatavad on ML-mudelid ülesannete lahendamiseks, ja usaldusväärsuse küsimus AI suhtes — see on üks peamisi väljakutseid MLOpsi lähenemisviiside arendamise ja rakendamise käigus. Äri suhtub esialgu masinõppe rakendamisse skepsisega — on keeruline toetuda mudelitele valdkondades, kus varem töötasid tavaliselt inimesed. Äri jaoks on programmid nagu „must kast”, mille vastuste asjakohasust tuleb veel tõestada. Lisaks on panganduses, telekommunikatsiooniettevõtetes ja muudes valdkondades rangelt reguleeritud nõuded. Kõikidesse süsteemidesse ja algoritmidesse, mis on rakendatud pangaprotsessidesse, kohaldatakse auditi. Probleemi lahendamiseks, et tõestada ärile ja reguleerivatele asutustele tehisintellekti vastuste põhjendatust ja täpsust, rakendatakse koos mudeliga ka jälgimisvahendeid. Lisaks on iseseisva valideerimise protseduur, mis on kohustuslik reguleerivatele mudelitele ja vastab keskpanga nõuetele. Iseseisev ekspertgrupp viib läbi auditi tulemuste kohta, mis mudel on saanud sisendite alusel.

Teine väljakutse on mudeliriskide hindamine ja arvestamine masinõppemudeli rakendamisel. Kui isegi inimene ei saa sajaprotsendilise Kindlusega öelda, kas see kleit oli valge või sinine, siis on ka tehisintellektil õigus eksida. Samuti tuleb arvestada, et andmed võivad aja jooksul muutuda ja mudelid peavad uuesti õppima, et anda piisavalt täpseid tulemusi. Et äri protsess ei kannataks, on oluline juhtida mudeliriske ja jälgida mudeli tööd, koolitades seda regulaarselt uute andmetega.

Kuid pärast esimest usaldamatuse etappi ilmnevad vastupidised effekid. Mida rohkem mudeleid edukalt rakendatakse protsessidesse, seda suurem on äri isu tehisintellekti kasutamiseks — leitakse uusi ja uusi ülesandeid, mida saab lahendada masinõppe meetoditega. Iga ülesanne käivitab terve protsessi, mis nõuab erinevaid pädevusi:

• andmeinsenerid valmistavad ja töötlevad andmeid;
• andmete teadlased rakendavad masinõppe tööriistu ja arendavad mudelit;
• IT rakendab mudelit süsteemi;
• ML-insener määratleb, kuidas see mudel õigesti protsessi integreerida, milliseid IT- tööriistu kasutada sõltuvalt mudeli rakendamise nõudmistest, arvestades pöördumiste voogu, vastusaega jne. 
• ML-arhitekt projekteerib, kuidas füüsiliselt tarkvaratoote rakendada tööstussüsteemis.

Kogu tsükkel nõuab suurt hulka kõrgelt kvalifitseeritud spetsialiste. Teatud arengu ja ML-mudelite äriprotsessidesse tungimise astmes selgub, et spetsialistide arvu lineaarselt kasvatamine ülesannete arvu suurenemisega muutub kalliks ja ebaefektiivseks. Seetõttu tekib küsimus MLOpsi protsessi automatiseerimisest – standardsete masinõppeülesannete määratlemine, tüüpiliste andmetöötlus- ja mudeli täiendamise voogude arendamine. Ideaalsetes tingimustes, et neid ülesandeid lahendada, on vaja spetsialiste, kes valdavad kompetentse BigData, Data Science, DevOpsi ja IT vahel. Seetõttu on suurim probleem Data Science'i valdkonnas ja suurim väljakutse MLOpsi protsesside korraldamisel – selliste kompetentside puudumine praegusel tööturul. Spetsialiste, kes vastavad nendele nõuetele, on praegu tööturul üksikud ning neid hinnatakse kuldaväärt.

Kompetentside küsimus

Teoorias on kõik MLOpsi ülesanded võimalikud lahendada klassikaliste DevOpsi tööriistade abil, ilma et oleks vaja spetsialiseeritud rollide mudeli laiendamist. Nagu me juba eespool mainisime, peab andmete teadlane olema mitte ainult matemaatik ja andmeanalüüsi ekspert, vaid ka kogu voograja guru – tema õlule lasub arhitektuuri väljatöötamine, mudelite programmeerimine mitmesugustes keeltes sõltuvalt arhitektuurist, andmete vitriini ettevalmistamine ja rakenduse ülesseade. Siiski, tehnoloogia side loomine, mis rakendub katkematus MLOpsi protsessis, nõuab kuni 80% tööjõust, mis tähendab, et kvalifitseeritud matemaatik, kelleks on kvaliteetne andmete teadlane, pühendab oma erialale vaid 20% ajast. Seega muutub spetsialistide rollide eristamine, kes viivad ellu masinõppe mudelite rakendamise protsessi, hädavajalikuks. 

Rohade jagamine sõltub ettevõtte suurusest. Üks asi on see, kui idufirmas on üks spetsialist, energiat täis töötaja, kes on nii insener, arhitekt kui ka DevOps. Täiesti teine asi on see, kui suures ettevõttes on kõik mudelite arendamise protsessid koondatud mõne kõrge tasemega andmeteadlase kätte, samas kui programmeerija või andmebaasi spetsialist – tööjõuturul laialdasem ja odavam oskusteave – võib võtta endale suure osa rutiinsetest ülesannetest.

Seega sõltub see, kus täpselt jooned spetsialistide valikul MLOpsi protsessi tagamiseks ja kuidas on korraldatud arendatud mudelite operacionaliseerimise protsess, otseselt arendatavate mudelite kiirusest ja kvaliteedist, meeskonna tootlikkusest ja selle mikroklimatist.

Mida on meie meeskond juba praegu saavutanud

Me alustasime mitte nii kaua aega tagasi kompetentsistruktuuride ja MLOpsi protsesside loomist. Kuid juba praegu on katsetamisel meie projektid mudelite elutsükli haldamise ja mudelite kasutamise teenusena.

Samuti oleme määratlenud optimaalse kompetentsistruktuuri ja organisatsioonilise struktuuri, mis hõlmab kõiki protsessis osalejaid suures ettevõttes. Oleme korraldanud Agile-meeskonnad, kes lahendavad ülesandeid kogu äriklientide spektrile ning kehtestanud suhtlemise protsessi projektimeeskondadega platvormide ja infrastruktuuri loomiseks, mis on aluseks MLOpsi rajamisele.

Küsimused tulevikuks

MLOps on arenev valdkond, millel on puudus kompetentsidest ja tulevikus kasvab nõudlus. Praegu on kõige parem tugineda DevOps'i saavutustele ja praktikatele. MLOpsi peamine eesmärk on kasutada masinõppe mudeleid tõhusamalt äriülesannete lahendamiseks. Kuid sellega seoses kerkib esile palju küsimusi:

• Kuidas vähendada mudelite tootmisse viimise aega?
• Kuidas vähendada bürokraatlikke takistusi erinevate kompetentside meeskondade vahel ja suurendada koostööle suunatust?
• Kuidas jälgida mudeleid, hallata versioone ja korraldada tõhusat jälgimist?
• Kuidas luua tõeliselt tsükliline elutsükkel tänapäeva ML mudelite jaoks?
• Kuidas standardiseerida masinõppe protsess?

Nendel, kuidas need küsimused vastatakse, sõltub, kui kiiresti MLOps oma potentsiaali täielikult avaldab.

Allikas: habr.com