Xyoo 2018, lub tswv yim ntawm MLOps tau tshwm sim hauv cov voj voog kev tshaj lij thiab ntawm cov rooj sib tham thematic mob siab rau AI, uas tau tuav sai sai hauv kev lag luam thiab tam sim no tab tom txhim kho raws li kev coj ncaj ncees. Yav tom ntej, MLOps yuav dhau los ua ib qho chaw nrov tshaj plaws hauv IT. Nws yog dab tsi thiab nws noj nrog dab tsi? Cia peb kawm hauv qab no.
MLOps yog dab tsi
MLOps (combining machine learning technologies and processes and approaches to implementing develop model into business processes) yog ib txoj hauv kev tshiab ntawm kev sib koom tes ntawm cov neeg sawv cev ua lag luam, kws tshawb fawb, lej, kws paub txog tshuab thiab IT engineers thaum tsim cov tshuab txawj ntse.
Hauv lwm lo lus, nws yog ib txoj hauv kev tig lub tshuab kev kawm thiab cov thev naus laus zis rau hauv cov cuab yeej muaj txiaj ntsig rau kev daws teeb meem kev lag luam.
Nws yog ib qho tsim nyog kom nkag siab tias cov saw hlau ntawm cov khoom tsim tau pib ntev ua ntej kev loj hlob ntawm tus qauv. Nws thawj kauj ruam yog txhawm rau txheeb xyuas qhov teeb meem kev lag luam, kev xav txog tus nqi uas tuaj yeem muab rho tawm los ntawm cov ntaub ntawv, thiab lub tswv yim ua lag luam rau kev siv nws.
Lub tswv yim ntawm MLOps tau tshwm sim los ua ib qho piv txwv rau lub tswv yim ntawm DevOps nyob rau hauv kev cuam tshuam rau cov qauv kev kawm tshuab thiab thev naus laus zis. DevOps yog ib txoj hauv kev rau kev txhim kho software uas tso cai rau koj los ua kom qhov nrawm ntawm kev siv cov kev hloov pauv ntawm tus kheej thaum tswj kev yoog raws thiab kev ntseeg siab siv ntau txoj hauv kev, suav nrog kev txhim kho txuas ntxiv, faib cov dej num rau hauv ntau lub microservices ywj pheej, kev sim thiab kev xa tawm ntawm tus kheej. kev hloov pauv, kev saib xyuas kev noj qab haus huv thoob ntiaj teb, kev teb sai sai rau kev kuaj pom qhov ua tsis tiav, thiab lwm yam.
DevOps tau txhais cov software lifecycle, thiab cov zej zog tau los nrog lub tswv yim ntawm kev siv tib txoj kev rau cov ntaub ntawv loj. DataOps yog ib qho kev sim hloov thiab nthuav cov txheej txheem coj mus rau hauv tus account cov yam ntxwv ntawm kev khaws cia, xa tawm thiab ua cov ntaub ntawv ntau hauv ntau hom kev sib txawv thiab sib koom ua haujlwm.
Nrog rau qhov tshwm sim ntawm qee qhov tseem ceeb ntawm cov qauv kev kawm tshuab tau siv hauv cov txheej txheem kev lag luam ntawm kev lag luam, qhov zoo sib xws tau pom ntawm lub neej voj voog ntawm cov qauv kev kawm lej thiab software lub neej voj voog. Qhov txawv tsuas yog cov qauv algorithms yog tsim los ntawm kev siv tshuab kev kawm cov cuab yeej thiab cov txheej txheem. Yog li ntawd, lub tswv yim ib txwm tshwm sim los siv thiab hloov kho cov kev paub dhau los rau kev txhim kho software rau cov qauv kev kawm tshuab. Yog li, cov theem tseem ceeb hauv qab no tuaj yeem paub qhov txawv hauv lub neej voj voog ntawm cov qauv kev kawm tshuab:
- txhais lub tswv yim ua lag luam;
- qauv kev cob qhia;
- kev sim thiab kev siv tus qauv rau hauv cov txheej txheem kev lag luam;
- kev ua haujlwm ntawm tus qauv.
Thaum lub sijhawm ua haujlwm yuav tsum tau hloov lossis rov qhia tus qauv ntawm cov ntaub ntawv tshiab, lub voj voog rov pib dua - tus qauv raug kho kom zoo, sim, thiab siv cov qauv tshiab.
Rov qab. Vim li cas retrain thiab tsis retrain? Lo lus "qauv qauv" muaj ob lub ntsiab lus: ntawm cov kws txawj nws txhais tau hais tias tus qauv tsis xws luag, thaum tus qauv kwv yees zoo, tiag tiag rov ua dua qhov kev kwv yees ntawm qhov kev cob qhia, tab sis ua tau zoo dua ntawm cov ntaub ntawv sab nraud. Lawm, tus qauv zoo li no yog qhov tsis xws luag, vim qhov tsis xws luag tsis tso cai rau nws siv.
Nyob rau hauv lub neej voj voog no, nws zoo nkaus li tsim nyog siv DevOps cov cuab yeej: automated testing, deployment and monitoring, designing model calculations in form of cais microservices. Tab sis kuj tseem muaj ntau tus yam ntxwv uas tiv thaiv kev siv ncaj qha ntawm cov cuab yeej no yam tsis muaj ML txuas ntxiv.
Yuav ua li cas ua qauv ua haujlwm thiab muaj txiaj ntsig zoo
Raws li ib qho piv txwv uas peb yuav qhia txog kev siv MLOps mus kom ze, peb yuav ua txoj haujlwm classic ntawm robotizing kev txhawb nqa kev sib tham rau kev lag luam (lossis lwm yam) khoom. Feem ntau, kev sib tham txhawb kev lag luam zoo li no: tus neeg siv khoom nkag mus rau cov lus nrog cov lus nug hauv kev sib tham thiab tau txais cov lus teb los ntawm tus kws tshaj lij hauv kev sib tham ua ntej. Lub luag haujlwm ntawm automating xws li kev sib tham yog feem ntau daws tau siv cov txheej txheem txheej txheem txheej txheem, uas yog siv zog heev los tsim thiab tswj. Kev ua tau zoo ntawm kev ua haujlwm zoo li no, nyob ntawm theem ntawm kev ua haujlwm nyuaj, tuaj yeem yog 20-30%. Lawm, lub tswv yim tshwm sim tias nws muaj txiaj ntsig ntau dua los siv cov kev txawj ntse txawj ntse - tus qauv tsim los siv tshuab kev kawm, uas:
- muaj peev xwm ua tiav ntau qhov kev thov yam tsis muaj tus neeg teb xov tooj koom nrog (nyob ntawm lub ntsiab lus, qee qhov kev ua tau zoo tuaj yeem ncav cuag 70-80%);
- adapts zoo dua rau cov lus tsis yog qauv hauv kev sib tham - muaj peev xwm txiav txim siab lub hom phiaj, qhov kev ntshaw tiag tiag ntawm tus neeg siv raws li kev thov tsis meej meej;
- paub yuav ua li cas txiav txim siab thaum twg tus qauv cov lus teb txaus, thiab thaum muaj kev tsis ntseeg txog "kev paub" ntawm cov lus teb no thiab koj yuav tsum nug cov lus nug kom meej ntxiv lossis hloov mus rau tus neeg teb xov tooj;
- tuaj yeem tau txais kev cob qhia ntxiv lawm (tshwj tsis yog ib pab pawg neeg tsim tawm tas li hloov kho thiab kho cov ntawv teb, tus qauv ntxiv tau raug cob qhia los ntawm Data Science tshwj xeeb siv cov tsev qiv ntawv tsim nyog tshuab kev kawm).
Yuav ua li cas thiaj ua tau zoo li tus qauv ua haujlwm?
Ib yam li kev daws teeb meem lwm yam, ua ntej tsim cov qauv zoo li no, nws yog ib qho tsim nyog los txheeb xyuas cov txheej txheem kev lag luam thiab piav qhia txog cov haujlwm tshwj xeeb uas peb yuav daws tau siv txoj kev kawm tshuab. Nyob rau ntawm lub sijhawm no, cov txheej txheem ntawm kev ua haujlwm, raug xaiv los ntawm lub npe Ops, pib.
Cov kauj ruam tom ntej yog Tus Kws Tshawb Fawb Cov Ntaub Ntawv, koom tes nrog Tus Kws Tshawb Fawb Cov Ntaub Ntawv, tshuaj xyuas qhov muaj thiab txaus ntawm cov ntaub ntawv thiab kev lag luam kev xav txog kev muaj peev xwm ntawm lub tswv yim ua lag luam, tsim cov qauv qauv thiab sim nws cov txiaj ntsig tiag tiag. Tsuas yog tom qab kev pom zoo los ntawm kev lag luam tuaj yeem hloov pauv los ntawm kev tsim qauv rau kev sib koom ua ke rau hauv cov tshuab uas ua tiav cov txheej txheem kev lag luam tshwj xeeb pib. Qhov kawg-rau-kawg kev npaj, kev nkag siab tob ntawm txhua theem ntawm yuav ua li cas tus qauv yuav siv thiab qhov txiaj ntsig ntawm kev lag luam nws yuav ua li cas, yog lub ntsiab lus tseem ceeb hauv cov txheej txheem ntawm kev qhia txog MLOps mus rau hauv lub tuam txhab kev siv tshuab.
Nrog rau kev txhim kho ntawm AI thev naus laus zis, tus lej thiab ntau yam teeb meem uas tuaj yeem daws tau los ntawm kev siv tshuab kev kawm tau nce zuj zus. Txhua txoj kev lag luam no yog kev txuag rau lub tuam txhab vim yog kev ua haujlwm ntawm kev ua haujlwm ntawm cov neeg ua haujlwm loj (hu rau lub chaw, xyuas thiab txheeb xyuas cov ntaub ntawv, thiab lwm yam), nws yog kev nthuav dav ntawm cov neeg siv khoom los ntawm kev ntxiv cov haujlwm tshiab thiab yooj yim, nws yog txuag nyiaj vim kev pom lawv siv thiab rov faib cov peev txheej thiab ntau ntxiv. Thaum kawg, txhua tus txheej txheem yog tsom rau kev tsim kom muaj nuj nqis thiab, vim li ntawd, yuav tsum coj qee yam kev lag luam. Ntawm no nws yog ib qho tseem ceeb heev kom meej meej tsim lub tswv yim ua lag luam thiab xam cov nyiaj tau los ntawm kev siv cov qauv hauv tag nrho cov nqi tsim qauv ntawm lub tuam txhab. Muaj cov xwm txheej thaum kev siv tus qauv tsis pom zoo rau nws tus kheej, thiab lub sijhawm siv los ntawm cov kws tshaj lij kev kawm tshuab yog kim dua li qhov chaw ua haujlwm ntawm tus neeg teb xov tooj ua txoj haujlwm no. Tias yog vim li cas nws thiaj li yuav tsum tau sim txheeb xyuas cov xwm txheej zoo li no nyob rau theem pib ntawm kev tsim AI systems.
Yog li ntawd, cov qauv pib ua kom tau txais txiaj ntsig tsuas yog thaum qhov teeb meem kev lag luam tau raug tsim kom raug hauv MLOps txheej txheem, qhov tseem ceeb tau teeb tsa, thiab cov txheej txheem ntawm kev qhia tus qauv rau hauv cov txheej txheem tau tsim nyob rau hauv cov theem pib ntawm txoj kev loj hlob.
Cov txheej txheem tshiab - kev sib tw tshiab
Cov lus teb zoo rau cov lus nug tseem ceeb ntawm kev lag luam hais txog yuav ua li cas siv ML qauv los daws cov teeb meem, qhov teeb meem dav dav ntawm kev ntseeg siab hauv AI yog ib qho ntawm cov teeb meem tseem ceeb hauv cov txheej txheem tsim thiab siv MLOps txoj hauv kev. Thaum pib, cov lag luam tsis ntseeg txog kev qhia txog kev kawm tshuab rau hauv cov txheej txheem - nws yog ib qho nyuaj rau kev cia siab rau cov qauv hauv cov chaw uas yav tas los, raws li txoj cai, cov neeg ua haujlwm. Rau kev lag luam, cov kev pab cuam zoo li yog "lub thawv dub", qhov tseem ceeb ntawm qhov tseem yuav tsum tau ua pov thawj. Tsis tas li ntawd, hauv tuam txhab nyiaj, hauv kev lag luam ntawm cov neeg siv xov tooj thiab lwm yam, muaj cov kev cai nruj ntawm tsoomfwv cov tswj hwm. Tag nrho cov tshuab thiab algorithms uas tau siv hauv cov txheej txheem hauv tuam txhab nyiaj yuav raug kuaj xyuas. Txhawm rau daws qhov teeb meem no, txhawm rau ua pov thawj rau kev lag luam thiab kev tswj xyuas qhov siv tau thiab qhov tseeb ntawm cov lus teb ntawm kev txawj ntse, kev soj ntsuam cov cuab yeej raug qhia nrog rau cov qauv. Tsis tas li ntawd, muaj kev ywj pheej validation txheej txheem, yuav tsum tau rau cov qauv kev cai, uas ua tau raws li qhov yuav tsum tau ntawm lub Central Bank. Ib pawg kws tshaj lij ywj pheej tshawb xyuas cov txiaj ntsig tau los ntawm tus qauv coj mus rau hauv tus account cov ntaub ntawv nkag.
Qhov kev sib tw thib ob yog kev soj ntsuam thiab ua tib zoo saib cov qauv kev pheej hmoo thaum siv cov qauv kev kawm tshuab. Txawm hais tias ib tug neeg tsis tuaj yeem teb cov lus nug nrog ib puas feem pua ββββqhov tseeb tias tib lub hnav khaub ncaws yog xim dawb lossis xiav, ces kev txawj ntse txawj ntse kuj muaj cai ua yuam kev. Nws tseem tsim nyog xav txog tias cov ntaub ntawv tuaj yeem hloov pauv raws sijhawm, thiab cov qauv yuav tsum tau rov ua dua thiaj li tsim tau qhov tseeb txaus. Txhawm rau kom ntseeg tau tias cov txheej txheem kev lag luam tsis raug kev txom nyem, nws yog ib qho tsim nyog los tswj cov qauv kev pheej hmoo thiab saib xyuas kev ua haujlwm ntawm tus qauv, tsis tu ncua retraining nws ntawm cov ntaub ntawv tshiab.
Tab sis tom qab thawj theem ntawm kev tsis ntseeg, qhov cuam tshuam rov pib tshwm sim. Cov qauv ntau dua tau ua tiav rau hauv cov txheej txheem, ntau qhov kev lag luam kev noj qab haus huv rau kev siv cov kev txawj ntse loj hlob tuaj - pom cov teeb meem tshiab thiab tshiab uas tuaj yeem daws tau los ntawm kev siv tshuab kev kawm. Txhua txoj haujlwm ua rau tag nrho cov txheej txheem uas yuav tsum muaj qee yam kev ua tau zoo:
- cov ntaub ntawv engineers npaj thiab ua cov ntaub ntawv;
- cov kws tshawb fawb cov ntaub ntawv siv cov cuab yeej kawm tshuab thiab tsim cov qauv;
- IT siv tus qauv rau hauv qhov system;
- ML engineer txiav txim siab yuav ua li cas kom raug cov qauv no rau hauv cov txheej txheem, uas IT cov cuab yeej siv, nyob ntawm seb qhov yuav tsum tau ua rau hom kev thov ntawm tus qauv, suav nrog kev khiav ntawm kev thov, lub sijhawm teb, thiab lwm yam.
- Tus ML architect tsim yuav ua li cas cov khoom siv software tuaj yeem siv lub cev hauv kev lag luam.
Tag nrho lub voj voog yuav tsum muaj ntau tus kws tshaj lij uas tsim nyog. Ntawm qee qhov taw tes hauv kev txhim kho thiab qib kev nkag mus ntawm ML qauv rau hauv cov txheej txheem kev lag luam, nws hloov tawm tias linearly scaling tus naj npawb ntawm cov kws tshaj lij hauv kev faib ua feem rau qhov nce ntawm cov haujlwm ua haujlwm kim thiab tsis muaj txiaj ntsig. Yog li ntawd, cov lus nug tshwm sim ntawm automating cov txheej txheem MLOps - txhais tau hais tias ob peb tus qauv ntawm cov chav kawm ntawm cov teeb meem kev kawm tshuab, tsim cov txheej txheem cov ntaub ntawv ua cov kav dej thiab kev cob qhia ntxiv ntawm cov qauv. Hauv daim duab zoo tshaj plaws, kev daws teeb meem zoo li no yuav tsum muaj cov kws tshaj lij uas muaj peev xwm sib npaug ntawm kev sib tshuam ntawm Big Data, Data Science, DevOps thiab IT. Yog li ntawd, qhov teeb meem loj tshaj plaws hauv kev lag luam Data Science thiab qhov kev sib tw loj tshaj plaws hauv kev tsim cov txheej txheem MLOps yog qhov tsis muaj peev xwm ntawm kev ua lag luam uas twb muaj lawm. Cov kws tshaj lij uas ua tau raws li cov cai tam sim no tsis tshua muaj nyob rau hauv kev ua lag luam ua haujlwm thiab tsim nyog lawv qhov hnyav hauv kub.
Ntawm qhov teeb meem ntawm kev txawj ntse
Hauv txoj kev xav, txhua txoj haujlwm MLOps tuaj yeem daws tau los ntawm kev siv cov cuab yeej DevOps classic thiab tsis siv rau qhov tshwj xeeb txuas ntxiv ntawm tus qauv. Tom qab ntawd, raws li peb tau sau tseg saum toj no, tus kws tshawb fawb cov ntaub ntawv yuav tsum tsis yog tsuas yog ib tus lej lej thiab cov kws tshuaj ntsuam xyuas cov ntaub ntawv, tab sis kuj yog ib tus kws tshawb fawb ntawm tag nrho cov kav dej - nws yog lub luag haujlwm rau kev tsim cov qauv tsim, kev tsim qauv hauv ntau hom lus, nyob ntawm seb lub architecture, npaj. data mart thiab xa daim ntawv thov nws tus kheej. Txawm li cas los xij, kev tsim cov txheej txheem thev naus laus zis tau siv nyob rau hauv qhov kawg-rau-kawg MLOps cov txheej txheem yuav siv li 80% ntawm cov nqi zog, uas txhais tau hais tias tus kws ua lej tsim nyog, uas yog Tus Kws Tshawb Fawb Cov Ntaub Ntawv, yuav siv sijhawm li 20% ntawm nws lub sijhawm rau nws qhov tshwj xeeb. . Yog li ntawd, delineating lub luag hauj lwm ntawm cov kws tshwj xeeb koom nyob rau hauv tus txheej txheem ntawm kev siv tshuab kev kawm qauv ua ib qho tseem ceeb heev.
Yuav ua li cas kom meej meej lub luag hauj lwm yuav tsum delineated nyob ntawm qhov loj ntawm lub enterprise. Nws yog ib qho thaum pib muaj ib tus kws tshaj lij, tus neeg ua haujlwm hnyav hauv lub zog cia, uas yog nws tus kheej engineer, kws tsim vaj tsev, thiab DevOps. Nws yog ib qho teeb meem sib txawv kiag li thaum, nyob rau hauv ib lub lag luam loj, tag nrho cov qauv kev txhim kho cov txheej txheem yog tsom rau ob peb theem siab Data Science cov kws tshaj lij, thaum tus programmer lossis tus kws tshaj lij database - qhov muaj peev xwm ntau dua thiab tsis tshua muaj nqi hauv kev ua lag luam - tuaj yeem nqa. feem ntau ntawm kev ua haujlwm.
Yog li, qhov ceev thiab zoo ntawm cov qauv tsim, kev tsim khoom ntawm pab pawg thiab microclimate nyob rau hauv nws ncaj qha nyob ntawm qhov chaw nyob ntawm tus ciam teb ntawm kev xaiv cov kws tshaj lij los txhawb cov txheej txheem MLOps thiab yuav ua li cas cov txheej txheem ntawm kev ua haujlwm ntawm cov qauv tsim tsim. .
Qhov peb pab neeg twb ua lawm
Peb nyuam qhuav pib tsim cov qauv kev muaj peev xwm thiab cov txheej txheem MLOps. Tab sis peb cov haujlwm ntawm cov qauv kev tswj hwm lub neej thiab siv cov qauv ua kev pabcuam twb nyob rau hauv MVP xeem theem.
Peb kuj tau txiav txim siab cov qauv kev ua tau zoo tshaj plaws rau kev lag luam loj thiab cov qauv kev sib koom tes ntawm txhua tus neeg koom nrog hauv cov txheej txheem. Cov pab pawg Agile tau tsim los daws cov teeb meem rau tag nrho cov kev lag luam cov neeg siv khoom, thiab cov txheej txheem ntawm kev sib cuam tshuam nrog cov pab pawg los tsim platforms thiab infrastructure, uas yog lub hauv paus ntawm MLOps lub tsev nyob rau hauv kev tsim kho, tau tsim.
Cov lus nug rau yav tom ntej
MLOps yog thaj chaw loj hlob uas tab tom muaj kev tsis txaus ntawm kev muaj peev xwm thiab yuav tau txais kev txhawb zog yav tom ntej. Nyob rau lub sijhawm no, nws yog qhov zoo tshaj los tsim DevOps kev txhim kho thiab kev coj ua. Lub hom phiaj tseem ceeb ntawm MLOps yog siv cov qauv ML kom zoo dua los daws teeb meem kev lag luam. Tab sis qhov no ua rau ntau cov lus nug:
- Yuav ua li cas txo lub sij hawm tso tawm cov qauv rau hauv ntau lawm?
- Yuav ua li cas kom txo tau qhov kev sib txhuam bureaucratic ntawm pab pawg sib txawv ntawm kev sib tw thiab nce kev tsom mus rau kev koom tes?
- Yuav ua li cas taug qab cov qauv, tswj cov qauv thiab teeb tsa kev saib xyuas zoo?
- Yuav ua li cas los tsim ib tug tiag tiag voj voog lifecycle rau ib tug niaj hnub ML qauv?
- Yuav ua li cas rau tus txheej txheem kev kawm tshuab?
Cov lus teb rau cov lus nug no feem ntau yuav txiav txim siab sai npaum li cas MLOps yuav ncav cuag nws lub peev xwm.
Tau qhov twg los: www.hab.com