Ka selemo sa 2018, mohopolo oa MLOps o ile oa hlaha ka har'a lihlopha tsa litsebi le likopanong tsa sehlooho tse nehetsoeng ho AI, tse ileng tsa tsoela pele ka potlako indastering mme joale e ntse e tsoela pele e le tataiso e ikemetseng. Nakong e tlang, MLOps e kanna ea fetoha se seng sa libaka tse tsebahalang haholo ho IT. Ke eng, 'me e jeoa ka eng?
MLOps ke eng
MLOps (ho kopanya mahlale a ho ithuta ka mochini le lits'ebetso le mekhoa ea ho kenya ts'ebetsong mehlala e ntlafalitsoeng lits'ebetsong tsa khoebo) ke mokhoa o mocha oa tšebelisano lipakeng tsa baemeli ba khoebo, bo-ramahlale, litsebi tsa lipalo, litsebi tsa ho ithuta ka mochini le baenjiniere ba IT ha ba theha lits'ebetso tsa mahlale a maiketsetso.
Ka mantsoe a mang, ke mokhoa oa ho fetola mekhoa le mahlale a ho ithuta ka mochini hore e be sesebelisoa se sebetsang sa ho rarolla mathata a khoebo.
Hoa hlokahala ho utloisisa hore ketane ea tlhahiso e qala nako e telele pele ho nts'etsopele ea mohlala. Mohato oa eona oa pele ke ho hlalosa bothata ba khoebo, khopolo-taba e mabapi le boleng bo ka ntšoang ho data, le khopolo ea khoebo ea ho e sebelisa.
Mohopolo ona oa MLOps o hlahile e le papiso ea mohopolo oa DevOps mabapi le mefuta le mahlale a ho ithuta ka mochini. DevOps ke mokhoa oa ho nts'etsapele software o o lumellang ho eketsa lebelo la ts'ebetsong ea liphetoho tsa motho ka mong ha o ntse o boloka maemo le ts'epahalo o sebelisa mekhoa e mengata, ho kenyeletsoa nts'etsopele e tsoelang pele, karohano ea mesebetsi ho li-microservices tse ikemetseng, tlhahlobo e ikemetseng le phepelo ea motho ka mong. liphetoho, tlhokomelo ea bophelo bo botle ba lefats'e, mokhoa oa ho arabela ka potlako bakeng sa mefokolo e fumanoeng, joalo-joalo.
DevOps e hlalositse bophelo ba software, mme sechaba se hlahisitse mohopolo oa ho sebelisa mokhoa o ts'oanang ho data e kholo. DataOps ke teko ea ho ikamahanya le maemo le ho holisa mokhoa oo ho nahanoang ka likarolo tsa ho boloka, ho fetisa le ho sebetsana le data e ngata ka li-platform tse fapaneng le tse sebelisanang.
Ka ho fihla ha palo e itseng e mahlonoko ea mefuta ea ho ithuta ea mochini e kentsoeng tšebetsong ea likhoebo tsa likhoebo, ho ile ha hlokomeloa ho tšoana ho matla lipakeng tsa potoloho ea bophelo ea modeli ea ho ithuta ka mochini oa lipalo le potoloho ea bophelo ba software. Phapang feela ke hore li-algorithms tsa mohlala li entsoe ka lisebelisoa le mekhoa ea ho ithuta ka mochini. Ka hona, mohopolo o ile oa hlaha oa ho sebelisa le ho ikamahanya le mekhoa e seng e ntse e tsejoa ho nts'etsopele ea software bakeng sa mehlala ea ho ithuta ea mochini. Kahoo, mekhahlelo e latelang ea bohlokoa e ka khetholloa molemong oa bophelo ba mefuta ea ho ithuta ea mochini:
- ho hlalosa mohopolo oa khoebo;
- koetliso ea mohlala;
- tlhahlobo le ts'ebetsong ea mohlala ts'ebetsong ea khoebo;
- ts'ebetso ea mohlala.
Ha nakong ea ts'ebetso ho na le tlhokahalo ea ho fetola kapa ho tsosolosa mohlala ho data e ncha, potoloho e qala hape - mohlala o hloekisoa, o lekoa, 'me phetolelo e ncha e sebelisoa.
Khutla. Ke hobane'ng ha u itloaetsa hape 'me u sa ikoetlise hape? Poleloana "ho koetlisa mohlala" e na le moelelo o habeli: har'a litsebi ho bolela sekoli sa mohlala, ha mohlala o bolela esale pele, ha e le hantle o pheta parameter e boletsoeng esale pele holim'a sete sa koetliso, empa o etsa hobe le ho feta sampuling ea data e ka ntle. Ka tlhaho, mohlala o joalo ke sekoli, kaha sekoli sena ha se lumelle tšebeliso ea sona.
Potoloho ena ea bophelo, ho bonahala ho utloahala ho sebelisa lisebelisoa tsa DevOps: tlhahlobo ea othomathiki, ho tsamaisa le ho beha leihlo, ho rala lipalo tsa mohlala ka mokhoa oa li-microservices tse arohaneng. Empa ho boetse ho na le likarolo tse 'maloa tse thibelang tšebeliso e tobileng ea lisebelisoa tsena ntle le tlamo e eketsehileng ea ML.
Mokhoa oa ho etsa mehlala e sebetsang le ho ba le phaello
E le mohlala oo re tla bonts'a tšebeliso ea mokhoa oa MLOps, re tla nka mosebetsi oa khale oa ho etsa roboto ea tšehetso ea puisano bakeng sa sehlahisoa sa banka (kapa leha e le efe). Ka tloaelo, ts'ebetso ea khoebo ea tšehetso ea puisano e shebahala tjena: moreki o kenya molaetsa ka potso moqoqong mme o fumana karabo ho tsoa ho setsebi ka har'a sefate sa lipuisano se boletsoeng esale pele. Mosebetsi oa ho iketsetsa moqoqo o joalo hangata o rarolloa ho sebelisoa melao e hlalositsoeng ka bokhabane, e hlokang mosebetsi o boima ho e ntlafatsa le ho e boloka. Bokhoni ba ho iketsetsa joalo, ho itšetlehile ka boemo ba ho rarahana ha mosebetsi, e ka ba 20-30%. Ka tlhaho, ho hlaha mohopolo oa hore ho na le molemo o moholo ho kenya tšebetsong mojule oa bohlale ba maiketsetso - mohlala o ntlafalitsoeng ka ho ithuta ka mochini, e leng:
- e khona ho sebetsana le palo e kholoanyane ea likōpo ntle le ho kenya letsoho ha opereishene (ho itšetlehile ka sehlooho, maemong a mang katleho e ka fihla ho 70-80%);
- e ikamahanya hantle le mantsoe a sa tloaelehang moqoqong - o khona ho tseba sepheo, takatso ea 'nete ea mosebelisi e thehiloeng ho kopo e sa etsoang ka ho hlaka;
- o tseba ho tseba hore na karabo ea mohlala e lekane neng, 'me ha ho e-na le lipelaelo ka "tlhokomeliso" ea karabo ena' me u lokela ho botsa potso e eketsehileng ea ho hlakisa kapa ho fetolela ho opareitara;
- e ka koetlisoa ka ho eketsehileng ka mokhoa o ikemetseng (ho e-na le sehlopha sa bahlahisi ba lulang ba ikamahanya le maemo le ho lokisa mangolo a likarabo, mohlala o boetse o koetlisoa ke setsebi sa Data Science se sebelisa lilaebrari tse loketseng tsa ho ithuta mochine).
Mokhoa oa ho etsa mohlala o tsoetseng pele joalo o sebetsa joang?
Joalo ka ho rarolla bothata bofe kapa bofe, pele o theha mojule o joalo, hoa hlokahala ho hlalosa ts'ebetso ea khoebo le ho hlalosa ka molao mosebetsi o ikhethileng oo re tla o rarolla re sebelisa mokhoa oa ho ithuta oa mochini. Mothating ona, ts'ebetso ea ts'ebetso, e khethiloeng ke mantsoe a khutsufalitsoeng ea Ops, e qala.
Mohato o latelang ke hore Data Scientist, ka ts'ebelisano le Moenjiniere oa Boitsebiso, o hlahloba ho fumaneha le ho lekana ha data le khopolo-taba ea khoebo mabapi le ho sebetsa ha mohopolo oa khoebo, ho hlahisa mohlala oa mohlala le ho hlahloba katleho ea eona ea sebele. Ke feela ka mor'a ho netefatsoa ke khoebo moo phetoho ea ho tloha ho nts'etsopele ea mohlala ho e kopanya le mekhoa e etsang mokhoa o itseng oa khoebo e ka qalang. Moralo oa ho qetela oa ts'ebetsong, kutloisiso e tebileng mothating o mong le o mong oa hore na mohlala o tla sebelisoa joang le hore na o tla tlisa phello efe moruong, ke ntlha ea bohlokoa lits'ebetsong tsa ho kenyelletsa mekhoa ea MLOps molemong oa theknoloji ea k'hamphani.
Ka nts'etsopele ea mahlale a AI, palo le mefuta e fapaneng ea mathata a ka rarolloang ka ho ithuta ka mochini e ntse e eketseha ka sekhahla. Ts'ebetso e 'ngoe le e' ngoe e joalo ea khoebo ke poloko bakeng sa k'hamphani ka lebaka la boiketsetso ba basebetsi ba bongata (setsi sa mehala, ho hlahloba le ho hlophisa litokomane, joalo-joalo), ke katoloso ea setsi sa bareki ka ho eketsa mesebetsi e mecha e khahlang le e bonolo. e boloka chelete ka lebaka la tšebeliso e nepahetseng ea bona le kabo bocha ea lisebelisoa le tse ling tse ngata. Qetellong, ts'ebetso leha e le efe e lebisitsoe ho bopeng boleng 'me, ka lebaka leo, e tlameha ho tlisa phello e itseng ea moruo. Mona ho bohlokoa haholo ho theha mohopolo oa khoebo ka ho hlaka le ho bala phaello e lebelletsoeng ho tsoa ho ts'ebetsong ea mohlala ka sebopeho sa kakaretso sa tlhahiso ea boleng ba k'hamphani. Ho na le maemo ha ho kenya ts'ebetsong ea mohlala ho sa iketsetse mabaka, 'me nako e sebelisoang ke litsebi tsa ho ithuta mochine e theko e boima haholo ho feta sebaka sa mosebetsi sa mokhanni ea etsang mosebetsi ona. Ke ka lebaka leo ho hlokahalang ho leka ho khetholla linyeoe tse joalo ka mekhahlelo ea pele ea ho theha mekhoa ea AI.
Ka lebaka leo, mehlala e qala ho hlahisa phaello feela ha bothata ba khoebo bo hlophisitsoe ka nepo ts'ebetsong ea MLOps, lintho tse tlang pele li behiloe, 'me mokhoa oa ho kenyelletsa mohlala ka har'a tsamaiso o entsoe ka mekhahlelo ea pele ea tsoelo-pele.
Ts'ebetso e ncha - mathata a macha
Karabo e felletseng ea potso ea mantlha ea khoebo mabapi le hore na mehlala ea ML e sebetsa joang ho rarolla mathata, taba e akaretsang ea ts'epo ho AI ke e 'ngoe ea liqholotso tsa bohlokoa ts'ebetsong ea ho theha le ho kenya ts'ebetsong mekhoa ea MLOps. Qalong, likhoebo li na le lipelaelo mabapi le kenyelletso ea ho ithuta mochine ka mekhoa - ho thata ho itšetleha ka mehlala libakeng tseo pele, e le molao, batho ba neng ba sebetsa. Bakeng sa khoebo, mananeo a bonahala e le "lebokose le letšo", leo bohlokoa ba lona bo ntseng bo hloka ho pakoa. Ho phaella moo, libanka, khoebong ea basebetsi ba lithelefono le ba bang, ho na le litlhoko tse thata tsa balaoli ba mmuso. Litsamaiso tsohle le li-algorithms tse kengoang ts'ebetsong ea libanka li ka hlahlojoa. Ho rarolla bothata bona, ho paka ho khoebo le balaoli bonnete le ho nepahala ha likarabo tsa bohlale ba maiketsetso, lisebelisoa tsa ho beha leihlo li ntse li hlahisoa hammoho le mohlala. Ho phaella moo, ho na le mokhoa o ikemetseng oa ho netefatsa, o tlamang bakeng sa mehlala ea taolo, e finyellang litlhoko tsa Banka e Bohareng. Sehlopha sa litsebi se ikemetseng se hlahloba liphetho tse fumanoeng ke mohlala ho nahanela lintlha tsa ho kenya.
Phephetso ea bobeli ke ho lekola le ho nahanela likotsi tsa mohlala ha o kenya tšebetsong mohlala oa ho ithuta oa mochini. Esita le haeba motho a ke ke a araba potso ka bonnete ba karolo ea lekholo lekholong hore na moaparo oo o ne o le mosoeu kapa o moputsoa, joale bohlale ba maiketsetso le bona bo na le tokelo ea ho etsa phoso. Hape ke habohlokoa ho nahana hore lintlha li ka fetoha ha nako e ntse e ea, 'me mehlala e hloka ho koetlisoa hape e le hore e hlahise sephetho se nepahetseng ka ho lekaneng. Ho etsa bonnete ba hore ts'ebetso ea khoebo ha e utloe bohloko, hoa hlokahala ho laola likotsi tsa mohlala le ho shebella ts'ebetso ea mohlala, ho e tsosolosa kamehla ho data e ncha.
Empa ka mor'a mohato oa pele oa ho se tšepane, phello e fapaneng e qala ho hlaha. Ha mehlala e mengata e kenngoa ts'ebetsong ka katleho, takatso ea khoebo ea ho sebelisa bohlale ba maiketsetso e ntse e hōla - ho fumanoa mathata a macha le a macha a ka rarolloang ka mekhoa ea ho ithuta ka mochine. Mosebetsi o mong le o mong o baka ts'ebetso eohle e hlokang tsebo e itseng:
- baenjiniere ba data ba lokisa le ho sebetsana le data;
- bo-rasaense ba data ba sebelisa lisebelisoa tsa ho ithuta ka mochini mme ba theha mohlala;
- IT e sebelisa mohlala ho tsamaiso;
- Moenjiniere oa ML o etsa qeto ea ho kenyelletsa mohlala ona ka nepo ts'ebetsong, eo lisebelisoa tsa IT li ka li sebelisang, ho latela litlhoko tsa mokhoa oa ts'ebeliso ea mohlala, ho nahanela phallo ea likopo, nako ea karabelo, jj.
- Setsebi sa ML se rala hore na sehlahisoa sa software se ka kengoa tšebetsong joang tsamaisong ea indasteri.
Potoloho eohle e hloka palo e kholo ea litsebi tse tšoanelehang haholo. Ka nako e itseng nts'etsopele le tekanyo ea ho kenella ha mefuta ea ML lits'ebetsong tsa khoebo, hoa fumaneha hore ho lekanya palo ea litsebi ho latela keketseho ea palo ea mesebetsi ho fetoha theko e boima ebile ha e sebetse. Ka hona, ho hlaha potso ea ho iketsetsa ts'ebetso ea MLOps - ho hlalosa lihlopha tse 'maloa tse tloaelehileng tsa mathata a ho ithuta mochine, ho hlahisa liphaephe tse tloaelehileng tsa ts'ebetso ea data le koetliso e eketsehileng ea mehlala. Setšoantšong se nepahetseng, ho rarolla mathata a joalo ho hloka litsebi tse nang le bokhoni bo lekanang mateanong a Big Data, Data Science, DevOps le IT. Ka hona, bothata bo boholo ka ho fetisisa indastering ea Data Science le phephetso e kholo ka ho fetisisa ea ho hlophisa mekhoa ea MLOps ke ho hloka bokhoni bo joalo 'marakeng oa koetliso o teng. Litsebi tse finyellang litlhoko tsena ha li fumanehe hangata 'marakeng oa basebetsi' me li na le boima ba tsona ba khauta.
Tabeng ea litsebo
Ka khopolo, mesebetsi eohle ea MLOps e ka rarolloa ka lisebelisoa tsa khale tsa DevOps ntle le ho sebelisa katoloso e khethehileng ea mohlala. Joale, joalo ka ha re boletsoe ka holimo, rasaense oa data ha aa lokela ho ba setsebi sa lipalo le mohlahlobi oa data feela, empa hape e le moetapele oa lipeipi tsohle - o na le boikarabello ba ho nts'etsapele meralo ea meralo, mananeo a mananeo ka lipuo tse 'maloa ho ipapisitsoe le meralo, ho lokisa. sebaka sa data le ho tsamaisa ts'ebeliso ka boeona. Leha ho le joalo, ho theha moralo oa theknoloji o kentsoeng ts'ebetsong ea MLOps ea ho qetela ho nka 80% ea litšenyehelo tsa basebetsi, ho bolelang hore setsebi sa lipalo se tšoanelehang, se nang le boleng ba Data Scientist, se tla nehela feela 20% ea nako ea hae ho tse khethehileng. . Ka hona, ho hlakisa likarolo tsa litsebi tse amehang ts'ebetsong ea ho kenya ts'ebetsong mefuta ea ho ithuta ka mochini ho bohlokoa.
Hore na likarolo li lokela ho hlalosoa joang ho latela boholo ba khoebo. Ke ntho e le 'ngoe ha motho ea qalang a e-na le setsebi se le seng, ea sebetsang ka thata sebakeng sa polokelo ea matla, eo e leng moenjiniere oa hae, setsebi sa meralo le DevOps. Ke taba e fapaneng ka ho felletseng ha, khoebong e kholo, lits'ebetso tsohle tsa nts'etsopele ea mohlala li tsepamisitsoe ho litsebi tse 'maloa tsa boemo bo phahameng ba Data Science, athe setsebi sa mananeo kapa setsi sa polokelo ea litaba - bokhoni bo tloaelehileng le bo sa theko e tlase haholo' marakeng oa basebetsi - bo ka nka. boholo ba mosebetsi.mesebetsi ya ka mehla.
Ka hona, lebelo le boleng ba mehlala e tsoetseng pele, tlhahiso ea sehlopha le microclimate ho eona ka ho toba li itšetlehile ka hore na moeli o hokae ha ho khethoa litsebi tse tšehetsang ts'ebetso ea MLOps le hore na mokhoa oa ho sebetsa ha mefuta e tsoetseng pele o hlophisitsoe joang. .
Seo sehlopha sa rona se seng se se entse
Haufinyane tjena re qalile ho aha sebopeho sa bokhoni le lits'ebetso tsa MLOps. Empa merero ea rona e mabapi le taolo ea potoloho ea bophelo le ho sebelisa mefuta e le ts'ebeletso e se e le mothating oa tlhahlobo ea MVP.
Hape re entse qeto ea sebopeho se nepahetseng sa bokhoni bakeng sa khoebo e kholo le sebopeho sa mokhatlo oa litšebelisano lipakeng tsa bankakarolo bohle ts'ebetsong. Lihlopha tsa Agile li ile tsa hlophisoa ho rarolla mathata bakeng sa mefuta eohle ea bareki ba khoebo, 'me ho ile ha thehoa mokhoa oa ho sebelisana le lihlopha tsa morero ho theha liforomo le lisebelisoa tsa motheo, e leng motheo oa mohaho oa MLOps o ntseng o hahoa.
Lipotso tsa bokamoso
MLOps ke sebaka se ntseng se hola se nang le khaello ea bokhoni mme se tla ba le matla nakong e tlang. Ho sa le joalo, ho molemo ho haha ho nts'etsopele le mekhoa ea DevOps. Sepheo se seholo sa MLOps ke ho sebelisa mekhoa ea ML ka katleho ho rarolla mathata a khoebo. Empa sena se hlahisa lipotso tse ngata:
- Joang ho fokotsa nako ea ho qala mehlala ho hlahisa tlhahiso?
- Joang ho fokotsa likhohlano lipakeng tsa lihlopha tsa litsebo tse fapaneng le ho eketsa tsepamiso tšebelisanong?
- Joang ho latela mehlala, ho laola liphetolelo le ho hlophisa tlhahlobo e sebetsang?
- U ka etsa bophelo bo chitja joang bakeng sa mofuta oa sejoale-joale oa ML?
- Mokhoa oa ho tiisa mokhoa oa ho ithuta oa mochini joang?
Likarabo tsa lipotso tsena li tla fana ka qeto ea hore na li-MLOps li tla fihlela bokhoni ba tsona ka potlako hakae.
Source: www.habr.com