Na 2018, echiche nke MLOps pụtara na okirikiri ndị ọkachamara na na nnọkọ ndị a raara nye AI, nke na-ejide ngwa ngwa na ụlọ ọrụ ahụ ma na-etolite ugbu a dị ka ntụziaka nke onwe. N'ọdịnihu, MLOps nwere ike ịbụ otu n'ime mpaghara kachasị ewu ewu na IT. Kedu ihe ọ bụ na gịnị ka ọ na-eri?
Kedu ihe bụ MLOps
MLOps (ijikọta teknụzụ mmụta igwe na usoro na ụzọ iji mejuputa ụdị emepụtara n'ime usoro azụmaahịa) bụ ụzọ ọhụrụ nke imekọ ihe ọnụ n'etiti ndị nnọchi anya azụmaahịa, ndị ọkà mmụta sayensị, ndị na-ahụ maka mgbakọ na mwepụ, ndị ọkachamara mmụta igwe na ndị injinia IT mgbe ị na-eke sistemu ọgụgụ isi.
N'ikwu ya n'ụzọ ọzọ, ọ bụ ụzọ isi gbanwee usoro mmụta igwe na teknụzụ ka ọ bụrụ ngwá ọrụ bara uru maka idozi nsogbu azụmahịa.
Ọ dị mkpa ịghọta na agbụ nke nrụpụta na-amalite ogologo oge tupu mmepe nke ihe nlereanya ahụ. Nzọụkwụ mbụ ya bụ ịkọwa nsogbu azụmahịa, echiche gbasara uru enwere ike ịchọta na data ahụ, yana echiche azụmahịa maka itinye ya n'ọrụ.
Echiche nke MLOps bilitere dị ka ntụnyere echiche nke DevOps n'ihe gbasara ụdị mmụta igwe na teknụzụ. DevOps bụ ụzọ maka mmepe ngwanrọ nke na-enye gị ohere ịbawanye ọsọ nke mmejuputa mgbanwe nke onye ọ bụla ka ị na-ejigide mgbanwe na ntụkwasị obi site na iji ọtụtụ ụzọ, gụnyere mmepe na-aga n'ihu, nkewa nke ọrụ n'ime ọtụtụ microservices nọọrọ onwe ha, nnwale na-akpaghị aka na ntinye nke onye ọ bụla. mgbanwe, nlekota ahụike zuru ụwa ọnụ, usoro nzaghachi ngwa ngwa maka ọdịda achọpụtara, wdg.
DevOps akọwaala usoro ndụ ngwanrọ, ndị obodo ewepụtala echiche nke itinye otu usoro ahụ na nnukwu data. DataOps bụ mgbalị imeghari na ịgbasa usoro ahụ na-eburu n'uche njirimara nke ịchekwa, ịnyefe na nhazi nnukwu data na nyiwe dị iche iche na nke nwere ike imekọrịta ihe.
Site na ọbịbịa nke ụfọdụ ụdị mmụta igwe dị oke egwu etinyere na usoro azụmaahịa nke ụlọ ọrụ, ahụrụ myirịta siri ike n'etiti usoro ndụ nke igwe mmụta mgbakọ na mwepụ na usoro ndụ ngwanrọ. Naanị ihe dị iche bụ na a na-emepụta algọridim ihe nlereanya site na iji ngwaọrụ mmụta igwe na ụzọ. Ya mere, echiche ahụ bilitere itinye n'ọrụ na imeghari usoro ama ama na mmepe ngwanrọ maka ụdị mmụta igwe. Ya mere, enwere ike ịwapụta isi usoro ndị a na usoro ndụ nke ụdị mmụta igwe:
- ịkọwa echiche azụmahịa;
- ọzụzụ nlereanya;
- ule na mmejuputa ihe nlereanya n'ime usoro azụmahịa;
- ọrụ nke ihe nlereanya.
Mgbe n'oge a na-arụ ọrụ ọ dị mkpa ịgbanwe ma ọ bụ na-azụghachi ihe nlereanya na data ọhụrụ, usoro ahụ na-amalite ọzọ - a nụchara anụcha, nwalere ihe nlereanya ahụ, na-etinyekwa ụdị ọhụrụ.
laghachi azụ. Gịnị kpatara ịzụghachi azụ ma ghara ịmaliteghachi? Okwu ahụ bụ "nweghachi ihe nlereanya" nwere ihe abụọ pụtara: n'etiti ndị ọkachamara ọ pụtara ntụpọ ihe nlereanya, mgbe ihe nlereanya ahụ na-ebu amụma nke ọma, n'ezie na-emeghachi ihe ndị e buru n'amụma na nhazi ọzụzụ, ma na-eme ka ọ dịkwuo njọ na nlele data mpụga. Dị ka o kwesịrị ịdị, ụdị dị otú ahụ bụ ntụpọ, ebe ọ bụ na ntụpọ a anaghị ekwe ka ojiji ya.
N'ime usoro ndụ a, ọ dị ka ihe ezi uche dị na ya iji ngwaọrụ DevOps: nnwale akpaaka, ntinye na nleba anya, na-emepụta mgbako ụdị n'ụdị microservices dị iche iche. Mana enwerekwa ọtụtụ atụmatụ na-egbochi iji ngwa ndị a ozugbo na-enweghị mgbakwunye ML ọzọ.
Otu esi eme ka ụdị na-arụ ọrụ ma na-aba uru
Dịka ọmụmaatụ nke anyị ga-egosipụta iji usoro MLOps, anyị ga-ewere ọrụ a ma ama nke ịmegharị nkwado nkata maka ngwaahịa ụlọ akụ (ma ọ bụ ihe ọ bụla ọzọ). A, usoro azụmahịa nkwado nkata dị ka nke a: onye ahịa na-abanye ozi na ajụjụ na nkata wee nata nzaghachi site n'aka onye ọkachamara n'ime osisi mkparịta ụka. A na-edozikarị ọrụ nke ịmezi nkata dị otú ahụ site na iji usoro akọwapụtara nke ọma, nke na-arụsi ọrụ ike ịzụlite na idobe ya. Ịrụ ọrụ nke akpaaka dị otú ahụ, dabere na ọkwa nke mgbagwoju anya nke ọrụ ahụ, nwere ike ịbụ 20-30%. Dị ka o kwesịrị ịdị, echiche ahụ na-ebilite na ọ bara uru karị iji mejuputa modul ọgụgụ isi nke artificial - ihe nlereanya emepụtara site na iji mmụta igwe, nke:
- nwere ike ịhazi ọnụ ọgụgụ ka ukwuu nke arịrịọ na-enweghị onye ọrụ (dabere na isiokwu ahụ, n'ọnọdụ ụfọdụ arụmọrụ nwere ike iru 70-80%);
- adapts mma ka ndị na-abụghị ọkọlọtọ okwu na mkparịta ụka - na-enwe ike ikpebi ebumnobi, ezi ọchịchọ nke onye ọrụ dabeere na a bụghị n'ụzọ doro anya chepụtara arịrịọ;
- maara otú e si ekpebi mgbe azịza nke ihe nlereanya ahụ zuru oke, na mgbe enwere obi abụọ banyere "mmata" nke azịza a ma ọ dị mkpa ka ị jụọ ajụjụ nkọwa ọzọ ma ọ bụ gbanwee na onye ọrụ;
- enwere ike zụọkwa ya na-akpaghị aka (kama otu ndị mmepe na-emegharị ma na-edozi edemede nzaghachi, a na-azụkwa ihe nlereanya ahụ site n'aka ọkachamara sayensị data site na iji ụlọ akwụkwọ mmụta igwe kwesịrị ekwesị).
Kedu ka esi eme ka ụdị dị elu dị otú ahụ rụọ ọrụ?
Dị ka ọ na-edozi nsogbu ọ bụla ọzọ, tupu ịmepụta ụdị modul dị otú ahụ, ọ dị mkpa ịkọwapụta usoro azụmahịa ma kọwaa kpọmkwem ọrụ anyị ga-edozi site na iji usoro mmụta igwe. N'oge a, usoro nke ịrụ ọrụ, nke acronym Ops họpụtara, na-amalite.
Nzọụkwụ na-esote bụ na Data Scientist, na mmekorita ya na Data Engineer, na-enyocha nnweta na izuzu nke data na echiche azụmahịa banyere ike nke echiche azụmahịa, na-emepụta ihe nlereanya na nwalee irè ya n'ezie. Naanị mgbe nkwenye site na azụmahịa nwere ike ngbanwe site na ịmepụta ihe nlereanya iji jikọta ya na usoro ndị na-eme otu usoro azụmahịa na-amalite. Atụmatụ mmejuputa atumatu ngwụcha na njedebe, nghọta miri emi na ọkwa ọ bụla nke otu a ga-esi jiri ihe nlereanya ahụ na mmetụta akụ na ụba ọ ga-eweta, bụ isi ihe dị mkpa na usoro nke iwebata ụzọ MLOps n'ime mpaghara teknụzụ ụlọ ọrụ.
Site na mmepe nke teknụzụ AI, ọnụọgụ na nsogbu dị iche iche enwere ike idozi site na iji mmụta igwe na-abawanye ụba. Usoro azụmahịa ọ bụla dị otú ahụ bụ nchekwa maka ụlọ ọrụ n'ihi akpaaka nke ọrụ nke ndị ọrụ na-arụ ọrụ (oku oku, ịlele na nhazi akwụkwọ, wdg), ọ bụ mgbasawanye nke isi ahịa site n'ịgbakwunye ọrụ ọhụrụ mara mma ma dị mma, ya. na-echekwa ego n'ihi na iji ha na-ekesa akụrụngwa na ọtụtụ ihe ndị ọzọ. N'ikpeazụ, usoro ọ bụla na-elekwasị anya na ịmepụta uru na, n'ihi ya, ga-eweta ụfọdụ mmetụta akụ na ụba. N'ebe a, ọ dị ezigbo mkpa ịmepụta echiche azụmahịa n'ụzọ doro anya ma gbakọọ uru a na-atụ anya ya site n'imejuputa ihe nlereanya na nhazi ihe okike nke ụlọ ọrụ. Enwere ọnọdụ mgbe ịmejuputa ihe nlereanya adịghị akwado onwe ya, na oge ndị ọkachamara na-amụ igwe na-eji dị oke ọnụ karịa ebe ọrụ nke onye ọrụ na-arụ ọrụ a. Ọ bụ ya mere ọ dị mkpa iji gbalịa chọpụta ụdị ikpe ndị dị otú ahụ na mmalite nke ịmepụta usoro AI.
N'ihi ya, ụdị na-amalite ịkpata uru naanị mgbe edoziri nsogbu azụmahịa n'ụzọ ziri ezi na usoro MLOps, edozila ihe ndị ka mkpa, na usoro nke iwebata ihe nlereanya n'ime usoro ahụ ka emebere na mmalite nke mmepe.
Usoro ọhụrụ - ihe ịma aka ọhụrụ
Azịza zuru oke maka ajụjụ azụmaahịa bụ isi gbasara etu ụdị ML si adị na-edozi nsogbu, okwu n'ozuzu nke ntụkwasị obi na AI bụ otu n'ime isi ihe ịma aka na usoro mmepe na mmejuputa ụzọ MLOps. Na mbụ, ụlọ ọrụ na-enwe obi abụọ banyere iwebata mmụta igwe n'ime usoro - ọ siri ike ịdabere na ụdị na ebe mbụ, dịka iwu, ndị mmadụ na-arụ ọrụ. Maka azụmahịa, mmemme na-egosi na ọ bụ "igbe ojii", mkpa ya ka kwesịrị igosi ya. Na mgbakwunye, na ụlọ akụ, na azụmahịa nke ndị na-ahụ maka telecom na ndị ọzọ, e nwere ihe siri ike chọrọ nke ndị na-achịkwa gọọmentị. Usoro niile na algọridim nke etinyere na usoro ụlọ akụ ga-edobe nyocha. Iji dozie nsogbu a, iji gosi na azụmahịa na ndị na-achịkwa izi ezi na izi ezi nke nzaghachi ọgụgụ isi, a na-ewebata ngwaọrụ nlekota na ihe nlereanya. Tụkwasị na nke ahụ, e nwere usoro nkwenye onwe onye, manyere iwu maka ụdị usoro iwu, nke na-emezu ihe achọrọ nke Central Bank. Otu ọkachamara nọọrọ onwe ya na-enyocha nsonaazụ nke ihe nlereanya ahụ nwetara na-eburu n'uche data ntinye.
Ihe ịma aka nke abụọ bụ ịtụle na iburu n'uche ihe egwu ụdị mgbe ị na-emejuputa usoro mmụta igwe. Ọbụna ma ọ bụrụ na mmadụ enweghị ike ịza ajụjụ ahụ na pasent 100 nke doro anya ma otu uwe ahụ ọ dị ọcha ma ọ bụ na-acha anụnụ anụnụ, mgbe ahụ ọgụgụ isi nwekwara ikike imehie ihe. Ọ dịkwa mma ịtụle na data nwere ike ịgbanwe ka oge na-aga, na ụdị ọ dị mkpa ka a zụrụ azụ iji mepụta nsonaazụ ziri ezi. Iji hụ na usoro azụmahịa adịghị ata ahụhụ, ọ dị mkpa ijikwa ihe ize ndụ ihe nlereanya na nyochaa arụmọrụ nke ihe nlereanya ahụ, na-azụghachi ya mgbe niile na data ọhụrụ.
Ma mgbe ọkwa mbụ nke enweghị ntụkwasị obi gasịrị, mmetụta dị iche na-amalite ịpụta. Ka a na-emejuputa ụdị nke ọma n'ime usoro, otú ahụ ka agụụ azụmahịa na-enwe maka iji ọgụgụ isi na-etolite - a na-achọta nsogbu ọhụrụ na nke ọhụrụ nke enwere ike idozi site na iji usoro mmụta igwe. Ọrụ ọ bụla na-akpalite usoro dum nke chọrọ ikike ụfọdụ:
- ndị injinia data na-akwadebe ma hazie data;
- ndị ọkà mmụta sayensị data na-eji ngwaọrụ mmụta igwe ma mepụta ihe nlereanya;
- IT mejuputa ihe nlereanya n'ime usoro;
- Onye injinia ML na-ekpebi ka esi etinye ihe nlereanya a n'ụzọ ziri ezi na usoro a, nke ngwaọrụ IT ga-eji, dabere na ihe achọrọ maka ụdị ngwa nke ihe nlereanya ahụ, na-eburu n'uche usoro arịrịọ, oge nzaghachi, wdg.
- Onye na-ese ụkpụrụ ụlọ ML na-echepụta otu esi etinye ngwaahịa ngwanrọ n'anụ ahụ na sistemụ nrụpụta.
The dum okirikiri chọrọ a ọnụ ọgụgụ buru ibu nke ukwuu ruru eru ọkachamara. N'otu oge na mmepe na ogo ntinye nke ụdị ML n'ime usoro azụmahịa, ọ na-apụta na ọnụ ọgụgụ ndị ọkachamara n'usoro na-abawanye ọnụ na-abaghị uru. Ya mere, ajụjụ na-ebilite maka imezi usoro MLOps - ịkọwa ọtụtụ klas ọkọlọtọ nke nsogbu mmụta igwe, ịmepụta pipeline nhazi data na ọzụzụ ọzọ nke ụdị. Na foto dị mma, idozi nsogbu ndị dị otú ahụ chọrọ ndị ọkachamara bụ ndị maara nke ọma na ikike na njikọ nke Big Data, Science Data, DevOps na IT. Ya mere, nnukwu nsogbu na ụlọ ọrụ sayensị data na nnukwu ihe ịma aka n'ịhazi usoro MLOps bụ enweghị ikike dị otú ahụ na ahịa ọzụzụ dị ugbu a. Ndị ọkachamara na-emezu ihe ndị a chọrọ ugbu a dị ụkọ n'ahịa ọrụ ma dị oke arọ ha na ọla edo.
N'okwu gbasara ikike
Na tiori, enwere ike idozi ọrụ MLOps niile site na iji ngwa DevOps kpochapụwo yana na-enweghị ịmalite mgbakwunye pụrụ iche nke ihe nlereanya. Mgbe ahụ, dị ka anyị kwuru n'elu, a data ọkà mmụta sayensị ga-abụ ọ bụghị nanị a mgbakọ na mwepụ na data nyocha, kamakwa a guru nke dum pipeline - ọ bụ ya na-ahụ maka ịzụlite architecture, mmemme ụdị n'ọtụtụ asụsụ dabere na ije, na-akwadebe. a data mart ma tinye ngwa ahụ n'onwe ya. Agbanyeghị, ịmepụta usoro teknụzụ etinyere na usoro MLOps nke njedebe na njedebe na-ewe ihe ruru 80% nke ụgwọ ọrụ, nke pụtara na onye na-ahụ maka mgbakọ na mwepụ ruru eru, onye bụ ọkachamara sayensị data, ga-etinye naanị 20% nke oge ya n'ọpụrụiche ya. . Ya mere, ịkọwapụta ọrụ ndị ọkachamara na-etinye aka na usoro mmejuputa ụdị mmụta igwe na-aghọ ihe dị mkpa.
Otu esi akọwapụta nkọwa zuru ezu nke ọrụ ndị a dabere na nha ụlọ ọrụ ahụ. Ọ bụ otu ihe mgbe mmalite nwere otu ọkachamara, onye na-arụsi ọrụ ike na nchekwa ike, bụ onye injinia, onye na-ese ụkpụrụ ụlọ, na DevOps. Ọ bụ ihe dị iche iche mgbe, n'ime nnukwu ụlọ ọrụ, usoro mmepe ihe nlereanya niile na-elekwasị anya na ndị ọkachamara sayensị data dị elu dị elu, ebe onye mmemme ma ọ bụ ọkachamara nchekwa data - ikike na-ahụkarị ma dị ọnụ ala na ahịa ọrụ - nwere ike iburu. n'ọtụtụ ọrụ oge niile.
Ya mere, ọsọ na ịdị mma nke ụdị ndị mepere emepe, mmepụta nke otu na microclimate dị n'ime ya na-adabere kpọmkwem na ebe oke dị na nhọrọ nke ndị ọkachamara na-akwado usoro MLOps na otu esi ahazi usoro nke ịrụ ọrụ nke ụdị ndị mepere emepe. .
Ihe otu anyị merelarị
N'oge na-adịbeghị anya, anyị malitere iwulite usoro ntozu yana usoro MLOps. Mana ọrụ anyị na njikwa okirikiri ndụ ihe nlereanya yana iji ụdị dị ka ọrụ adịlarị n'ọkwa ule MVP.
Anyị kpebikwara usoro ikike kacha mma maka nnukwu ụlọ ọrụ yana nhazi nhazi nke mmekọrịta n'etiti ndị niile sonyere na usoro a. A haziri ndị otu Agile iji dozie nsogbu maka ndị ahịa niile na-azụ ahịa, na usoro nke mmekọrịta na ndị otu ọrụ iji mepụta ikpo okwu na akụrụngwa, nke bụ ntọala nke ụlọ MLOps na-ewu.
Ajụjụ maka ọdịnihu
MLOps bụ mpaghara na-eto eto nke na-enwe ụkọ ikike ma ga-enweta ume n'ọdịnihu. Ka ọ dị ugbu a, ọ kacha mma ịmalite na mmepe na omume DevOps. Ebumnuche bụ isi nke MLOps bụ iji ụdị ML rụọ ọrụ nke ọma karị iji dozie nsogbu azụmahịa. Mana nke a na-ewelite ọtụtụ ajụjụ:
- Kedu ka esi belata oge ịmalite ụdị n'ime mmepụta?
- Olee otú iji belata bureaucratic esemokwu n'etiti otu nke dị iche iche competencies na welie anya na imekọ ihe ọnụ?
- Otu esi eso ụdị, jikwaa ụdị ma hazie nleba anya dị irè?
- Otu esi emepụta okirikiri ndụ okirikiri n'ezie maka ụdị ML ọgbara ọhụrụ?
- Kedu ka esi ahazi usoro mmụta igwe?
Azịza nke ajụjụ ndị a ga-ekpebi nke ukwuu ka MLOps ga-esi ruo ike ya ngwa ngwa.
isi: www.habr.com