Ann an 2018, nochd bun-bheachd MLOps ann an cearcallan proifeasanta agus aig co-labhairtean cuspaireil coisrigte do AI, a ghabh grèim gu sgiobalta sa ghnìomhachas agus a tha a-nis a’ leasachadh mar stiùireadh neo-eisimeileach. Anns an àm ri teachd, is dòcha gum bi MLOps mar aon de na raointean as mòr-chòrdte ann an IT. Dè a th’ ann agus cò leis a dh’ithear e? Feuchaidh sinn a-mach gu h-ìosal.
Dè a th 'ann an MLOps
Tha MLOps (a’ cothlamadh theicneòlasan ionnsachaidh innealan agus pròiseasan agus dòighean-obrach airson modalan leasaichte a chuir an gnìomh ann am pròiseasan gnìomhachais) na dhòigh ùr air co-obrachadh eadar riochdairean gnìomhachais, luchd-saidheans, matamataigs, eòlaichean ionnsachadh innealan agus innleadairean IT nuair a bhios iad a’ cruthachadh siostaman fiosrachaidh fuadain.
Ann am faclan eile, tha e na dhòigh air dòighean ionnsachaidh innealan agus teicneòlasan a thionndadh gu bhith nan inneal feumail airson fuasgladh fhaighinn air duilgheadasan gnìomhachais.
Feumar a thuigsinn gu bheil an t-sreath cinneasachd a 'tòiseachadh fada mus tèid am modail a leasachadh. Is e a’ chiad cheum aige duilgheadas gnìomhachais a mhìneachadh, beachd-bharail mun luach a dh’fhaodar a thoirt a-mach às an dàta, agus beachd gnìomhachais airson a chuir an sàs.
Dh’ èirich an dearbh bhun-bheachd de MLOps mar shamhla air bun-bheachd DevOps a thaobh modalan ionnsachaidh innealan agus teicneòlasan. Tha DevOps na dhòigh-obrach airson leasachadh bathar-bog a leigeas leat astar buileachadh atharrachaidhean fa leth àrdachadh fhad ‘s a chumas tu sùbailteachd agus earbsachd a’ cleachdadh grunn dhòighean-obrach, a ’toirt a-steach leasachadh leantainneach, roinneadh ghnìomhan ann an grunn mhicro-sheirbheisean neo-eisimeileach, deuchainn fèin-ghluasadach agus cleachdadh dhaoine fa-leth. atharrachaidhean, sgrùdadh slàinte cruinne, siostam freagairt luath airson fàilligidhean a chaidh a lorg, msaa.
Tha DevOps air cearcall-beatha bathar-bog a mhìneachadh, agus tha a’ choimhearsnachd air a thighinn suas leis a’ bheachd a bhith a’ cur an aon dòigh-obrach an sàs ann an dàta mòr. Tha DataOps na oidhirp air an dòigh-obrach atharrachadh agus a leudachadh a’ toirt aire do fheartan stòradh, tar-chuir agus giullachd tòrr dàta ann an àrd-ùrlaran eadar-mheasgte agus eadar-obrachail.
Le teachd a-steach tomad èiginneach de mhodalan ionnsachaidh inneal air an cur an gnìomh ann am pròiseasan gnìomhachais iomairtean, chaidh mothachadh làidir a dhèanamh air cearcall beatha modalan ionnsachaidh innealan matamataigeach agus cearcall beatha bathar-bog. Is e an aon eadar-dhealachadh gu bheil na h-algorithms modail air an cruthachadh a’ cleachdadh innealan agus dòighean ionnsachaidh inneal. Mar sin, dh’ èirich am beachd gu nàdarrach dòighean-obrach a bha aithnichte mar-thà a chleachdadh airson leasachadh bathar-bog airson modalan ionnsachaidh innealan. Mar sin, faodar na prìomh ìrean a leanas a chomharrachadh ann an cearcall beatha modalan ionnsachaidh innealan:
- mìneachadh beachd gnìomhachais;
- trèanadh modail;
- deuchainn agus buileachadh a 'mhodail a-steach don phròiseas gnìomhachais;
- obrachadh a 'mhodail.
Nuair a dh'fheumas tu am modail atharrachadh no ath-thrèanadh air dàta ùr rè an obrachaidh, bidh an cearcall a 'tòiseachadh a-rithist - tha am modail air ùrachadh, air a dhearbhadh, agus tha dreach ùr air a chleachdadh.
Tilleadh. Carson ath-thrèanadh agus nach ath-thrèanadh? Tha brìgh dhùbailte aig an teirm “ath-thrèanadh modail”: am measg eòlaichean tha e a’ ciallachadh locht modail, nuair a tha am modail a’ ro-innse gu math, gu dearbh ag ath-aithris am paramadair ris a bheil dùil air an t-seata trèanaidh, ach a’ coileanadh gu math nas miosa air an sampall dàta bhon taobh a-muigh. Gu nàdarra, tha a leithid de mhodail na uireasbhaidh, leis nach eil an locht seo a ’ceadachadh a chleachdadh.
Anns a ’chuairt-beatha seo, tha e coltach gu bheil e loidsigeach innealan DevOps a chleachdadh: deuchainn fèin-ghluasadach, cleachdadh agus sgrùdadh, dealbhadh àireamhachadh modail ann an cruth microservices air leth. Ach tha grunn fheartan ann cuideachd a chuireas casg air cleachdadh dìreach nan innealan sin às aonais ceangal ML a bharrachd.
Mar a bheir thu air modalan obrachadh agus a bhith prothaideach
Mar eisimpleir anns an seall sinn cleachdadh dòigh-obrach MLOps, gabhaidh sinn ris a’ ghnìomh chlasaigeach a bhith a’ robotadh taic cabadaich airson toradh bancaidh (no toradh sam bith eile). Mar as trice, bidh pròiseas gnìomhachais taic cabadaich a ’coimhead mar seo: bidh neach-dèiligidh a’ dol a-steach teachdaireachd le ceist ann an cabadaich agus a ’faighinn freagairt bho eòlaiche taobh a-staigh craobh còmhraidh ro-mhìnichte. Mar as trice bidh an obair airson a leithid de chat a dhèanamh fèin-ghluasadach air fhuasgladh le bhith a’ cleachdadh sheataichean de riaghailtean a tha air am mìneachadh gu h-eòlach, a tha gu math dìcheallach airson an leasachadh agus an cumail suas. Faodaidh èifeachdas a leithid de fèin-ghluasad, a rèir ìre iom-fhillteachd na h-obrach, a bhith 20-30%. Gu nàdarra, tha am beachd ag èirigh gu bheil e nas prothaidiche modal inntleachd fuadain a thoirt a-steach - modail a chaidh a leasachadh le bhith ag ionnsachadh innealan, a tha:
- comasach air àireamh nas motha de dh'iarrtasan a làimhseachadh gun com-pàirt ghnìomhaiche (a rèir a 'chuspair, ann an cuid de chùisean faodaidh an èifeachdas ruighinn 70-80%);
- ag atharrachadh nas fheàrr ri briathrachas neo-àbhaisteach ann an conaltradh - comasach air an rùn, fìor mhiann an neach-cleachdaidh a dhearbhadh stèidhichte air iarrtas nach eil air a dhealbhadh gu soilleir;
- tha fios aige mar a cho-dhùineas tu cuin a tha freagairt a’ mhodail iomchaidh, agus nuair a tha teagamhan ann mu “mothachadh” an fhreagairt seo agus feumaidh tu ceist soilleireachaidh a bharrachd fhaighneachd no gluasad chun ghnìomhaiche;
- faodar a thrèanadh a bharrachd gu fèin-ghluasadach (an àite buidheann de luchd-leasachaidh an-còmhnaidh ag atharrachadh agus a’ ceartachadh sgriobtaichean freagairt, tha am modail air a thrèanadh a bharrachd le eòlaiche Saidheans Dàta a’ cleachdadh na leabharlannan ionnsachaidh inneal iomchaidh).
Ciamar a bheir thu air modail cho adhartach obrachadh?
Coltach ri fuasgladh fhaighinn air duilgheadas sam bith eile, mus tèid modal mar seo a leasachadh, feumar pròiseas gnìomhachais a mhìneachadh agus cunntas foirmeil a thoirt air a’ ghnìomh shònraichte a dh’ fhuasglas sinn a’ cleachdadh an dòigh ionnsachaidh inneil. Aig an ìre seo, tha am pròiseas obrachaidh, air a shònrachadh leis an acronaim Ops, a’ tòiseachadh.
Is e an ath cheum gum bi an Neach-saidheans Dàta, ann an co-obrachadh leis an Einnseanair Dàta, a’ sgrùdadh na tha ri fhaighinn agus iomchaidheachd dàta agus beachd-bharail gnìomhachais mu ion-obrachadh a’ bheachd gnìomhachais, a’ leasachadh modal prototype agus a’ dèanamh deuchainn air an fhìor èifeachdas. Is ann dìreach às deidh dearbhadh bhon ghnìomhachas a thòisicheas an gluasad bho bhith a’ leasachadh modail gu bhith ga fhilleadh a-steach do shiostaman a bhios a’ coileanadh pròiseas gnìomhachais sònraichte. Tha dealbhadh buileachaidh deireadh-gu-deireadh, tuigse dhomhainn aig gach ìre air mar a thèid am modail a chleachdadh agus dè a’ bhuaidh eaconamach a bheir e, na phuing bunaiteach anns a’ phròiseas airson dòighean-obrach MLOps a thoirt a-steach do chruth-tìre teicneòlach a’ chompanaidh.
Le leasachadh theicneòlasan AI, tha an àireamh agus measgachadh de dhuilgheadasan a dh’ fhaodar fhuasgladh le bhith a’ cleachdadh ionnsachadh innealan a’ dol am meud gu mòr. Tha gach pròiseas gnìomhachais mar sin na shàbhaladh don chompanaidh air sgàth fèin-ghluasad obair luchd-obrach ann an suidheachaidhean mòra (ionad gairm, sgrùdadh agus òrdachadh sgrìobhainnean, msaa), tha e na leudachadh air bunait luchd-cleachdaidh le bhith a’ cur gnìomhan ùra tarraingeach agus goireasach ris. , tha e a 'sàbhaladh airgead air sgàth an cleachdadh as fheàrr agus ath-riarachadh ghoireasan agus mòran a bharrachd. Aig a 'cheann thall, tha pròiseas sam bith ag amas air luach a chruthachadh agus, mar thoradh air sin, feumaidh e buaidh eaconamach sònraichte a thoirt gu buil. An seo tha e glè chudromach am beachd gnìomhachais a dhealbhadh gu soilleir agus obrachadh a-mach a ’phrothaid ris a bheil dùil bho bhith a’ buileachadh a ’mhodail ann an structar cruthachadh luach iomlan a’ chompanaidh. Tha suidheachaidhean ann nuair nach eil buileachadh modail ga fhìreanachadh fhèin, agus tha an ùine a chosgas eòlaichean ionnsachaidh innealan mòran nas daoire na àite-obrach a ’ghnìomhaiche a’ coileanadh na h-obrach seo. Sin as coireach gu feumar feuchainn ri cùisean mar sin a chomharrachadh anns na tràth ìrean de chruthachadh siostaman AI.
Mar thoradh air an sin, bidh modalan a’ tòiseachadh a ’gineadh prothaid a-mhàin nuair a tha an duilgheadas gnìomhachais air a dhealbhadh gu ceart anns a’ phròiseas MLOps, tha prìomhachasan air an suidheachadh, agus tha am pròiseas airson am modail a thoirt a-steach don t-siostam air a dhealbhadh anns na tràth ìrean leasachaidh.
Pròiseas ùr - dùbhlain ùra
Mar fhreagairt coileanta don cheist gnìomhachais bhunasach mu cho iomchaidh sa tha modalan ML ann a bhith a’ fuasgladh cheistean, tha a’ cheist choitcheann mu earbsa ann an AI mar aon de na prìomh dhùbhlain ann am pròiseas leasachadh agus buileachadh dhòighean-obrach MLOps. An toiseach, tha gnìomhachasan teagmhach mu bhith a’ toirt a-steach ionnsachadh innealan gu pròiseasan - tha e duilich a bhith an urra ri modalan ann an àiteachan far an robh daoine ag obair roimhe seo, mar riaghailt. Airson gnìomhachas, tha coltas gur e “bogsa dubh” a th’ ann am prògraman, agus feumar am buntainneachd a dhearbhadh fhathast. A bharrachd air an sin, ann am bancaireachd, ann an gnìomhachas luchd-obrachaidh telecom agus feadhainn eile, tha riatanasan teann aig riaghladairean riaghaltais. Tha a h-uile siostam agus algorithm a thèid a chuir an gnìomh ann am pròiseasan bancaidh fo ùmhlachd sgrùdadh. Gus an duilgheadas seo fhuasgladh, gus dearbhadh do ghnìomhachas agus do luchd-riaghlaidh mu dhligheachd agus ceart freagairtean fiosrachaidh fuadain, thathas a’ toirt a-steach innealan sgrùdaidh còmhla ris a’ mhodail. A bharrachd air an sin, tha modh dearbhaidh neo-eisimeileach ann, a tha riatanach airson modalan riaghlaidh, a choinnicheas ri riatanasan a’ Bhanca Mheadhain. Bidh buidheann eòlaichean neo-eisimeileach a’ sgrùdadh nan toraidhean a gheibh am modail a’ toirt aire don dàta cuir a-steach.
Is e an dàrna dùbhlan a bhith a’ measadh agus a’ toirt aire do chunnartan modail nuair a thathar a’ buileachadh modal ionnsachaidh inneal. Fiù mura h-urrainn do dhuine a’ cheist a fhreagairt le cinnt ceud sa cheud an robh an aon dreasa sin geal no gorm, tha còir aig inntleachd fuadain cuideachd mearachd a dhèanamh. Is fhiach beachdachadh cuideachd gum faodadh dàta atharrachadh thar ùine, agus feumar modalan ath-thrèanadh gus toradh ceart gu leòr a thoirt gu buil. Gus dèanamh cinnteach nach eil am pròiseas gnìomhachais a 'fulang, feumar cunnartan modail a stiùireadh agus sùil a chumail air coileanadh a' mhodail, ag ath-thrèanadh gu cunbhalach air dàta ùr.
Ach às deidh a 'chiad ìre de mhì-earbsa, tha a' bhuaidh eile a 'tòiseachadh a' nochdadh. Mar as motha de mhodalan a thèid an cur an gnìomh gu soirbheachail ann am pròiseasan, is ann as motha a dh’ fhàsas miann gnìomhachais airson cleachdadh inntleachd fuadain - thathas a’ lorg dhuilgheadasan ùra is ùra a ghabhas fuasgladh le bhith a’ cleachdadh dhòighean ionnsachaidh innealan. Bidh gach gnìomh a’ piobrachadh pròiseas slàn a dh’ fheumas comasan sònraichte:
- bidh innleadairean dàta ag ullachadh agus a’ giullachd dàta;
- bidh luchd-saidheans dàta a’ cleachdadh innealan ionnsachaidh inneal agus a’ leasachadh modail;
- IT a' cur a' mhodail an sàs san t-siostam;
- Bidh an innleadair ML a ’dearbhadh mar a thèid am modail seo fhilleadh a-steach don phròiseas, dè na h-innealan IT a bhios iad a’ cleachdadh, a rèir riatanasan modh tagraidh a ’mhodail, a’ toirt aire do shruth iarrtasan, ùine freagairt, msaa.
- Bidh ailtire ML a’ dealbhadh mar as urrainnear toradh bathar-bog a chuir an gnìomh gu corporra ann an siostam gnìomhachais.
Feumaidh an cearcall gu lèir àireamh mhòr de eòlaichean le teisteanas. Aig àm sònraichte ann an leasachadh agus an ìre de dhol a-steach do mhodalan ML a-steach do phròiseasan gnìomhachais, tha e a ’tionndadh a-mach gu bheil sgèile sreathach an àireamh de eòlaichean ann an co-rèir ris an àrdachadh anns an àireamh de ghnìomhan a’ fàs daor agus neo-èifeachdach. Mar sin, tha a ’cheist ag èirigh mu bhith ag fèin-ghluasad pròiseas MLOps - a’ mìneachadh grunn chlasaichean àbhaisteach de dhuilgheadasan ionnsachaidh inneal, a ’leasachadh pìoban giollachd dàta àbhaisteach agus trèanadh a bharrachd de mhodalan. Ann an dealbh air leth freagarrach, tha feum air proifeiseantaich a tha a cheart cho comasach ann an comasan aig crois-rathaid Dàta Mòr, Saidheans Dàta, DevOps agus IT gus fuasgladh fhaighinn air na duilgheadasan sin. Mar sin, is e an duilgheadas as motha ann an gnìomhachas Saidheans Dàta agus an dùbhlan as motha ann a bhith a’ cur air dòigh pròiseasan MLOps an dìth comas anns a’ mhargaidh trèanaidh a th’ ann mar-thà. Tha eòlaichean a tha a 'coinneachadh ris na riatanasan sin tearc an-dràsta air a' mhargaidh obrach agus is fhiach an cuideam ann an òr.
Air cuspair nan comasan
Ann an teòiridh, faodar a h-uile gnìomh MLOps fhuasgladh le bhith a’ cleachdadh innealan clasaigeach DevOps agus gun a bhith a’ cleachdadh leudachadh sònraichte air a’ mhodail dreuchd. An uairsin, mar a thuirt sinn gu h-àrd, feumaidh neach-saidheans dàta a bhith chan ann a-mhàin na neach-matamataig agus neach-anailis dàta, ach cuideachd guru den loidhne-phìoban gu lèir - tha e an urra ri bhith a ’leasachadh ailtireachd, a’ prògramadh mhodalan ann an grunn chànanan a rèir an ailtireachd, ag ullachadh mart dàta agus cleachdadh an aplacaid fhèin. Ach, bidh cruthachadh an fhrèam teignigeach a chaidh a chuir an gnìomh sa phròiseas MLOps deireadh-gu-deireadh a’ toirt suas ri 80% de chosgaisean obrach, a tha a’ ciallachadh nach toir neach-matamataig le teisteanas, a tha na neach-saidheans dàta càileachd, ach 20% den ùine aige don speisealachd aige. . Mar sin, tha e deatamach gun tèid dreuchdan eòlaichean a tha an sàs ann a bhith a’ buileachadh mhodalan ionnsachaidh innealan a mhìneachadh.
Tha cho mionaideach sa bu chòir na dreuchdan a bhith air an comharrachadh an urra ri meud na h-iomairt. Is e aon rud a th ’ann nuair a tha aon eòlaiche aig neach-tòiseachaidh, neach-obrach cruaidh anns an tèarmann lùtha, a tha na innleadair, ailtire agus DevOps aige fhèin. Tha e na chùis gu tur eadar-dhealaichte nuair a tha, ann an iomairt mhòr, a h-uile pròiseas leasachaidh modail air a chuimseachadh air beagan eòlaichean saidheans dàta àrd-ìre, agus faodaidh prògramadair no eòlaiche stòr-dàta - comas nas cumanta agus nas saoire sa mhargaidh obrach - a ghabhail. air a’ mhòr-chuid den obair, gnìomhan àbhaisteach.
Mar sin, tha astar agus càileachd nam modalan leasaichte, cinneasachd na sgioba agus am microclimate ann gu dìreach an urra ri far a bheil a ’chrìoch ann an taghadh eòlaichean gus taic a thoirt do phròiseas MLOps agus mar a tha pròiseas obrachaidh nam modalan leasaichte air an eagrachadh. .
Na tha an sgioba againn air a dhèanamh mu thràth
O chionn ghoirid thòisich sinn a’ togail structar comais agus pròiseasan MLOps. Ach tha na pròiseactan againn a thaobh riaghladh cearcall-beatha modail agus air cleachdadh mhodalan mar sheirbheis aig ìre deuchainn MVP mu thràth.
Shuidhich sinn cuideachd an structar comais as fheàrr airson iomairt mhòr agus structar eagrachaidh eadar-obrachadh eadar a h-uile com-pàirtiche sa phròiseas. Chaidh sgiobaidhean lùthmhor a chuir air dòigh gus fuasgladh fhaighinn air duilgheadasan airson an raon iomlan de luchd-ceannach gnìomhachais, agus chaidh pròiseas eadar-obrachadh le sgiobaidhean pròiseict gus àrd-ùrlaran agus bun-structar a chruthachadh, a tha na bhunait airson togalach MLOps a tha ga thogail.
Ceistean airson an ama ri teachd
Tha MLOps na raon a tha a’ fàs le gainnead chomasan agus a gheibh spionnadh san àm ri teachd. Anns an eadar-ama, tha e nas fheàrr togail air leasachaidhean agus cleachdaidhean DevOps. Is e prìomh amas MLOps modalan ML a chleachdadh ann an dòigh nas èifeachdaiche gus fuasgladh fhaighinn air duilgheadasan gnìomhachais. Ach tha seo a’ togail mòran cheistean:
- Ciamar a lùghdaicheas tu an ùine airson modalan a chuir air bhog gu cinneasachadh?
- Ciamar a lùghdaicheas tu suathadh biùrocratach eadar sgiobaidhean de dhiofar chomasan agus àrdachadh fòcas air co-obrachadh?
- Ciamar a nì thu sùil air modalan, stiùirich dreachan agus cuir air dòigh sgrùdadh èifeachdach?
- Ciamar a chruthaicheas tu cearcall-beatha fìor chearcallach airson modal ML ùr-nodha?
- Ciamar a nì thu gnàthachadh air a’ phròiseas ionnsachaidh inneal?
Bidh freagairtean nan ceistean sin gu ìre mhòr a’ dearbhadh dè cho luath sa ruigeas MLOps a làn chomas.
Source: www.habr.com