Дар соли 2018, дар маҳфилҳои касбӣ ва конфронсҳои мавзӯӣ бахшида ба AI, консепсияи MLOps пайдо шуд, ки зуд дар соҳа мавқеи худро пайдо кард ва ҳоло ҳамчун як самти мустақил инкишоф меёбад. Дар оянда, MLOps метавонад ба яке аз соҳаҳои серталаб дар IT табдил ёбад. Ин чӣ аст ва бо чӣ мехӯранд, мо дар зери бурида мефаҳмем.
MLOps чист
MLOps (якҷоя кардани технологияҳо ва равандҳои омӯзиши мошинсозӣ ва равишҳо ба татбиқи моделҳои таҳияшуда дар равандҳои бизнес) як роҳи нави ҳамкории намояндагони тиҷорат, олимон, риёзидонҳо, мутахассисони омӯзиши мошинсозӣ ва муҳандисони технологияи иттилоотӣ дар эҷоди системаҳои зеҳни сунъӣ мебошад.
Ба ибораи дигар, ин як роҳи табдил додани усулҳо ва технологияҳои омӯзиши мошинсозӣ ба воситаи муфид барои ҳалли мушкилоти тиҷорат аст.
Бояд фаҳмид, ки занҷири ҳосилнокӣ хеле пеш аз таҳияи модел оғоз меёбад. Қадами аввалини он муайян кардани ҳадафи тиҷорат, гипотеза дар бораи арзише, ки аз маълумот гирифта мешавад ва идеяи тиҷорат барои татбиқи он мебошад.
Худи мафҳуми MLOps ҳамчун аналогия ба консепсияи DevOps дар робита бо моделҳо ва технологияҳои омӯзиши мошинсозӣ ба вуҷуд омадааст. DevOps як равиши таҳияи нармафзор аст, ки ба шумо имкон медиҳад суръати тағироти инфиродӣ ҳангоми нигоҳ доштани чандирӣ ва эътимоднокӣ бо истифода аз як қатор равишҳо, аз ҷумла рушди доимӣ, ҷудо кардани функсияҳо ба як қатор микросервисҳои мустақил, санҷиши автоматиконидашуда ва ҷобаҷогузории тағйироти инфиродӣ, глобалӣ мониторинги саломатӣ, системаи вокуниши фаврӣ ба камбудиҳои ошкоршуда ва ғайра.
DevOps давраи ҳаёти нармафзорро муайян кард ва идея дар ҷомеаи нармафзор барои татбиқи ҳамон техника ба додаҳои калон пайдо шуд. DataOps як кӯшиши мутобиқсозӣ ва тавсеаи методология бо назардошти хусусиятҳои нигоҳдорӣ, интиқол ва коркарди миқдори зиёди маълумот дар платформаҳои гуногун ва мутақобила мебошад.
Бо пайдоиши як миқдори муайяни моделҳои омӯзиши мошинсозӣ, ки дар равандҳои тиҷоратии корхонаҳо ҷойгиранд, шабоҳати қавӣ байни давраи ҳаёти моделҳои риёзии омӯзиши мошинсозӣ ва давраи ҳаёти нармафзор мушоҳида карда шуд. Ягона фарқият дар он аст, ки алгоритмҳои моделӣ бо истифода аз асбобҳо ва усулҳои омӯзиши мошинсозӣ сохта шудаанд. Аз ин рӯ, идеяи табиатан татбиқ ва мутобиқ кардани равишҳои аллакай маълум ба таҳияи нармафзор барои моделҳои омӯзиши мошинсозӣ пайдо шуд. Ҳамин тариқ, марҳилаҳои асосии зеринро дар давраи ҳаёти моделҳои омӯзиши мошинсозӣ фарқ кардан мумкин аст:
- муайян кардани идеяи тиҷорат;
- омӯзиши намунавӣ;
- озмоиш ва татбиқи модел дар раванди бизнес;
- амалиёти модели.
Вақте ки ҳангоми кор зарурати тағир додан ё бозомӯзии модел ба маълумоти нав ба миён меояд, давра аз нав оғоз мешавад - модел ба итмом мерасад, озмоиш карда мешавад ва версияи нав ҷойгир карда мешавад.
Акибнишинӣ. Чаро аз нав тарбия кунему аз нав тарбия накунем? Истилоҳи «бозомӯзии модел» дорои тафсири дукарата аст: дар байни мутахассисон ин маънои нуқсони моделро дорад, вақте ки модел хуб пешгӯӣ мекунад, дар асл параметри пешбинишударо дар маҷмӯи таълим такрор мекунад, аммо дар маҷмӯи маълумоти беруна хеле бадтар кор мекунад. Табиист, ки чунин модел камбудӣ аст, зеро ин камбуд ба татбиқи он имкон намедиҳад.
Дар ин давраи ҳаёт истифодаи абзорҳои DevOps мантиқӣ ба назар мерасад: санҷиши автоматикунонидашуда, ҷойгиркунӣ ва мониторинг, бақайдгирии ҳисобкунии моделҳо ҳамчун микросервисҳои алоҳида. Аммо як қатор хусусиятҳо вуҷуд доранд, ки истифодаи мустақими ин асбобҳоро бидуни пайваст кардани ML-и иловагӣ пешгирӣ мекунанд.
Чӣ тавр моделҳоро кор кардан ва фоида ба даст овардан мумкин аст
Ҳамчун мисол, ки дар он мо татбиқи равиши MLOps -ро нишон медиҳем, мо вазифаи ҳозираи классикии роботизатсияи чати дастгирӣ барои маҳсулоти бонкӣ (ё ҳама гуна дигар) -ро мегирем. Раванди маъмулии дастгирии чат чунин аст: муштарӣ ба чат савол ворид мекунад ва аз мутахассис дар дохили дарахти муколамаи пешакӣ муайяншуда посух мегирад. Вазифаи автоматикунонии чунин сӯҳбат одатан бо истифода аз маҷмӯи қоидаҳое, ки аз ҷониби мутахассисон муайян карда мешаванд, ҳал карда мешаванд, ки таҳия ва нигоҳдории онҳо хеле заҳматталабанд. Самаранокии чунин автоматика вобаста ба дарачаи мураккабии кор 20—30 фоизро ташкил дода метавонад. Табиист, ки андешае ба миён меояд, ки татбиқи модули зеҳни сунъӣ - моделе, ки бо истифода аз омӯзиши мошинсозӣ таҳия шудааст, муфидтар аст, ки:
- метавонад бе иштироки оператор дархостҳои бештарро коркард кунад (вобаста ба мавзӯъ, дар баъзе ҳолатҳо, самаранокӣ метавонад ба 70-80% мерасад);
- дар муколама ба ибораи ғайристандартӣ беҳтар мутобиқ мешавад - қодир аст ният, хоҳиши воқеии корбарро барои дархости номуайян таҳияшуда муайян кунад;
- қодир аст муайян кунад, ки ҷавоби модел кай адекват аст ва дар ҳолати шубҳа дар бораи «фаҳм» будани ин ҷавоб ва зарурати додани саволи иловагии равшанкунанда ё гузаштан ба оператор;
- ба таври худкор бозомӯзӣ кардан мумкин аст (ба ҷои як гурӯҳи таҳиягарон сенарияҳои вокунишро пайваста мутобиқ ва ислоҳ мекунанд, модел аз ҷониби як олими маълумот бо истифода аз китобхонаҳои мувофиқи омӯзиши мошинсозӣ дубора омӯхта мешавад).
Чунин модели пешқадамро чӣ тавр кор кардан мумкин аст?
Мисли ҳалли ҳама гуна вазифаи дигар, пеш аз таҳияи чунин модул, зарур аст, ки раванди бизнесро муайян кунед ва ба таври расмӣ вазифаи мушаххасеро тавсиф кунед, ки мо бо истифода аз усули омӯзиши мошинсозӣ ҳал хоҳем кард. Дар ин лаҳза, раванди амалиётсозӣ, ки бо ихтисораи Ops ишора шудааст, оғоз меёбад.
Қадами навбатӣ ин аст, ки олими маълумот дар ҳамкорӣ бо муҳандиси додаҳо, мавҷудият ва кофӣ будани маълумот ва гипотезаи тиҷоратро дар бораи қобили амал будани идеяи тиҷорат, таҳияи прототипи модел ва санҷиши самаранокии воқеии он тафтиш мекунад. Танҳо пас аз тасдиқи тиҷорат метавонад гузариш аз таҳияи модел ба ворид кардани он ба системаҳое, ки раванди мушаххаси тиҷоратиро иҷро мекунанд, оғоз шавад. Банақшагирии татбиқи ниҳоӣ, фаҳмиши амиқ дар ҳар як марҳилаи чӣ гуна истифода шудани модел ва он чӣ гуна самараи иқтисодӣ меорад, як лаҳзаи бунёдӣ дар равандҳои ҷорӣ кардани равишҳои MLOps ба манзараи технологии ширкат мебошад.
Бо рушди технологияҳои AI, миқдор ва гуногунии вазифаҳое, ки онҳоро бо ёрии омӯзиши мошинсозӣ ҳал кардан мумкин аст, мисли тарма меафзояд. Ҳар як чунин равандҳои тиҷоратӣ ширкатро тавассути автоматикунонии меҳнати кормандони вазифаҳои оммавӣ сарфа мекунад (маркази тамос, тафтиш ва ҷудокунии ҳуҷҷатҳо ва ғ.), доираи муштариёнро тавассути илова кардани функсияҳои нави ҷолиб ва қулай, сарфаи маблағ аз ҳисоби оптималии онҳо васеъ мекунад. истифода бурдан ва аз нав таксим кардани ресурсхо ва гайра. Дар ниҳоят, ҳама гуна раванд ба эҷоди арзиш нигаронида шудааст ва дар натиҷа бояд самараи муайяни иқтисодӣ оварад. Дар ин ҷо хеле муҳим аст, ки идеяи тиҷоратро возеҳ баён кунед ва фоидаи пешбинишударо аз татбиқи модел дар сохтори умумии эҷоди арзиши ширкат ҳисоб кунед. Ҳолатҳое ҳастанд, ки татбиқи модел худро сафед намекунад ва вақти сарфи мутахассисони мошинсозӣ аз ҷои кори операторе, ки ин вазифаро иҷро мекунад, хеле гаронтар аст. Аз ин рӯ, кӯшиш кардан лозим аст, ки чунин ҳолатҳо дар марҳилаҳои аввали эҷоди системаҳои AI муайян карда шаванд.
Аз ин рӯ, моделҳо танҳо вақте фоида ба даст меоранд, ки вазифаи тиҷорат дар раванди MLOps дуруст тартиб дода шуда, афзалиятҳо муқаррар карда шуда буданд ва раванди ҷорӣ кардани модел ба система дар марҳилаҳои аввали рушд таҳия карда шудааст.
Раванди нав - мушкилоти нав
Ҷавоби мукаммал ба саволи бунёдии тиҷорат дар бораи он, ки моделҳои ML барои ҳалли мушкилот чӣ гуна мувофиқанд, саволи умумии эътимод ба AI яке аз мушкилоти калидӣ дар таҳия ва татбиқи равишҳои MLOps мебошад. Дар аввал, корхонаҳо ба ҷорӣ намудани омӯзиши мошинсозӣ ба равандҳо шубҳа доранд - такя ба моделҳо дар ҷойҳое, ки одамон одатан дар гузашта кор мекарданд, душвор аст. Барои тиҷорат, барномаҳо як "қуттии сиёҳ" ба назар мерасанд, ки аҳамияти ҷавобҳои онҳо ҳанӯз бояд исбот карда шаванд. Илова бар ин, дар бонкдорӣ, дар тиҷорати операторони алоқа ва ғайра талаботи қатъии мақомоти танзимкунандаи давлатӣ вуҷуд дорад. Ҳама системаҳо ва алгоритмҳое, ки дар равандҳои бонкӣ татбиқ карда мешаванд, мавриди аудит қарор мегиранд. Барои ҳалли ин мушкилот, барои исботи дурустӣ ва дурустии ҷавобҳои зеҳни сунъӣ ба тиҷорат ва танзимгарон, дар баробари модел асбобҳои мониторинг ҷорӣ карда мешаванд. Илова бар ин, тартиби мустақили валидатсионӣ вуҷуд дорад, ки барои моделҳои танзим ҳатмӣ мебошад, ки ба талаботи Бонки марказӣ ҷавобгӯ мебошад. Гурўњи мустаќили коршиносон натиљањои бадастовардаи моделро бо назардошти маълумоти воридотї тафтиш мекунад.
Мушкилоти дуввум ин арзёбӣ ва баррасии хатарҳои моделӣ ҳангоми татбиқи модели омӯзиши мошинсозӣ мебошад. Ҳатто агар шахс ба саволи мутлақ ҷавоб дода наметавонад, ки оё он либос сафед ё кабуд буд, пас зеҳни сунъӣ низ ҳақ дорад хато кунад. Инчунин бояд ба назар гирифт, ки маълумот метавонад бо мурури замон тағир ёбад ва моделҳо бояд аз нав омӯзонида шаванд, то натиҷаи дуруст ба даст оранд. Барои он ки раванди тиҷорат осеб надиҳад, хавфҳои моделиро идора кардан ва иҷрои моделро назорат кардан, мунтазам онро аз рӯи маълумоти нав такмил додан лозим аст.
Аммо пас аз марҳилаи аввали нобоварӣ, таъсири баръакс пайдо мешавад. Чӣ қадаре ки моделҳо ба равандҳо бомуваффақият ворид карда шаванд, ҳамон қадар бизнес иштиҳо барои истифодаи зеҳни сунъӣ афзоиш меёбад - вазифаҳои нав ва нав мавҷуданд, ки онҳоро бо истифода аз усулҳои омӯзиши мошинсозӣ ҳал кардан мумкин аст. Ҳар як вазифа як раванди томро оғоз мекунад, ки салоҳиятҳои муайянро талаб мекунад:
- муҳандисони маълумот маълумот омода ва коркард мекунанд;
- олимони маълумот асбобҳои омӯзиши мошинро истифода мебаранд ва модел таҳия мекунанд;
- IT моделро дар система ҷорӣ мекунад;
- Муҳандиси ML муайян мекунад, ки чӣ гуна ин моделро ба раванд дуруст ворид кардан мумкин аст, ки кадом асбобҳои IT-ро вобаста ба талабот ба режими татбиқи модел, бо назардошти ҷараёни дархостҳо, вақти вокуниш ва ғайра истифода бурдан лозим аст.
- Меъмори ML тарҳрезӣ мекунад, ки чӣ гуна маҳсулоти нармафзорро дар системаи саноатӣ амалӣ кардан мумкин аст.
Тамоми давра шумораи зиёди мутахассисони баландихтисосро талаб мекунад. Дар марҳилаи муайяни рушд ва дараҷаи воридшавии моделҳои ML ба равандҳои бизнес маълум мешавад, ки ба таври хаттӣ васеъ кардани шумораи мутахассисон мутаносибан ба афзоиши шумораи вазифаҳо гарон ва бесамар мегардад. Аз ин рӯ, савол дар бораи автоматикунонии раванди MLOps - муайян кардани якчанд синфҳои стандартии мушкилоти омӯзиши мошинсозӣ, таҳияи қубурҳои коркарди маълумот ва моделҳои бозомӯзӣ ба миён меояд. Дар тасвири идеалӣ, барои ҳалли ин гуна мушкилот мутахассисоне лозиманд, ки дар салоҳиятҳо дар пайванди BigData, Data Science, DevOps ва IT баробаранд. Аз ин рӯ, бузургтарин мушкилот дар соҳаи илмҳои иттилоотӣ ва бузургтарин мушкилот дар ташкили равандҳои MLOps ин набудани чунин салоҳият дар бозори мавҷудаи таълим мебошад. Мутахассисоне, ки ба чунин талабот ҷавобгӯ ҳастанд, дар ҳоли ҳозир дар бозори меҳнат каманд ва ба қимати тилло баробаранд.
Ба саволи салоҳиятҳо
Дар назария, ҳама вазифаҳои MLOps метавонанд бо асбобҳои классикии DevOps ва бидуни муроҷиат ба тамдиди намунаи махсуси намунавӣ ҳал карда шаванд. Сипас, тавре ки мо дар боло қайд кардем, олими маълумот бояд на танҳо математик ва таҳлилгари маълумот, балки як гуруи тамоми қубур бошад - таҳияи меъморӣ, моделҳои барномасозӣ бо якчанд забон вобаста ба меъморӣ, омода кардани маълумот ва ҷойгиркунӣ ба китфаш меафтад худи ариза. Бо вуҷуди ин, эҷоди ҳатмии технологӣ, ки дар раванди ниҳоӣ ба охири MLOps амалӣ карда мешавад, то 80% хароҷоти меҳнатро мегирад, ки ин маънои онро дорад, ки математики соҳибихтисос, ки олими баландсифат аст, танҳо 20% -ро сарф мекунад. вақт ба ихтисоси худ. Аз ин рӯ, фарқияти нақшҳои мутахассисоне, ки раванди татбиқи моделҳои омӯзиши мошинро амалӣ мекунанд, ҳаётан муҳим мегардад.
То чӣ андоза муфассал нақшҳо бояд муайян карда шаванд, аз андозаи корхона вобаста аст. Ин як чиз аст, вақте ки стартап як мутахассис, коргар дар захираи энергетикҳо, муҳандис, меъмор ва DevOps дорад. Ин як масъалаи комилан дигар аст, вақте ки дар як корхонаи калон тамоми равандҳои таҳияи моделҳо ба якчанд олимони сатҳи баланд тамаркуз карда мешаванд, дар ҳоле ки як барномасоз ё мутахассиси пойгоҳи додаҳо - салоҳияти маъмултар ва арзонтар дар бозори меҳнат - метавонад ба ӯҳда гирад аксарияти вазифадои мудим.
Ҳамин тариқ, дар куҷо сарҳад дар интихоби мутахассисон барои таъмини раванди MLOps аст ва чӣ гуна раванди ба кор андохтани моделҳои таҳияшуда бевосита ба суръат ва сифати моделҳои таҳияшуда, ба ҳосилнокии коллектив ва микроиқлим дар он таъсир мерасонад.
Он чизе ки коллективи мо аллакай ба чо овардааст
Мо ба наздикӣ ба сохтани чаҳорчӯбаи салоҳият ва равандҳои MLOps шурӯъ кардем. Аммо ҳоло, лоиҳаҳои мо оид ба идоракунии давраи ҳаёти моделҳо ва истифодаи моделҳо ҳамчун хидмат дар марҳилаи санҷиши MVP мебошанд.
Мо инчунин сохтори оптималии салоҳиятҳоро барои як корхонаи калон ва сохтори ташкилии ҳамкории байни ҳамаи иштирокчиёни раванд муайян кардем. Гурӯҳҳои Agile барои ҳалли мушкилот барои тамоми доираи муштариёни тиҷоратӣ, инчунин раванди ҳамкорӣ бо гурӯҳҳои лоиҳа барои эҷоди платформаҳо ва инфрасохторҳо, ки асоси бинои MLOps сохта мешаванд, ташкил карда шуданд.
Саволҳо барои оянда
MLOps як соҳаи афзоянда аст, ки норасоии салоҳиятҳоро эҳсос мекунад ва дар оянда суръат мегирад. Дар айни замон, беҳтар аст, ки ба пешрафтҳо ва амалияҳои DevOps такя кунед. Ҳадафи асосии MLOps истифодаи самараноки моделҳои ML барои ҳалли мушкилоти тиҷорат мебошад. Аммо ин саволҳои зиёдеро ба миён меорад:
- Мудлати дар истедсолот ба кор андохтани моделдоро чй тавр кам кардан мумкин аст?
- Мушкилоти бюрократии байни коллективхои салохиятхои гуногунро чй тавр кам кардан ва диккатро ба хамкорй зиёд кардан мумкин аст?
- Чӣ тавр моделҳоро пайгирӣ кардан, версияҳоро идора кардан ва мониторинги муассирро ташкил кардан мумкин аст?
- Барои модели муосири ML чӣ гуна як давраи воқеан даврашакл эҷод кардан мумкин аст?
- Раванди омӯзиши мошинро чӣ гуна бояд стандартизатсия кард?
Ҷавобҳо ба ин саволҳо асосан муайян мекунанд, ки MLOps иқтидори пурраи худро то чӣ андоза зуд ошкор мекунад.
Манбаъ: will.com