2018 онд MLOps-ийн үзэл баримтлал нь мэргэжлийн хүрээлэл, хиймэл оюун ухаанд зориулсан сэдэвчилсэн бага хурал дээр гарч ирсэн бөгөөд энэ нь салбарт хурдан нэвтэрч, одоо бие даасан чиглэл болж хөгжиж байна. Ирээдүйд MLOps нь мэдээллийн технологийн хамгийн алдартай салбаруудын нэг болж магадгүй юм. Энэ нь юу вэ, юугаар хооллодог вэ, доороос олж мэдье.
MLOps гэж юу вэ
MLOps (машины сургалтын технологи, үйл явц, боловсруулсан загварыг бизнесийн үйл явцад хэрэгжүүлэх арга барилыг хослуулах) нь хиймэл оюун ухааны системийг бий болгоход бизнесийн төлөөлөгчид, эрдэмтэд, математикчид, машин сургалтын мэргэжилтнүүд болон мэдээллийн технологийн инженерүүдийн хамтын ажиллагааны шинэ арга зам юм.
Өөрөөр хэлбэл, энэ нь машин сургалтын арга, технологийг бизнесийн асуудлыг шийдвэрлэх ашигтай хэрэгсэл болгон хувиргах арга юм.
Бүтээмжийн гинжин хэлхээ нь загварыг боловсруулахаас хамаагүй өмнө эхэлдэг гэдгийг ойлгох хэрэгтэй. Үүний эхний алхам бол бизнесийн асуудлыг тодорхойлох, өгөгдлөөс гаргаж болох үнэ цэнийн талаархи таамаглал, түүнийг хэрэгжүүлэх бизнесийн санааг тодорхойлох явдал юм.
MLOps-ийн тухай ойлголт нь машин сургалтын загвар, технологитой холбоотой DevOps-ийн үзэл баримтлалтай ижил төстэй байдлаар үүссэн. DevOps бол тасралтгүй хөгжүүлэх, хэд хэдэн бие даасан бичил үйлчилгээнд функцийг хуваах, автоматжуулсан туршилт хийх, хувь хүний хувьд байршуулах зэрэг хэд хэдэн аргыг ашиглан уян хатан, найдвартай байдлыг хадгалахын зэрэгцээ хувь хүний өөрчлөлтийг хэрэгжүүлэх хурдыг нэмэгдүүлэх боломжийг олгодог програм хангамж хөгжүүлэх арга юм. өөрчлөлт, дэлхийн эрүүл мэндийн хяналт, илрүүлсэн алдааны шуурхай хариу арга хэмжээний систем гэх мэт.
DevOps програм хангамжийн амьдралын мөчлөгийг тодорхойлсон бөгөөд олон нийт ижил аргачлалыг том өгөгдөлд ашиглах санааг гаргаж ирэв. DataOps нь олон төрлийн, харилцан ажиллах боломжтой платформ дээр их хэмжээний өгөгдлийг хадгалах, дамжуулах, боловсруулах онцлогийг харгалзан аргачлалыг өөрчлөх, өргөжүүлэх оролдлого юм.
Аж ахуйн нэгжүүдийн бизнесийн үйл явцад хэрэгждэг машин сургалтын загваруудын тодорхой эгзэгтэй масс бий болсноор математикийн машин сургалтын загваруудын амьдралын мөчлөг ба програм хангамжийн амьдралын мөчлөгийн хооронд хүчтэй ижил төстэй байдал ажиглагдсан. Ганц ялгаа нь загварын алгоритмуудыг машин сургалтын хэрэгсэл, аргуудыг ашиглан бүтээдэг. Тиймээс машин сургалтын загварт зориулсан програм хангамж боловсруулахад аль хэдийн мэдэгдэж байсан арга барилыг ашиглах, өөрчлөх санаа аяндаа үүссэн. Тиймээс машин сургалтын загваруудын амьдралын мөчлөгийн дараах гол үе шатуудыг ялгаж салгаж болно.
- бизнесийн санааг тодорхойлох;
- загварын сургалт;
- загварыг турших, бизнесийн үйл явцад нэвтрүүлэх;
- загварын үйл ажиллагаа.
Ашиглалтын явцад шинэ өгөгдөл дээр загварыг өөрчлөх, давтан сургах шаардлагатай бол мөчлөг дахин эхэлдэг - загварыг сайжруулж, туршиж, шинэ хувилбарыг байрлуулна.
Ухрах. Яагаад давтан сургаж сургадаггүй юм бэ? "Загвар дахин сургах" гэсэн нэр томъёо нь хоёрдмол утгатай: шинжээчдийн дунд энэ нь загвар нь сайн таамаглаж, сургалтын багц дээр урьдчилан таамагласан параметрийг бодитоор давтдаг, харин гадаад өгөгдлийн түүвэр дээр илүү муу ажилладаг тохиолдолд загварын согог гэсэн үг юм. Мэдээжийн хэрэг, ийм загвар нь согог юм, учир нь энэ согог нь түүнийг ашиглахыг зөвшөөрдөггүй.
Энэхүү амьдралын мөчлөгт DevOps хэрэгслүүдийг ашиглах нь логик юм шиг санагдаж байна: автоматжуулсан туршилт, байршуулалт, хяналт, загвар тооцооллыг тусдаа бичил үйлчилгээ хэлбэрээр зохион бүтээх. Гэхдээ эдгээр хэрэгслийг нэмэлт ML холболтгүйгээр шууд ашиглахаас сэргийлдэг хэд хэдэн онцлог шинж чанарууд байдаг.
Хэрхэн загвар өмсөгчдийг ажиллуулж, ашигтай байх вэ
Бид MLOps аргын хэрэглээг харуулах жишээ болгон банкны (эсвэл бусад) бүтээгдэхүүний чатын дэмжлэгийг роботжуулах сонгодог ажлыг авч үзэх болно. Ихэнхдээ чатын дэмжлэг үзүүлэх бизнесийн үйл явц нь иймэрхүү харагддаг: үйлчлүүлэгч чат дотор асуулт бүхий мессежийг оруулж, урьдчилан тодорхойлсон харилцан ярианы модны хүрээнд мэргэжилтэнээс хариулт авдаг. Ийм чатыг автоматжуулах даалгаврыг ихэвчлэн мэргэжилтнүүдийн тодорхойлсон багц дүрмийг ашиглан шийддэг бөгөөд үүнийг боловсруулах, засварлахад маш их хөдөлмөр зарцуулдаг. Ийм автоматжуулалтын үр ашиг нь ажлын нарийн төвөгтэй байдлын түвшнээс хамаарч 20-30% байж болно. Мэдээжийн хэрэг, хиймэл оюун ухааны модулийг хэрэгжүүлэх нь илүү ашигтай гэсэн санаа гарч ирдэг - машин сургалтыг ашиглан боловсруулсан загвар нь:
- операторын оролцоогүйгээр илүү олон тооны хүсэлтийг боловсруулах боломжтой (сэдвээс хамааран зарим тохиолдолд үр ашиг нь 70-80% хүрч болно);
- харилцан ярианы стандарт бус үг хэллэгт илүү сайн дасан зохицдог - тодорхой илэрхийлэгдээгүй хүсэлт дээр үндэслэн хэрэглэгчийн зорилго, бодит хүслийг тодорхойлох чадвартай;
- Загварын хариулт хэзээ тохирохыг хэрхэн тодорхойлох, энэ хариултыг "ухамсарлах" эсэхэд эргэлзэж байгаа тохиолдолд нэмэлт тодруулах асуулт асуух эсвэл оператор руу шилжих шаардлагатай бол;
- автоматаар нэмэлт сургалтад хамрагдах боломжтой (хөгжүүлэгчдийн хариултын скриптийг байнга дасан зохицож, засч залруулахын оронд уг загварыг зохих машин сургалтын сангуудыг ашиглан Мэдээллийн шинжлэх ухааны мэргэжилтэн нэмж сургадаг).
Ийм дэвшилтэт загварыг хэрхэн ажиллуулах вэ?
Бусад аливаа асуудлыг шийдэхийн нэгэн адил ийм модулийг боловсруулахын өмнө бизнесийн үйл явцыг тодорхойлж, машин сургалтын аргыг ашиглан шийдвэрлэх тодорхой даалгаврыг албан ёсоор тайлбарлах шаардлагатай. Энэ үед Ops товчлолоор тодорхойлогдсон үйл ажиллагаа явуулах үйл явц эхэлдэг.
Дараагийн алхам бол Data Scientist нь өгөгдлийн инженертэй хамтран мэдээллийн хүртээмж, хүрэлцээтэй эсэх, бизнесийн санаа бодит байдлын талаархи бизнесийн таамаглалыг шалгаж, загвар загварыг боловсруулж, бодит үр нөлөөг турших явдал юм. Бизнесээр баталгаажуулсны дараа л загвар боловсруулахаас тодорхой бизнесийн үйл явцыг гүйцэтгэдэг системд нэгтгэх шилжилтийг эхлүүлнэ. Загварыг хэрхэн ашиглах, эдийн засгийн хувьд ямар үр нөлөө үзүүлэхийг үе шат бүрт гүнзгий ойлгох нь эцсийн эцэст хэрэгжүүлэх төлөвлөлт нь MLOps хандлагыг компанийн технологийн ландшафтад нэвтрүүлэх үйл явцын үндсэн цэг юм.
AI технологи хөгжихийн хэрээр машин сургалтыг ашиглан шийдэж болох асуудлуудын тоо, төрөл нь асар хурдацтай нэмэгдэж байна. Ийм бизнесийн үйл явц бүр нь олон нийтийн ажилчдын хөдөлмөрийг автоматжуулсан (дуудлагын төв, баримт бичгийг шалгах, ангилах гэх мэт) компанийн хувьд хэмнэлт, шинэ сонирхол татахуйц, тохиромжтой функцуудыг нэмж үйлчлүүлэгчийн баазыг өргөжүүлэх явдал юм. нөөцийг оновчтой ашиглах, дахин хуваарилах зэргээр мөнгө хэмнэж байна. Эцсийн эцэст аливаа үйл явц нь үнэ цэнийг бий болгоход чиглэгддэг бөгөөд үүний үр дүнд эдийн засгийн тодорхой үр нөлөөг авчрах ёстой. Энд бизнесийн санааг тодорхой томъёолж, компанийн нийт үнэ цэнийг бий болгох бүтцэд уг загварыг хэрэгжүүлэхээс хүлээгдэж буй ашгийг тооцоолох нь маш чухал юм. Загвар хэрэгжүүлэх нь өөрийгөө зөвтгөхгүй байх тохиолдол байдаг бөгөөд машин сургалтын мэргэжилтнүүдийн зарцуулсан цаг нь энэ ажлыг гүйцэтгэж буй операторын ажлын байрнаас хамаагүй үнэтэй байдаг. Тийм ч учраас хиймэл оюун ухааны системийг бий болгох эхний үе шатанд ийм тохиолдлыг илрүүлэхийг хичээх шаардлагатай байна.
Иймээс бизнесийн асуудлыг MLOps процесст зөв томъёолж, тэргүүлэх чиглэлүүдийг тодорхойлж, уг загварыг системд нэвтрүүлэх үйл явцыг хөгжлийн эхний үе шатанд томъёолсон үед л загварууд ашиг авчирдаг.
Шинэ үйл явц - шинэ сорилтууд
Асуудлыг шийдвэрлэхэд ML загваруудыг хэрхэн ашиглах боломжтой вэ гэсэн бизнесийн үндсэн асуултын иж бүрэн хариулт нь хиймэл оюун ухаанд итгэх итгэлийн ерөнхий асуудал нь MLOps хандлагыг боловсруулах, хэрэгжүүлэх үйл явцын гол сорилтуудын нэг юм. Эхэндээ бизнесүүд машин сургалтыг процесст нэвтрүүлэхэд эргэлзэж байсан - урьд нь хүмүүс ажиллаж байсан газруудад загварт найдах нь хэцүү байдаг. Бизнесийн хувьд хөтөлбөрүүд нь "хар хайрцаг" мэт харагддаг бөгөөд тэдгээрийн хамаарлыг нотлох шаардлагатай хэвээр байна. Нэмж дурдахад банк санхүү, харилцаа холбооны операторуудын бизнес болон бусад салбарт төрийн зохицуулагчид хатуу шаардлага тавьдаг. Банкны үйл явцад хэрэгжиж буй бүх систем, алгоритмууд аудитад хамрагдана. Энэ асуудлыг шийдэхийн тулд хиймэл оюун ухааны хариу үйлдэл нь үнэн зөв, үнэн зөв болохыг бизнес болон зохицуулагчдад нотлохын тулд загварын хамт хяналтын хэрэгслүүдийг нэвтрүүлж байна. Нэмж дурдахад Төв банкны шаардлагад нийцсэн зохицуулалтын загварт заавал дагаж мөрдөх бие даасан баталгаажуулалтын журам байдаг. Оролтын өгөгдлийг харгалзан загвараар олж авсан үр дүнг хараат бус шинжээчийн бүлэг аудит хийдэг.
Хоёрдахь сорилт бол машин сургалтын загварыг хэрэгжүүлэхдээ загварын эрсдлийг үнэлэх, тооцох явдал юм. Хэдийгээр тэр хувцас нь цагаан эсвэл цэнхэр байсан уу гэсэн асуултад хүн зуун хувь итгэлтэй хариулж чадахгүй байсан ч хиймэл оюун ухаан бас алдаа гаргах эрхтэй. Өгөгдөл нь цаг хугацааны явцад өөрчлөгдөж болзошгүй тул хангалттай нарийвчлалтай үр дүнд хүрэхийн тулд загваруудыг дахин сургах шаардлагатай гэдгийг анхаарч үзэх нь зүйтэй. Бизнесийн үйл явцад саад учруулахгүй байхын тулд загварын эрсдлийг удирдаж, загварын гүйцэтгэлд хяналт тавьж, шинэ өгөгдөл дээр тогтмол давтан сургах шаардлагатай.
Гэвч үл итгэлцлийн эхний үе шат дууссаны дараа эсрэг үр дагавар гарч эхэлдэг. Илүү олон загваруудыг үйл явцад амжилттай хэрэгжүүлэх тусам хиймэл оюун ухааныг ашиглах бизнесийн хүсэл сонирхол нэмэгддэг - машин сургалтын аргуудыг ашиглан шийдвэрлэх боломжтой шинэ, шинэ асуудлууд олдож байна. Даалгавар бүр нь тодорхой ур чадвар шаарддаг бүхэл бүтэн үйл явцыг өдөөдөг.
- өгөгдлийн инженерүүд өгөгдөл бэлтгэх, боловсруулах;
- өгөгдөл судлаачид машин сургалтын хэрэгслийг ашиглаж, загвар боловсруулах;
- МТ нь загварыг системд нэвтрүүлдэг;
- ML инженер нь хүсэлтийн урсгал, хариу өгөх хугацаа гэх мэт загварыг хэрэглэх горимд тавигдах шаардлагаас хамааран энэ загварыг процесст хэрхэн зөв оруулах, ямар мэдээллийн технологийн хэрэгслийг ашиглахыг тодорхойлдог.
- ML архитектор нь програм хангамжийн бүтээгдэхүүнийг үйлдвэрлэлийн системд хэрхэн биет байдлаар хэрэгжүүлэх боломжтой болохыг төлөвлөдөг.
Бүхэл бүтэн мөчлөг нь олон тооны өндөр мэргэшсэн мэргэжилтнүүдийг шаарддаг. Бизнесийн үйл явцад ML загваруудыг хөгжүүлэх, нэвтрүүлэх тодорхой үе шатанд мэргэжилтнүүдийн тоог ажлын тооны өсөлттэй уялдуулан шугаман байдлаар нэмэгдүүлэх нь үнэтэй бөгөөд үр дүнгүй болж хувирдаг. Тиймээс MLOps процессыг автоматжуулах асуулт гарч ирж байна - машин сургалтын хэд хэдэн стандарт ангиллыг тодорхойлох, өгөгдөл боловсруулах стандарт дамжуулах шугамыг боловсруулах, загваруудын нэмэлт сургалт. Тохиромжтой дүр төрхөөр ийм асуудлыг шийдэхийн тулд Big Data, Data Science, DevOps болон IT-ийн уулзварт ижил түвшний чадамжтай мэргэжилтнүүдийг шаарддаг. Тиймээс, мэдээллийн шинжлэх ухааны салбарын хамгийн том асуудал, MLOps үйл явцыг зохион байгуулахад тулгарч буй хамгийн том бэрхшээл бол одоо байгаа сургалтын зах зээлд ийм чадвар дутмаг байгаа явдал юм. Эдгээр шаардлагыг хангасан мэргэжилтэн одоогоор хөдөлмөрийн зах зээл дээр ховор бөгөөд алтаар үнэлэгдэх боломжтой.
Чадамжийн асуудлаар
Онолын хувьд бүх MLOps даалгаврыг сонгодог DevOps хэрэгслийг ашиглан, үлгэр дуурайл болох тусгай өргөтгөлийг ашиглахгүйгээр шийдэж болно. Дараа нь бид дээр дурьдсанчлан өгөгдөл судлаач нь зөвхөн математикч, өгөгдлийн шинжээч төдийгүй бүхэл бүтэн шугамын гуру байх ёстой - тэр архитектураас хамааран хэд хэдэн хэл дээр архитектур боловсруулах, програмчлалын загвар гаргах, бэлтгэх үүрэгтэй. өгөгдлийн зах болон програмыг өөрөө байрлуулна. Гэсэн хэдий ч MLOps-ийн төгсгөлийн процесст хэрэгжсэн технологийн тогтолцоог бий болгох нь хөдөлмөрийн зардлын 80 хүртэлх хувийг эзэлдэг бөгөөд энэ нь чанартай өгөгдөл судлаач мэргэшсэн математикч цагныхаа 20% -ийг л мэргэжилдээ зориулна гэсэн үг юм. . Тиймээс машин сургалтын загварыг хэрэгжүүлэх үйл явцад оролцож буй мэргэжилтнүүдийн үүргийг тодорхойлох нь амин чухал болж байна.
Гүйцэтгэлийг хэрхэн нарийвчлан тодорхойлох нь тухайн байгууллагын хэмжээнээс хамаарна. Гарааны бизнест өөрийн инженер, архитектор, DevOps зэрэг эрчим хүчний нөөцөд нэг мэргэжилтэн, шаргуу ажилтан байх нь нэг хэрэг. Томоохон аж ахуйн нэгжид загвар боловсруулах бүх үйл явц нь мэдээллийн шинжлэх ухааны өндөр түвшний цөөн хэдэн мэргэжилтнүүдэд төвлөрдөг бол программист эсвэл мэдээллийн сангийн мэргэжилтэн (хөдөлмөрийн зах зээлд илүү түгээмэл бөгөөд хямдхан ур чадвар) авч чаддаг бол энэ нь огт өөр асуудал юм. ихэнх ажил дээр.ердийн ажил.
Тиймээс боловсруулсан загваруудын хурд, чанар, багийн бүтээмж, түүний бичил цаг уур нь MLOps үйл явцыг дэмжих мэргэжилтнүүдийг сонгоход хил хязгаар хаана байх, боловсруулсан загваруудыг ашиглах үйл явц хэрхэн зохион байгуулагдахаас шууд хамаардаг. .
Манай багийн аль хэдийн хийсэн зүйл
Бид саяхан ур чадварын бүтэц, MLOps процессыг барьж эхэлсэн. Гэхдээ загварын амьдралын мөчлөгийн менежмент болон загваруудыг үйлчилгээ болгон ашиглах төслүүд маань MVP тестийн шатандаа аль хэдийнээ явж байна.
Бид мөн томоохон аж ахуйн нэгжийн чадамжийн оновчтой бүтэц, үйл явцын бүх оролцогчдын хоорондын харилцааны зохион байгуулалтын бүтцийг тодорхойлсон. Бүх төрлийн бизнесийн үйлчлүүлэгчдэд тулгамдаж буй асуудлыг шийдвэрлэхийн тулд Agile багууд зохион байгуулагдаж, баригдаж буй MLOps барилгын суурь болох платформ, дэд бүтцийг бий болгохын тулд төслийн багуудтай харилцах үйл явцыг бий болгосон.
Ирээдүйд зориулсан асуултууд
MLOps бол ур чадварын хомсдолд өртөж буй хөгжиж буй салбар бөгөөд ирээдүйд эрч хүчээ авах болно. Энэ хооронд DevOps хөгжүүлэлт, практик дээр тулгуурласан нь дээр. MLOps-ийн гол зорилго нь бизнесийн асуудлыг шийдвэрлэхэд ML загварыг илүү үр дүнтэй ашиглах явдал юм. Гэхдээ энэ нь олон асуултыг төрүүлдэг:
- Загваруудыг үйлдвэрлэлд нэвтрүүлэх хугацааг хэрхэн багасгах вэ?
- Янз бүрийн чадамжтай багуудын хоорондын хүнд суртлын зөрчлийг хэрхэн багасгаж, хамтын ажиллагаанд анхаарлаа хандуулах вэ?
- Загваруудыг хэрхэн хянах, хувилбаруудыг удирдах, үр дүнтэй мониторинг зохион байгуулах вэ?
- Орчин үеийн ML загварын жинхэнэ дугуй амьдралын мөчлөгийг хэрхэн бий болгох вэ?
- Машин сургалтын үйл явцыг хэрхэн стандартчилах вэ?
Эдгээр асуултын хариулт нь MLO-ууд хэр хурдан хугацаанд бүрэн хүчин чадлаараа хүрэхийг тодорхойлох болно.
Эх сурвалж: www.habr.com