په 2018 کې، د MLOps مفهوم په مسلکي حلقو او AI ته وقف شوي موضوعاتي کنفرانسونو کې څرګند شو، کوم چې په چټکۍ سره په صنعت کې ونیول او اوس د خپلواک لوري په توګه وده کوي. په راتلونکي کې، MLOps کیدای شي د معلوماتي ټکنالوجۍ یو له خورا مشهور سیمو څخه وي. دا څه شی دی او له څه سره خوړل کیږي؟راځئ لاندې یې ومومئ.
MLOps څه شی دی؟
MLOps (د ماشین زده کړې ټیکنالوژۍ او پروسې او د سوداګرۍ پروسو کې د پرمختللي ماډلونو پلي کولو لپاره طریقې ترکیب کول) د مصنوعي استخباراتو سیسټمونو رامینځته کولو پرمهال د سوداګرۍ استازو ، ساینس پوهانو ، ریاضي پوهانو ، د ماشین زده کړې متخصصینو او IT انجینرانو ترمینځ د همکارۍ نوې لاره ده.
په بل عبارت، دا د ماشین زده کړې میتودونو او ټیکنالوژیو ته د سوداګرۍ ستونزو حل کولو لپاره ګټورې وسیلې بدلولو یوه لاره ده.
دا اړینه ده چې پوه شي چې د تولید سلسله د ماډل پراختیا څخه ډیر وخت پیل کیږي. د دې لومړی ګام د سوداګرۍ ستونزې تعریف کول دي، د ارزښت په اړه فرضیه چې د ډاټا څخه استخراج کیدی شي، او د پلي کولو لپاره د سوداګرۍ مفکوره.
د MLOps خورا مفهوم د ماشین زده کړې ماډلونو او ټیکنالوژیو پورې اړوند د DevOps مفکورې سره ورته والی په توګه رامینځته شوی. DevOps د سافټویر پراختیا لپاره یوه تګلاره ده چې تاسو ته اجازه درکوي د انفرادي بدلونونو پلي کولو سرعت زیات کړئ پداسې حال کې چې د یو شمیر تګلارو په کارولو سره انعطاف او اعتبار ساتي ، پشمول د دوامداره پراختیا ، په یو شمیر خپلواک مایکرو خدماتو کې د دندو ویش ، اتومات ازموینه او د انفرادي ګمارلو په شمول. بدلونونه، د نړیوال روغتیا څارنه، د کشف شوي ناکامیو لپاره د چټک غبرګون سیسټم، او نور.
DevOps د سافټویر ژوند دوره تعریف کړې، او ټولنه د لوی ډیټا لپاره ورته میتودولوژي پلي کولو مفکورې سره راغلې. ډیټا اوپس یوه هڅه ده چې میتودولوژي تطابق او پراخه کړي په متنوع او متقابل پلیټ فارمونو کې د لوی مقدار ډیټا ذخیره کولو ، لیږدونې او پروسس کولو ځانګړتیاو په پام کې نیولو سره.
د تصدیو د سوداګرۍ پروسو کې پلي شوي د ماشین زده کړې ماډلونو د ځانګړي مهمې ډلې په راتلو سره ، د ریاضیاتو ماشین زده کړې ماډلونو د ژوند دورې او د سافټویر ژوند دورې ترمینځ قوي ورته والی څرګند شو. یوازینی توپیر دا دی چې ماډل الګوریتمونه د ماشین زده کړې وسیلو او میتودونو په کارولو سره رامینځته شوي. له همدې امله، دا مفکوره په طبیعي توګه د ماشین زده کړې ماډلونو لپاره د سافټویر پراختیا لپاره د پخوا څخه پیژندل شوي طریقې پلي کول او تطبیق کول دي. په دې توګه، لاندې کلیدي مرحلې د ماشین زده کړې ماډلونو د ژوند دوره کې توپیر کیدی شي:
- د سوداګرۍ مفکورې تعریف کول؛
- د ماډل روزنه
- د سوداګرۍ پروسې کې د ماډل ازموینه او پلي کول؛
- د ماډل عملیات.
کله چې د عملیاتو په جریان کې په نوي ډیټا کې ماډل بدلولو یا بیا روزنې ته اړتیا وي ، دوره بیا پیل کیږي - ماډل اصلاح شوی ، ازمول شوی ، او نوې نسخه ځای په ځای کیږي.
شاتګ. ولې بیا روزنه وکړئ او بیا روزنه نه کوئ؟ د "مډل بیا روزنې" اصطلاح دوه اړخیزه معنی لري: د متخصصینو په منځ کې دا د ماډل نیمګړتیا معنی لري، کله چې ماډل ښه وړاندوینه کوي، په حقیقت کې د روزنې په سیټ کې د وړاندوینې پیرامیټر تکراروي، مګر د بهرنۍ ډاټا نمونې کې خورا بد ترسره کوي. په طبیعي توګه، دا ډول ماډل یو عیب دی، ځکه چې دا نیمګړتیا د هغې کارولو ته اجازه نه ورکوي.
د ژوند په دې دوره کې، د DevOps وسیلو کارول منطقي ښکاري: اتوماتیک ازموینه، ځای پرځای کول او څارنه، د جلا مایکرو خدماتو په بڼه د ماډل محاسبې ډیزاین کول. مګر یو شمیر ځانګړتیاوې هم شتون لري چې د اضافي ML پابندۍ پرته د دې وسیلو مستقیم کارونې مخه نیسي.
څنګه موډلونه کار کوي او ګټور وي
د مثال په توګه چې موږ به د MLOps طریقې کارول وښیو، موږ به د بانکدارۍ (یا کوم بل) محصول لپاره د چیٹ مالتړ روبوټ کولو کلاسیک دنده په غاړه واخلو. عموما، د چیٹ مالتړ سوداګرۍ پروسه داسې ښکاري: یو پیرودونکی په چیٹ کې د پوښتنې سره یو پیغام ته ننوځي او د مخکیني ټاکل شوي ډیالوګ ونې کې د متخصص څخه ځواب ترلاسه کوي. د دې ډول چیټ اتومات کولو دنده معمولا د متخصص لخوا ټاکل شوي مقرراتو سیټونو په کارولو سره حل کیږي ، کوم چې د پراختیا او ساتلو لپاره خورا ډیر کار کوي. د دې ډول اتومات موثریت، د دندې د پیچلتیا کچې پورې اړه لري، کیدای شي 20-30٪ وي. په طبیعي ډول، دا مفکوره راپورته کیږي چې د مصنوعي استخباراتو ماډل پلي کول خورا ګټور دي - یو ماډل چې د ماشین زده کړې په کارولو سره رامینځته شوی، کوم چې:
- د آپریټر د ګډون پرته د ډیرو غوښتنو پروسس کولو توان لري (د موضوع پورې اړه لري، په ځینو مواردو کې اغیزمنتوب 70-80٪ ته رسیږي)؛
- په خبرو اترو کې د غیر معیاري کلمو سره غوره تطبیق کوي - د ارادې ټاکلو توان لري، د کارونکي ریښتینې هیله د واضح ډول نه جوړ شوي غوښتنې پراساس؛
- پوهیږي چې څنګه معلومه کړي کله چې د ماډل ځواب کافي وي، او کله چې د دې ځواب "خبرتیا" په اړه شک شتون لري او تاسو اړتیا لرئ د اضافي روښانه پوښتنې پوښتنه وکړئ یا آپریټر ته لاړ شئ؛
- اضافي په اتوماتيک ډول روزل کیدی شي (د دې پرځای چې د پراختیا کونکو یوې ډلې په دوامداره توګه د ځواب سکریپټونو تطابق او سم کړي، ماډل د ډیټا ساینس متخصص لخوا د مناسب ماشین زده کړې کتابتونونو په کارولو سره روزل کیږي).
څنګه کولای شو چی دا ډول پرمختللی موډل کار وکړي؟
لکه څنګه چې د کومې بلې ستونزې حل کولو سره، د داسې ماډل جوړولو دمخه، دا اړینه ده چې د سوداګرۍ پروسه تعریف کړئ او په رسمي توګه هغه ځانګړي دنده تشریح کړئ چې موږ به یې د ماشین زده کړې میتود په کارولو سره حل کړو. په دې وخت کې، د عملیاتي کولو بهیر، چې د مخفف Ops لخوا ډیزاین شوی، پیل کیږي.
بل ګام دا دی چې د ډیټا ساینس پوه د ډیټا انجینر سره په همکارۍ ، د ډیټا شتون او کفایت او د سوداګرۍ مفکورې د وړتیا په اړه د سوداګرۍ فرضیه چیک کوي ، د پروټوټایپ ماډل رامینځته کوي او د هغې ریښتیني تاثیر ازموي. یوازې د سوداګرۍ لخوا تایید وروسته کولی شي د ماډل رامینځته کولو څخه لیږد په سیسټمونو کې مدغم کولو ته چې د سوداګرۍ ځانګړي پروسه ترسره کوي پیل شي. د پای څخه تر پایه پلي کولو پلان جوړونه، په هر پړاو کې ژوره پوهه چې ماډل به څنګه وکارول شي او کوم اقتصادي اغیز به راوړي، د شرکت ټیکنالوژیکي منظرې ته د MLOps طریقې معرفي کولو پروسې کې یو بنسټیز ټکی دی.
د AI ټیکنالوژیو پراختیا سره، د ستونزو شمیر او ډولونه چې د ماشین زده کړې په کارولو سره حل کیدی شي په چټکۍ سره وده کوي. د ورته سوداګرۍ هره پروسه په ډله ایزو پوستونو کې د کارمندانو د کار اتومات کولو له امله د شرکت لپاره سپما ده (د تلیفون مرکز ، د اسنادو چک کول او ترتیب کول ، او داسې نور) ، دا د نوي زړه راښکونکي او مناسبو دندو اضافه کولو سره د پیرودونکي اساس پراخول دي. ، دا د دوی د غوره کارولو او د سرچینو بیا توزیع او نور ډیر څه له امله پیسې خوندي کوي. په نهایت کې ، هره پروسه د ارزښت رامینځته کولو باندې تمرکز کوي او په پایله کې باید یو مشخص اقتصادي اغیزه راوړي. دلته دا خورا مهم دي چې په واضح ډول د سوداګرۍ مفکوره جوړه کړئ او د شرکت په ټولیز ارزښت رامینځته کولو جوړښت کې د ماډل پلي کولو څخه تمه شوي ګټې محاسبه کړئ. داسې شرایط شتون لري کله چې د ماډل پلي کول پخپله توجیه نه کوي، او د ماشین زده کړې متخصصینو لخوا مصرف شوي وخت د دې کار ترسره کولو کاروونکي د کار ځای په پرتله خورا ګران دی. له همدې امله دا اړینه ده چې د AI سیسټمونو رامینځته کولو په لومړیو مرحلو کې د ورته قضیو پیژندلو هڅه وکړئ.
په پایله کې، ماډلونه یوازې د ګټې تولید پیل کوي کله چې د MLOps پروسې کې د سوداګرۍ ستونزه په سمه توګه جوړه شوې وي، لومړیتوبونه ټاکل شوي وي، او سیسټم ته د ماډل معرفي کولو پروسه د پراختیا په لومړیو مرحلو کې جوړه شوې وي.
نوې پروسه - نوې ننګونې
د بنسټیزو سوداګریزو پوښتنو ته یو جامع ځواب چې د ML ماډلونه د ستونزو حل کولو لپاره څومره پلي کیږي، په AI کې د باور عمومي مسله د MLOps طریقې د پراختیا او پلي کولو په بهیر کې یو له مهمو ننګونو څخه دی. په پیل کې، سوداګرۍ په پروسو کې د ماشین زده کړې معرفي کولو په اړه شکمن دي - دا ستونزمنه ده چې په هغو ځایونو کې موډلونو باندې تکیه وکړئ چیرې چې مخکې، د یوې قاعدې په توګه، خلکو کار کاوه. د سوداګرۍ لپاره، برنامه د "تور بکس" په توګه ښکاري، چې د هغې تړاو لاهم باید ثابت شي. برسېره پردې، په بانکدارۍ کې، د مخابراتو آپریټرانو او نورو په سوداګرۍ کې، د حکومتي تنظیم کونکو سخت اړتیاوې شتون لري. ټول سیسټمونه او الګوریتمونه چې په بانکي پروسو کې پلي کیږي د پلټنې تابع دي. د دې ستونزې د حل لپاره، سوداګرۍ او تنظیم کونکو ته د مصنوعي استخباراتو ځوابونو اعتبار او درستیت ثابتولو لپاره، د ماډل سره د څارنې وسیلې معرفي کیږي. برسېره پردې، د اعتبار وړ خپلواکه کړنلاره شتون لري، د تنظیمي ماډلونو لپاره لازمي ده، کوم چې د مرکزي بانک اړتیاوې پوره کوي. د متخصصینو یوه خپلواکه ډله د موډل لخوا ترلاسه شوي پایلې پلټنه کوي چې د معلوماتو ډاټا په پام کې نیسي.
دویمه ننګونه د ماشین زده کړې ماډل پلي کولو پرمهال د ماډل خطرونو ارزونه او په پام کې نیول دي. حتی که یو څوک په سل فیصده ډاډ سره د دې پوښتنې ځواب نشي کولی چې ایا ورته جامې سپینې وې که نیلي، نو مصنوعي هوښیارتیا هم حق لري چې غلطي وکړي. دا هم په پام کې نیولو سره ارزښت لري چې ډاټا ممکن د وخت په تیریدو سره بدلون ومومي، او ماډلونه باید د کافي دقیقې پایلې تولید لپاره بیا وروزل شي. د دې لپاره چې ډاډ ترلاسه شي چې د سوداګرۍ پروسه زیان نه رسوي، دا اړینه ده چې د موډل خطرونه اداره کړئ او د ماډل فعالیت وڅارئ، په منظمه توګه د نوي معلوماتو په اړه بیا روزنه.
مګر د بې باورۍ له لومړۍ مرحلې وروسته، برعکس اغیزه ښکاره کیږي. هرڅومره چې موډلونه په بریالیتوب سره په پروسو کې پلي کیږي ، هومره د مصنوعي استخباراتو کارولو لپاره د سوداګرۍ لیوالتیا وده کوي - نوې او نوې ستونزې موندل کیږي چې د ماشین زده کړې میتودونو په کارولو سره حل کیدی شي. هره دنده یوه ټوله پروسه رامینځته کوي چې ځینې وړتیاو ته اړتیا لري:
- د معلوماتو انجنیران ډاټا چمتو او پروسس کوي؛
- د معلوماتو ساینس پوهان د ماشین زده کړې وسیلې کاروي او ماډل رامینځته کوي؛
- IT په سیسټم کې ماډل پلي کوي؛
- د ML انجینر ټاکي چې دا ماډل څنګه په پروسه کې په سمه توګه مدغم کړي ، کوم IT وسیلې باید وکارول شي ، د ماډل غوښتنلیک حالت اړتیاو پورې اړه لري ، د غوښتنو جریان ، د ځواب وخت او داسې نور په پام کې نیولو سره.
- د ML معمار ډیزاین کوي څنګه د سافټویر محصول په فزیکي توګه په صنعتي سیسټم کې پلي کیدی شي.
ټوله دوره یو لوی شمیر لوړ وړ متخصصینو ته اړتیا لري. د سوداګرۍ پروسو ته د ML ماډلونو د ننوتلو او پراختیا په یوه ټاکلي نقطه کې، دا معلومه شوه چې د دندو د زیاتوالي په تناسب د متخصصینو شمیر په قطعي توګه اندازه کول ګران او غیر اغیزمن کیږي. له همدې امله، د MLOps پروسې اتومات کولو پوښتنه راپورته کیږي - د ماشین زده کړې ستونزې ډیری معیاري ټولګي تعریف کول ، د معیاري معلوماتو پروسس کولو پایپ لاینونو رامینځته کول او د ماډلونو اضافي روزنه. په یو مثالي عکس کې ، د دې ډول ستونزو حل مسلکيانو ته اړتیا لري څوک چې د لوی ډیټا ، ډیټا ساینس ، DevOps او IT په تقاطع کې په وړتیاو کې مساوي مهارت لري. له همدې امله ، د ډیټا ساینس صنعت کې ترټولو لویه ستونزه او د MLOps پروسو تنظیم کولو کې ترټولو لویه ننګونه د اوسني روزنې بازار کې د ورته وړتیا نشتوالی دی. متخصصین چې دا اړتیاوې پوره کوي اوس مهال د کار په بازار کې نادر دي او د دوی وزن په سرو زرو کې ارزښت لري.
د وړتیاوو په اړه
په تیوري کې، د MLOps ټولې دندې د کلاسیک DevOps وسیلو په کارولو سره حل کیدی شي او پرته له دې چې د رول ماډل ځانګړي توسیع ته لاره هواره کړي. بیا ، لکه څنګه چې موږ پورته یادونه وکړه ، د ډیټا ساینس پوه باید نه یوازې د ریاضي پوه او ډیټا شنونکی وي ، بلکه د ټولې پایپ لاین گرو هم وي - هغه د معمارۍ رامینځته کولو مسؤلیت لري ، په ډیری ژبو کې د برنامه کولو ماډلونه په جوړښت پورې اړه لري ، چمتو کوي. د ډیټا مارټ او غوښتنلیک پخپله پلي کول. په هرصورت، د پای څخه تر پای پورې د MLOps پروسې کې پلي شوي تخنیکي چوکاټ رامینځته کول تر 80٪ پورې د کار لګښتونه اخلي، پدې معنی چې یو وړ ریاضي پوه، چې د کیفیت ډیټا ساینس پوه دی، به د خپل وخت یوازې 20٪ خپل تخصص ته وقف کړي. . له همدې امله، د ماشین زده کړې ماډلونو پلي کولو په پروسه کې د ښکیلو متخصصینو رول تشریح کول حیاتي دي.
څومره تفصیلي رولونه باید تشریح شي د شرکت په اندازې پورې اړه لري. دا یو شی دی کله چې یو پیل یو متخصص ولري، د انرژۍ په زیرمه کې سخت کارګر، څوک چې د هغه خپل انجنیر، معمار، او DevOps دی. دا یو بشپړ توپیر دی کله چې په یوه لوی شرکت کې، د ماډل پراختیا ټولې پروسې په یو څو لوړ پوړو ډیټا ساینس متخصصینو باندې متمرکزې وي، پداسې حال کې چې یو پروګرامر یا ډیټابیس متخصص - د کار په بازار کې یو ډیر عام او لږ ګران وړتیا - کولی شي واخلي. په ډیرو کارونو کې، عادي کارونه.
په دې توګه، د پرمختللو موډلونو سرعت او کیفیت، د ټیم تولید او په دې کې مایکروکلیمیټ په مستقیم ډول په دې پورې اړه لري چې د MLOps پروسې مالتړ لپاره د متخصصینو په انتخاب کې سرحد چیرته دی او د پرمختللو موډلونو د عملیاتي کولو پروسه څنګه تنظیم کیږي. .
هغه څه چې زموږ ټیم لا دمخه کړي دي
موږ پدې وروستیو کې د وړتیا جوړښت او د MLOps پروسې رامینځته کول پیل کړل. مګر زموږ پروژې د ماډل ژوند دورې مدیریت او د خدماتو په توګه د ماډلونو کارولو دمخه د MVP ازموینې مرحله کې دي.
موږ د یوې لویې تصدۍ لپاره د غوره وړتیا جوړښت او په پروسه کې د ټولو برخه اخیستونکو ترمینځ د تعامل تنظیمي جوړښت هم مشخص کړ. ګړندي ټیمونه تنظیم شوي ترڅو د سوداګرۍ پیرودونکو ټولې لړۍ لپاره ستونزې حل کړي ، او د پلیټ فارمونو او زیربنا رامینځته کولو لپاره د پروژې ټیمونو سره د متقابل عمل پروسه رامینځته شوې ، کوم چې د MLOps ساختماني ودانۍ بنسټ دی.
د راتلونکي لپاره پوښتنې
MLOps یوه مخ پر ودې سیمه ده چې د وړتیاوو له کمښت سره مخ ده او په راتلونکي کې به وده ومومي. په ورته وخت کې ، دا غوره ده چې د DevOps پرمختګونو او کړنو رامینځته کړئ. د MLOps اصلي هدف د سوداګرۍ ستونزو حل کولو لپاره د ML ماډلونو په مؤثره توګه کارول دي. مګر دا ډیری پوښتنې راپورته کوي:
- څنګه تولید ته د ماډلونو پیل کولو وخت کم کړئ؟
- څنګه د مختلفو وړتیاوو د ټیمونو ترمنځ د بیوروکراټیک ټکر کمول او د همکارۍ تمرکز زیاتول؟
- څنګه موډلونه تعقیب کړئ، نسخې اداره کړئ او مؤثره څارنه تنظیم کړئ؟
- د عصري ML ماډل لپاره ریښتیني سرکلر لائف سائیکل څنګه رامینځته کړئ؟
- د ماشین زده کړې پروسې معیاري کولو څرنګوالی؟
د دې پوښتنو ځوابونه به په لویه کچه وټاکي چې MLOps به څومره ژر خپل بشپړ ظرفیت ته ورسیږي.
سرچینه: www.habr.com