راتلونکی رارسیدلی، او مصنوعي استخبارات او د ماشین زده کړې ټیکنالوژي لا دمخه ستاسو د خوښې پلورنځیو، ټرانسپورټ شرکتونو او حتی د ترکیې فارمونو لخوا په بریالیتوب سره کارول کیږي.
او که یو څه شتون ولري، نو په انټرنیټ کې د دې په اړه لا دمخه یو څه شتون لري ... یوه پرانیستې پروژه! وګورئ چې څنګه Open Data Hub تاسو سره د نوي ټیکنالوژیو اندازه کولو او د پلي کولو ننګونو څخه مخنیوي کې مرسته کوي.
د مصنوعي استخباراتو (AI) او ماشین زده کړې (ML) ټولو ګټو سره، سازمانونه ډیری وختونه د دې ټیکنالوژیو اندازه کول ستونزمن کوي. په دې قضیه کې اصلي ستونزې معمولا په لاندې ډول دي:
- د معلوماتو تبادله او همکاري - دا تقریبا ناشونی دی چې په اسانۍ سره د معلوماتو تبادله او په چټک تکرار کې همکاري وکړي.
- معلوماتو ته لاسرسی - د هر کار لپاره دا باید په نوي او لاسي ډول جوړ شي، کوم چې ډیر وخت نیسي.
- د غوښتنې سره سم لاسرسی - د ماشین زده کړې وسیلو او پلیټ فارم ، او همدارنګه د کمپیوټري زیربنا ته د غوښتنې پراساس لاسرسي ترلاسه کولو لپاره هیڅ لاره شتون نلري.
- تولید - ماډلونه د پروټوټایپ مرحله کې پاتې دي او صنعتي کارونې ته نه راوړل کیږي.
- د AI پایلې تعقیب او تشریح کړئ - د AI/ML پایلو بیا تولید ، تعقیب او توضیح کول ستونزمن دي.
بې ځوابه پاتې شوي، دا ستونزې د ارزښتناکه ډیټا ساینس پوهانو سرعت، موثریت او تولید باندې منفي اغیزه کوي. دا د دوی د نا امیدۍ، د دوی په کار کې د مایوسۍ لامل کیږي، او په پایله کې، د AI/ML په اړه د سوداګرۍ تمه ضایع کیږي.
د دې ستونزو د حل کولو مسؤلیت د معلوماتي ټکنالوجۍ متخصصینو باندې راځي، څوک چې باید د معلوماتو شنونکي چمتو کړي - دا سمه ده، د بادل په څیر یو څه. په ډیر تفصیل سره، موږ یو داسې پلیټ فارم ته اړتیا لرو چې د انتخاب آزادي ورکړي او اسانه، اسانه لاسرسی ولري. په ورته وخت کې، دا ګړندی، په اسانۍ سره د بیا تنظیم وړ، په تقاضا کې د توزیع وړ او د ناکامیو په وړاندې مقاومت لري. د خلاصې سرچینې ټیکنالوژیو کې د داسې پلیټ فارم رامینځته کول د پلورونکي لاک ان څخه مخنیوي کې مرسته کوي او د لګښت کنټرول شرایطو کې اوږدمهاله ستراتیژیک ګټې ساتي.
څو کاله دمخه، د غوښتنلیک په پراختیا کې ورته یو څه پیښ شوي او د مایکرو خدماتو، هایبرډ بادل، د معلوماتي ټیکنالوژۍ اتوماتیک، او چټک پروسو رامینځته کیدو المل شو. د دې ټولو سره د مقابلې لپاره، د معلوماتي ټکنالوجۍ متخصصینو کانټینرونو، کبرنیټس او خلاص هایبرډ بادلونو ته مخه کړې.
دا تجربه اوس د ال ننګونو ته د ځواب ویلو لپاره کارول کیږي. له همدې امله د معلوماتي ټکنالوجۍ متخصصین پلیټ فارمونه رامینځته کوي چې د کانټینر پراساس دي، په چټکو پروسو کې د AI/ML خدماتو رامینځته کول فعالوي، نوښت ګړندی کوي، او د هایبرډ بادل په لور د سترګو سره جوړ شوي.
موږ به د Red Hat OpenShift سره د داسې یو پلیټ فارم جوړول پیل کړو، د هایبرډ کلاوډ لپاره زموږ کانټینر شوي کبرنیټس پلیټ فارم، کوم چې د سافټویر او هارډویر ML حلونو ګړندۍ وده کونکي اکوسیستم لري (NVIDIA, H2O.ai, Starburst, PerceptiLabs, etc.). د Red Hat ځینې پیرودونکي، لکه BMW ګروپ، ExxonMobil او نور، لا دمخه د پلیټ فارم او د دې ایکوسیستم په سر کې د کانټینر شوي ML اوزار چین او DevOps پروسې ځای په ځای کړي ترڅو د دوی ML جوړښتونه تولید ته راوړي او د ډیټا شنونکو کار ګړندی کړي.
بل دلیل چې موږ د اوپن ډیټا هب پروژه پیل کړه د څو خلاصې سرچینې سافټویر پروژو پراساس د معمارۍ مثال څرګندول او وښیې چې څنګه د OpenShift پلیټ فارم پراساس د ML حل ټول ژوند دوره پلي کړي.
د ډیټا هب پروژه خلاص کړئ
دا د خلاصې سرچینې پروژه ده چې په اړونده پرمختیایی ټولنه کې رامینځته شوې او د عملیاتو بشپړ دوره پلي کوي - د لومړني ډیټا له بار کولو او بدلولو څخه د ماډل تولید ، روزنې او ساتلو پورې - کله چې په OpenShift کې د کانټینرونو او کبرنیټس په کارولو سره د AI / ML ستونزې حل کول. پلیټ فارم. دا پروژه د حوالې پلي کولو په توګه ګڼل کیدی شي، د OpenShift او اړونده خلاصې سرچینې وسیلو لکه Tensorflow، JupyterHub، Spark او نورو پر بنسټ د خلاص AI/ML-as-a-service حل د جوړولو یوه بیلګه. دا مهمه ده چې یادونه وکړو چې Red Hat پخپله دا پروژه د AI/ML خدماتو چمتو کولو لپاره کاروي. سربیره پردې، OpenShift د NVIDIA، Seldon، Starbust او نورو پلورونکو څخه د کلیدي سافټویر او هارډویر ML حلونو سره مدغم کوي، دا ستاسو د ماشین زده کړې سیسټمونو جوړول او چلول اسانه کوي.
د Open Data Hub پروژه د کاروونکو او کارولو قضیو په لاندې کټګوریو تمرکز کوي:
- د معلوماتو شنونکی چې د ML پروژو پلي کولو لپاره حل ته اړتیا لري، د ځان خدمت دندو سره د بادل په څیر تنظیم شوی.
- د ډیټا شنونکی چې د وروستي خلاصې سرچینې AI/ML وسیلو او پلیټ فارمونو څخه اعظمي انتخاب ته اړتیا لري.
- د ډیټا شنونکی چې د ماډلونو روزنې پرمهال ډیټا سرچینو ته لاسرسی ته اړتیا لري.
- د ډیټا شنونکی چې کمپیوټري سرچینو ته لاسرسی ته اړتیا لري (CPU، GPU، حافظه).
- د معلوماتو شنونکی چې د همکارانو سره د همکارۍ او شریکولو وړتیا ته اړتیا لري، فیډبیک ترلاسه کوي، او په چټک تکرار کې پرمختګونه کوي.
- د معلوماتو شنونکی چې غواړي د پراختیا کونکو سره اړیکه ونیسي (او د ټیمونو ټیمونو) ترڅو د هغه ML ماډلونه او د کار پایلې تولید ته لاړ شي.
- د ډیټا انجینر چې اړتیا لري د ډیټا شنونکي چمتو کړي چې مختلف ډیټا سرچینو ته لاسرسی ولري پداسې حال کې چې تنظیمي او امنیت اړتیاو سره مطابقت لري.
- د معلوماتي ټکنالوجۍ سیسټم مدیر / آپریټر چې د خلاصې سرچینې اجزاو او ټیکنالوژیو ژوند دوره (انسټالول، ترتیب، اپ گریڈ) په اسانۍ سره کنټرول کولو وړتیا ته اړتیا لري. موږ هم مناسب مدیریت او کوټې وسیلو ته اړتیا لرو.
د خلاص ډیټا هب پروژه د AI/ML عملیاتو بشپړ دورې پلي کولو لپاره د خلاصې سرچینې وسیلو لړۍ سره یوځای کوي. Jupyter نوټ بوک دلته د ډیټا تحلیلونو لپاره د اصلي کاري وسیلې په توګه کارول کیږي. Toolkit نن ورځ د ډیټا ساینس پوهانو ترمنځ په پراخه کچه مشهور دی، او د خلاص ډیټا هب دوی ته اجازه ورکوي چې د Jupyter نوټ بوک کاري ځایونه د جوړ شوي JupyterHub په کارولو سره په اسانۍ سره رامینځته او اداره کړي. د Jupyter نوټ بوکونو جوړولو او واردولو سربیره، د Open Data Hub پروژه د AI کتابتون په بڼه یو شمیر چمتو شوي نوټ بوکونه هم لري.
دا کتابتون د خلاصې سرچینې ماشین زده کړې اجزاو ټولګه ده او د عام سناریوګانو لپاره حلونه دي چې د ګړندي پروټوټایپ ساده کوي. JupyterHub د OpenShift د RBAC لاسرسي ماډل سره مدغم شوی، کوم چې تاسو ته اجازه درکوي چې موجوده OpenShift حسابونه وکاروئ او یو واحد لاسلیک پلي کړئ. برسېره پردې، JupyterHub د سپونر په نوم د کاروونکي دوستانه کاروونکي انٹرفیس وړاندې کوي، چې له لارې یې کاروونکي کولی شي په اسانۍ سره د ټاکل شوي Jupyter نوټ بوک لپاره د کمپیوټري سرچینو مقدار (CPU کور، حافظه، GPU) تنظیم کړي.
وروسته له دې چې د ډیټا شنونکی لپ ټاپ رامینځته او تنظیم کړي ، د دې په اړه نورې ټولې اندیښنې د کوبرنیټ شیډولر لخوا په پام کې نیول کیږي ، کوم چې د OpenShift برخه ده. کاروونکي کولی شي یوازې خپلې تجربې ترسره کړي، د دوی د کار پایلې خوندي او شریک کړي. برسیره پردې، پرمختللي کاروونکي کولی شي په مستقیم ډول د Jupyter نوټ بوک څخه د OpenShift CLI شیل ته لاسرسی ومومي ترڅو د Kubernetes ابتدايي لکه د دندې یا OpenShift فعالیت لکه Tekton یا Knative ګټه پورته کړي. یا د دې لپاره تاسو کولی شئ د OpenShift مناسب GUI وکاروئ، کوم چې د "OpenShift ویب کنسول" په نوم یادیږي.
راتلونکي مرحلې ته حرکت کول ، د ډیټا هب خلاصول د ډیټا پایپ لاینونو اداره کول امکان لري. د دې لپاره ، د Ceph څیز کارول کیږي ، کوم چې د S3 سره مطابقت لرونکي څیز ډیټا ذخیره کولو په توګه چمتو شوی. اپاچی سپارک تاسو ته اجازه درکوي د بهرنیو سرچینو څخه ډیټا جریان کړئ یا د Ceph S3 ذخیره کې جوړ شوی، او تاسو ته اجازه درکوي د لومړني ډیټا بدلونونه ترسره کړئ. اپاچی کافکا د ډیټا پایپ لاینونو پرمختللی مدیریت چمتو کوي (چیرې چې ډیټا څو ځله بار کیدی شي ، په بیله بیا د ډیټا بدلون ، تحلیل او دوام عملیات).
نو، د معلوماتو شنونکي ډاټا ته لاسرسی وموند او یو ماډل یې جوړ کړ. اوس هغه هیله لري چې ترلاسه شوي پایلې د همکارانو یا غوښتنلیک جوړونکو سره شریکې کړي، او دوی ته د خدمت په اصولو کې خپل ماډل چمتو کړي. دا د انفرنس سرور ته اړتیا لري، او د Open Data Hub داسې یو سرور لري، دا د سیلډون په نوم یادیږي او تاسو ته اجازه درکوي چې ماډل د RESTful خدمت په توګه خپور کړئ.
په ځینو وختونو کې، د سیلډون سرور کې ډیری داسې ماډلونه شتون لري، او د دوی د کارولو څرنګوالي څارلو ته اړتیا شتون لري. د دې ترلاسه کولو لپاره ، د خلاص ډیټا هب د اړونده میټریکونو ټولګه او د راپور ورکولو انجن وړاندیز کوي چې په پراخه کچه کارول شوي د خلاصې سرچینې څارنې وسیلو پرومیتیس او ګرافانا پراساس دي. د پایلې په توګه ، موږ د AI ماډلونو کارولو نظارت کولو لپاره فیډبیک ترلاسه کوو ، په ځانګړي توګه د تولید چاپیریال کې.
په دې توګه، د خلاص ډیټا مرکز د ټول AI/ML ژوند دورې په اوږدو کې د بادل په څیر چلند چمتو کوي، د معلوماتو لاسرسي او چمتو کولو څخه د ماډل روزنې او تولید پورې.
دا ټول یوځای کول
اوس پوښتنه راپورته کیږي چې دا ټول څنګه د OpenShift مدیر لپاره تنظیم کړئ. او دا هغه ځای دی چې د خلاص ډیټا هب پروژو لپاره ځانګړی کوبرنیټس آپریټر پلی کیږي.
دا آپریټر د خلاص ډیټا هب پروژې نصب ، ترتیب او ژوند دوره اداره کوي ، پشمول د پورته ذکر شوي وسیلو ځای په ځای کول لکه JupyterHub، Ceph، Spark، Kafka، Seldon، Prometheus او Grafana. د Open Data Hub پروژه د OpenShift ویب کنسول کې موندل کیدی شي، د ټولنې آپریټرانو برخه کې. په دې توګه، د OpenShift مدیر کولی شي مشخص کړي چې اړونده OpenShift پروژې د "Open Data Hub پروژې" په توګه طبقه بندي شوي. دا یو ځل ترسره کیږي. له دې وروسته، د معلوماتو شنونکی د OpenShift ویب کنسول له لارې د خپلې پروژې ځای ته ننوځي او ګوري چې اړونده کوبرنیټس آپریټر نصب شوی او د هغه د پروژو لپاره شتون لري. هغه بیا په یو کلیک سره د خلاص ډیټا هب پروژې مثال رامینځته کوي او سمدلاسه پورته بیان شوي وسیلو ته لاسرسی لري. او دا ټول د لوړ شتون او د غلطۍ زغم حالت کې تنظیم کیدی شي.
که تاسو غواړئ د خپل ځان لپاره د Open Data Hub پروژه هڅه وکړئ، پیل کړئ . د خلاص ډیټا هب جوړښت تخنیکي توضیحات موندل کیدی شي د پروژې پراختیایي پلانونه – . په راتلونکي کې ، موږ پلان لرو چې د کوبی فلو سره اضافي ادغام پلي کړو ، د ډیټا تنظیم او امنیت سره یو شمیر مسلې حل کړو ، او همدارنګه د قواعدو پراساس سیسټمونو Drools او Optaplanner سره ادغام تنظیم کړو. خپل نظر څرګند کړئ او په پروژه کې ګډون وکړئ په پاڼه کې ممکنه ده .
د بیاکتنې لپاره: د اندازه کولو جدي ننګونې سازمانونه د مصنوعي استخباراتو او ماشین زده کړې بشپړ ظرفیت درک کولو مخه نیسي. د Red Hat OpenShift د اوږدې مودې لپاره په بریالیتوب سره د سافټویر صنعت کې ورته ستونزې حل کولو لپاره کارول شوي. د خلاص ډیټا هب پروژه ، د خلاصې سرچینې پراختیا ټولنې کې پلي شوې ، د OpenShift هایبرډ کلاوډ پراساس د AI/ML عملیاتو بشپړ دورې تنظیم کولو لپاره د حوالې جوړښت وړاندیز کوي. موږ د دې پروژې د پراختیا لپاره روښانه او فکري پلان لرو، او موږ د OpenShift پلیټ فارم کې د خلاص AI حلونو پراختیا لپاره د هغې په شاوخوا کې د یوې فعالې او ګټورې ټولنې رامینځته کولو کې جدي یو.
سرچینه: www.habr.com