اوپن ڊيٽا هب پروجيڪٽ هڪ اوپن مشين لرننگ پليٽ فارم آهي جنهن تي ٻڌل آهي Red Hat OpenShift

مستقبل اچي ويو آهي، ۽ مصنوعي ذهانت ۽ مشين لرننگ ٽيڪنالاجيون اڳ ۾ ئي ڪاميابيءَ سان استعمال ٿي رهيون آهن توهان جي پسنديده اسٽور، ٽرانسپورٽ ڪمپنيون ۽ حتي ترڪي فارمز.

۽ جيڪڏهن ڪا شيءِ موجود آهي، ته پوءِ انٽرنيٽ تي ان بابت اڳ ۾ ئي ڪجهه آهي... هڪ کليل منصوبو! ڏسو ڪيئن Open Data Hub توهان جي مدد ڪري ٿو نئين ٽيڪنالاجي کي ماپڻ ۽ عمل درآمد جي چئلينجن کان بچڻ.

مصنوعي ذهانت (AI) ۽ مشين لرننگ (ML) جي سڀني فائدن سان، تنظيمون اڪثر ڪري انهن ٽيڪنالاجي کي ماپڻ ۾ مشڪل هونديون آهن. هن معاملي ۾ بنيادي مسئلا عام طور تي هيٺيان آهن:

• معلومات جي تبادلي ۽ تعاون - اهو لڳ ڀڳ ناممڪن آهي معلومات جي تبادلي کي آسانيءَ سان ۽ تعاون ڪرڻ تيزيءَ سان.
• ڊيٽا جي رسائي - هر ڪم لاء ان کي نئين ۽ دستي طور تي تعمير ڪرڻ جي ضرورت آهي، جيڪو گهڻو وقت وٺندو آهي.
• گهرج تي رسائي - مشين لرننگ ٽولز ۽ پليٽ فارم، گڏوگڏ ڪمپيوٽنگ انفراسٽرڪچر تائين آن ڊيمانڊ رسائي حاصل ڪرڻ جو ڪو طريقو ناهي.
• پيداوار - ماڊل پروٽوٽائپ اسٽيج تي رهندا آهن ۽ صنعتي استعمال ۾ نه ايندا آهن.
• AI نتيجن کي ٽريڪ ۽ وضاحت ڪريو - AI/ML نتيجن جي ٻيهر پيداوار، ٽريڪنگ ۽ وضاحت ڏکيو آهي.

اڻڄاتل کاٻي پاسي، اهي مسئلا قيمتي ڊيٽا سائنسدانن جي رفتار، ڪارڪردگي، ۽ پيداوار تي منفي اثر انداز ڪن ٿا. اهو انهن جي مايوسي، انهن جي ڪم ۾ مايوسي، ۽ نتيجي طور، AI/ML جي حوالي سان ڪاروباري اميدون ضايع ٿي وينديون آهن.

انهن مسئلن کي حل ڪرڻ جي ذميواري آئي ٽي ماهرن تي پوي ٿي، جن کي لازمي طور تي ڊيٽا تجزيه نگارن کي مهيا ڪرڻ گهرجي - اهو صحيح آهي، بادل وانگر. وڌيڪ تفصيل سان، اسان کي هڪ پليٽ فارم جي ضرورت آهي جيڪا چونڊ جي آزادي ڏئي ٿي ۽ آسان، آسان رسائي آهي. ساڳئي وقت، اهو تيز، آساني سان ٻيهر ترتيب ڏيڻ، طلب تي اسڪيلبل ۽ ناڪامي جي مزاحمتي آهي. اوپن سورس ٽيڪنالاجيز تي اهڙي پليٽ فارم ٺاهڻ ۾ مدد ملندي آهي وينڊرز لاڪ ان کان بچڻ ۽ لاڳت جي ڪنٽرول جي لحاظ کان ڊگهي مدي واري اسٽريٽجڪ فائدي کي برقرار رکڻ ۾.

ڪجھه سال اڳ، ايپليڪيشن ڊولپمينٽ ۾ ڪجهه ساڳيو ٿي رهيو هو ۽ مائڪرو سروسز، هائبرڊ بادل، آئي ٽي آٽوميشن، ۽ چست عملن جي ظاهر ٿيڻ جو سبب بڻيو. هن سڀني کي منهن ڏيڻ لاء، آئي ٽي پروفيسر ڪنٽينرز، ڪبرنيٽس ۽ اوپن هائبرڊ بادل ڏانهن رخ ڪيو آهي.

اهو تجربو هاڻي ال جي چئلينجن جو جواب ڏيڻ لاءِ لاڳو ڪيو پيو وڃي. اهو ئي سبب آهي ته IT پروفيشنل پليٽ فارم ٺاهي رهيا آهن جيڪي ڪنٽينر تي ٻڌل آهن، AI/ML خدمتن جي تخليق کي چست عملن ۾ فعال ڪن ٿا، جدت کي تيز ڪن ٿا، ۽ هائبرڊ ڪلائوڊ ڏانهن نظر سان ٺهيل آهن.

اسان Red Hat OpenShift سان اهڙي پليٽ فارم جي تعمير شروع ڪنداسين، اسان جي ڪنٽينر ٿيل ڪبرنيٽس پليٽ فارم هائبرڊ ڪلائوڊ لاءِ، جنهن ۾ سافٽ ويئر ۽ هارڊويئر ML حلن (NVIDIA, H2O.ai, Starburst, PerceptiLabs وغيره) جو تيزيءَ سان وڌندڙ ماحولياتي نظام آهي. Red Hat جا ڪجهه گراهڪ، جهڙوڪ BMW Group، ExxonMobil ۽ ٻيا، اڳ ۾ ئي پليٽ فارم ۽ ان جي ايڪو سسٽم جي مٿان ڪنٽينرائز ٿيل ML ٽول چينز ۽ DevOps عملن کي ترتيب ڏئي چڪا آهن ته جيئن انهن جي ML آرڪيٽيڪچرز کي پيداوار ۾ آڻين ۽ ڊيٽا تجزيه نگارن جي ڪم کي تيز ڪن.

هڪ ٻيو سبب جيڪو اسان شروع ڪيو اوپن ڊيٽا هب پروجيڪٽ اهو آهي هڪ آرڪيٽيڪچر جو هڪ مثال ظاهر ڪرڻ لاءِ ڪيترن ئي اوپن سورس سافٽ ويئر پروجيڪٽ جي بنياد تي ۽ اهو ڏيکاريو ته ڪيئن لاڳو ڪجي ايم ايل حل جي پوري زندگي چڪر کي OpenShift پليٽ فارم جي بنياد تي.

اوپن ڊيٽا هب پروجيڪٽ

هي هڪ اوپن سورس پروجيڪٽ آهي جيڪو ترقي يافته ترقياتي ڪميونٽي جي اندر ٺاهيو ويو آهي ۽ عملن جي مڪمل چڪر کي لاڳو ڪري ٿو - شروعاتي ڊيٽا کي لوڊ ڪرڻ ۽ تبديل ڪرڻ کان وٺي ماڊل ٺاهڻ، تربيت ۽ برقرار رکڻ تائين - جڏهن AI / ML مسئلن کي حل ڪندي ڪنٽينرز ۽ ڪبرنيٽس استعمال ڪندي OpenShift تي. پليٽ فارم. هن پروجيڪٽ کي ريفرنس تي عمل درآمد سمجهي سگهجي ٿو، هڪ مثال ته ڪيئن ٺاهجي هڪ اوپن AI/ML-as-a-service Solution جي بنياد تي OpenShift ۽ لاڳاپيل اوپن سورس ٽولز جهڙوڪ Tensorflow، JupyterHub، Spark ۽ ٻيا. اهو نوٽ ڪرڻ ضروري آهي ته Red Hat پاڻ هن پروجيڪٽ کي استعمال ڪري ٿو پنهنجي AI/ML خدمتون مهيا ڪرڻ لاءِ. ان کان علاوه، OpenShift NVIDIA، Seldon، Starbust ۽ ٻين وينڊرز کان اهم سافٽ ويئر ۽ هارڊويئر ML حلن سان ضم ٿي، ان کي آسان بڻائي ٿي توهان جي پنهنجي مشين لرننگ سسٽم کي ٺاهڻ ۽ هلائڻ.

اوپن ڊيٽا هب پروجيڪٽ استعمال ڪندڙن جي هيٺين قسمن تي مرکوز آهي ۽ ڪيس استعمال ڪريو:

• ڊيٽا تجزيه نگار جيڪو ML منصوبن کي لاڳو ڪرڻ لاءِ حل جي ضرورت آهي، هڪ ڪلائوڊ وانگر منظم ڪيل سيلف سروس افعال سان.
• ڊيٽا تجزيه نگار جنهن کي جديد اوپن سورس AI/ML اوزار ۽ پليٽ فارمن مان وڌ کان وڌ انتخاب جي ضرورت آهي.
• ڊيٽا تجزيه نگار جنهن کي ڊيٽا جي ذريعن تائين رسائي جي ضرورت آهي جڏهن ٽريننگ ماڊل.
• ڊيٽا تجزيه نگار جيڪو ڪمپيوٽنگ وسيلن تائين رسائي جي ضرورت آهي (سي پي يو، جي پي يو، ياداشت).
• ڊيٽا تجزيه نگار جنهن کي همٿائڻ جي صلاحيت جي ضرورت آهي ساٿين سان ڪم کي حصيداري ڪرڻ، موٽ حاصل ڪرڻ، ۽ تيزيءَ سان ورهاڱي ۾ بهتري آڻڻ.
• هڪ ڊيٽا تجزيه نگار جيڪو ڊولپرز سان لهه وچڙ ڪرڻ چاهي ٿو (۽ ٽيمون ڊيوپس) انهي ڪري ته هن جا ايم ايل ماڊل ۽ ڪم جا نتيجا پيداوار ۾ وڃن.
• ڊيٽا انجنيئر جيڪو ريگيوليٽري ۽ سيڪيورٽي گهرجن جي تعميل دوران ڊيٽا جي مختلف ذريعن تائين رسائي سان گڏ ڊيٽا تجزيه نگار مهيا ڪرڻ جي ضرورت آهي.
• آئي ٽي سسٽم ايڊمنسٽريٽر / آپريٽر جنهن کي ضرورت آهي آسانيءَ سان ڪنٽرول ڪرڻ جي صلاحيت (تنصيب، ترتيب، اپ گريڊ) اوپن سورس اجزاء ۽ ٽيڪنالاجيز جي. اسان کي مناسب انتظام ۽ ڪوٽا جا اوزار پڻ گهرجن.

Open Data Hub پروجيڪٽ AI/ML آپريشنز جي مڪمل چڪر کي لاڳو ڪرڻ لاءِ اوپن سورس ٽولز جو هڪ سلسلو گڏ ڪري ٿو. Jupyter Notebook هتي ڊيٽا اينالائيٽڪس لاءِ مکيه ڪم ڪندڙ اوزار طور استعمال ڪيو ويندو آهي. ٽول ڪٽ اڄڪلهه ڊيٽا سائنسدانن ۾ تمام گهڻو مشهور آهي، ۽ Open Data Hub انهن کي آساني سان ٺاهي ۽ منظم ڪرڻ جي اجازت ڏئي ٿو Jupyter Notebook Workspaces استعمال ڪندي بلٽ ان JupyterHub. Jupyter نوٽ بڪ ٺاهڻ ۽ درآمد ڪرڻ کان علاوه، Open Data Hub پروجيڪٽ ۾ AI لائبريري جي صورت ۾ ڪيترائي تيار ٿيل نوٽ بڪ پڻ شامل آهن.

هي لائبريري اوپن سورس مشين لرننگ حصن جو مجموعو آهي ۽ عام منظرنامي لاءِ حل جيڪي تيز پروٽوٽائپنگ کي آسان بڻائين ٿيون. JupyterHub OpenShift جي RBAC رسائي ماڊل سان ضم ٿيل آهي، جيڪو توهان کي موجوده OpenShift اڪائونٽ استعمال ڪرڻ ۽ سنگل سائن آن لاڳو ڪرڻ جي اجازت ڏئي ٿو. ان کان علاوه، JupyterHub هڪ صارف-دوست يوزر انٽرفيس پيش ڪري ٿو جنهن کي اسپانر سڏيو ويندو آهي، جنهن ذريعي صارف آساني سان ترتيب ڏئي سگهي ٿو ڪمپيوٽنگ وسيلن جي مقدار (سي پي يو ڪور، ميموري، GPU) چونڊيل Jupyter نوٽ بڪ لاءِ.

ڊيٽا جي تجزيه نگار کان پوءِ ليپ ٽاپ ٺاهي ۽ ترتيب ڏئي، ان بابت ٻيا سڀ خدشا ڪبرنيٽس شيڊولر طرفان سنڀاليا ويندا آهن، جيڪو OpenShift جو حصو آهي. استعمال ڪندڙ صرف انهن جا تجربا ڪري سگهن ٿا، انهن جي ڪم جي نتيجن کي محفوظ ۽ حصيداري ڪري سگهن ٿا. اضافي طور تي، ترقي يافته صارف سڌو سنئون Jupyter نوٽ بڪ مان OpenShift CLI شيل تائين رسائي حاصل ڪري سگھن ٿا Kubernetes جي پريميٽوز جهڙوڪ نوڪري يا OpenShift ڪارڪردگي جهڙوڪ Tekton يا Knative. يا ان لاءِ توهان استعمال ڪري سگهو ٿا OpenShift جي آسان GUI، جنهن کي "OpenShift ويب ڪنسول" سڏيو ويندو آهي.

ايندڙ اسٽيج تي هلڻ، اوپن ڊيٽا هب اهو ممڪن بڻائي ٿو ڊيٽا پائپ لائنز کي منظم ڪرڻ. هن لاء، هڪ Ceph اعتراض استعمال ڪيو ويو آهي، جيڪو هڪ S3-مطابقت وارو اعتراض ڊيٽا اسٽوريج طور مهيا ڪيو ويو آهي. Apache Spark ٻاهرين ذريعن مان ڊيٽا اسٽريمنگ مهيا ڪري ٿو يا بلٽ ان Ceph S3 اسٽوريج، ۽ پڻ توهان کي اجازت ڏئي ٿو ته ڊيٽا جي ابتدائي تبديلين کي انجام ڏيڻ جي. Apache Kafka ڊيٽا پائپ لائنز جو جديد انتظام مهيا ڪري ٿو (جتي ڊيٽا ڪيترائي ڀيرا لوڊ ٿي سگهي ٿي، انهي سان گڏ ڊيٽا جي تبديلي، تجزيو، ۽ تسلسل آپريشن).

تنهن ڪري، ڊيٽا تجزيه نگار ڊيٽا تائين رسائي ڪئي ۽ هڪ ماڊل ٺاهيو. هاڻي هن جي خواهش آهي ته حاصل ڪيل نتيجن کي ڀائيوارن يا ايپليڪيشن ڊولپرز سان حصيداري ڪري، ۽ انهن کي خدمت جي اصولن تي پنهنجو ماڊل مهيا ڪري. ان لاءِ انفرنس سرور جي ضرورت آھي، ۽ Open Data Hub وٽ ھڪڙو سرور آھي، اھو Seldon سڏجي ٿو ۽ توھان کي اجازت ڏئي ٿو ته ماڊل کي ھڪ RESTful سروس طور شايع ڪريو.

ڪجهه نقطي تي، اهڙا ڪيترائي ماڊل آهن سيلڊون سرور تي، ۽ انهن کي مانيٽر ڪرڻ جي ضرورت آهي ته اهي ڪيئن استعمال ڪيا وڃن. هن کي حاصل ڪرڻ لاءِ، Open Data Hub پيش ڪري ٿو لاڳاپيل ميٽرڪس جو مجموعو ۽ هڪ رپورٽنگ انجڻ جي بنياد تي وڏي پيماني تي استعمال ٿيندڙ اوپن سورس مانيٽرنگ ٽولز Prometheus ۽ Grafana. نتيجي طور، اسان AI ماڊلز جي استعمال جي نگراني ڪرڻ لاءِ موٽ حاصل ڪندا آهيون، خاص طور تي پيداوار واري ماحول ۾.

اهڙيءَ طرح، اوپن ڊيٽا هب پوري AI/ML لائف سائيڪل ۾ ڪلائوڊ جهڙو طريقو مهيا ڪري ٿو، ڊيٽا جي رسائي ۽ تياري کان وٺي ماڊل ٽريننگ ۽ پيداوار تائين.

اهو سڀ ڪجهه گڏ ڪرڻ

هاڻي سوال پيدا ٿئي ٿو ته ڪيئن منظم ڪجي اهو سڀ OpenShift منتظم لاءِ. ۽ اهو آهي جتي اوپن ڊيٽا هب منصوبن لاءِ هڪ خاص ڪبرنيٽس آپريٽر راند ۾ اچي ٿو.

هي آپريٽر اوپن ڊيٽا هب پروجيڪٽ جي انسٽاليشن، ترتيب ۽ لائف سائيڪل کي منظم ڪري ٿو، جنهن ۾ مٿي ذڪر ڪيل اوزارن جي ڊيوٽي شامل آهي جهڙوڪ JupyterHub، Ceph، Spark، Kafka، Seldon، Prometheus ۽ Grafana. Open Data Hub پروجيڪٽ ڳولي سگھجي ٿو OpenShift ويب ڪنسول ۾، ڪميونٽي آپريٽرز سيڪشن ۾. اهڙيء طرح، OpenShift منتظم وضاحت ڪري سگهي ٿو ته لاڳاپيل OpenShift پروجيڪٽ "اوپن ڊيٽا هب پروجيڪٽ" جي طور تي درجه بندي ٿيل آهن. اهو هڪ ڀيرو ڪيو ويندو آهي. ان کان پوء، ڊيٽا تجزيه نگار OpenShift ويب ڪنسول ذريعي پنهنجي پروجيڪٽ جي جاء تي لاگ ان ڪري ٿو ۽ ڏسي ٿو ته لاڳاپيل ڪبرنيٽس آپريٽر نصب ٿيل آهي ۽ هن جي منصوبن لاء دستياب آهي. هو پوءِ هڪ ڪلڪ سان اوپن ڊيٽا هب پروجيڪٽ مثال ٺاهي ٿو ۽ فوري طور تي مٿي بيان ڪيل اوزارن تائين رسائي حاصل ڪري ٿو. ۽ هي سڀ اعلي دستيابي ۽ غلطي رواداري موڊ ۾ ترتيب ڏئي سگهجي ٿو.

جيڪڏھن توھان ڪوشش ڪرڻ چاھيو ٿا Open Data Hub پروجيڪٽ پنھنجي لاءِ، شروع ڪريو انسٽاليشن هدايتون ۽ تعارفي سبق. اوپن ڊيٽا هب فن تعمير جا ٽيڪنيڪل تفصيل ڳولي سگهجن ٿا هتي، پروجيڪٽ ڊولپمينٽ منصوبا - هتي. مستقبل ۾، اسان Kubeflow سان اضافي انضمام کي لاڳو ڪرڻ، ڊيٽا جي ضابطي ۽ سيڪيورٽي سان ڪيترن ئي مسئلن کي حل ڪرڻ، ۽ ضابطن جي بنياد تي سسٽم Drools ۽ Optaplanner سان گڏ انضمام کي پڻ منظم ڪرڻ جو منصوبو ڪريون ٿا. پنهنجي راء جو اظهار ڪريو ۽ منصوبي ۾ حصو وٺندڙ بڻجي کوليو ڊيٽا حب صفحي تي ممڪن آهي برادري.

ٻيهر حاصل ڪرڻ لاءِ: سنگين اسڪيلنگ چئلينج تنظيمن کي مصنوعي ذهانت ۽ مشين لرننگ جي مڪمل صلاحيت کي محسوس ڪرڻ کان روڪي رهيا آهن. Red Hat OpenShift ڊگهي ڪاميابي سان سافٽ ويئر انڊسٽري ۾ ساڳئي مسئلن کي حل ڪرڻ لاء استعمال ڪيو ويو آهي. Open Data Hub پروجيڪٽ، اوپن سورس ڊولپمينٽ ڪميونٽي جي اندر لاڳو ڪيو ويو آهي، OpenShift هائبرڊ ڪلائوڊ جي بنياد تي AI/ML آپريشنز جي مڪمل چڪر کي منظم ڪرڻ لاءِ ريفرنس آرڪيٽيڪچر پيش ڪري ٿو. اسان وٽ هن پروجيڪٽ جي ترقيءَ لاءِ هڪ واضح ۽ سوچيل سمجهيل منصوبو آهي، ۽ اسان ان جي چوڌاري هڪ فعال ۽ ثمر بخش ڪميونٽي ٺاهڻ لاءِ سنجيده آهيون ته جيئن OpenShift پليٽ فارم تي اوپن AI حل تيار ڪري سگهون.

جو ذريعو: www.habr.com