Open Data Hub प्रकल्प हा Red Hat OpenShift वर आधारित एक ओपन मशीन लर्निंग प्लॅटफॉर्म आहे

भविष्य आले आहे, आणि कृत्रिम बुद्धिमत्ता आणि मशीन लर्निंग तंत्रज्ञान आधीच तुमच्या आवडत्या स्टोअर्स, वाहतूक कंपन्या आणि अगदी टर्की फार्मद्वारे यशस्वीरित्या वापरले जात आहेत.

आणि जर काहीतरी अस्तित्वात असेल, तर इंटरनेटवर त्याबद्दल आधीच काहीतरी आहे... एक खुला प्रकल्प! ओपन डेटा हब तुम्हाला नवीन तंत्रज्ञान स्केल करण्यात आणि अंमलबजावणीची आव्हाने टाळण्यास कशी मदत करते ते पहा.

आर्टिफिशियल इंटेलिजन्स (AI) आणि मशीन लर्निंग (ML) च्या सर्व फायद्यांसह, संस्थांना हे तंत्रज्ञान स्केल करण्यात अनेकदा अडचणी येतात. या प्रकरणातील मुख्य समस्या सहसा खालीलप्रमाणे असतात:

• माहितीची देवाणघेवाण आणि सहकार्य - सहजतेने माहितीची देवाणघेवाण करणे आणि जलद पुनरावृत्तीमध्ये सहयोग करणे जवळजवळ अशक्य आहे.
• डेटा ऍक्सेस - प्रत्येक कार्यासाठी ते नवीन आणि व्यक्तिचलितपणे तयार करणे आवश्यक आहे, ज्यासाठी खूप वेळ लागतो.
• मागणीनुसार प्रवेश - मशीन लर्निंग टूल्स आणि प्लॅटफॉर्म तसेच संगणकीय पायाभूत सुविधांवर मागणीनुसार प्रवेश मिळवण्याचा कोणताही मार्ग नाही.
• उत्पादन - मॉडेल प्रोटोटाइप स्टेजवर राहतात आणि औद्योगिक वापरासाठी आणले जात नाहीत.
• AI परिणामांचा मागोवा घ्या आणि स्पष्ट करा - AI/ML परिणामांचे पुनरुत्पादन, ट्रॅकिंग आणि स्पष्टीकरण कठीण आहे.

या समस्यांकडे लक्ष न दिल्यास, मौल्यवान डेटा शास्त्रज्ञांच्या गती, कार्यक्षमता आणि उत्पादकतेवर नकारात्मक परिणाम होतो. यामुळे त्यांची निराशा होते, त्यांच्या कामात निराशा येते आणि परिणामी, एआय/एमएल संबंधित व्यावसायिक अपेक्षा वाया जातात.

या समस्यांचे निराकरण करण्याची जबाबदारी आयटी तज्ञांवर येते, ज्यांनी डेटा विश्लेषकांना प्रदान केले पाहिजे - ते बरोबर आहे, क्लाउडसारखे काहीतरी. अधिक तपशीलवार, आम्हाला निवडीचे स्वातंत्र्य देणारे आणि सोयीस्कर, सुलभ प्रवेश देणारे व्यासपीठ हवे आहे. त्याच वेळी, ते जलद, सहजपणे पुनर्रचना करता येण्याजोगे, मागणीनुसार स्केलेबल आणि अपयशांना प्रतिरोधक आहे. ओपन सोर्स तंत्रज्ञानावर असे व्यासपीठ तयार केल्याने विक्रेते लॉक-इन टाळण्यास आणि खर्च नियंत्रणाच्या दृष्टीने दीर्घकालीन धोरणात्मक फायदा राखण्यास मदत होते.

काही वर्षांपूर्वी, ऍप्लिकेशन डेव्हलपमेंटमध्ये असेच काहीतरी घडत होते आणि मायक्रोसर्व्हिसेस, हायब्रिड क्लाउड, आयटी ऑटोमेशन आणि चपळ प्रक्रियांचा उदय झाला. या सर्वांचा सामना करण्यासाठी, आयटी व्यावसायिक कंटेनर, कुबर्नेट्स आणि ओपन हायब्रीड क्लाउड्सकडे वळले आहेत.

हा अनुभव आता अलच्या आव्हानांना उत्तर देण्यासाठी वापरला जात आहे. म्हणूनच IT व्यावसायिक कंटेनर-आधारित प्लॅटफॉर्म तयार करत आहेत, चपळ प्रक्रियांमध्ये AI/ML सेवा तयार करण्यास सक्षम करतात, नाविन्यपूर्णतेला गती देतात आणि हायब्रिड क्लाउडकडे लक्ष देऊन तयार केले जातात.

आम्ही Red Hat OpenShift सह असे प्लॅटफॉर्म तयार करण्यास सुरुवात करू, हायब्रीड क्लाउडसाठी आमचे कंटेनराइज्ड कुबरनेट प्लॅटफॉर्म, ज्यामध्ये सॉफ्टवेअर आणि हार्डवेअर एमएल सोल्यूशन्स (NVIDIA, H2O.ai, Starburst, PerceptiLabs, इ.) ची झपाट्याने वाढणारी इकोसिस्टम आहे. BMW Group, ExxonMobil आणि इतरांसारख्या Red Hat च्या काही ग्राहकांनी आधीच प्लॅटफॉर्मवर कंटेनराइज्ड ML टूलचेन आणि DevOps प्रक्रिया तैनात केल्या आहेत आणि त्यांची ML आर्किटेक्चर्स उत्पादनात आणण्यासाठी आणि डेटा विश्लेषकांच्या कामाला गती देण्यासाठी त्याच्या इकोसिस्टमवर.

आम्ही ओपन डेटा हब प्रोजेक्ट लाँच करण्याचे आणखी एक कारण म्हणजे अनेक ओपन सोर्स सॉफ्टवेअर प्रोजेक्ट्सवर आधारित आर्किटेक्चरचे उदाहरण दाखवणे आणि ओपनशिफ्ट प्लॅटफॉर्मवर आधारित एमएल सोल्यूशनचे संपूर्ण जीवन चक्र कसे अंमलात आणायचे ते दाखवणे.

डेटा हब प्रकल्प उघडा

हा एक ओपन सोर्स प्रकल्प आहे जो संबंधित विकास समुदायामध्ये विकसित केला गेला आहे आणि ऑपरेशन्सचे संपूर्ण चक्र लागू करतो - प्रारंभिक डेटा लोड करणे आणि बदलणे ते मॉडेल तयार करणे, प्रशिक्षण देणे आणि देखरेख करणे - ओपनशिफ्टवर कंटेनर आणि कुबर्नेट्स वापरून AI/ML समस्या सोडवताना प्लॅटफॉर्म हा प्रकल्प संदर्भ अंमलबजावणी मानला जाऊ शकतो, ओपनशिफ्टवर आधारित ओपन एआय/एमएल-एज-ए-सर्व्हिस सोल्यूशन कसे तयार करायचे याचे उदाहरण आणि टेन्सरफ्लो, ज्युपीटरहब, स्पार्क आणि इतर संबंधित ओपन सोर्स टूल्स. हे लक्षात घेणे महत्त्वाचे आहे की Red Hat स्वतः या प्रकल्पाचा वापर त्याच्या AI/ML सेवा प्रदान करण्यासाठी करते. याव्यतिरिक्त, OpenShift NVIDIA, Seldon, Starbust आणि इतर विक्रेत्यांकडील प्रमुख सॉफ्टवेअर आणि हार्डवेअर ML सोल्यूशन्ससह समाकलित करते, ज्यामुळे तुमची स्वतःची मशीन लर्निंग सिस्टम तयार करणे आणि चालवणे सोपे होते.

ओपन डेटा हब प्रकल्प वापरकर्ते आणि वापर प्रकरणांच्या खालील श्रेणींवर केंद्रित आहे:

• डेटा विश्लेषक ज्याला एमएल प्रकल्पांच्या अंमलबजावणीसाठी उपाय आवश्यक आहे, सेल्फ-सर्व्हिस फंक्शन्ससह क्लाउडसारखे आयोजित केले आहे.
• डेटा विश्लेषक ज्यांना नवीनतम ओपन सोर्स एआय/एमएल टूल्स आणि प्लॅटफॉर्ममधून जास्तीत जास्त निवडीची आवश्यकता आहे.
• डेटा विश्लेषक ज्याला मॉडेल्सचे प्रशिक्षण देताना डेटा स्त्रोतांमध्ये प्रवेश आवश्यक आहे.
• डेटा विश्लेषक ज्याला संगणकीय संसाधनांमध्ये प्रवेश आवश्यक आहे (CPU, GPU, मेमरी).
• डेटा विश्लेषक ज्याला सहकार्य करण्याची आणि सहकार्यांसह कार्य सामायिक करण्याची, अभिप्राय प्राप्त करण्याची आणि जलद पुनरावृत्तीमध्ये सुधारणा करण्याची क्षमता आवश्यक आहे.
• एक डेटा विश्लेषक ज्याला विकासकांशी संवाद साधायचा आहे (आणि डेव्हॉप्स टीम्स) जेणेकरून त्याचे एमएल मॉडेल आणि कामाचे परिणाम उत्पादनात जातील.
• डेटा अभियंता ज्याला नियामक आणि सुरक्षा आवश्यकतांचे पालन करताना विविध डेटा स्त्रोतांमध्ये प्रवेशासह डेटा विश्लेषक प्रदान करणे आवश्यक आहे.
• आयटी सिस्टम प्रशासक/ऑपरेटर ज्याला मुक्त स्रोत घटक आणि तंत्रज्ञानाचे जीवनचक्र (स्थापना, कॉन्फिगरेशन, अपग्रेड) सहजतेने नियंत्रित करण्याची क्षमता आवश्यक आहे. आम्हाला योग्य व्यवस्थापन आणि कोटा साधने देखील आवश्यक आहेत.

ओपन डेटा हब प्रकल्प एआय/एमएल ऑपरेशन्सच्या संपूर्ण चक्राची अंमलबजावणी करण्यासाठी ओपन सोर्स टूल्सची श्रेणी एकत्र आणतो. Jupyter Notebook चा वापर डेटा विश्लेषणासाठी मुख्य कार्यरत साधन म्हणून येथे केला जातो. टूलकिट आज डेटा शास्त्रज्ञांमध्ये मोठ्या प्रमाणावर लोकप्रिय आहे आणि ओपन डेटा हब त्यांना अंगभूत JupyterHub वापरून ज्युपिटर नोटबुक वर्कस्पेस सहज तयार आणि व्यवस्थापित करण्यास अनुमती देते. ज्युपिटर नोटबुक्स तयार आणि आयात करण्याव्यतिरिक्त, ओपन डेटा हब प्रोजेक्टमध्ये एआय लायब्ररीच्या स्वरूपात अनेक तयार नोटबुक देखील आहेत.

ही लायब्ररी ओपन-सोर्स मशीन लर्निंग घटक आणि सामान्य परिस्थितींसाठी उपायांचा संग्रह आहे जे जलद प्रोटोटाइपिंग सुलभ करते. JupyterHub OpenShift च्या RBAC ऍक्सेस मॉडेलसह एकत्रित केले आहे, जे तुम्हाला विद्यमान OpenShift खाती वापरण्याची आणि सिंगल साइन-ऑन लागू करण्याची परवानगी देते. याव्यतिरिक्त, JupyterHub स्पॉनर नावाचा वापरकर्ता-अनुकूल वापरकर्ता इंटरफेस ऑफर करतो, ज्याद्वारे वापरकर्ता निवडलेल्या ज्युपिटर नोटबुकसाठी संगणकीय संसाधनांची रक्कम (CPU कोर, मेमरी, GPU) सहजपणे कॉन्फिगर करू शकतो.

डेटा विश्लेषकाने लॅपटॉप तयार आणि कॉन्फिगर केल्यानंतर, त्याबद्दलच्या इतर सर्व चिंतांची काळजी कुबरनेट शेड्युलरद्वारे घेतली जाते, जो OpenShift चा भाग आहे. वापरकर्ते केवळ त्यांचे प्रयोग करू शकतात, त्यांच्या कामाचे परिणाम जतन आणि शेअर करू शकतात. याव्यतिरिक्त, प्रगत वापरकर्ते ज्युपिटर नोटबुक्समधून थेट OpenShift CLI शेलमध्ये प्रवेश करू शकतात जसे की जॉब किंवा OpenShift कार्यक्षमता जसे की Tekton किंवा Knative. किंवा यासाठी तुम्ही OpenShift च्या सोयीस्कर GUI वापरू शकता, ज्याला “OpenShift वेब कन्सोल” म्हणतात.

पुढील टप्प्यावर जाणे, ओपन डेटा हब डेटा पाइपलाइन व्यवस्थापित करणे शक्य करते. यासाठी, एक Ceph ऑब्जेक्ट वापरला जातो, जो S3-सुसंगत ऑब्जेक्ट डेटा स्टोरेज म्हणून प्रदान केला जातो. Apache Spark तुम्हाला बाह्य स्रोत किंवा अंगभूत Ceph S3 स्टोरेजमधून डेटा प्रवाहित करण्याची परवानगी देते आणि तुम्हाला प्राथमिक डेटा ट्रान्सफॉर्मेशन देखील करण्यास अनुमती देते. Apache Kafka डेटा पाइपलाइनचे प्रगत व्यवस्थापन प्रदान करते (जेथे डेटा अनेक वेळा लोड केला जाऊ शकतो, तसेच डेटा ट्रान्सफॉर्मेशन, विश्लेषण आणि पर्सिस्टन्स ऑपरेशन्स).

म्हणून, डेटा विश्लेषकाने डेटामध्ये प्रवेश केला आणि एक मॉडेल तयार केले. आता त्याला मिळालेले परिणाम सहकारी किंवा अॅप्लिकेशन डेव्हलपर्ससोबत शेअर करण्याची आणि त्यांना सेवेच्या तत्त्वांनुसार त्याचे मॉडेल प्रदान करण्याची इच्छा आहे. यासाठी एक अनुमान सर्व्हर आवश्यक आहे, आणि ओपन डेटा हबमध्ये असा सर्व्हर आहे, त्याला सेल्डन म्हणतात आणि तुम्हाला एक आरामदायी सेवा म्हणून मॉडेल प्रकाशित करण्याची परवानगी देते.

काही क्षणी, सेल्डन सर्व्हरवर अशी अनेक मॉडेल्स आहेत आणि ती कशी वापरली जातात यावर लक्ष ठेवण्याची गरज आहे. हे साध्य करण्यासाठी, ओपन डेटा हब मोठ्या प्रमाणात वापरल्या जाणार्‍या ओपन सोर्स मॉनिटरिंग टूल्स प्रोमिथियस आणि ग्राफानावर आधारित संबंधित मेट्रिक्सचा संग्रह आणि रिपोर्टिंग इंजिन ऑफर करते. परिणामी, आम्हाला AI मॉडेल्सच्या वापरावर लक्ष ठेवण्यासाठी फीडबॅक मिळतो, विशेषतः उत्पादन वातावरणात.

अशाप्रकारे, ओपन डेटा हब संपूर्ण एआय/एमएल जीवनचक्रामध्ये डेटा ऍक्सेस आणि तयारीपासून मॉडेल प्रशिक्षण आणि उत्पादनापर्यंत क्लाउडसारखा दृष्टीकोन प्रदान करते.

हे सर्व एकत्र ठेवणे

आता प्रश्न उद्भवतो की हे सर्व OpenShift प्रशासकासाठी कसे आयोजित करावे. आणि इथेच ओपन डेटा हब प्रकल्पांसाठी एक विशेष कुबरनेट ऑपरेटर कार्यात येतो.

हा ऑपरेटर ओपन डेटा हब प्रकल्पाची स्थापना, कॉन्फिगरेशन आणि लाइफसायकल व्यवस्थापित करतो, ज्यामध्ये ज्युपीटरहब, सेफ, स्पार्क, काफ्का, सेल्डन, प्रोमिथियस आणि ग्राफाना सारख्या उपरोक्त साधनांच्या तैनाती समाविष्ट आहेत. ओपन डेटा हब प्रकल्प OpenShift वेब कन्सोलमध्ये, समुदाय ऑपरेटर विभागात आढळू शकतो. अशा प्रकारे, OpenShift प्रशासक निर्दिष्ट करू शकतो की संबंधित OpenShift प्रकल्प "ओपन डेटा हब प्रकल्प" म्हणून वर्गीकृत केले आहेत. हे एकदा केले जाते. यानंतर, डेटा विश्लेषक OpenShift वेब कन्सोलद्वारे त्याच्या प्रोजेक्ट स्पेसमध्ये लॉग इन करतो आणि पाहतो की संबंधित Kubernetes ऑपरेटर स्थापित आहे आणि त्याच्या प्रोजेक्टसाठी उपलब्ध आहे. त्यानंतर तो एका क्लिकवर ओपन डेटा हब प्रोजेक्ट इन्स्टन्स तयार करतो आणि त्याला वर वर्णन केलेल्या टूल्समध्ये त्वरित प्रवेश मिळतो. आणि हे सर्व उच्च उपलब्धता आणि दोष सहिष्णुता मोडमध्ये कॉन्फिगर केले जाऊ शकते.

तुम्हाला तुमच्यासाठी Open Data Hub प्रोजेक्ट वापरायचा असल्यास, सुरुवात करा स्थापना सूचना आणि परिचयात्मक ट्यूटोरियल. ओपन डेटा हब आर्किटेक्चरचे तांत्रिक तपशील आढळू शकतात येथे, प्रकल्प विकास योजना - येथे. भविष्यात, आम्ही Kubeflow सह अतिरिक्त एकत्रीकरण लागू करण्याची, डेटा नियमन आणि सुरक्षिततेसह अनेक समस्यांचे निराकरण करण्याची आणि नियम-आधारित प्रणाली Drools आणि Optaplanner सह एकीकरण आयोजित करण्याची योजना आखत आहोत. तुमचे मत व्यक्त करा आणि प्रकल्पात सहभागी व्हा डेटा हब उघडा पृष्ठावर शक्य आहे समुदाय.

रिकॅप करण्यासाठी: गंभीर स्केलिंग आव्हाने संस्थांना कृत्रिम बुद्धिमत्ता आणि मशीन लर्निंगची पूर्ण क्षमता ओळखण्यापासून रोखत आहेत. सॉफ्टवेअर उद्योगातील समान समस्यांचे निराकरण करण्यासाठी Red Hat OpenShift बर्याच काळापासून यशस्वीरित्या वापरले जात आहे. ओपन सोर्स डेव्हलपमेंट कम्युनिटीमध्ये लागू केलेला ओपन डेटा हब प्रकल्प, ओपनशिफ्ट हायब्रिड क्लाउडवर आधारित एआय/एमएल ऑपरेशन्सचे संपूर्ण चक्र आयोजित करण्यासाठी संदर्भ आर्किटेक्चर ऑफर करतो. आमच्याकडे या प्रकल्पाच्या विकासासाठी एक स्पष्ट आणि विचारशील योजना आहे आणि आम्ही OpenShift प्लॅटफॉर्मवर ओपन AI सोल्यूशन्स विकसित करण्यासाठी सक्रिय आणि फलदायी समुदाय तयार करण्याबद्दल गंभीर आहोत.

स्त्रोत: www.habr.com