ओपन डेटा हब प्रोजेक्ट रेड हैट ओपनशिफ्ट पर आधारित एक ओपन मशीन लर्निंग प्लेटफॉर्म है

भविष्य आ गया है, और कृत्रिम बुद्धिमत्ता और मशीन लर्निंग तकनीकों का उपयोग आपके पसंदीदा स्टोर, परिवहन कंपनियों और यहां तक ​​कि टर्की फार्मों द्वारा पहले से ही सफलतापूर्वक किया जा रहा है।

और अगर कुछ मौजूद है, तो इंटरनेट पर उसके बारे में पहले से ही कुछ है... एक खुला प्रोजेक्ट! देखें कि ओपन डेटा हब आपको नई तकनीकों को बढ़ाने और कार्यान्वयन चुनौतियों से बचने में कैसे मदद करता है।

कृत्रिम बुद्धिमत्ता (एआई) और मशीन लर्निंग (एमएल) के सभी फायदों के साथ, संगठनों को अक्सर इन प्रौद्योगिकियों को बढ़ाने में कठिनाई होती है। इस मामले में मुख्य समस्याएँ आमतौर पर निम्नलिखित हैं:

• सूचना का आदान-प्रदान एवं सहयोग - सूचनाओं का सहजता से आदान-प्रदान करना और तीव्र पुनरावृत्तियों में सहयोग करना लगभग असंभव है।
• डेटा प्राप्त करना - प्रत्येक कार्य के लिए इसे नए सिरे से और मैन्युअल रूप से बनाने की आवश्यकता होती है, जिसमें बहुत समय लगता है।
• मांग पर प्रवेश - मशीन लर्निंग टूल्स और प्लेटफ़ॉर्म के साथ-साथ कंप्यूटिंग इंफ्रास्ट्रक्चर तक ऑन-डिमांड पहुंच प्राप्त करने का कोई तरीका नहीं है।
• उत्पादन - मॉडल प्रोटोटाइप चरण में रहते हैं और उन्हें औद्योगिक उपयोग में नहीं लाया जाता है।
• एआई परिणामों को ट्रैक करें और समझाएं - एआई/एमएल परिणामों की प्रतिलिपि प्रस्तुत करने योग्यता, ट्रैकिंग और स्पष्टीकरण कठिन है।

ध्यान न दिए जाने पर, ये समस्याएं मूल्यवान डेटा वैज्ञानिकों की गति, दक्षता और उत्पादकता पर नकारात्मक प्रभाव डालती हैं। इससे उनमें निराशा पैदा होती है, उनके काम में निराशा होती है और परिणामस्वरूप, एआई/एमएल के संबंध में व्यावसायिक उम्मीदें बर्बाद हो जाती हैं।

इन समस्याओं को हल करने की ज़िम्मेदारी आईटी विशेषज्ञों पर आती है, जिन्हें डेटा विश्लेषकों को प्रदान करना होगा - यह सही है, क्लाउड जैसा कुछ। अधिक विस्तार से, हमें एक ऐसे मंच की आवश्यकता है जो पसंद की स्वतंत्रता दे और सुविधाजनक, आसान पहुंच प्रदान करे। साथ ही, यह तेज़, आसानी से पुन: कॉन्फ़िगर करने योग्य, मांग पर स्केलेबल और विफलताओं के प्रति प्रतिरोधी है। ओपन सोर्स प्रौद्योगिकियों पर इस तरह के मंच का निर्माण विक्रेता लॉक-इन से बचने और लागत नियंत्रण के मामले में दीर्घकालिक रणनीतिक लाभ बनाए रखने में मदद करता है।

कुछ साल पहले, एप्लिकेशन डेवलपमेंट में भी कुछ ऐसा ही हो रहा था और इससे माइक्रोसर्विसेज, हाइब्रिड क्लाउड्स, आईटी ऑटोमेशन और एजाइल प्रोसेस का उदय हुआ। इस सब से निपटने के लिए, आईटी पेशेवरों ने कंटेनर, कुबेरनेट्स और खुले हाइब्रिड क्लाउड की ओर रुख किया है।

यह अनुभव अब अल की चुनौतियों का जवाब देने के लिए लागू किया जा रहा है। यही कारण है कि आईटी पेशेवर ऐसे प्लेटफॉर्म का निर्माण कर रहे हैं जो कंटेनर-आधारित हैं, त्वरित प्रक्रियाओं के भीतर एआई/एमएल सेवाओं के निर्माण को सक्षम करते हैं, नवाचार में तेजी लाते हैं और हाइब्रिड क्लाउड को ध्यान में रखकर बनाए गए हैं।

हम हाइब्रिड क्लाउड के लिए हमारे कंटेनरीकृत कुबेरनेट्स प्लेटफॉर्म रेड हैट ओपनशिफ्ट के साथ ऐसे प्लेटफॉर्म का निर्माण शुरू करेंगे, जिसमें सॉफ्टवेयर और हार्डवेयर एमएल समाधान (एनवीआईडीआईए, एच2ओ.एआई, स्टारबर्स्ट, परसेप्टिलैब्स, आदि) का तेजी से बढ़ता पारिस्थितिकी तंत्र है। रेड हैट के कुछ ग्राहक, जैसे कि बीएमडब्ल्यू ग्रुप, एक्सॉनमोबिल और अन्य, ने पहले से ही अपने एमएल आर्किटेक्चर को उत्पादन में लाने और डेटा विश्लेषकों के काम को गति देने के लिए प्लेटफॉर्म और इसके पारिस्थितिकी तंत्र के शीर्ष पर कंटेनरीकृत एमएल टूलचेन और डेवऑप्स प्रक्रियाओं को तैनात किया है।

ओपन डेटा हब प्रोजेक्ट लॉन्च करने का एक अन्य कारण कई ओपन सोर्स सॉफ्टवेयर प्रोजेक्ट्स पर आधारित आर्किटेक्चर का एक उदाहरण प्रदर्शित करना और यह दिखाना है कि ओपनशिफ्ट प्लेटफॉर्म पर आधारित एमएल समाधान के पूरे जीवन चक्र को कैसे कार्यान्वित किया जाए।

डेटा हब प्रोजेक्ट खोलें

यह एक ओपन सोर्स प्रोजेक्ट है जो संबंधित विकास समुदाय के भीतर विकसित किया गया है और संचालन का एक पूरा चक्र लागू करता है - प्रारंभिक डेटा को लोड करने और बदलने से लेकर एक मॉडल बनाने, प्रशिक्षण और बनाए रखने तक - ओपनशिफ्ट पर कंटेनर और कुबेरनेट्स का उपयोग करके एआई / एमएल समस्याओं को हल करते समय प्लैटफ़ॉर्म। इस परियोजना को एक संदर्भ कार्यान्वयन माना जा सकता है, जो ओपनशिफ्ट और संबंधित ओपन सोर्स टूल जैसे कि टेन्सरफ्लो, ज्यूपिटरहब, स्पार्क और अन्य के आधार पर एक ओपन एआई/एमएल-ए-ए-सर्विस समाधान बनाने का एक उदाहरण है। यह ध्यान रखना महत्वपूर्ण है कि Red Hat स्वयं अपनी AI/ML सेवाएँ प्रदान करने के लिए इस परियोजना का उपयोग करता है। इसके अलावा, ओपनशिफ्ट NVIDIA, सेल्डन, स्टारबस्ट और अन्य विक्रेताओं के प्रमुख सॉफ्टवेयर और हार्डवेयर एमएल समाधानों के साथ एकीकृत होता है, जिससे आपकी खुद की मशीन लर्निंग सिस्टम बनाना और चलाना आसान हो जाता है।

ओपन डेटा हब परियोजना निम्नलिखित श्रेणियों के उपयोगकर्ताओं और उपयोग के मामलों पर केंद्रित है:

• डेटा विश्लेषक जिन्हें एमएल परियोजनाओं को लागू करने के लिए स्वयं-सेवा कार्यों के साथ क्लाउड की तरह व्यवस्थित समाधान की आवश्यकता है।
• डेटा विश्लेषक जिसे नवीनतम ओपन सोर्स एआई/एमएल टूल और प्लेटफॉर्म से अधिकतम विकल्प की आवश्यकता है।
• डेटा विश्लेषक जिन्हें मॉडलों को प्रशिक्षित करते समय डेटा स्रोतों तक पहुंच की आवश्यकता होती है।
• डेटा विश्लेषक जिन्हें कंप्यूटिंग संसाधनों (सीपीयू, जीपीयू, मेमोरी) तक पहुंच की आवश्यकता है।
• डेटा विश्लेषक जिसे सहकर्मियों के साथ सहयोग करने और काम साझा करने, प्रतिक्रिया प्राप्त करने और तेजी से पुनरावृत्ति में सुधार करने की क्षमता की आवश्यकता होती है।
• एक डेटा विश्लेषक जो डेवलपर्स (और डेवॉप्स टीमों) के साथ बातचीत करना चाहता है ताकि उसके एमएल मॉडल और कार्य परिणाम उत्पादन में जा सकें।
• डेटा इंजीनियर जिसे विनियामक और सुरक्षा आवश्यकताओं का अनुपालन करते हुए डेटा विश्लेषक को विभिन्न डेटा स्रोतों तक पहुंच प्रदान करने की आवश्यकता होती है।
• आईटी सिस्टम प्रशासक/ऑपरेटर जिन्हें ओपन सोर्स घटकों और प्रौद्योगिकियों के जीवनचक्र (स्थापना, कॉन्फ़िगरेशन, अपग्रेड) को सहजता से नियंत्रित करने की क्षमता की आवश्यकता होती है। हमें उचित प्रबंधन और कोटा टूल की भी आवश्यकता है।

ओपन डेटा हब प्रोजेक्ट एआई/एमएल संचालन के पूर्ण चक्र को लागू करने के लिए ओपन सोर्स टूल की एक श्रृंखला को एक साथ लाता है। ज्यूपिटर नोटबुक का उपयोग यहां डेटा एनालिटिक्स के लिए मुख्य कार्य उपकरण के रूप में किया जाता है। टूलकिट आज डेटा वैज्ञानिकों के बीच व्यापक रूप से लोकप्रिय है, और ओपन डेटा हब उन्हें अंतर्निहित JupyterHub का उपयोग करके आसानी से Jupyter नोटबुक कार्यस्थान बनाने और प्रबंधित करने की अनुमति देता है। ज्यूपिटर नोटबुक बनाने और आयात करने के अलावा, ओपन डेटा हब प्रोजेक्ट में एआई लाइब्रेरी के रूप में कई तैयार नोटबुक भी शामिल हैं।

यह लाइब्रेरी सामान्य परिदृश्यों के लिए ओपन-सोर्स मशीन लर्निंग घटकों और समाधानों का एक संग्रह है जो तेजी से प्रोटोटाइप को सरल बनाती है। JupyterHub OpenShift के RBAC एक्सेस मॉडल के साथ एकीकृत है, जो आपको मौजूदा OpenShift खातों का उपयोग करने और एकल साइन-ऑन लागू करने की अनुमति देता है। इसके अलावा, JupyterHub स्पॉनर नामक एक उपयोगकर्ता-अनुकूल उपयोगकर्ता इंटरफ़ेस प्रदान करता है, जिसके माध्यम से उपयोगकर्ता चयनित Jupyter नोटबुक के लिए कंप्यूटिंग संसाधनों (सीपीयू कोर, मेमोरी, जीपीयू) की मात्रा को आसानी से कॉन्फ़िगर कर सकता है।

डेटा विश्लेषक लैपटॉप बनाने और कॉन्फ़िगर करने के बाद, इसके बारे में अन्य सभी चिंताओं का ध्यान कुबेरनेट्स शेड्यूलर द्वारा किया जाता है, जो ओपनशिफ्ट का हिस्सा है। उपयोगकर्ता केवल अपने प्रयोग कर सकते हैं, अपने कार्य के परिणामों को सहेज सकते हैं और साझा कर सकते हैं। इसके अतिरिक्त, उन्नत उपयोगकर्ता कुबेरनेट्स प्रिमिटिव जैसे जॉब या ओपनशिफ्ट कार्यक्षमता जैसे टेक्टन या नेटिव का लाभ उठाने के लिए सीधे ज्यूपिटर नोटबुक से ओपनशिफ्ट सीएलआई शेल तक पहुंच सकते हैं। या इसके लिए आप OpenShift के सुविधाजनक GUI का उपयोग कर सकते हैं, जिसे "OpenShift वेब कंसोल" कहा जाता है।

अगले चरण पर आगे बढ़ते हुए, ओपन डेटा हब डेटा पाइपलाइनों को प्रबंधित करना संभव बनाता है। इसके लिए, एक Ceph ऑब्जेक्ट का उपयोग किया जाता है, जो S3-संगत ऑब्जेक्ट डेटा स्टोरेज के रूप में प्रदान किया जाता है। अपाचे स्पार्क बाहरी स्रोतों या अंतर्निहित सेफ एस3 स्टोरेज से डेटा स्ट्रीमिंग प्रदान करता है, और आपको प्रारंभिक डेटा परिवर्तन करने की भी अनुमति देता है। अपाचे काफ्का डेटा पाइपलाइनों का उन्नत प्रबंधन प्रदान करता है (जहां डेटा को कई बार लोड किया जा सकता है, साथ ही डेटा परिवर्तन, विश्लेषण और दृढ़ता संचालन भी किया जा सकता है)।

इसलिए, डेटा विश्लेषक ने डेटा तक पहुंच बनाई और एक मॉडल बनाया। अब उनकी इच्छा सहकर्मियों या एप्लिकेशन डेवलपर्स के साथ प्राप्त परिणामों को साझा करने और उन्हें एक सेवा के सिद्धांतों पर अपना मॉडल प्रदान करने की है। इसके लिए एक अनुमान सर्वर की आवश्यकता होती है, और ओपन डेटा हब के पास ऐसा सर्वर होता है, इसे सेल्डन कहा जाता है और आपको मॉडल को रेस्टफुल सेवा के रूप में प्रकाशित करने की अनुमति देता है।

कुछ बिंदु पर, सेल्डन सर्वर पर ऐसे कई मॉडल हैं, और यह निगरानी करने की आवश्यकता है कि उनका उपयोग कैसे किया जाता है। इसे प्राप्त करने के लिए, ओपन डेटा हब व्यापक रूप से उपयोग किए जाने वाले ओपन सोर्स मॉनिटरिंग टूल प्रोमेथियस और ग्राफाना के आधार पर प्रासंगिक मेट्रिक्स का एक संग्रह और एक रिपोर्टिंग इंजन प्रदान करता है। परिणामस्वरूप, हमें विशेष रूप से उत्पादन परिवेश में एआई मॉडल के उपयोग की निगरानी के लिए फीडबैक प्राप्त होता है।

इस तरह, ओपन डेटा हब डेटा एक्सेस और तैयारी से लेकर मॉडल प्रशिक्षण और उत्पादन तक, पूरे एआई/एमएल जीवनचक्र में क्लाउड जैसा दृष्टिकोण प्रदान करता है।

यह सब एक साथ डालें

अब सवाल यह उठता है कि ओपनशिफ्ट प्रशासक के लिए यह सब कैसे व्यवस्थित किया जाए। और यहीं पर ओपन डेटा हब परियोजनाओं के लिए एक विशेष कुबेरनेट्स ऑपरेटर काम आता है।

यह ऑपरेटर ओपन डेटा हब प्रोजेक्ट की स्थापना, कॉन्फ़िगरेशन और जीवनचक्र का प्रबंधन करता है, जिसमें ज्यूपिटरहब, सेफ, स्पार्क, काफ्का, सेल्डन, प्रोमेथियस और ग्राफाना जैसे उपरोक्त टूल की तैनाती शामिल है। ओपन डेटा हब प्रोजेक्ट ओपनशिफ्ट वेब कंसोल में सामुदायिक ऑपरेटर अनुभाग में पाया जा सकता है। इस प्रकार, ओपनशिफ्ट प्रशासक निर्दिष्ट कर सकता है कि संबंधित ओपनशिफ्ट परियोजनाओं को "ओपन डेटा हब प्रोजेक्ट" के रूप में वर्गीकृत किया गया है। ऐसा एक बार किया जाता है. इसके बाद, डेटा विश्लेषक ओपनशिफ्ट वेब कंसोल के माध्यम से अपने प्रोजेक्ट स्पेस में लॉग इन करता है और देखता है कि संबंधित कुबेरनेट्स ऑपरेटर स्थापित है और उसकी परियोजनाओं के लिए उपलब्ध है। फिर वह एक क्लिक के साथ एक ओपन डेटा हब प्रोजेक्ट इंस्टेंस बनाता है और तुरंत ऊपर वर्णित टूल तक पहुंच प्राप्त कर लेता है। और यह सब उच्च उपलब्धता और दोष सहनशीलता मोड में कॉन्फ़िगर किया जा सकता है।

यदि आप अपने लिए ओपन डेटा हब प्रोजेक्ट आज़माना चाहते हैं, तो शुरुआत करें स्थापना निर्देश और परिचयात्मक ट्यूटोरियल. ओपन डेटा हब आर्किटेक्चर का तकनीकी विवरण पाया जा सकता है यहां, परियोजना विकास योजनाएँ - यहां. भविष्य में, हम Kubeflow के साथ अतिरिक्त एकीकरण लागू करने, डेटा विनियमन और सुरक्षा के साथ कई मुद्दों को हल करने और नियम-आधारित सिस्टम Drools और Optaplanner के साथ एकीकरण आयोजित करने की योजना बना रहे हैं। अपनी राय व्यक्त करें और परियोजना में भागीदार बनें डेटा हब खोलें पेज पर संभव है समुदाय.

संक्षेप में: गंभीर स्केलिंग चुनौतियाँ संगठनों को कृत्रिम बुद्धिमत्ता और मशीन लर्निंग की पूरी क्षमता का एहसास करने से रोक रही हैं। सॉफ्टवेयर उद्योग में इसी तरह की समस्याओं को हल करने के लिए Red Hat OpenShift का लंबे समय से सफलतापूर्वक उपयोग किया जा रहा है। ओपन डेटा हब परियोजना, ओपन सोर्स डेवलपमेंट समुदाय के भीतर कार्यान्वित, ओपनशिफ्ट हाइब्रिड क्लाउड के आधार पर एआई/एमएल संचालन के पूर्ण चक्र को व्यवस्थित करने के लिए एक संदर्भ वास्तुकला प्रदान करती है। हमारे पास इस परियोजना के विकास के लिए एक स्पष्ट और विचारशील योजना है, और हम ओपनशिफ्ट प्लेटफॉर्म पर ओपन एआई समाधान विकसित करने के लिए इसके आसपास एक सक्रिय और उपयोगी समुदाय बनाने के बारे में गंभीर हैं।

स्रोत: www.habr.com