Open Data Hub परियोजना Red Hat OpenShift मा आधारित खुला मेसिन लर्निङ प्लेटफर्म हो

भविष्य आइपुगेको छ, र कृत्रिम बुद्धिमत्ता र मेसिन लर्निङ टेक्नोलोजीहरू पहिले नै तपाइँको मनपर्ने स्टोरहरू, यातायात कम्पनीहरू र टर्की फार्महरू द्वारा सफलतापूर्वक प्रयोग भइरहेका छन्।

र यदि केहि अवस्थित छ भने, इन्टरनेटमा यसको बारेमा पहिले नै केहि छ ... एक खुला परियोजना! कसरी Open Data Hub ले तपाईंलाई नयाँ प्रविधिहरू मापन गर्न र कार्यान्वयनका चुनौतीहरूबाट बच्न मद्दत गर्छ हेर्नुहोस्।

आर्टिफिसियल इन्टेलिजेन्स (AI) र मेसिन लर्निङ (ML) को सबै फाइदाहरूका साथ, संगठनहरूलाई प्रायः यी प्रविधिहरू मापन गर्न कठिनाइ हुन्छ। यस अवस्थामा मुख्य समस्याहरू सामान्यतया निम्न हुन्:

• सूचना आदानप्रदान र सहकार्य - यो सहज रूपमा जानकारी आदान प्रदान गर्न र द्रुत पुनरावृत्तिमा सहयोग गर्न लगभग असम्भव छ।
• Доступ к dannыm - प्रत्येक कार्यको लागि यसलाई नयाँ र म्यानुअल रूपमा निर्माण गर्न आवश्यक छ, जसले धेरै समय लिन्छ।
• माग अनुसार पहुँच - मेसिन लर्निङ उपकरण र प्लेटफर्म, साथै कम्प्युटिङ पूर्वाधारमा मागमा पहुँच प्राप्त गर्ने कुनै तरिका छैन।
• उत्पादन - मोडेलहरू प्रोटोटाइप चरणमा रहन्छन् र औद्योगिक प्रयोगमा ल्याइएको छैन।
• ट्र्याक र एआई परिणाम व्याख्या - एआई/एमएल परिणामहरूको पुन: उत्पादन, ट्र्याकिङ र व्याख्या गाह्रो छ।

सम्बोधन नगरी बायाँ, यी समस्याहरूले मूल्यवान डाटा वैज्ञानिकहरूको गति, दक्षता र उत्पादकतालाई नकारात्मक रूपमा असर गर्छ। यसले तिनीहरूको निराशा, तिनीहरूको काममा निराशा निम्त्याउँछ, र नतिजाको रूपमा, AI/ML सम्बन्धी व्यावसायिक अपेक्षाहरू खेर जान्छन्।

यी समस्याहरू समाधान गर्ने जिम्मेवारी आईटी विशेषज्ञहरूमा पर्छ, जसले डेटा विश्लेषकहरूलाई प्रदान गर्नुपर्छ - त्यो सही छ, क्लाउड जस्तै केहि। थप विवरणमा, हामीलाई छनौटको स्वतन्त्रता दिने र सुविधाजनक, सजिलो पहुँच भएको प्लेटफर्म चाहिन्छ। एकै समयमा, यो छिटो, सजिलै संग पुन: कन्फिगर योग्य, माग मा मापन योग्य र विफलता को लागी प्रतिरोधी छ। खुला स्रोत प्रविधिहरूमा यस्तो प्लेटफर्म निर्माण गर्दा विक्रेता लक-इनबाट बच्न र लागत नियन्त्रणको सन्दर्भमा दीर्घकालीन रणनीतिक फाइदा कायम राख्न मद्दत गर्दछ।

केही वर्ष पहिले, एप्लिकेसन विकासमा यस्तै केही भइरहेको थियो र माइक्रोसर्भिसेस, हाइब्रिड क्लाउड, आईटी स्वचालन, र चुस्त प्रक्रियाहरूको उदय भएको थियो। यी सबैसँग सामना गर्न, आईटी पेशेवरहरू कन्टेनरहरू, कुबरनेटहरू र खुला हाइब्रिड क्लाउडहरूमा फर्केका छन्।

यो अनुभव अब अलका चुनौतीहरूको जवाफ दिन प्रयोग भइरहेको छ। त्यसकारण IT पेशेवरहरूले कन्टेनरमा आधारित प्लेटफर्महरू निर्माण गर्दैछन्, एआई/एमएल सेवाहरूको सृजनालाई चुस्त प्रक्रियाहरूमा सक्षम पार्छन्, नवप्रवर्तनलाई गति दिन्छन्, र हाइब्रिड क्लाउड तर्फ ध्यान दिएर बनाइएका छन्।

हामी Red Hat OpenShift, हाम्रो कन्टेनराइज्ड Kubernetes प्लेटफर्म हाइब्रिड क्लाउडको लागि, जसमा सफ्टवेयर र हार्डवेयर ML समाधानहरू (NVIDIA, H2O.ai, Starburst, PerceptiLabs, आदि) को द्रुत रूपमा बढ्दो इकोसिस्टम छ, मार्फत यस्तो प्लेटफर्म निर्माण सुरु गर्नेछौं। BMW Group, ExxonMobil र अरू जस्ता Red Hat का केही ग्राहकहरूले आफ्नो ML आर्किटेक्चरलाई उत्पादनमा ल्याउन र डेटा विश्लेषकहरूको कामलाई गति दिन प्लेटफर्म र यसको इकोसिस्टमको शीर्षमा कन्टेनराइज्ड ML टूलचेन र DevOps प्रक्रियाहरू तैनाथ गरिसकेका छन्।

हामीले Open Data Hub परियोजना सुरु गर्नुको अर्को कारण धेरै खुला स्रोत सफ्टवेयर परियोजनाहरूमा आधारित वास्तुकलाको उदाहरण प्रदर्शन गर्नु र OpenShift प्लेटफर्ममा आधारित ML समाधानको सम्पूर्ण जीवन चक्र कसरी कार्यान्वयन गर्ने भनेर देखाउनु हो।

डाटा हब परियोजना खोल्नुहोस्

यो एक खुला स्रोत परियोजना हो जुन सम्बन्धित विकास समुदाय भित्र विकसित गरिएको छ र सञ्चालनको पूर्ण चक्र लागू गर्दछ - प्रारम्भिक डाटा लोड गर्ने र रूपान्तरण गर्नेदेखि मोडेल उत्पादन, तालिम र मर्मतसम्भारसम्म - ओपनशिफ्टमा कन्टेनरहरू र कुबरनेटहरू प्रयोग गरेर AI / ML समस्याहरू समाधान गर्दा। प्लेटफर्म। यो परियोजनालाई सन्दर्भ कार्यान्वयन मान्न सकिन्छ, कसरी OpenShift र सम्बन्धित खुला स्रोत उपकरणहरू जस्तै Tensorflow, JupyterHub, Spark र अन्यहरूमा आधारित खुला AI/ML-as-a-service समाधान निर्माण गर्ने उदाहरण। यो नोट गर्न महत्त्वपूर्ण छ कि Red Hat आफैले यस परियोजनालाई यसको AI/ML सेवाहरू प्रदान गर्न प्रयोग गर्दछ। थप रूपमा, OpenShift NVIDIA, Seldon, Starbust र अन्य विक्रेताहरूबाट प्रमुख सफ्टवेयर र हार्डवेयर ML समाधानहरूसँग एकीकृत हुन्छ, यसले तपाईंको आफ्नै मेसिन लर्निङ प्रणालीहरू निर्माण गर्न र चलाउन सजिलो बनाउँछ।

ओपन डाटा हब परियोजना प्रयोगकर्ताहरू र प्रयोग केसहरूको निम्न कोटीहरूमा केन्द्रित छ:

• डेटा विश्लेषक जसलाई ML परियोजनाहरू लागू गर्नको लागि समाधान चाहिन्छ, स्व-सेवा प्रकार्यहरूसँग क्लाउड जस्तै संगठित।
• डाटा विश्लेषक जसलाई नवीनतम खुला स्रोत AI/ML उपकरण र प्लेटफर्महरूबाट अधिकतम छनोट चाहिन्छ।
• डेटा विश्लेषक जसले मोडेललाई प्रशिक्षण दिंदा डेटा स्रोतहरूमा पहुँच चाहिन्छ।
• डाटा विश्लेषक जसलाई कम्प्युटिङ स्रोतहरूमा पहुँच चाहिन्छ (CPU, GPU, मेमोरी)।
• डेटा विश्लेषक जसले सहकर्मीहरूसँग काम गर्न र साझेदारी गर्न, प्रतिक्रिया प्राप्त गर्न र द्रुत पुनरावृत्तिमा सुधारहरू गर्न सक्ने क्षमता चाहिन्छ।
• एक डेटा विश्लेषक जसले विकासकर्ताहरू (र डेभोप्स टोलीहरू) सँग अन्तरक्रिया गर्न चाहन्छ ताकि उसको ML मोडेलहरू र कामका परिणामहरू उत्पादनमा जान्छन्।
• डेटा इन्जिनियर जसले नियामक र सुरक्षा आवश्यकताहरूको पालना गर्दा विभिन्न डेटा स्रोतहरूमा पहुँचको साथ डेटा विश्लेषक प्रदान गर्न आवश्यक छ।
• IT प्रणाली प्रशासक/अपरेटर जसले खुला स्रोत कम्पोनेन्टहरू र प्रविधिहरूको जीवनचक्र (स्थापना, कन्फिगरेसन, अपग्रेड) लाई सहजै नियन्त्रण गर्न सक्ने क्षमता चाहिन्छ। हामीलाई उपयुक्त व्यवस्थापन र कोटा उपकरणहरू पनि चाहिन्छ।

ओपन डाटा हब परियोजनाले AI/ML सञ्चालनहरूको पूर्ण चक्र लागू गर्न खुला स्रोत उपकरणहरूको दायरा ल्याउँछ। Jupyter Notebook यहाँ डाटा एनालिटिक्सको लागि मुख्य काम गर्ने उपकरणको रूपमा प्रयोग गरिन्छ। टूलकिट आज डाटा वैज्ञानिकहरू बीच व्यापक रूपमा लोकप्रिय छ, र Open Data Hub ले उनीहरूलाई बिल्ट-इन JupyterHub प्रयोग गरेर सजिलैसँग Jupyter Notebook कार्यस्थानहरू सिर्जना गर्न र व्यवस्थापन गर्न अनुमति दिन्छ। Jupyter नोटबुकहरू सिर्जना र आयात गर्नुको अतिरिक्त, Open Data Hub परियोजनाले AI पुस्तकालयको रूपमा तयार-निर्मित नोटबुकहरू पनि समावेश गर्दछ।

यो पुस्तकालय खुला-स्रोत मेसिन लर्निङ कम्पोनेन्टहरू र द्रुत प्रोटोटाइपिङलाई सरल बनाउने सामान्य परिदृश्यहरूको लागि समाधानहरूको संग्रह हो। JupyterHub OpenShift को RBAC पहुँच मोडेलसँग एकीकृत छ, जसले तपाईंलाई अवस्थित OpenShift खाताहरू प्रयोग गर्न र एकल साइन-अन लागू गर्न अनुमति दिन्छ। थप रूपमा, JupyterHub ले स्पाउनर नामक प्रयोगकर्ता-अनुकूल प्रयोगकर्ता इन्टरफेस प्रदान गर्दछ, जसको माध्यमबाट प्रयोगकर्ताले चयन गरिएको Jupyter Notebook को लागि कम्प्युटिङ स्रोतहरू (CPU कोर, मेमोरी, GPU) सजिलै कन्फिगर गर्न सक्छन्।

डाटा विश्लेषकले ल्यापटप सिर्जना र कन्फिगर गरेपछि, यसको बारेमा सबै अन्य चिन्ताहरू कुबेरनेट शेड्यूलरले हेरचाह गर्दछ, जुन ओपनशिफ्टको अंश हो। प्रयोगकर्ताहरूले तिनीहरूको प्रयोगहरू मात्र गर्न सक्छन्, तिनीहरूको कामको नतिजाहरू बचत गर्न र साझेदारी गर्न सक्छन्। थप रूपमा, उन्नत प्रयोगकर्ताहरूले Kubernetes आदिमहरू जस्तै Job वा OpenShift कार्यक्षमता जस्तै Tekton वा Knative को लाभ उठाउन Jupyter नोटबुकहरूबाट सीधै OpenShift CLI शेल पहुँच गर्न सक्छन्। वा यसको लागि तपाईंले OpenShift को सुविधाजनक GUI प्रयोग गर्न सक्नुहुन्छ, जसलाई "OpenShift वेब कन्सोल" भनिन्छ।

अर्को चरणमा जाँदै, ओपन डाटा हबले डाटा पाइपलाइनहरू व्यवस्थापन गर्न सम्भव बनाउँछ। यसको लागि, एक Ceph वस्तु प्रयोग गरिन्छ, जुन S3-संगत वस्तु डाटा भण्डारणको रूपमा प्रदान गरिएको छ। Apache Spark ले तपाइँलाई बाह्य स्रोतहरू वा निर्मित Ceph S3 भण्डारणबाट डाटा स्ट्रिम गर्न अनुमति दिन्छ, र तपाइँलाई प्रारम्भिक डेटा रूपान्तरणहरू प्रदर्शन गर्न अनुमति दिन्छ। Apache Kafka ले डाटा पाइपलाइनहरूको उन्नत व्यवस्थापन प्रदान गर्दछ (जहाँ डाटा धेरै पटक लोड गर्न सकिन्छ, साथै डाटा रूपान्तरण, विश्लेषण, र दृढता अपरेशनहरू)।

त्यसोभए, डाटा विश्लेषकले डाटा पहुँच गर्यो र एक मोडेल निर्माण गर्यो। अब उहाँ सहकर्मीहरू वा अनुप्रयोग विकासकर्ताहरूसँग प्राप्त नतिजाहरू साझा गर्न चाहानुहुन्छ, र सेवाको सिद्धान्तहरूमा उनीहरूको मोडेल प्रदान गर्नुहोस्। यसको लागि एक अनुमान सर्भर चाहिन्छ, र Open Data Hub सँग यस्तो सर्भर छ, यसलाई Seldon भनिन्छ र तपाइँलाई RESTful सेवाको रूपमा मोडेल प्रकाशित गर्न अनुमति दिन्छ।

केहि बिन्दुमा, त्यहाँ सेल्डन सर्भरमा धेरै त्यस्ता मोडेलहरू छन्, र तिनीहरू कसरी प्रयोग गरिन्छ भनेर निगरानी गर्न आवश्यक छ। यो प्राप्त गर्नको लागि, ओपन डाटा हबले सान्दर्भिक मेट्रिक्सको संग्रह र व्यापक रूपमा प्रयोग हुने खुला स्रोत अनुगमन उपकरण प्रोमेथियस र ग्राफानामा आधारित रिपोर्टिङ इन्जिन प्रदान गर्दछ। नतिजाको रूपमा, हामीले विशेष गरी उत्पादन वातावरणमा AI मोडेलहरूको प्रयोगको अनुगमन गर्न प्रतिक्रिया प्राप्त गर्छौं।

यसरी, ओपन डाटा हबले सम्पूर्ण AI/ML जीवनचक्रमा डाटा पहुँच र तयारीदेखि मोडेल प्रशिक्षण र उत्पादनसम्म क्लाउड-जस्तो दृष्टिकोण प्रदान गर्दछ।

यो सबै एक साथ राख्दै

अब प्रश्न उठ्छ कि कसरी OpenShift प्रशासक को लागी यो सबै संगठित गर्ने। र यहाँ ओपन डाटा हब परियोजनाहरूको लागि एक विशेष Kubernetes अपरेटर खेलमा आउँछ।

यो अपरेटरले JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus र Grafana जस्ता माथि उल्लिखित उपकरणहरूको प्रयोग सहित Open Data Hub परियोजनाको स्थापना, कन्फिगरेसन र जीवनचक्र व्यवस्थापन गर्दछ। Open Data Hub परियोजना OpenShift वेब कन्सोलमा, सामुदायिक अपरेटर खण्डमा फेला पार्न सकिन्छ। यसैले, OpenShift प्रशासकले सम्बन्धित OpenShift परियोजनाहरूलाई "ओपन डाटा हब परियोजना" को रूपमा वर्गीकृत गरेको निर्दिष्ट गर्न सक्छ। यो एक पटक गरिन्छ। यसपछि, डाटा विश्लेषकले OpenShift वेब कन्सोल मार्फत आफ्नो प्रोजेक्ट स्पेसमा लग इन गर्छ र उसको प्रोजेक्टहरूको लागि सम्बन्धित Kubernetes अपरेटर स्थापना र उपलब्ध भएको देख्छ। त्यसपछि उसले एक क्लिकमा ओपन डाटा हब परियोजना उदाहरण सिर्जना गर्दछ र तुरुन्तै माथि वर्णन गरिएका उपकरणहरूमा पहुँच छ। र यो सबै उच्च उपलब्धता र गल्ती सहिष्णुता मोडमा कन्फिगर गर्न सकिन्छ।

यदि तपाईं आफ्नो लागि Open Data Hub परियोजना प्रयास गर्न चाहनुहुन्छ भने, सुरु गर्नुहोस् स्थापना निर्देशन र परिचयात्मक ट्यूटोरियल। ओपन डाटा हब आर्किटेक्चरको प्राविधिक विवरणहरू फेला पार्न सकिन्छ यहाँपरियोजना विकास योजनाहरू - यहाँ। भविष्यमा, हामी Kubeflow सँग थप एकीकरण लागू गर्ने, डेटा नियमन र सुरक्षाका साथमा धेरै समस्याहरू समाधान गर्ने, र नियमहरूमा आधारित प्रणालीहरू Drools र Optaplanner सँग एकीकरणलाई व्यवस्थित गर्ने योजना बनाउँछौं। आफ्नो विचार व्यक्त गर्नुहोस् र परियोजनामा ​​सहभागी बन्नुहोस् डाटा हब खोल्नुहोस् पृष्ठमा सम्भव छ समुदाय.

पुन: प्राप्ति गर्न: गम्भीर स्केलिंग चुनौतीहरूले संगठनहरूलाई कृत्रिम बुद्धिमत्ता र मेशिन सिकाइको पूर्ण क्षमतालाई महसुस गर्नबाट रोकिरहेका छन्। Red Hat OpenShift लामो समयदेखि सफ्टवेयर उद्योगमा समान समस्याहरू समाधान गर्न सफलतापूर्वक प्रयोग गरिएको छ। खुला स्रोत विकास समुदाय भित्र लागू गरिएको ओपन डाटा हब परियोजनाले ओपनशिफ्ट हाइब्रिड क्लाउडमा आधारित एआई/एमएल अपरेशनहरूको पूर्ण चक्र व्यवस्थित गर्न सन्दर्भ वास्तुकला प्रदान गर्दछ। हामीसँग यस परियोजनाको विकासको लागि स्पष्ट र विचारशील योजना छ, र हामी OpenShift प्लेटफर्ममा खुला एआई समाधानहरू विकास गर्न यसको वरिपरि सक्रिय र फलदायी समुदाय सिर्जना गर्न गम्भीर छौं।

स्रोत: www.habr.com