የOpen Data Hub ፕሮጀክት በ Red Hat OpenShift ላይ የተመሰረተ ክፍት የማሽን መማሪያ መድረክ ነው።

መጪው ጊዜ ደርሷል፣ እና አርቴፊሻል ኢንተለጀንስ እና የማሽን መማሪያ ቴክኖሎጂዎች በተወዳጅ መደብሮችዎ፣ የትራንስፖርት ኩባንያዎች እና ሌላው ቀርቶ የቱርክ እርሻዎች በተሳካ ሁኔታ ጥቅም ላይ ይውላሉ።

እና የሆነ ነገር ካለ, በይነመረብ ላይ ስለ እሱ አስቀድሞ የሆነ ነገር አለ ... ክፍት ፕሮጀክት! ክፈት Data Hub አዳዲስ ቴክኖሎጂዎችን ለመለካት እና የትግበራ ተግዳሮቶችን ለማስወገድ እንዴት እንደሚያግዝ ይመልከቱ።

በአርቴፊሻል ኢንተለጀንስ (AI) እና በማሽን መማር (ML) ጥቅሞች ሁሉ ድርጅቶች ብዙውን ጊዜ እነዚህን ቴክኖሎጂዎች ለመለካት ይቸገራሉ። በዚህ ጉዳይ ላይ ዋናዎቹ ችግሮች በአብዛኛው የሚከተሉት ናቸው.

• የመረጃ ልውውጥ እና ትብብር - ያለ ምንም ጥረት መረጃ መለዋወጥ እና በፈጣን ድግግሞሽ መተባበር ፈጽሞ የማይቻል ነው።
• የውሂብ መዳረሻ - ለእያንዳንዱ ተግባር አዲስ እና በእጅ መገንባት ያስፈልገዋል, ይህም ብዙ ጊዜ ይወስዳል.
• በፍላጎት መድረስ - የማሽን መማሪያ መሳሪያዎችን እና የመሳሪያ ስርዓትን እንዲሁም የኮምፒዩተር መሠረተ ልማትን በፍላጎት ማግኘት የሚቻልበት ምንም መንገድ የለም።
• ምርት - ሞዴሎች በፕሮቶታይፕ ደረጃ ላይ ይቆያሉ እና ወደ ኢንዱስትሪያዊ አገልግሎት አይመጡም።
• የ AI ውጤቶችን ይከታተሉ እና ያብራሩ - የ AI / ML ውጤቶችን እንደገና ማባዛት ፣ መከታተል እና ማብራራት ከባድ ነው።

መፍትሄ ካልተበጀለት እነዚህ ችግሮች ዋጋ ያላቸው የመረጃ ሳይንቲስቶች ፍጥነት፣ ቅልጥፍና እና ምርታማነት ላይ አሉታዊ ተጽዕኖ ያሳድራሉ። ይህ ወደ ብስጭታቸው, በስራቸው ውስጥ ብስጭት ያስከትላል, እና በውጤቱም, AI / ኤምኤልን በተመለከተ የሚጠበቀው የንግድ ሥራ ይባክናል.

እነዚህን ችግሮች የመፍታት ሃላፊነት በ IT ስፔሻሊስቶች ላይ ይወድቃል, የውሂብ ተንታኞችን መስጠት ያለባቸው - ልክ ነው, እንደ ደመና ያለ ነገር. በበለጠ ዝርዝር, የመምረጥ ነጻነትን የሚሰጥ እና ምቹ እና ቀላል መዳረሻ ያለው መድረክ እንፈልጋለን. በተመሳሳይ ጊዜ, ፈጣን, በቀላሉ ሊስተካከል የሚችል, በፍላጎት ሊሰፋ የሚችል እና ውድቀቶችን የሚቋቋም ነው. እንዲህ ዓይነቱን መድረክ በክፍት ምንጭ ቴክኖሎጂዎች ላይ መገንባት የሻጭ መቆለፍን ለማስወገድ እና ከዋጋ ቁጥጥር አንፃር የረጅም ጊዜ ስትራቴጂካዊ ጠቀሜታን ለመጠበቅ ይረዳል።

ከጥቂት አመታት በፊት፣ በመተግበሪያ ልማት ውስጥ ተመሳሳይ የሆነ ነገር እየተከሰተ ነበር እና ማይክሮ ሰርቪስ፣ ድቅል ደመና፣ የአይቲ አውቶማቲክ እና ቀልጣፋ ሂደቶች እንዲፈጠሩ ምክንያት ሆኗል። ይህንን ሁሉ ለመቋቋም የአይቲ ባለሙያዎች ወደ ኮንቴይነሮች ፣ ኩበርኔትስ እና ክፍት ድብልቅ ደመናዎች ተለውጠዋል።

ይህ ልምድ አሁን የአልን ፈተናዎች ለመመለስ እየተተገበረ ነው። ለዚያም ነው የአይቲ ባለሙያዎች በኮንቴይነር ላይ የተመሰረቱ፣ የ AI/ML አገልግሎቶችን በቀልጣፋ ሂደቶች ውስጥ ለመፍጠር የሚያስችሉ፣ ፈጠራን የሚያፋጥኑ እና ወደ ድቅል ደመናው በአይን የተገነቡ መድረኮችን እየገነቡ ያሉት።

በፍጥነት እያደገ የሶፍትዌር እና ሃርድዌር ML መፍትሄዎች (NVIDIA፣ H2O.ai፣ Starburst፣ PerceptiLabs፣ ወዘተ) ያለው ስነ-ምህዳራችን ባለው በቀይ ኮፍያ OpenShift፣የእኛ በኮንቴይነር የተቀመጠ የኩበርኔትስ ፕላትፎርም ለድብልቅ ደመናው መድረክ መገንባት እንጀምራለን። እንደ BMW Group፣ ExxonMobil እና ሌሎች ያሉ አንዳንድ የሬድ ኮፍያ ደንበኞች የኤምኤል አርኪቴክቸርዎቻቸውን ወደ ምርት ለማምጣት እና የመረጃ ተንታኞችን ስራ ለማፋጠን ቀድሞውንም ኮንቴይነር የያዙ ML toolchains እና DevOps ሂደቶችን በመድረክ እና በስርዓተ-ምህዳሩ ላይ አሰማርተዋል።

የOpen Data Hub ፕሮጀክትን ያስጀመርንበት ሌላው ምክንያት በበርካታ የክፍት ምንጭ ሶፍትዌሮች ፕሮጄክቶች ላይ የተመሰረተ የአርክቴክቸር ምሳሌ ለማሳየት እና በOpenShift መድረክ ላይ የተመሰረተ የኤምኤል መፍትሄ አጠቃላይ የህይወት ኡደትን እንዴት ተግባራዊ ማድረግ እንደሚቻል ለማሳየት ነው።

የውሂብ መገናኛ ፕሮጀክትን ክፈት

ይህ በተዛማጅ ልማታዊ ማህበረሰብ ውስጥ የተገነባ እና ሙሉ የስራ ሂደትን የሚተገበር ክፍት ምንጭ ፕሮጀክት ነው - የመጀመሪያ ውሂብን ከመጫን እና ከመቀየር ወደ ሞዴል ማመንጨት ፣ ማሰልጠን እና ማቆየት - ኮንቴይነሮችን እና Kubernetes በ OpenShift ላይ በመጠቀም የ AI / ML ችግሮችን ሲፈታ። መድረክ. ይህ ፕሮጀክት በ OpenShift እና ተዛማጅ ክፍት ምንጭ መሳሪያዎች ላይ እንደ Tensorflow, JupyterHub, Spark እና ሌሎችን መሰረት በማድረግ ክፍት AI/ML-as-a-service መፍትሄ እንዴት እንደሚገነባ የማጣቀሻ ትግበራ, ምሳሌ ሊሆን ይችላል. ሬድ ኮፍያ ራሱ AI/ML አገልግሎቶቹን ለማቅረብ ይህንን ፕሮጀክት እንደሚጠቀም ልብ ማለት ያስፈልጋል። በተጨማሪም OpenShift ከNVDIA, Seldon, Starbust እና ሌሎች አቅራቢዎች ከቁልፍ ሶፍትዌሮች እና ሃርድዌር ኤምኤል መፍትሄዎች ጋር በማዋሃድ የራስዎን የማሽን መማሪያ ስርዓቶችን ለመስራት እና ለማሄድ ቀላል ያደርገዋል።

የክፍት ዳታ መገናኛ ፕሮጀክት በሚከተሉት የተጠቃሚዎች ምድቦች ላይ ያተኮረ ነው፡

• በራስ አገልግሎት ተግባራት እንደ ደመና የተደራጁ የኤምኤል ፕሮጄክቶችን ለመተግበር መፍትሄ የሚፈልግ የመረጃ ተንታኝ።
• ከቅርብ ጊዜ ክፍት ምንጭ AI/ML መሳሪያዎች እና መድረኮች ከፍተኛ ምርጫ የሚያስፈልገው የውሂብ ተንታኝ።
• ሞዴሎችን ሲያሰለጥኑ የውሂብ ምንጮችን ማግኘት የሚያስፈልገው የውሂብ ተንታኝ.
• የኮምፒዩተር ግብዓቶችን (ሲፒዩ፣ ጂፒዩ፣ ማህደረ ትውስታ) መዳረሻ የሚያስፈልገው የውሂብ ተንታኝ።
• ከስራ ባልደረቦች ጋር የመተባበር እና ስራን የማካፈል፣ ግብረ መልስ የመቀበል እና ፈጣን መደጋገም ላይ ማሻሻያዎችን የሚያደርግ የውሂብ ተንታኝ።
• የእሱ ML ሞዴሎች እና የስራ ውጤቶቹ ወደ ምርት እንዲገቡ ከገንቢዎች (እና ከቡድኖቹ ጋር) መስተጋብር መፍጠር የሚፈልግ የውሂብ ተንታኝ።
• የቁጥጥር እና የደህንነት መስፈርቶችን በሚያከብርበት ጊዜ የውሂብ ተንታኝ ለተለያዩ የመረጃ ምንጮች መዳረሻ መስጠት ያለበት የውሂብ መሐንዲስ።
• የክፍት ምንጭ ክፍሎችን እና ቴክኖሎጂዎችን የህይወት ዑደት (መጫን፣ ማዋቀር፣ ማሻሻል) ያለልፋት የመቆጣጠር ችሎታ የሚፈልግ የአይቲ ስርዓት አስተዳዳሪ/ኦፕሬተር። ተገቢ የአስተዳደር እና የኮታ መሳሪያዎች ያስፈልጉናል።

የ Open Data Hub ፕሮጀክት የ AI/ML ኦፕሬሽኖችን ሙሉ ዑደት ለመተግበር የተለያዩ የክፍት ምንጭ መሳሪያዎችን ያሰባስባል። ጁፒተር ማስታወሻ ደብተር ለመረጃ ትንተና ዋና የሥራ መሣሪያ ሆኖ እዚህ ጥቅም ላይ ይውላል። የመሳሪያ ኪቱ ዛሬ በዳታ ሳይንቲስቶች ዘንድ በሰፊው ታዋቂ ነው፣ እና ክፈት Data Hub አብሮ የተሰራውን ጁፒተርሃብን በመጠቀም የጁፒተር ደብተር የስራ ቦታዎችን በቀላሉ እንዲፈጥሩ እና እንዲያስተዳድሩ ያስችላቸዋል። የጁፒተር ማስታወሻ ደብተሮችን ከመፍጠር እና ከማስመጣት በተጨማሪ የOpen Data Hub ፕሮጀክት በ AI ላይብረሪ መልክ የተዘጋጁ በርካታ ዝግጁ ማስታወሻ ደብተሮችን ይዟል።

ይህ ቤተ-መጽሐፍት የክፍት ምንጭ የማሽን መማሪያ ክፍሎች ስብስብ እና ለተለመዱ ሁኔታዎች የመፍትሄ ሃሳቦች ፈጣን ፕሮቶታይምን ቀላል ያደርገዋል። JupyterHub ከOpenShift's RBAC የመዳረሻ ሞዴል ጋር የተዋሃደ ነው፣ ይህም ያሉትን የOpenShift መለያዎችን ለመጠቀም እና ነጠላ መግቢያን ተግባራዊ ለማድረግ ያስችላል። በተጨማሪም ጁፒተር ሃብ ለተጠቃሚ ምቹ የሆነ የተጠቃሚ በይነገጽ ስፓውነር ያቀርባል፣ በዚህም ተጠቃሚው ለተመረጠው የጁፒተር ማስታወሻ ደብተር የኮምፒውቲንግ ሃብቶችን (ሲፒዩ ኮርስ፣ ሜሞሪ፣ ጂፒዩ) በቀላሉ ማዋቀር ይችላል።

የውሂብ ተንታኙ ላፕቶፑን ከፈጠረ እና ካዋቀረው በኋላ, ስለ እሱ ሌሎች ስጋቶች ሁሉ የ OpenShift አካል በሆነው በ Kubernetes መርሐግብር ይወሰዳሉ. ተጠቃሚዎች ሙከራቸውን ማካሄድ፣ ማስቀመጥ እና የስራቸውን ውጤት ማጋራት የሚችሉት ብቻ ነው። በተጨማሪም፣ የላቁ ተጠቃሚዎች እንደ Job ወይም OpenShift ተግባር እንደ Tekton ወይም Knative ያሉ የኩበርኔትስ ፕሪሚቲቭዎችን ለመጠቀም የOpenShift CLI ሼልን ከጁፒተር ማስታወሻ ደብተሮች በቀጥታ ማግኘት ይችላሉ። ወይም ለዚህ "OpenShift web console" ተብሎ የሚጠራውን የ OpenShift ምቹ GUI መጠቀም ይችላሉ.

ወደ ቀጣዩ ደረጃ ስንሸጋገር የዳታ መገናኛ ክፈት የመረጃ ቧንቧዎችን ማስተዳደር ያስችላል። ለዚህም, የሴፍ ነገር ጥቅም ላይ ይውላል, እሱም እንደ S3-ተኳሃኝ የነገር መረጃ ማከማቻ ይቀርባል. Apache Spark ከውጪ ምንጮች ወይም አብሮ ከተሰራው የCeph S3 ማከማቻ መረጃን በዥረት እንዲለቁ ይፈቅድልዎታል እንዲሁም የቅድመ ዳታ ለውጦችን እንዲያደርጉ ይፈቅድልዎታል። Apache Kafka የውሂብ ቧንቧዎችን የላቀ አስተዳደር ያቀርባል (መረጃ ብዙ ጊዜ ሊጫን የሚችልበት, እንዲሁም የውሂብ ለውጥ, ትንተና እና የጽናት ስራዎች).

ስለዚህ, የውሂብ ተንታኙ ውሂቡን አግኝቶ ሞዴል ገንብቷል. አሁን የተገኘውን ውጤት ከሥራ ባልደረቦች ወይም አፕሊኬሽን ገንቢዎች ጋር የመጋራት ፍላጎት አለው, እና በአገልግሎት መርሆዎች ላይ የእሱን ሞዴል ያቅርቡ. ይህ ኢንፈረንስ አገልጋይ ያስፈልገዋል፣ እና ክፈት ዳታ ሃብ እንደዚህ አይነት አገልጋይ አለው፣ እሱ ሴልደን ተብሎ ይጠራል እና ሞዴሉን እንደ RESTful አገልግሎት እንዲያትሙ ያስችልዎታል።

በአንድ ወቅት, በሴልደን አገልጋይ ላይ ብዙ እንደዚህ ያሉ ሞዴሎች አሉ, እና እንዴት ጥቅም ላይ እንደሚውሉ መከታተል ያስፈልጋል. ይህንን ለማሳካት ክፍት ዳታ ሃብ በሰፊው ጥቅም ላይ በሚውሉት የክፍት ምንጭ መከታተያ መሳሪያዎች ፕሮሜቲየስ እና ግራፋና ላይ የተመሰረተ ተዛማጅ መለኪያዎች ስብስብ እና የሪፖርት ሞተር ያቀርባል። በውጤቱም, የ AI ሞዴሎችን አጠቃቀም ለመከታተል ግብረ መልስ እንቀበላለን, በተለይም በምርት አካባቢ.

በዚህ መንገድ ክፈት ዳታ መገናኛ ከመረጃ ተደራሽነት እና ዝግጅት ጀምሮ እስከ ሞዴል ስልጠና እና ምርት ድረስ በመላው AI/ML የህይወት ዑደት ውስጥ እንደ ደመና አይነት አቀራረብ ያቀርባል።

ሁሉንም በአንድ ላይ በማጣመር

አሁን ይህንን ሁሉ ለ OpenShift አስተዳዳሪ እንዴት ማደራጀት እንደሚቻል ጥያቄው ይነሳል. እና ይሄ ለ Open Data Hub ፕሮጀክቶች ልዩ የኩበርኔትስ ኦፕሬተር የሚሰራበት ቦታ ነው።

ይህ ኦፕሬተር የOpen Data Hub ፕሮጀክትን መጫን፣ ማዋቀር እና የህይወት ኡደትን ያስተዳድራል፣ ይህም ከላይ የተጠቀሱትን እንደ ጁፒተርሀብ፣ ሴፍ፣ ስፓርክ፣ ካፍካ፣ ሴልደን፣ ፕሮሜቴየስ እና ግራፋና የመሳሰሉ መሳሪያዎች መዘርጋትን ጨምሮ ነው። የክፍት ዳታ መገናኛ ፕሮጀክት በOpenShift ዌብ ኮንሶል ውስጥ በማህበረሰብ ኦፕሬተሮች ክፍል ውስጥ ይገኛል። ስለዚህ የOpenShift አስተዳዳሪ ተጓዳኝ የOpenShift ፕሮጀክቶች እንደ "Open Data Hub Project" ተብለው መከፋፈላቸውን ሊገልጽ ይችላል። ይህ አንድ ጊዜ ይከናወናል. ከዚህ በኋላ የመረጃ ተንታኙ በOpenShift ዌብ ኮንሶል በኩል ወደ ፕሮጄክቱ ቦታ ገብቷል እና ተዛማጁ የኩበርኔትስ ኦፕሬተር ተጭኖ ለፕሮጀክቶቹ እንደሚገኝ ያያል። ከዚያም በአንድ ጠቅታ የOpen Data Hub ፕሮጀክት ምሳሌ ይፈጥራል እና ወዲያውኑ ከላይ የተገለጹትን መሳሪያዎች ማግኘት ይችላል። እና ይሄ ሁሉ በከፍተኛ ተገኝነት እና በስህተት መቻቻል ሁነታ ሊዋቀር ይችላል.

የOpen Data Hub ፕሮጄክትን ለራስዎ መሞከር ከፈለጉ ይጀምሩ የመጫኛ መመሪያዎች እና የመግቢያ አጋዥ ስልጠና. የOpen Data Hub architecture ቴክኒካዊ ዝርዝሮችን ማግኘት ይቻላል። እዚህየፕሮጀክት ልማት እቅዶች - እዚህ. ለወደፊት፣ ከኩቤፍሎስ ጋር ተጨማሪ ውህደትን ለመተግበር፣ በርካታ ጉዳዮችን ከመረጃ ቁጥጥር እና ደህንነት ጋር ለመፍታት እና እንዲሁም ከደንቦች-ተኮር ስርዓቶች Drools እና Optaplanner ጋር ውህደትን ለማደራጀት አቅደናል። አስተያየትዎን ይግለጹ እና የፕሮጀክቱ ተሳታፊ ይሁኑ የውሂብ መገናኛን ይክፈቱ በገጹ ላይ ይቻላል ማህበረሰብ.

እንደገና ለማጠቃለል፡ ከባድ የመለጠጥ ተግዳሮቶች ድርጅቶች የሰው ሰራሽ የማሰብ ችሎታ እና የማሽን መማር ሙሉ አቅም እንዳይገነዘቡ እየከለከሏቸው ነው። Red Hat OpenShift በሶፍትዌር ኢንዱስትሪ ውስጥ ተመሳሳይ ችግሮችን ለመፍታት ለረጅም ጊዜ በተሳካ ሁኔታ ጥቅም ላይ ውሏል. በክፍት ምንጭ ልማት ማህበረሰብ ውስጥ የተተገበረው የOpen Data Hub ፕሮጀክት በOpenShift hybrid cloud ላይ የተመሰረተ ሙሉ የ AI/ML ስራዎችን ለማደራጀት የማጣቀሻ አርክቴክቸር ያቀርባል። ለዚህ ፕሮጀክት ልማት ግልጽ እና አሳቢ እቅድ አለን እና በOpenShift መድረክ ላይ ክፍት AI መፍትሄዎችን ለማዘጋጀት በዙሪያው ንቁ እና ፍሬያማ ማህበረሰብ ለመፍጠር በቁም ነገር እንገኛለን።

ምንጭ: hab.com