Red Hat OpenShift അടിസ്ഥാനമാക്കിയുള്ള ഒരു ഓപ്പൺ മെഷീൻ ലേണിംഗ് പ്ലാറ്റ്‌ഫോമാണ് ഓപ്പൺ ഡാറ്റ ഹബ് പ്രോജക്റ്റ്

ഭാവി വന്നിരിക്കുന്നു, ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസും മെഷീൻ ലേണിംഗ് സാങ്കേതികവിദ്യകളും ഇതിനകം തന്നെ നിങ്ങളുടെ പ്രിയപ്പെട്ട സ്റ്റോറുകളും ട്രാൻസ്പോർട്ട് കമ്പനികളും ടർക്കി ഫാമുകളും വിജയകരമായി ഉപയോഗിക്കുന്നു.

എന്തെങ്കിലും നിലവിലുണ്ടെങ്കിൽ, ഇന്റർനെറ്റിൽ അതിനെക്കുറിച്ച് ഇതിനകം എന്തെങ്കിലും ഉണ്ട്... ഒരു തുറന്ന പദ്ധതി! പുതിയ സാങ്കേതികവിദ്യകൾ സ്കെയിൽ ചെയ്യാനും നടപ്പിലാക്കൽ വെല്ലുവിളികൾ ഒഴിവാക്കാനും ഓപ്പൺ ഡാറ്റാ ഹബ് നിങ്ങളെ സഹായിക്കുന്നതെങ്ങനെയെന്ന് കാണുക.

ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് (AI), മെഷീൻ ലേണിംഗ് (ML) എന്നിവയുടെ എല്ലാ ഗുണങ്ങളും ഉള്ളതിനാൽ, ഈ സാങ്കേതികവിദ്യകൾ സ്കെയിൽ ചെയ്യാൻ ഓർഗനൈസേഷനുകൾക്ക് പലപ്പോഴും ബുദ്ധിമുട്ടുണ്ട്. ഈ കേസിലെ പ്രധാന പ്രശ്നങ്ങൾ സാധാരണയായി ഇനിപ്പറയുന്നവയാണ്:

• വിവര കൈമാറ്റവും സഹകരണവും - അനായാസമായി വിവരങ്ങൾ കൈമാറുന്നതും ദ്രുതഗതിയിലുള്ള ആവർത്തനങ്ങളിൽ സഹകരിക്കുന്നതും ഏതാണ്ട് അസാധ്യമാണ്.
• ഡാറ്റ ആക്സസ് - ഓരോ ജോലിക്കും അത് പുതിയതും സ്വമേധയാ നിർമ്മിക്കേണ്ടതുണ്ട്, ഇതിന് ധാരാളം സമയമെടുക്കും.
• ആവശ്യാനുസരണം പ്രവേശനം - മെഷീൻ ലേണിംഗ് ടൂളുകളിലേക്കും പ്ലാറ്റ്‌ഫോമിലേക്കും അതുപോലെ കമ്പ്യൂട്ടിംഗ് ഇൻഫ്രാസ്ട്രക്ചറിലേക്കും ആവശ്യാനുസരണം ആക്‌സസ് ലഭിക്കാൻ ഒരു മാർഗവുമില്ല.
• ഉത്പാദനം - മോഡലുകൾ പ്രോട്ടോടൈപ്പ് ഘട്ടത്തിൽ തന്നെ തുടരുന്നു, അവ വ്യാവസായിക ഉപയോഗത്തിലേക്ക് കൊണ്ടുവരുന്നില്ല.
• AI ഫലങ്ങൾ ട്രാക്ക് ചെയ്ത് വിശദീകരിക്കുക - AI/ML ഫലങ്ങളുടെ പുനരുൽപാദനക്ഷമത, ട്രാക്കിംഗ്, വിശദീകരണം എന്നിവ ബുദ്ധിമുട്ടാണ്.

ഈ പ്രശ്നങ്ങൾ പരിഹരിക്കപ്പെടാതെ വിട്ടാൽ, വിലയേറിയ ഡാറ്റാ ശാസ്ത്രജ്ഞരുടെ വേഗത, കാര്യക്ഷമത, ഉൽപ്പാദനക്ഷമത എന്നിവയെ പ്രതികൂലമായി ബാധിക്കുന്നു. ഇത് അവരുടെ നിരാശയിലേക്കും അവരുടെ ജോലിയിൽ നിരാശയിലേക്കും നയിക്കുന്നു, തൽഫലമായി, AI/ML നെ സംബന്ധിച്ച ബിസിനസ്സ് പ്രതീക്ഷകൾ പാഴായിപ്പോകുന്നു.

ഈ പ്രശ്‌നങ്ങൾ പരിഹരിക്കുന്നതിനുള്ള ഉത്തരവാദിത്തം ഐടി സ്പെഷ്യലിസ്റ്റുകൾക്കാണ്, അവർ ഡാറ്റാ അനലിസ്റ്റുകൾക്ക് നൽകണം - അത് ശരിയാണ്, ക്ലൗഡ് പോലെയുള്ള ഒന്ന്. കൂടുതൽ വിശദമായി പറഞ്ഞാൽ, തിരഞ്ഞെടുക്കാനുള്ള സ്വാതന്ത്ര്യം നൽകുന്നതും സൗകര്യപ്രദവും എളുപ്പമുള്ളതുമായ ഒരു പ്ലാറ്റ്ഫോം ഞങ്ങൾക്ക് ആവശ്യമാണ്. അതേ സമയം, ഇത് വേഗതയേറിയതും എളുപ്പത്തിൽ പുനഃക്രമീകരിക്കാവുന്നതും ആവശ്യാനുസരണം അളക്കാവുന്നതും പരാജയങ്ങളെ പ്രതിരോധിക്കുന്നതുമാണ്. ഓപ്പൺ സോഴ്‌സ് സാങ്കേതികവിദ്യകളിൽ അത്തരമൊരു പ്ലാറ്റ്‌ഫോം നിർമ്മിക്കുന്നത് വെണ്ടർ ലോക്ക്-ഇൻ ഒഴിവാക്കാനും ചെലവ് നിയന്ത്രണത്തിന്റെ കാര്യത്തിൽ ദീർഘകാല തന്ത്രപരമായ നേട്ടം നിലനിർത്താനും സഹായിക്കുന്നു.

കുറച്ച് വർഷങ്ങൾക്ക് മുമ്പ്, ആപ്ലിക്കേഷൻ വികസനത്തിൽ സമാനമായ എന്തെങ്കിലും സംഭവിക്കുകയും മൈക്രോസർവീസുകൾ, ഹൈബ്രിഡ് ക്ലൗഡുകൾ, ഐടി ഓട്ടോമേഷൻ, ചടുലമായ പ്രക്രിയകൾ എന്നിവയുടെ ഉദയത്തിലേക്ക് നയിക്കുകയും ചെയ്തു. ഇതിനെയെല്ലാം നേരിടാൻ, ഐടി പ്രൊഫഷണലുകൾ കണ്ടെയ്‌നറുകളിലേക്കും കുബർനെറ്റുകളിലേക്കും ഓപ്പൺ ഹൈബ്രിഡ് മേഘങ്ങളിലേക്കും തിരിഞ്ഞു.

ആലിന്റെ വെല്ലുവിളികൾക്ക് ഉത്തരം നൽകാൻ ഈ അനുഭവം ഇപ്പോൾ പ്രയോഗിക്കുന്നു. അതുകൊണ്ടാണ് ഐടി പ്രൊഫഷണലുകൾ കണ്ടെയ്‌നർ അധിഷ്‌ഠിത പ്ലാറ്റ്‌ഫോമുകൾ നിർമ്മിക്കുന്നത്, ചടുലമായ പ്രക്രിയകൾക്കുള്ളിൽ AI/ML സേവനങ്ങൾ സൃഷ്‌ടിക്കുന്നത് പ്രാപ്‌തമാക്കുന്നു, നവീകരണത്തെ ത്വരിതപ്പെടുത്തുന്നു, കൂടാതെ ഹൈബ്രിഡ് ക്ലൗഡിലേക്ക് ഒരു കണ്ണുകൊണ്ട് നിർമ്മിച്ചതാണ്.

അതിവേഗം വളരുന്ന സോഫ്റ്റ്‌വെയർ, ഹാർഡ്‌വെയർ ML സൊല്യൂഷനുകൾ (NVIDIA, H2O.ai, Starburst, PerceptiLabs മുതലായവ) ഉള്ള ഹൈബ്രിഡ് ക്ലൗഡിനായുള്ള ഞങ്ങളുടെ കണ്ടെയ്‌നറൈസ്ഡ് Kubernetes പ്ലാറ്റ്‌ഫോമായ Red Hat OpenShift ഉപയോഗിച്ച് ഞങ്ങൾ അത്തരമൊരു പ്ലാറ്റ്‌ഫോം നിർമ്മിക്കാൻ തുടങ്ങും. BMW Group, ExxonMobil തുടങ്ങിയ Red Hat-ന്റെ ചില ഉപഭോക്താക്കൾ, തങ്ങളുടെ ML ആർക്കിടെക്ചറുകൾ ഉൽപ്പാദിപ്പിക്കുന്നതിനും ഡാറ്റാ അനലിസ്റ്റുകളുടെ പ്രവർത്തനം വേഗത്തിലാക്കുന്നതിനുമായി പ്ലാറ്റ്‌ഫോമിനും അതിന്റെ ഇക്കോസിസ്റ്റത്തിനും മുകളിൽ കണ്ടെയ്‌നറൈസ്ഡ് ML ടൂൾചെയിനുകളും DevOps പ്രക്രിയകളും ഇതിനകം വിന്യസിച്ചിട്ടുണ്ട്.

ഞങ്ങൾ ഓപ്പൺ ഡാറ്റ ഹബ് പ്രോജക്റ്റ് സമാരംഭിച്ചതിന്റെ മറ്റൊരു കാരണം, നിരവധി ഓപ്പൺ സോഴ്‌സ് സോഫ്‌റ്റ്‌വെയർ പ്രോജക്‌റ്റുകളെ അടിസ്ഥാനമാക്കിയുള്ള ഒരു ആർക്കിടെക്‌ചറിന്റെ ഒരു ഉദാഹരണം പ്രദർശിപ്പിക്കുകയും OpenShift പ്ലാറ്റ്‌ഫോമിനെ അടിസ്ഥാനമാക്കി ഒരു ML സൊല്യൂഷന്റെ മുഴുവൻ ജീവിത ചക്രം എങ്ങനെ നടപ്പിലാക്കാമെന്ന് കാണിക്കുകയും ചെയ്യുക എന്നതാണ്.

ഡാറ്റ ഹബ് പ്രോജക്റ്റ് തുറക്കുക

ഇത് അനുബന്ധ വികസന കമ്മ്യൂണിറ്റിയിൽ വികസിപ്പിച്ചെടുത്ത ഒരു ഓപ്പൺ സോഴ്‌സ് പ്രോജക്‌റ്റാണ്, കൂടാതെ ഓപ്പൺഷിഫ്റ്റിലെ കണ്ടെയ്‌നറുകളും കുബർനെറ്റുകളും ഉപയോഗിച്ച് AI / ML പ്രശ്‌നങ്ങൾ പരിഹരിക്കുമ്പോൾ - പ്രാരംഭ ഡാറ്റ ലോഡുചെയ്യുന്നതും രൂപാന്തരപ്പെടുത്തുന്നതും മുതൽ ഒരു മോഡൽ സൃഷ്ടിക്കുന്നതും പരിശീലിപ്പിക്കുന്നതും പരിപാലിക്കുന്നതും വരെയുള്ള പ്രവർത്തനങ്ങളുടെ ഒരു പൂർണ്ണ ചക്രം നടപ്പിലാക്കുന്നു. പ്ലാറ്റ്ഫോം. ഈ പ്രോജക്‌റ്റ് ഒരു റഫറൻസ് നടപ്പിലാക്കലായി കണക്കാക്കാം, OpenShift-നെയും അനുബന്ധ ഓപ്പൺ സോഴ്‌സ് ടൂളുകളായ Tensorflow, JupyterHub, Spark എന്നിവയും മറ്റും അടിസ്ഥാനമാക്കി ഒരു ഓപ്പൺ AI/ML-as-a-service സൊല്യൂഷൻ എങ്ങനെ നിർമ്മിക്കാം എന്നതിന്റെ ഉദാഹരണം. Red Hat തന്നെ അതിന്റെ AI/ML സേവനങ്ങൾ നൽകുന്നതിന് ഈ പ്രോജക്റ്റ് ഉപയോഗിക്കുന്നു എന്നത് ശ്രദ്ധിക്കേണ്ടതാണ്. കൂടാതെ, ഓപ്പൺഷിഫ്റ്റ് എൻവിഡിയ, സെൽഡൺ, സ്റ്റാർബസ്റ്റ്, മറ്റ് വെണ്ടർമാർ എന്നിവരിൽ നിന്നുള്ള പ്രധാന സോഫ്റ്റ്‌വെയർ, ഹാർഡ്‌വെയർ ML സൊല്യൂഷനുകളുമായി സംയോജിപ്പിക്കുന്നു, ഇത് നിങ്ങളുടെ സ്വന്തം മെഷീൻ ലേണിംഗ് സിസ്റ്റങ്ങൾ നിർമ്മിക്കുന്നതും പ്രവർത്തിപ്പിക്കുന്നതും എളുപ്പമാക്കുന്നു.

ഓപ്പൺ ഡാറ്റ ഹബ് പ്രോജക്റ്റ് ഇനിപ്പറയുന്ന വിഭാഗങ്ങളിലെ ഉപയോക്താക്കളെയും ഉപയോഗ കേസുകളെയും കേന്ദ്രീകരിച്ചാണ്:

• സ്വയം സേവന പ്രവർത്തനങ്ങളുള്ള ഒരു ക്ലൗഡ് പോലെ സംഘടിപ്പിച്ച ML പ്രോജക്റ്റുകൾ നടപ്പിലാക്കുന്നതിന് ഒരു പരിഹാരം ആവശ്യമുള്ള ഡാറ്റാ അനലിസ്റ്റ്.
• ഏറ്റവും പുതിയ ഓപ്പൺ സോഴ്‌സ് AI/ML ടൂളുകളിൽ നിന്നും പ്ലാറ്റ്‌ഫോമുകളിൽ നിന്നും പരമാവധി ചോയ്‌സ് ആവശ്യമുള്ള ഡാറ്റാ അനലിസ്റ്റ്.
• മോഡലുകൾ പരിശീലിപ്പിക്കുമ്പോൾ ഡാറ്റാ ഉറവിടങ്ങളിലേക്ക് ആക്സസ് ആവശ്യമുള്ള ഡാറ്റാ അനലിസ്റ്റ്.
• കമ്പ്യൂട്ടിംഗ് ഉറവിടങ്ങളിലേക്ക് (സിപിയു, ജിപിയു, മെമ്മറി) ആക്‌സസ് ആവശ്യമുള്ള ഡാറ്റാ അനലിസ്റ്റ്.
• സഹപ്രവർത്തകരുമായി സഹകരിക്കാനും ജോലി പങ്കിടാനും, ഫീഡ്‌ബാക്ക് സ്വീകരിക്കാനും, ദ്രുതഗതിയിലുള്ള ആവർത്തനത്തിൽ മെച്ചപ്പെടുത്തലുകൾ വരുത്താനുമുള്ള കഴിവ് ആവശ്യമുള്ള ഡാറ്റാ അനലിസ്റ്റ്.
• ഡെവലപ്പർമാരുമായി സംവദിക്കാൻ ആഗ്രഹിക്കുന്ന ഒരു ഡാറ്റാ അനലിസ്റ്റ് (ഒപ്പം ടീമുകൾ ഡെവോപ്സ് ചെയ്യുന്നു) അതിലൂടെ അവന്റെ ML മോഡലുകളും പ്രവർത്തന ഫലങ്ങളും നിർമ്മാണത്തിലേക്ക് പോകുന്നു.
• റെഗുലേറ്ററി, സെക്യൂരിറ്റി ആവശ്യകതകൾ പാലിക്കുമ്പോൾ വിവിധ ഡാറ്റാ ഉറവിടങ്ങളിലേക്ക് ആക്‌സസ് ഉള്ള ഒരു ഡാറ്റ അനലിസ്റ്റ് നൽകേണ്ട ഡാറ്റാ എഞ്ചിനീയർ.
• ഓപ്പൺ സോഴ്‌സ് ഘടകങ്ങളുടെയും സാങ്കേതികവിദ്യകളുടെയും ലൈഫ് സൈക്കിൾ (ഇൻസ്റ്റാളേഷൻ, കോൺഫിഗറേഷൻ, അപ്‌ഗ്രേഡ്) അനായാസമായി നിയന്ത്രിക്കാനുള്ള കഴിവ് ആവശ്യമുള്ള ഐടി സിസ്റ്റം അഡ്മിനിസ്ട്രേറ്റർ/ഓപ്പറേറ്റർ. ഞങ്ങൾക്ക് ഉചിതമായ മാനേജ്മെന്റും ക്വാട്ട ടൂളുകളും ആവശ്യമാണ്.

ഓപ്പൺ ഡാറ്റാ ഹബ് പ്രോജക്റ്റ് AI/ML പ്രവർത്തനങ്ങളുടെ ഒരു പൂർണ്ണ ചക്രം നടപ്പിലാക്കുന്നതിനായി ഓപ്പൺ സോഴ്‌സ് ടൂളുകളുടെ ഒരു ശ്രേണി ഒരുമിച്ച് കൊണ്ടുവരുന്നു. ഡാറ്റാ അനലിറ്റിക്‌സിന്റെ പ്രധാന പ്രവർത്തന ഉപകരണമായി ജൂപ്പിറ്റർ നോട്ട്ബുക്ക് ഇവിടെ ഉപയോഗിക്കുന്നു. ടൂൾകിറ്റ് ഇന്ന് ഡാറ്റാ ശാസ്ത്രജ്ഞർക്കിടയിൽ വ്യാപകമായി പ്രചാരത്തിലുണ്ട്, ബിൽറ്റ്-ഇൻ ജൂപ്പിറ്റർഹബ് ഉപയോഗിച്ച് ജൂപ്പിറ്റർ നോട്ട്ബുക്ക് വർക്ക്‌സ്‌പെയ്‌സുകൾ എളുപ്പത്തിൽ സൃഷ്‌ടിക്കാനും നിയന്ത്രിക്കാനും ഓപ്പൺ ഡാറ്റ ഹബ് അവരെ അനുവദിക്കുന്നു. ജൂപ്പിറ്റർ നോട്ട്ബുക്കുകൾ സൃഷ്ടിക്കുന്നതിനും ഇറക്കുമതി ചെയ്യുന്നതിനും പുറമേ, ഓപ്പൺ ഡാറ്റ ഹബ് പ്രോജക്റ്റിൽ ഒരു AI ലൈബ്രറിയുടെ രൂപത്തിൽ നിരവധി റെഡിമെയ്ഡ് നോട്ട്ബുക്കുകളും അടങ്ങിയിരിക്കുന്നു.

ഈ ലൈബ്രറി ഓപ്പൺ സോഴ്‌സ് മെഷീൻ ലേണിംഗ് ഘടകങ്ങളുടെയും ദ്രുതഗതിയിലുള്ള പ്രോട്ടോടൈപ്പിംഗ് ലളിതമാക്കുന്ന സാധാരണ സാഹചര്യങ്ങൾക്കുള്ള പരിഹാരങ്ങളുടെയും ഒരു ശേഖരമാണ്. നിലവിലുള്ള OpenShift അക്കൗണ്ടുകൾ ഉപയോഗിക്കാനും ഒറ്റ സൈൻ-ഓൺ നടപ്പിലാക്കാനും നിങ്ങളെ അനുവദിക്കുന്ന OpenShift-ന്റെ RBAC ആക്‌സസ് മോഡലുമായി JupyterHub സംയോജിപ്പിച്ചിരിക്കുന്നു. കൂടാതെ, JupyterHub സ്‌പാണർ എന്ന ഉപയോക്തൃ-സൗഹൃദ ഉപയോക്തൃ ഇന്റർഫേസ് വാഗ്ദാനം ചെയ്യുന്നു, അതിലൂടെ ഉപയോക്താവിന് തിരഞ്ഞെടുത്ത ജൂപ്പിറ്റർ നോട്ട്ബുക്കിനായി കമ്പ്യൂട്ടിംഗ് ഉറവിടങ്ങളുടെ (സിപിയു കോറുകൾ, മെമ്മറി, ജിപിയു) അളവ് എളുപ്പത്തിൽ ക്രമീകരിക്കാൻ കഴിയും.

ഡാറ്റാ അനലിസ്റ്റ് ലാപ്‌ടോപ്പ് സൃഷ്‌ടിക്കുകയും കോൺഫിഗർ ചെയ്യുകയും ചെയ്‌തതിനുശേഷം, അതിനെക്കുറിച്ചുള്ള മറ്റെല്ലാ ആശങ്കകളും ഓപ്പൺഷിഫ്റ്റിന്റെ ഭാഗമായ കുബർനെറ്റസ് ഷെഡ്യൂളർ ശ്രദ്ധിക്കുന്നു. ഉപയോക്താക്കൾക്ക് അവരുടെ പരീക്ഷണങ്ങൾ നടത്താനും അവരുടെ ജോലിയുടെ ഫലങ്ങൾ സംരക്ഷിക്കാനും പങ്കിടാനും മാത്രമേ കഴിയൂ. കൂടാതെ, വികസിത ഉപയോക്താക്കൾക്ക് ജൂപ്പിറ്റർ നോട്ട്ബുക്കുകളിൽ നിന്ന് നേരിട്ട് ഓപ്പൺഷിഫ്റ്റ് സിഎൽഐ ഷെൽ നേരിട്ട് ആക്സസ് ചെയ്യാൻ കഴിയും, ഇത് കുബെർനെറ്റസ് പ്രിമിറ്റീവുകൾ ആയ ജോബ് അല്ലെങ്കിൽ ടെക്ടൺ അല്ലെങ്കിൽ നെറ്റീവ് പോലെയുള്ള ഓപ്പൺഷിഫ്റ്റ് പ്രവർത്തനങ്ങളെ പ്രയോജനപ്പെടുത്തുന്നു. അല്ലെങ്കിൽ ഇതിനായി നിങ്ങൾക്ക് ഓപ്പൺഷിഫ്റ്റിന്റെ സൗകര്യപ്രദമായ ജിയുഐ ഉപയോഗിക്കാം, അതിനെ “ഓപ്പൺഷിഫ്റ്റ് വെബ് കൺസോൾ” എന്ന് വിളിക്കുന്നു.

അടുത്ത ഘട്ടത്തിലേക്ക് നീങ്ങുമ്പോൾ, ഓപ്പൺ ഡാറ്റ ഹബ് ഡാറ്റ പൈപ്പ് ലൈനുകൾ നിയന്ത്രിക്കുന്നത് സാധ്യമാക്കുന്നു. ഇതിനായി, ഒരു Ceph ഒബ്‌ജക്റ്റ് ഉപയോഗിക്കുന്നു, അത് ഒരു S3-അനുയോജ്യമായ ഒബ്‌ജക്റ്റ് ഡാറ്റ സംഭരണമായി നൽകിയിരിക്കുന്നു. Apache Spark നിങ്ങളെ ബാഹ്യ ഉറവിടങ്ങളിൽ നിന്നോ അന്തർനിർമ്മിത Ceph S3 സംഭരണത്തിൽ നിന്നോ ഡാറ്റ സ്ട്രീം ചെയ്യാൻ അനുവദിക്കുന്നു, കൂടാതെ പ്രാഥമിക ഡാറ്റാ പരിവർത്തനങ്ങൾ നടത്താനും നിങ്ങളെ അനുവദിക്കുന്നു. അപ്പാച്ചെ കാഫ്ക ഡാറ്റാ പൈപ്പ്ലൈനുകളുടെ വിപുലമായ മാനേജ്മെന്റ് നൽകുന്നു (ഡാറ്റ ഒന്നിലധികം തവണ ലോഡ് ചെയ്യാൻ കഴിയും, കൂടാതെ ഡാറ്റാ പരിവർത്തനം, വിശകലനം, സ്ഥിരതയുള്ള പ്രവർത്തനങ്ങൾ).

അതിനാൽ, ഡാറ്റാ അനലിസ്റ്റ് ഡാറ്റ ആക്സസ് ചെയ്യുകയും ഒരു മോഡൽ നിർമ്മിക്കുകയും ചെയ്തു. ഇപ്പോൾ സഹപ്രവർത്തകരുമായോ ആപ്ലിക്കേഷൻ ഡവലപ്പർമാരുമായോ ലഭിച്ച ഫലങ്ങൾ പങ്കിടാനും ഒരു സേവനത്തിന്റെ തത്വങ്ങളെക്കുറിച്ചുള്ള തന്റെ മാതൃക അവർക്ക് നൽകാനും അദ്ദേഹത്തിന് ആഗ്രഹമുണ്ട്. ഇതിന് ഒരു അനുമാന സെർവർ ആവശ്യമാണ്, കൂടാതെ ഓപ്പൺ ഡാറ്റാ ഹബിന് അത്തരമൊരു സെർവർ ഉണ്ട്, അതിനെ സെൽഡൺ എന്ന് വിളിക്കുന്നു കൂടാതെ മോഡൽ ഒരു RESTful സേവനമായി പ്രസിദ്ധീകരിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു.

ചില ഘട്ടങ്ങളിൽ, സെൽഡൺ സെർവറിൽ അത്തരം നിരവധി മോഡലുകൾ ഉണ്ട്, അവ എങ്ങനെയാണ് ഉപയോഗിക്കുന്നത് എന്ന് നിരീക്ഷിക്കേണ്ടത് ആവശ്യമാണ്. ഇത് നേടുന്നതിന്, ഓപ്പൺ ഡാറ്റ ഹബ് പ്രസക്തമായ അളവുകളുടെ ഒരു ശേഖരവും വ്യാപകമായി ഉപയോഗിക്കുന്ന ഓപ്പൺ സോഴ്‌സ് മോണിറ്ററിംഗ് ടൂളുകളെ അടിസ്ഥാനമാക്കിയുള്ള ഒരു റിപ്പോർട്ടിംഗ് എഞ്ചിനും വാഗ്ദാനം ചെയ്യുന്നു. തൽഫലമായി, AI മോഡലുകളുടെ ഉപയോഗം നിരീക്ഷിക്കാൻ ഞങ്ങൾക്ക് ഫീഡ്‌ബാക്ക് ലഭിക്കുന്നു, പ്രത്യേകിച്ച് ഒരു പ്രൊഡക്ഷൻ പരിതസ്ഥിതിയിൽ.

ഈ രീതിയിൽ, ഓപ്പൺ ഡാറ്റാ ഹബ് AI/ML ലൈഫ് സൈക്കിളിലുടനീളം, ഡാറ്റ ആക്‌സസ്, തയ്യാറെടുപ്പ് മുതൽ മോഡൽ പരിശീലനവും നിർമ്മാണവും വരെ ക്ലൗഡ് പോലെയുള്ള സമീപനം നൽകുന്നു.

എല്ലാം ഒന്നിച്ച് ഇട്ടു

ഓപ്പൺഷിഫ്റ്റ് അഡ്മിനിസ്ട്രേറ്ററിനായി ഇതെല്ലാം എങ്ങനെ ഓർഗനൈസുചെയ്യാം എന്ന ചോദ്യം ഇപ്പോൾ ഉയർന്നുവരുന്നു. ഇവിടെയാണ് ഓപ്പൺ ഡാറ്റ ഹബ് പ്രോജക്റ്റുകൾക്കായി ഒരു പ്രത്യേക കുബർനെറ്റസ് ഓപ്പറേറ്റർ പ്രവർത്തിക്കുന്നത്.

ജൂപ്പിറ്റർഹബ്, സെഫ്, സ്പാർക്ക്, കാഫ്ക, സെൽഡൺ, പ്രൊമിത്യൂസ്, ഗ്രാഫാന തുടങ്ങിയ മുൻപറഞ്ഞ ടൂളുകളുടെ വിന്യാസം ഉൾപ്പെടെ, ഓപ്പൺ ഡാറ്റ ഹബ് പ്രോജക്റ്റിന്റെ ഇൻസ്റ്റാളേഷൻ, കോൺഫിഗറേഷൻ, ലൈഫ് സൈക്കിൾ എന്നിവ ഈ ഓപ്പറേറ്റർ കൈകാര്യം ചെയ്യുന്നു. ഓപ്പൺ ഡാറ്റ ഹബ് പ്രോജക്റ്റ് OpenShift വെബ് കൺസോളിൽ, കമ്മ്യൂണിറ്റി ഓപ്പറേറ്റർമാരുടെ വിഭാഗത്തിൽ കാണാം. അതിനാൽ, അനുബന്ധ ഓപ്പൺഷിഫ്റ്റ് പ്രോജക്റ്റുകളെ "ഓപ്പൺ ഡാറ്റ ഹബ് പ്രോജക്റ്റ്" എന്ന് തരംതിരിച്ചിട്ടുണ്ടെന്ന് ഓപ്പൺഷിഫ്റ്റ് അഡ്മിനിസ്ട്രേറ്റർക്ക് വ്യക്തമാക്കാൻ കഴിയും. ഇത് ഒരിക്കൽ ചെയ്യുന്നു. ഇതിനുശേഷം, ഡാറ്റാ അനലിസ്റ്റ് ഓപ്പൺഷിഫ്റ്റ് വെബ് കൺസോൾ വഴി തന്റെ പ്രോജക്റ്റ് സ്‌പെയ്‌സിലേക്ക് ലോഗിൻ ചെയ്യുകയും അനുബന്ധ കുബർനെറ്റസ് ഓപ്പറേറ്റർ ഇൻസ്റ്റാൾ ചെയ്യുകയും അവന്റെ പ്രോജക്റ്റുകൾക്കായി ലഭ്യമാവുകയും ചെയ്യുന്നു. തുടർന്ന് അവൻ ഒറ്റ ക്ലിക്കിലൂടെ ഒരു ഓപ്പൺ ഡാറ്റാ ഹബ് പ്രോജക്റ്റ് ഇൻസ്റ്റൻസ് സൃഷ്‌ടിക്കുകയും മുകളിൽ വിവരിച്ച ടൂളുകളിലേക്ക് ഉടനടി ആക്‌സസ് ലഭിക്കുകയും ചെയ്യുന്നു. ഇതെല്ലാം ഉയർന്ന ലഭ്യതയിലും തെറ്റ് സഹിഷ്ണുതയിലും ക്രമീകരിക്കാൻ കഴിയും.

നിങ്ങൾക്കായി ഓപ്പൺ ഡാറ്റ ഹബ് പ്രോജക്റ്റ് പരീക്ഷിക്കാൻ ആഗ്രഹിക്കുന്നുവെങ്കിൽ, ആരംഭിക്കുക ഇൻസ്റ്റലേഷൻ നിർദ്ദേശങ്ങളും ആമുഖ ട്യൂട്ടോറിയലും. ഓപ്പൺ ഡാറ്റ ഹബ് ആർക്കിടെക്ചറിന്റെ സാങ്കേതിക വിശദാംശങ്ങൾ കണ്ടെത്താനാകും ഇവിടെ, പദ്ധതി വികസന പദ്ധതികൾ - ഇവിടെ. ഭാവിയിൽ, Kubeflow-മായി അധിക സംയോജനം നടപ്പിലാക്കാനും ഡാറ്റ നിയന്ത്രണവും സുരക്ഷയുമായി ബന്ധപ്പെട്ട നിരവധി പ്രശ്‌നങ്ങൾ പരിഹരിക്കാനും നിയമങ്ങൾ അടിസ്ഥാനമാക്കിയുള്ള സിസ്റ്റങ്ങളായ Drools, Optaplanner എന്നിവയുമായി സംയോജനം സംഘടിപ്പിക്കാനും ഞങ്ങൾ പദ്ധതിയിടുന്നു. നിങ്ങളുടെ അഭിപ്രായം പ്രകടിപ്പിക്കുകയും പദ്ധതിയിൽ പങ്കാളിയാകുകയും ചെയ്യുക ഡാറ്റ ഹബ് തുറക്കുക പേജിൽ സാധ്യമാണ് സമൂഹം.

റീക്യാപ്പ് ചെയ്യാൻ: ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസിന്റെയും മെഷീൻ ലേണിംഗിന്റെയും മുഴുവൻ സാധ്യതകളും തിരിച്ചറിയുന്നതിൽ നിന്ന് ഗുരുതരമായ സ്കെയിലിംഗ് വെല്ലുവിളികൾ ഓർഗനൈസേഷനുകളെ തടയുന്നു. സോഫ്റ്റ്‌വെയർ വ്യവസായത്തിലെ സമാനമായ പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിനായി Red Hat OpenShift വളരെക്കാലമായി വിജയകരമായി ഉപയോഗിച്ചുവരുന്നു. ഓപ്പൺ സോഴ്‌സ് ഡെവലപ്‌മെന്റ് കമ്മ്യൂണിറ്റിയിൽ നടപ്പിലാക്കിയ ഓപ്പൺ ഡാറ്റ ഹബ് പ്രോജക്റ്റ്, ഓപ്പൺഷിഫ്റ്റ് ഹൈബ്രിഡ് ക്ലൗഡിനെ അടിസ്ഥാനമാക്കി AI/ML പ്രവർത്തനങ്ങളുടെ ഒരു പൂർണ്ണ ചക്രം സംഘടിപ്പിക്കുന്നതിനുള്ള ഒരു റഫറൻസ് ആർക്കിടെക്ചർ വാഗ്ദാനം ചെയ്യുന്നു. ഈ പ്രോജക്റ്റിന്റെ വികസനത്തിനായി ഞങ്ങൾക്ക് വ്യക്തവും ചിന്തനീയവുമായ ഒരു പ്ലാൻ ഉണ്ട്, ഓപ്പൺഷിഫ്റ്റ് പ്ലാറ്റ്‌ഫോമിൽ ഓപ്പൺ AI സൊല്യൂഷനുകൾ വികസിപ്പിക്കുന്നതിന് ചുറ്റും സജീവവും ഫലപ്രദവുമായ ഒരു കമ്മ്യൂണിറ്റി സൃഷ്ടിക്കുന്നതിൽ ഞങ്ങൾ ഗൗരവമുള്ളവരാണ്.

അവലംബം: www.habr.com