எதிர்காலம் வந்துவிட்டது, செயற்கை நுண்ணறிவு மற்றும் இயந்திர கற்றல் தொழில்நுட்பங்கள் ஏற்கனவே உங்களுக்கு பிடித்த கடைகள், போக்குவரத்து நிறுவனங்கள் மற்றும் வான்கோழி பண்ணைகளால் வெற்றிகரமாக பயன்படுத்தப்படுகின்றன.
மற்றும் ஏதாவது இருந்தால், அது பற்றி ஏற்கனவே இணையத்தில் ஏதாவது உள்ளது ... ஒரு திறந்த திட்டம்! ஓபன் டேட்டா ஹப் எப்படி புதிய தொழில்நுட்பங்களை அளவிட உதவுகிறது மற்றும் செயல்படுத்தும் சவால்களைத் தவிர்க்க உதவுகிறது.
செயற்கை நுண்ணறிவு (AI) மற்றும் இயந்திர கற்றல் (ML) ஆகியவற்றின் அனைத்து நன்மைகளுடனும், நிறுவனங்கள் இந்த தொழில்நுட்பங்களை அளவிடுவதில் பெரும்பாலும் சிரமப்படுகின்றன. இந்த வழக்கில் முக்கிய சிக்கல்கள் பொதுவாக பின்வருமாறு:
- தகவல் பரிமாற்றம் மற்றும் ஒத்துழைப்பு - சிரமமின்றி தகவல் பரிமாற்றம் மற்றும் விரைவான மறு செய்கைகளில் ஒத்துழைப்பது கிட்டத்தட்ட சாத்தியமற்றது.
- தரவு அணுகல் - ஒவ்வொரு பணிக்கும் அது புதிதாகவும் கைமுறையாகவும் கட்டப்பட வேண்டும், இது நிறைய நேரம் எடுக்கும்.
- தேவைக்கேற்ப அணுகல் - இயந்திர கற்றல் கருவிகள் மற்றும் இயங்குதளம் மற்றும் கம்ப்யூட்டிங் உள்கட்டமைப்புக்கான தேவைக்கேற்ப அணுகலைப் பெற வழி இல்லை.
- உற்பத்தி - மாதிரிகள் முன்மாதிரி நிலையில் இருக்கும் மற்றும் தொழில்துறை பயன்பாட்டிற்கு கொண்டு வரப்படவில்லை.
- AI முடிவுகளைக் கண்காணித்து விளக்கவும் - AI/ML முடிவுகளின் மறுஉருவாக்கம், கண்காணிப்பு மற்றும் விளக்கம் கடினம்.
கவனிக்கப்படாமல் விடப்பட்டால், இந்த சிக்கல்கள் மதிப்புமிக்க தரவு விஞ்ஞானிகளின் வேகம், செயல்திறன் மற்றும் உற்பத்தித்திறனை எதிர்மறையாக பாதிக்கின்றன. இது அவர்களின் விரக்திக்கும், அவர்களின் வேலையில் ஏமாற்றத்திற்கும் வழிவகுக்கிறது, இதன் விளைவாக, AI/ML தொடர்பான வணிக எதிர்பார்ப்புகள் வீணாகின்றன.
இந்தச் சிக்கல்களைத் தீர்ப்பதற்கான பொறுப்பு தகவல் தொழில்நுட்ப வல்லுநர்கள் மீது விழுகிறது, அவர்கள் தரவு ஆய்வாளர்களை வழங்க வேண்டும் - அது சரி, மேகம் போன்றது. இன்னும் விரிவாக, எங்களுக்குத் தேர்வு சுதந்திரம் அளிக்கும் மற்றும் வசதியான, எளிதான அணுகல் கொண்ட தளம் தேவை. அதே நேரத்தில், இது வேகமானது, எளிதில் மறுகட்டமைக்கக்கூடியது, தேவைக்கேற்ப அளவிடக்கூடியது மற்றும் தோல்விகளை எதிர்க்கும். திறந்த மூல தொழில்நுட்பங்களில் அத்தகைய தளத்தை உருவாக்குவது விற்பனையாளர் பூட்டுதலைத் தவிர்க்கவும், செலவுக் கட்டுப்பாட்டின் அடிப்படையில் நீண்டகால மூலோபாய நன்மையைப் பராமரிக்கவும் உதவுகிறது.
சில ஆண்டுகளுக்கு முன்பு, பயன்பாட்டு மேம்பாட்டில் இதேபோன்ற ஒன்று நடந்தது மற்றும் மைக்ரோ சர்வீஸ்கள், ஹைப்ரிட் மேகங்கள், ஐடி ஆட்டோமேஷன் மற்றும் சுறுசுறுப்பான செயல்முறைகள் தோன்றுவதற்கு வழிவகுத்தது. இதையெல்லாம் சமாளிக்க, தகவல் தொழில்நுட்ப வல்லுநர்கள் கொள்கலன்கள், குபெர்னெட்ஸ் மற்றும் திறந்த கலப்பின மேகங்களுக்கு மாறியுள்ளனர்.
ஆலின் சவால்களுக்குப் பதிலளிக்க இந்த அனுபவம் இப்போது பயன்படுத்தப்படுகிறது. அதனால்தான் தகவல் தொழில்நுட்ப வல்லுநர்கள் கொள்கலன் அடிப்படையிலான தளங்களை உருவாக்குகிறார்கள், சுறுசுறுப்பான செயல்முறைகளுக்குள் AI/ML சேவைகளை உருவாக்க முடியும், புதுமைகளை விரைவுபடுத்துகிறார்கள் மற்றும் கலப்பின கிளவுட் நோக்கி ஒரு கண் கொண்டு கட்டமைக்கப்படுகிறார்கள்.
மென்பொருள் மற்றும் வன்பொருள் ML தீர்வுகளின் (NVIDIA, H2O.ai, Starburst, PerceptiLabs, முதலியன) வேகமாக வளர்ந்து வரும் சுற்றுச்சூழல் அமைப்பைக் கொண்ட ஹைப்ரிட் கிளவுட்க்கான எங்கள் கண்டெய்னரைஸ்டு குபெர்னெட்ஸ் தளமான Red Hat OpenShift மூலம் அத்தகைய தளத்தை உருவாக்கத் தொடங்குவோம். BMW குரூப், ExxonMobil மற்றும் பிற போன்ற Red Hat இன் வாடிக்கையாளர்களில் சிலர், ஏற்கனவே ML டூல்செயின்கள் மற்றும் DevOps செயல்முறைகளை பிளாட்ஃபார்ம் மற்றும் அதன் சுற்றுச்சூழலின் மேல் தங்கள் ML கட்டமைப்புகளை உற்பத்திக்கு கொண்டு வரவும் தரவு ஆய்வாளர்களின் வேலையை விரைவுபடுத்தவும் பயன்படுத்தியுள்ளனர்.
ஓபன் டேட்டா ஹப் திட்டத்தை நாங்கள் தொடங்குவதற்கு மற்றொரு காரணம், பல திறந்த மூல மென்பொருள் திட்டங்களின் அடிப்படையில் ஒரு கட்டிடக்கலையின் உதாரணத்தை விளக்குவது மற்றும் OpenShift இயங்குதளத்தின் அடிப்படையில் ஒரு ML தீர்வின் முழு வாழ்க்கைச் சுழற்சியை எவ்வாறு செயல்படுத்துவது என்பதைக் காண்பிப்பதும் ஆகும்.
டேட்டா ஹப் திட்டத்தைத் திறக்கவும்
இது ஒரு திறந்த மூல திட்டமாகும், இது தொடர்புடைய வளர்ச்சி சமூகத்தில் உருவாக்கப்பட்டு முழு சுழற்சி செயல்பாடுகளையும் செயல்படுத்துகிறது - ஆரம்ப தரவை ஏற்றுவது மற்றும் மாற்றுவது முதல் ஒரு மாதிரியை உருவாக்குதல், பயிற்சி செய்தல் மற்றும் பராமரிப்பது வரை - AI / ML சிக்கல்களைத் தீர்க்கும் போது கொள்கலன்கள் மற்றும் குபெர்னெட்களை OpenShift இல். நடைமேடை. இந்த திட்டத்தை ஒரு குறிப்பு செயல்படுத்தலாகக் கருதலாம், OpenShift மற்றும் Tensorflow, JupyterHub, Spark மற்றும் பிற போன்ற திறந்த மூலக் கருவிகளின் அடிப்படையில் திறந்த AI/ML-ஆக-சேவை தீர்வை எவ்வாறு உருவாக்குவது என்பதற்கான எடுத்துக்காட்டு. Red Hat தனது AI/ML சேவைகளை வழங்க இந்த திட்டத்தை பயன்படுத்துகிறது என்பதை கவனத்தில் கொள்ள வேண்டும். கூடுதலாக, OpenShift NVIDIA, Seldon, Starbust மற்றும் பிற விற்பனையாளர்களிடமிருந்து முக்கிய மென்பொருள் மற்றும் வன்பொருள் ML தீர்வுகளுடன் ஒருங்கிணைக்கிறது, இது உங்கள் சொந்த இயந்திர கற்றல் அமைப்புகளை உருவாக்கி இயக்குவதை எளிதாக்குகிறது.
ஓபன் டேட்டா ஹப் திட்டம் பின்வரும் வகை பயனர்கள் மற்றும் பயன்பாட்டு நிகழ்வுகளில் கவனம் செலுத்துகிறது:
- ML திட்டங்களைச் செயல்படுத்துவதற்கு ஒரு தீர்வு தேவைப்படும் தரவு ஆய்வாளர், சுய சேவை செயல்பாடுகளுடன் கிளவுட் போல ஒழுங்கமைக்கப்படுகிறார்.
- சமீபத்திய திறந்த மூல AI/ML கருவிகள் மற்றும் தளங்களில் இருந்து அதிகபட்ச தேர்வு தேவைப்படும் தரவு ஆய்வாளர்.
- மாதிரிகளைப் பயிற்றுவிக்கும் போது தரவு மூலங்களை அணுக வேண்டிய தரவு ஆய்வாளர்.
- கணினி ஆதாரங்களுக்கான அணுகல் தேவைப்படும் தரவு ஆய்வாளர் (CPU, GPU, நினைவகம்).
- சக ஊழியர்களுடன் ஒத்துழைத்து, பணியைப் பகிர்ந்து கொள்ளவும், கருத்துக்களைப் பெறவும், விரைவான மறு செய்கையில் மேம்பாடுகளைச் செய்யவும் தேவைப்படும் தரவு ஆய்வாளர்.
- டெவலப்பர்களுடன் (மற்றும் டெவொப்ஸ் டீம்கள்) தொடர்பு கொள்ள விரும்பும் தரவு ஆய்வாளர், இதனால் அவரது ML மாதிரிகள் மற்றும் வேலை முடிவுகள் உற்பத்திக்கு செல்லும்.
- ஒழுங்குமுறை மற்றும் பாதுகாப்புத் தேவைகளுக்கு இணங்கும்போது பல்வேறு தரவு மூலங்களுக்கான அணுகலுடன் தரவு ஆய்வாளருக்கு வழங்க வேண்டிய தரவு பொறியாளர்.
- திறந்த மூல கூறுகள் மற்றும் தொழில்நுட்பங்களின் வாழ்க்கைச் சுழற்சியை (நிறுவல், உள்ளமைவு, மேம்படுத்தல்) சிரமமின்றி கட்டுப்படுத்தும் திறன் தேவைப்படும் தகவல் தொழில்நுட்ப அமைப்பு நிர்வாகி/ஆபரேட்டர். எங்களுக்கு பொருத்தமான மேலாண்மை மற்றும் ஒதுக்கீடு கருவிகளும் தேவை.
ஓபன் டேட்டா ஹப் திட்டமானது, AI/ML செயல்பாடுகளின் முழு சுழற்சியை செயல்படுத்த, திறந்த மூலக் கருவிகளின் வரம்பை ஒன்றிணைக்கிறது. ஜூபிடர் நோட்புக் தரவு பகுப்பாய்வுக்கான முக்கிய வேலைக் கருவியாக இங்கே பயன்படுத்தப்படுகிறது. கருவித்தொகுப்பு இன்று தரவு விஞ்ஞானிகளிடையே பரவலாக பிரபலமாக உள்ளது, மேலும் உள்ளமைக்கப்பட்ட JupyterHub ஐப் பயன்படுத்தி Jupyter Notebook பணியிடங்களை எளிதாக உருவாக்க மற்றும் நிர்வகிக்க Open Data Hub அனுமதிக்கிறது. ஜூபிடர் நோட்புக்குகளை உருவாக்கி இறக்குமதி செய்வதோடு, ஓபன் டேட்டா ஹப் திட்டமானது AI நூலக வடிவில் பல ஆயத்த குறிப்பேடுகளையும் கொண்டுள்ளது.
இந்த நூலகம் திறந்த மூல இயந்திர கற்றல் கூறுகள் மற்றும் விரைவான முன்மாதிரியை எளிதாக்கும் பொதுவான காட்சிகளுக்கான தீர்வுகளின் தொகுப்பாகும். JupyterHub ஆனது OpenShift இன் RBAC அணுகல் மாதிரியுடன் ஒருங்கிணைக்கப்பட்டுள்ளது, இது ஏற்கனவே உள்ள OpenShift கணக்குகளைப் பயன்படுத்தவும் மற்றும் ஒற்றை உள்நுழைவைச் செயல்படுத்தவும் உங்களை அனுமதிக்கிறது. கூடுதலாக, JupyterHub ஆனது ஸ்பானர் எனப்படும் பயனர் நட்பு பயனர் இடைமுகத்தை வழங்குகிறது, இதன் மூலம் தேர்ந்தெடுக்கப்பட்ட Jupyter நோட்புக்கிற்கான கணினி வளங்களின் (CPU கோர்கள், நினைவகம், GPU) பயனர் எளிதாக உள்ளமைக்க முடியும்.
தரவு ஆய்வாளர் மடிக்கணினியை உருவாக்கி, கட்டமைத்த பிறகு, அதைப்பற்றிய அனைத்து கவலைகளும் ஓபன்ஷிஃப்ட்டின் ஒரு பகுதியாக இருக்கும் குபெர்னெட்ஸ் திட்டமிடுபவர் மூலம் கவனிக்கப்படும். பயனர்கள் தங்கள் சோதனைகளை மட்டுமே மேற்கொள்ள முடியும், அவர்களின் பணியின் முடிவுகளை சேமிக்கவும் மற்றும் பகிரவும் முடியும். கூடுதலாக, மேம்பட்ட பயனர்கள் நேரடியாக ஜூபிடர் குறிப்பேடுகளிலிருந்து OpenShift CLI ஷெல்லை நேரடியாக அணுகலாம், இது குபெர்னெட்டஸ் பழமையான ஜாப் அல்லது டெக்டன் அல்லது நேட்டிவ் போன்ற ஓபன்ஷிஃப்ட் செயல்பாட்டை மேம்படுத்துகிறது. அல்லது இதற்காக நீங்கள் OpenShift இன் வசதியான GUI ஐப் பயன்படுத்தலாம், இது "OpenShift வலை கன்சோல்" என்று அழைக்கப்படுகிறது.
அடுத்த கட்டத்திற்குச் செல்லும்போது, ஓபன் டேட்டா ஹப், டேட்டா பைப்லைன்களை நிர்வகிப்பதை சாத்தியமாக்குகிறது. இதற்கு, ஒரு Ceph பொருள் பயன்படுத்தப்படுகிறது, இது S3-இணக்கமான பொருள் தரவு சேமிப்பகமாக வழங்கப்படுகிறது. அப்பாச்சி ஸ்பார்க், வெளிப்புற மூலங்கள் அல்லது உள்ளமைக்கப்பட்ட Ceph S3 சேமிப்பகத்திலிருந்து தரவை ஸ்ட்ரீம் செய்ய உங்களை அனுமதிக்கிறது, மேலும் பூர்வாங்க தரவு மாற்றங்களைச் செய்யவும் உங்களை அனுமதிக்கிறது. அப்பாச்சி காஃப்கா தரவுக் குழாய்களின் மேம்பட்ட நிர்வாகத்தை வழங்குகிறது (தரவை பல முறை ஏற்ற முடியும், அத்துடன் தரவு மாற்றம், பகுப்பாய்வு மற்றும் நிலைத்தன்மை செயல்பாடுகள்).
எனவே, தரவு ஆய்வாளர் தரவை அணுகி ஒரு மாதிரியை உருவாக்கினார். இப்போது அவர் சக ஊழியர்கள் அல்லது பயன்பாட்டு டெவலப்பர்களுடன் பெறப்பட்ட முடிவுகளைப் பகிர்ந்து கொள்ள விரும்புகிறார், மேலும் ஒரு சேவையின் கொள்கைகள் குறித்த தனது மாதிரியை அவர்களுக்கு வழங்குகிறார். இதற்கு ஒரு அனுமான சேவையகம் தேவை, மற்றும் Open Data Hub இல் அத்தகைய சேவையகம் உள்ளது, இது Seldon என்று அழைக்கப்படுகிறது மற்றும் மாதிரியை RESTful சேவையாக வெளியிட உங்களை அனுமதிக்கிறது.
சில சமயங்களில், செல்டன் சேவையகத்தில் இதுபோன்ற பல மாதிரிகள் உள்ளன, மேலும் அவை எவ்வாறு பயன்படுத்தப்படுகின்றன என்பதை கண்காணிக்க வேண்டிய அவசியம் உள்ளது. இதை அடைய, Open Data Hub தொடர்புடைய அளவீடுகளின் தொகுப்பையும், பரவலாகப் பயன்படுத்தப்படும் ஓப்பன் சோர்ஸ் கண்காணிப்புக் கருவிகளான Prometheus மற்றும் Grafana ஆகியவற்றின் அடிப்படையில் ஒரு அறிக்கையிடல் இயந்திரத்தையும் வழங்குகிறது. இதன் விளைவாக, AI மாடல்களின் பயன்பாட்டை, குறிப்பாக உற்பத்திச் சூழலில் கண்காணிப்பதற்கான கருத்துக்களைப் பெறுகிறோம்.
இந்த வழியில், ஓபன் டேட்டா ஹப், தரவு அணுகல் மற்றும் தயாரிப்பில் இருந்து மாதிரி பயிற்சி மற்றும் உற்பத்தி வரை முழு AI/ML வாழ்க்கைச் சுழற்சி முழுவதும் கிளவுட் போன்ற அணுகுமுறையை வழங்குகிறது.
இது அனைத்தையும் ஒன்றாக இணைக்கிறது
OpenShift நிர்வாகிக்கு இதையெல்லாம் எவ்வாறு ஒழுங்கமைப்பது என்ற கேள்வி இப்போது எழுகிறது. இங்குதான் ஓபன் டேட்டா ஹப் திட்டங்களுக்கான சிறப்பு குபெர்னெட்ஸ் ஆபரேட்டர் செயல்படுகிறது.
இந்த ஆபரேட்டர், ஜூபிடர்ஹப், செஃப், ஸ்பார்க், காஃப்கா, செல்டன், ப்ரோமிதியஸ் மற்றும் கிராஃபானா போன்ற மேற்கூறிய கருவிகளின் வரிசைப்படுத்தல் உட்பட, ஓபன் டேட்டா ஹப் திட்டத்தின் நிறுவல், உள்ளமைவு மற்றும் வாழ்க்கைச் சுழற்சியை நிர்வகிக்கிறது. OpenShift வலை கன்சோலில், சமூக ஆபரேட்டர்கள் பிரிவில், Open Data Hub திட்டத்தைக் காணலாம். எனவே, OpenShift நிர்வாகி தொடர்புடைய OpenShift திட்டப்பணிகள் "Open Data Hub project" என வகைப்படுத்தப்பட்டுள்ளன என்பதைக் குறிப்பிடலாம். இது ஒரு முறை செய்யப்படுகிறது. இதற்குப் பிறகு, தரவு ஆய்வாளர் OpenShift வெப் கன்சோல் மூலம் தனது திட்ட இடத்தில் உள்நுழைந்து, அதனுடன் தொடர்புடைய குபெர்னெட்டஸ் ஆபரேட்டர் நிறுவப்பட்டிருப்பதையும் அவரது திட்டங்களுக்குக் கிடைப்பதையும் பார்க்கிறார். பின்னர் அவர் ஒரே கிளிக்கில் ஓபன் டேட்டா ஹப் திட்ட நிகழ்வை உருவாக்கி, மேலே விவரிக்கப்பட்ட கருவிகளை உடனடியாக அணுகுவார். இவை அனைத்தும் அதிக கிடைக்கும் தன்மை மற்றும் தவறு சகிப்புத்தன்மை முறையில் கட்டமைக்கப்படலாம்.
உங்களுக்காக ஓபன் டேட்டா ஹப் திட்டத்தை முயற்சிக்க விரும்பினால், தொடங்கவும் . திறந்த தரவு மையக் கட்டமைப்பின் தொழில்நுட்ப விவரங்களைக் காணலாம் , திட்ட வளர்ச்சி திட்டங்கள் - . எதிர்காலத்தில், Kubeflow உடன் கூடுதல் ஒருங்கிணைப்பைச் செயல்படுத்தவும், தரவு ஒழுங்குமுறை மற்றும் பாதுகாப்பில் உள்ள பல சிக்கல்களைத் தீர்க்கவும், விதிகள் அடிப்படையிலான அமைப்புகளான Drools மற்றும் Optaplanner உடன் ஒருங்கிணைப்பை ஒழுங்கமைக்கவும் திட்டமிட்டுள்ளோம். உங்கள் கருத்தை வெளிப்படுத்துங்கள் மற்றும் திட்டத்தில் பங்கேற்பாளராகுங்கள் பக்கத்தில் சாத்தியம் .
மறுபரிசீலனை செய்ய: தீவிர அளவிடுதல் சவால்கள், செயற்கை நுண்ணறிவு மற்றும் இயந்திர கற்றலின் முழு திறனை உணர்ந்து கொள்வதிலிருந்து நிறுவனங்களைத் தடுக்கின்றன. Red Hat OpenShift நீண்ட காலமாக மென்பொருள் துறையில் இதே போன்ற சிக்கல்களை தீர்க்க வெற்றிகரமாக பயன்படுத்தப்படுகிறது. ஓப்பன் சோர்ஸ் டெவலப்மென்ட் சமூகத்தில் செயல்படுத்தப்பட்ட ஓபன் டேட்டா ஹப் திட்டம், ஓபன்ஷிஃப்ட் ஹைப்ரிட் கிளவுட் அடிப்படையில் AI/ML செயல்பாடுகளின் முழு சுழற்சியை ஒழுங்கமைப்பதற்கான ஒரு குறிப்பு கட்டமைப்பை வழங்குகிறது. இந்த திட்டத்தின் மேம்பாட்டிற்கான தெளிவான மற்றும் சிந்தனைமிக்க திட்டம் எங்களிடம் உள்ளது, மேலும் OpenShift இயங்குதளத்தில் திறந்த AI தீர்வுகளை உருவாக்குவதற்காக அதைச் சுற்றி ஒரு செயலில் மற்றும் பயனுள்ள சமூகத்தை உருவாக்குவதில் நாங்கள் தீவிரமாக இருக்கிறோம்.
ஆதாரம்: www.habr.com