Болашақ келді, жасанды интеллект пен машиналық оқыту технологияларын сіздің сүйікті дүкендеріңіз, көлік компаниялары және тіпті күркетауық фермалары сәтті пайдалануда.
Ал егер бірдеңе бар болса, онда ол туралы Интернетте бірдеңе бар... ашық жоба! Open Data Hub жаңа технологияларды масштабтауға және енгізу қиындықтарын болдырмауға қалай көмектесетінін қараңыз.
Жасанды интеллект (AI) және машиналық оқытудың (ML) барлық артықшылықтарымен ұйымдар бұл технологияларды масштабтауда жиі қиындықтарға тап болады. Бұл жағдайда негізгі проблемалар әдетте мыналар болып табылады:
- Ақпарат алмасу және ынтымақтастық – жылдам итерацияларда ақпаратпен оңай алмасу және бірлесіп жұмыс істеу мүмкін емес.
- Деректерге қол жеткізу – әрбір тапсырма үшін оны жаңадан және қолмен салу қажет, бұл көп уақытты алады.
- Сұраныс бойынша қол жеткізу – машиналық оқыту құралдары мен платформасына, сондай-ақ есептеу инфрақұрылымына сұраныс бойынша қол жеткізуге мүмкіндік жоқ.
- Өндіріс – модельдер прототип сатысында қалады және өнеркәсіптік қолданысқа енгізілмейді.
- AI нәтижелерін қадағалаңыз және түсіндіріңіз – AI/ML нәтижелерін қайталау, қадағалау және түсіндіру қиын.
Қарастырылмаған бұл мәселелер құнды деректер ғалымдарының жылдамдығына, тиімділігіне және өнімділігіне теріс әсер етеді. Бұл олардың көңілсіздігіне, жұмысынан көңілі қалуына әкеледі және нәтижесінде AI/ML-ге қатысты бизнес күтулері босқа кетеді.
Бұл мәселелерді шешу үшін жауапкершілік IT мамандарына жүктеледі, олар деректер талдаушыларына бұлт сияқты нәрсе беруі керек. Толығырақ айтқанда, бізге таңдау еркіндігін беретін және ыңғайлы, оңай қол жетімді платформа қажет. Сонымен бірге ол жылдам, оңай қайта конфигурацияланатын, сұраныс бойынша масштабталатын және ақауларға төзімді. Мұндай платформаны ашық бастапқы технологияларда құру жеткізушілерді құлыптаудан аулақ болуға және шығындарды бақылау тұрғысынан ұзақ мерзімді стратегиялық артықшылықты сақтауға көмектеседі.
Бірнеше жыл бұрын қолданбаларды әзірлеуде ұқсас нәрсе болды және микросервистердің, гибридті бұлттардың, АТ автоматтандырудың және икемді процестердің пайда болуына әкелді. Осының бәрін жеңу үшін IT мамандары контейнерлерге, Кубернетестерге және ашық гибридті бұлттарға жүгінді.
Бұл тәжірибе қазір Альдің қиындықтарына жауап беру үшін қолданылады. Сондықтан АТ мамандары контейнерге негізделген, икемді процестер аясында AI/ML қызметтерін жасауға мүмкіндік беретін, инновацияларды жеделдететін және гибридті бұлтқа назар аударатын платформаларды құруда.
Біз мұндай платформаны Red Hat OpenShift арқылы, гибридті бұлтқа арналған контейнерленген Kubernetes платформасымен жасай бастаймыз, ол бағдарламалық және аппараттық ML шешімдерінің (NVIDIA, H2O.ai, Starburst, PerceptiLabs және т.б.) жылдам дамып келе жатқан экожүйесі бар. BMW Group, ExxonMobil және басқалары сияқты Red Hat тұтынушыларының кейбірі өздерінің ML архитектурасын өндіріске енгізу және деректер талдаушыларының жұмысын жеделдету үшін платформа мен оның экожүйесінің жоғарғы жағында контейнерленген ML құралдар тізбегі мен DevOps процестерін орналастырды.
Open Data Hub жобасын іске қосуымыздың тағы бір себебі – бірнеше ашық бастапқы бағдарламалық жасақтама жобаларына негізделген архитектура үлгісін көрсету және OpenShift платформасына негізделген ML шешімінің бүкіл өмірлік циклін қалай жүзеге асыру керектігін көрсету.
Open Data Hub жобасы
Бұл сәйкес әзірлеушілер қауымдастығы аясында әзірленген және OpenShift-тегі контейнерлер мен Кубернеттерді пайдалана отырып, AI/ML мәселелерін шешу кезінде бастапқы деректерді жүктеу және түрлендіруден бастап үлгіні құру, оқыту және қолдауға дейінгі операциялардың толық циклін жүзеге асыратын ашық бастапқы жоба. платформа. Бұл жобаны OpenShift және Tensorflow, JupyterHub, Spark және т.б. сияқты ашық бастапқы құралдар негізінде ашық AI/ ML-қызмет ретіндегі шешімді құру үлгісі ретінде анықтамалық іске асыру деп санауға болады. Red Hat компаниясының өзі бұл жобаны өзінің AI/ML қызметтерін ұсыну үшін пайдаланатынын атап өту маңызды. Бұған қоса, OpenShift NVIDIA, Seldon, Starbust және басқа жеткізушілердің негізгі бағдарламалық және аппараттық ML шешімдерімен біріктіріліп, өзіңіздің жеке машиналық оқыту жүйелерін құруды және іске қосуды жеңілдетеді.
Open Data Hub жобасы пайдаланушылардың келесі санаттарына және пайдалану жағдайларына бағытталған:
- Өзіне-өзі қызмет көрсету функциялары бар бұлт сияқты ұйымдастырылған ML жобаларын іске асыру шешімін қажет ететін деректер талдаушысы.
- Соңғы ашық бастапқы AI/ML құралдары мен платформаларынан максималды таңдауды қажет ететін деректер талдаушысы.
- Модельдерді оқыту кезінде деректер көздеріне қатынасу қажет деректер талдаушысы.
- Есептеу ресурстарына (CPU, GPU, жад) қол жеткізуді қажет ететін деректер талдаушысы.
- Әріптестермен жұмыс істеу және жұмысты бөлісу, кері байланыс алу және жылдам итерацияда жақсартулар жасау мүмкіндігін талап ететін деректер талдаушысы.
- Оның ML үлгілері мен жұмыс нәтижелері өндіріске енуі үшін әзірлеушілермен (және әзірлеушілермен) өзара әрекеттесуді қалайтын деректер талдаушысы.
- Нормативтік және қауіпсіздік талаптарын сақтай отырып, деректер талдаушысына әртүрлі деректер көздеріне қол жеткізуді қамтамасыз ету қажет деректер инженері.
- Ашық бастапқы компоненттер мен технологиялардың өмірлік циклін (орнату, конфигурациялау, жаңарту) оңай басқару мүмкіндігін талап ететін АТ жүйесінің әкімшісі/операторы. Бізге сондай-ақ тиісті басқару және квоталық құралдар қажет.
Open Data Hub жобасы AI/ML операцияларының толық циклін жүзеге асыру үшін ашық бастапқы құралдардың ауқымын біріктіреді. Jupyter Notebook мұнда деректерді талдаудың негізгі жұмыс құралы ретінде пайдаланылады. Құралдар жинағы бүгінде деректер ғалымдары арасында кеңінен танымал және Open Data Hub оларға Jupyter Notebook жұмыс кеңістігін ендірілген JupyterHub көмегімен оңай жасауға және басқаруға мүмкіндік береді. Jupyter жазу кітапшаларын жасау және импорттаудан басқа, Open Data Hub жобасында AI кітапханасы түріндегі бірнеше дайын жазу кітапшалары бар.
Бұл кітапхана жылдам прототиптеуді жеңілдететін жалпы сценарийлерге арналған ашық бастапқы компьютерлік оқыту компоненттері мен шешімдерінің жинағы. JupyterHub бар OpenShift тіркелгілерін пайдалануға және бір реттік кіруді жүзеге асыруға мүмкіндік беретін OpenShift RBAC қатынас үлгісімен біріктірілген. Сонымен қатар, JupyterHub пайдаланушыға ыңғайлы пайдаланушы интерфейсін ұсынады spawner, ол арқылы пайдаланушы таңдалған Jupyter ноутбукі үшін есептеу ресурстарының (CPU ядролары, жад, GPU) көлемін оңай конфигурациялай алады.
Деректер талдаушысы ноутбукты жасап, конфигурациялаған соң, оған қатысты барлық басқа мәселелер OpenShift бөлігі болып табылатын Kubernetes жоспарлаушысымен шешіледі. Пайдаланушылар тек тәжірибелерін жасай алады, жұмыс нәтижелерін сақтай алады және бөлісе алады. Оған қоса, жетілдірілген пайдаланушылар Job немесе Tekton немесе Knative сияқты OpenShift функциялары сияқты Kubernetes примитивтерін пайдалану үшін OpenShift CLI қабығына тікелей Jupyter жазу кітапшаларынан тікелей қол жеткізе алады. Немесе бұл үшін OpenShift-тің «OpenShift веб-консолі» деп аталатын ыңғайлы графикалық интерфейсін пайдалануға болады.
Келесі кезеңге өту, Open Data Hub деректер құбырларын басқаруға мүмкіндік береді. Ол үшін S3-үйлесімді нысан деректер қоймасы ретінде қамтамасыз етілген Ceph нысаны пайдаланылады. Apache Spark сыртқы көздерден немесе кірістірілген Ceph S3 жадынан деректерді ағынмен жіберуге мүмкіндік береді, сонымен қатар алдын ала деректерді түрлендіруді орындауға мүмкіндік береді. Apache Kafka деректер құбырларының кеңейтілген басқаруын қамтамасыз етеді (мұнда деректерді бірнеше рет жүктеуге болады, сонымен қатар деректерді түрлендіру, талдау және тұрақтылық операциялары).
Осылайша, деректер талдаушысы деректерге қол жеткізіп, үлгі құрастырды. Енді оның алған нәтижелерін әріптестерімен немесе қолданбаларды әзірлеушілермен бөлісуге және оларға қызмет принциптері бойынша өзінің үлгісін ұсынуға ниеті бар. Бұл қорытынды серверді қажет етеді және Open Data Hub-та мұндай сервер бар, ол Seldon деп аталады және модельді RESTful қызметі ретінде жариялауға мүмкіндік береді.
Бір сәтте Seldon серверінде бірнеше осындай модельдер бар және олардың қалай пайдаланылғанын бақылау қажет. Осы мақсатқа жету үшін Open Data Hub сәйкес көрсеткіштер жинағын және Prometheus және Grafana кеңінен қолданылатын ашық бастапқы бақылау құралдарына негізделген есеп беру жүйесін ұсынады. Нәтижесінде біз AI үлгілерін, әсіресе өндірістік ортада пайдалануды бақылау үшін кері байланыс аламыз.
Осылайша, Open Data Hub деректерге қол жеткізу мен дайындықтан бастап модельді оқыту мен өндіруге дейінгі бүкіл AI/ML өмірлік циклі бойына бұлтқа ұқсас тәсілді ұсынады.
Оны бәріне бірге қою
Енді OpenShift әкімшісі үшін мұның бәрін қалай ұйымдастыруға болады деген сұрақ туындайды. Бұл жерде Open Data Hub жобаларына арналған арнайы Kubernetes операторы іске қосылады.
Бұл оператор Open Data Hub жобасының орнатылуын, конфигурациясын және өмірлік циклін, соның ішінде JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus және Grafana сияқты жоғарыда аталған құралдарды қолдануды басқарады. Open Data Hub жобасын OpenShift веб-консолінде, қауымдастық операторлары бөлімінде табуға болады. Осылайша, OpenShift әкімшісі сәйкес OpenShift жобаларының «Open Data Hub жобасы» санатына жататынын көрсете алады. Бұл бір рет жасалады. Осыдан кейін деректер талдаушысы OpenShift веб консолі арқылы жоба кеңістігіне кіреді және сәйкес Kubernetes операторы орнатылғанын және оның жобалары үшін қолжетімді екенін көреді. Содан кейін ол бір рет басу арқылы Open Data Hub жобасының данасын жасайды және жоғарыда сипатталған құралдарға бірден қол жеткізе алады. Мұның барлығын жоғары қолжетімділік пен ақауларға төзімділік режимінде конфигурациялауға болады.
Open Data Hub жобасын өзіңіз қолданып көргіңіз келсе, мынадан бастаңыз . Open Data Hub архитектурасының техникалық мәліметтерін табуға болады , жобаны дамыту жоспарлары – . Болашақта біз Kubeflow-пен қосымша интеграцияны енгізуді, деректерді реттеу мен қауіпсіздікке қатысты бірқатар мәселелерді шешуді, сонымен қатар ережелерге негізделген Drools және Optaplanner жүйелерімен интеграцияны ұйымдастыруды жоспарлап отырмыз. Өз пікіріңізді білдіріп, жобаға қатысушы болыңыз бетте мүмкін .
Қорытындылай келе: масштабтаудың күрделі мәселелері ұйымдарға жасанды интеллект пен машиналық оқытудың толық әлеуетін іске асыруға кедергі жасайды. Red Hat OpenShift ұзақ уақыт бойы бағдарламалық жасақтама индустриясындағы ұқсас мәселелерді шешу үшін сәтті қолданылып келеді. Ашық бастапқы коды әзірлеу қауымдастығы аясында жүзеге асырылатын Open Data Hub жобасы OpenShift гибридті бұлт негізіндегі AI/ML операцияларының толық циклін ұйымдастыруға арналған анықтамалық архитектураны ұсынады. Бізде бұл жобаны дамытудың нақты және ойластырылған жоспары бар және біз OpenShift платформасында ашық AI шешімдерін әзірлеу үшін оның айналасында белсенді және жемісті қауымдастық құруға шындап кірісеміз.
Ақпарат көзі: www.habr.com