Проектът Open Data Hub е отворена платформа за машинно обучение, базирана на Red Hat OpenShift

Бъдещето настъпи и технологиите за изкуствен интелект и машинно обучение вече се използват успешно от вашите любими магазини, транспортни компании и дори ферми за пуйки.

И ако нещо съществува, значи вече има нещо за него в Интернет... отворен проект! Вижте как Open Data Hub ви помага да мащабирате новите технологии и да избегнете предизвикателства при внедряването.

С всички предимства на изкуствения интелект (AI) и машинното обучение (ML), организациите често срещат трудности при мащабирането на тези технологии. Основните проблеми в този случай обикновено са следните:

• Обмен на информация и сътрудничество – почти невъзможно е да обменяте информация без усилия и да си сътрудничите в бързи итерации.
• Достъп до данни – за всяка задача трябва да се изгради наново и ръчно, което отнема много време.
• Достъп при поискване – няма начин да получите достъп при поискване до инструменти и платформа за машинно обучение, както и до изчислителна инфраструктура.
• Производство – моделите остават на етап прототип и не се въвеждат в промишлена употреба.
• Проследявайте и обяснявайте резултатите от AI – възпроизводимостта, проследяването и обяснението на резултатите от AI/ML са трудни.

Оставени без внимание, тези проблеми оказват отрицателно въздействие върху скоростта, ефективността и производителността на учените с ценни данни. Това води до тяхното разочарование, разочарование от работата им и в резултат очакванията на бизнеса по отношение на AI/ML отиват на вятъра.

Отговорността за решаването на тези проблеми пада върху ИТ специалистите, които трябва да предоставят на анализаторите данни - точно така, нещо като облак. По-подробно, имаме нужда от платформа, която дава свобода на избор и има удобен и лесен достъп. В същото време той е бърз, лесно преконфигурируем, мащабируем при поискване и устойчив на повреди. Изграждането на такава платформа върху технологии с отворен код помага да се избегне блокирането на доставчика и да се поддържа дългосрочно стратегическо предимство по отношение на контрола на разходите.

Преди няколко години нещо подобно се случваше в разработката на приложения и доведе до появата на микроуслуги, хибридни облаци, ИТ автоматизация и гъвкави процеси. За да се справят с всичко това, ИТ специалистите се обърнаха към контейнери, Kubernetes и отворени хибридни облаци.

Този опит сега се прилага, за да се отговори на предизвикателствата на Ал. Ето защо ИТ специалистите изграждат платформи, които са базирани на контейнери, позволяват създаването на AI/ML услуги в рамките на гъвкави процеси, ускоряват иновациите и са изградени с поглед към хибридния облак.

Ще започнем да изграждаме такава платформа с Red Hat OpenShift, нашата контейнеризирана платформа Kubernetes за хибридния облак, която има бързо развиваща се екосистема от софтуерни и хардуерни ML решения (NVIDIA, H2O.ai, Starburst, PerceptiLabs и др.). Някои от клиентите на Red Hat, като BMW Group, ExxonMobil и други, вече са внедрили контейнеризирани вериги от инструменти за ML и процеси DevOps върху платформата и нейната екосистема, за да доведат своите ML архитектури до производство и да ускорят работата на анализаторите на данни.

Друга причина, поради която стартирахме проекта Open Data Hub, е да демонстрираме пример за архитектура, базирана на няколко софтуерни проекта с отворен код, и да покажем как да внедрим целия жизнен цикъл на ML решение, базирано на платформата OpenShift.

Open Data Hub Project

Това е проект с отворен код, който е разработен в рамките на съответната общност за разработка и изпълнява пълен цикъл от операции - от зареждане и трансформиране на първоначални данни до генериране, обучение и поддържане на модел - при решаване на AI / ML проблеми с помощта на контейнери и Kubernetes на OpenShift платформа. Този проект може да се счита за референтна реализация, пример за това как да се изгради отворено решение AI/ML-as-a-service, базирано на OpenShift и свързани инструменти с отворен код като Tensorflow, JupyterHub, Spark и други. Важно е да се отбележи, че самата Red Hat използва този проект, за да предостави своите AI/ML услуги. В допълнение, OpenShift се интегрира с ключови софтуерни и хардуерни ML решения от NVIDIA, Seldon, Starbust и други доставчици, което улеснява изграждането и стартирането на вашите собствени системи за машинно обучение.

Проектът Open Data Hub е фокусиран върху следните категории потребители и случаи на използване:

• Анализатор на данни, който се нуждае от решение за внедряване на ML проекти, организирано като облак с функции за самообслужване.
• Анализатор на данни, който се нуждае от максимален избор от най-новите AI/ML инструменти и платформи с отворен код.
• Анализатор на данни, който се нуждае от достъп до източници на данни, когато обучава модели.
• Анализатор на данни, който се нуждае от достъп до изчислителни ресурси (CPU, GPU, памет).
• Анализатор на данни, който изисква способността да си сътрудничи и да споделя работата с колеги, да получава обратна връзка и да прави подобрения в бързата итерация.
• Анализатор на данни, който иска да взаимодейства с разработчици (и екипи за devops), така че неговите ML модели и работни резултати да влязат в производство.
• Инженер по данни, който трябва да предостави на анализатор на данни достъп до различни източници на данни, като същевременно спазва регулаторните изисквания и изискванията за сигурност.
• ИТ системен администратор/оператор, който изисква способността за безпроблемно контролиране на жизнения цикъл (инсталация, конфигурация, надграждане) на компоненти и технологии с отворен код. Нуждаем се също от подходящи инструменти за управление и квоти.

Проектът Open Data Hub обединява набор от инструменти с отворен код за прилагане на пълен цикъл от AI/ML операции. Jupyter Notebook се използва тук като основен работен инструмент за анализ на данни. Инструментариумът е широко популярен сред учените по данни днес и Open Data Hub им позволява лесно да създават и управляват работни пространства на Jupyter Notebook с помощта на вградения JupyterHub. В допълнение към създаването и импортирането на преносими компютри на Jupyter, проектът Open Data Hub също така съдържа редица готови преносими компютри под формата на AI Library.

Тази библиотека е колекция от компоненти за машинно обучение с отворен код и решения за общи сценарии, които опростяват бързото създаване на прототипи. JupyterHub е интегриран с RBAC модела за достъп на OpenShift, който ви позволява да използвате съществуващи акаунти в OpenShift и да прилагате единично влизане. В допълнение, JupyterHub предлага удобен потребителски интерфейс, наречен spawner, чрез който потребителят може лесно да конфигурира количеството изчислителни ресурси (CPU ядра, памет, GPU) за избрания Jupyter Notebook.

След като анализаторът на данни създаде и конфигурира лаптопа, всички останали грижи за него се поемат от планировчика на Kubernetes, който е част от OpenShift. Потребителите могат само да извършват своите експерименти, да запазват и споделят резултатите от своята работа. Освен това напредналите потребители могат директно да осъществяват достъп до OpenShift CLI shell директно от преносимите компютри на Jupyter, за да използват примитиви на Kubernetes като Job или OpenShift функционалност като Tekton или Knative. Или за това можете да използвате удобния GUI на OpenShift, който се нарича „уеб конзола на OpenShift“.

Преминавайки към следващия етап, Open Data Hub прави възможно управлението на канали за данни. За тази цел се използва Ceph обект, който се предоставя като S3-съвместимо хранилище на обектни данни. Apache Spark ви позволява да предавате поточно данни от външни източници или вградено хранилище Ceph S3, а също така ви позволява да извършвате предварителни трансформации на данни. Apache Kafka предоставя разширено управление на тръбопроводи за данни (където данните могат да се зареждат многократно, както и операции за преобразуване на данни, анализ и постоянство).

И така, анализаторът на данни получи достъп до данните и изгради модел. Сега той има желание да сподели получените резултати с колеги или разработчици на приложения и да им предостави своя модел на принципите на услугата. Това изисква сървър за изводи и Open Data Hub има такъв сървър, той се нарича Seldon и ви позволява да публикувате модела като RESTful услуга.

В даден момент има няколко такива модела на сървъра Seldon и има нужда да се следи как се използват. За да постигне това, Open Data Hub предлага колекция от подходящи показатели и система за отчитане, базирана на широко използваните инструменти за наблюдение с отворен код Prometheus и Grafana. В резултат на това получаваме обратна връзка, за да наблюдаваме използването на AI модели, особено в производствена среда.

По този начин Open Data Hub предоставя подобен на облак подход през целия жизнен цикъл на AI/ML, от достъпа до данни и подготовката до обучението и производството на модели.

Поставете всичко заедно

Сега възниква въпросът как да организираме всичко това за администратора на OpenShift. И тук влиза в действие специален оператор Kubernetes за проекти на Open Data Hub.

Този оператор управлява инсталирането, конфигурацията и жизнения цикъл на проекта Open Data Hub, включително внедряването на гореспоменатите инструменти като JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus и Grafana. Проектът Open Data Hub може да бъде намерен в уеб конзолата OpenShift, в секцията за оператори на общността. По този начин администраторът на OpenShift може да посочи, че съответните проекти на OpenShift са категоризирани като „проект на Open Data Hub“. Това се прави еднократно. След това анализаторът на данни влиза в пространството на своя проект чрез уеб конзолата OpenShift и вижда, че съответният оператор Kubernetes е инсталиран и достъпен за неговите проекти. След това той създава екземпляр на проект Open Data Hub с едно кликване и веднага има достъп до описаните по-горе инструменти. И всичко това може да бъде конфигурирано в режим на висока наличност и устойчивост на грешки.

Ако искате сами да изпробвате проекта Open Data Hub, започнете с инструкции за инсталиране и въвеждащ урок. Можете да намерите технически подробности за архитектурата на Open Data Hub тук, планове за развитие на проекти – тук. В бъдеще планираме да приложим допълнителна интеграция с Kubeflow, да разрешим редица проблеми с регулирането и сигурността на данните, както и да организираме интеграция с базирани на правила системи Drools и Optaplanner. Изразете мнението си и станете участник в проекта Отворете Data Hub възможно на страницата общност.

За да обобщим: Сериозните предизвикателства при мащабирането пречат на организациите да реализират пълния потенциал на изкуствения интелект и машинното обучение. Red Hat OpenShift отдавна се използва успешно за решаване на подобни проблеми в софтуерната индустрия. Проектът Open Data Hub, реализиран в рамките на общността за разработка с отворен код, предлага референтна архитектура за организиране на пълен цикъл от AI/ML операции, базирани на хибридния облак OpenShift. Имаме ясен и обмислен план за развитието на този проект и сме сериозни в създаването на активна и ползотворна общност около него за разработване на отворени AI решения на платформата OpenShift.

Източник: www.habr.com