Проектот Open Data Hub е отворена платформа за машинско учење базирана на Red Hat OpenShift

Иднината пристигна, а технологиите за вештачка интелигенција и машинско учење веќе успешно се користат од вашите омилени продавници, транспортни компании, па дури и фарми за мисирки.

И ако нешто постои, тогаш веќе има нешто за тоа на Интернет... отворен проект! Погледнете како Open Data Hub ви помага да ги зголемите новите технологии и да избегнете предизвици за имплементација.

Со сите предности на вештачката интелигенција (AI) и машинското учење (ML), организациите често имаат потешкотии да ги размерат овие технологии. Главните проблеми во овој случај обично се следниве:

• Размена на информации и соработка – речиси е невозможно да се разменуваат информации без напор и да се соработува во брзи повторувања.
• Пристап до податоци – за секоја задача треба да се изгради одново и рачно, што одзема многу време.
• Пристап по барање – Не постои начин да се добие пристап на барање до алатките и платформата за машинско учење, како и до компјутерската инфраструктура.
• Производство – моделите остануваат во фаза на прототип и не се носат во индустриска употреба.
• Следете ги и објаснете ги резултатите од вештачката интелигенција – репродуктивноста, следењето и објаснувањето на резултатите од AI/ML се тешки.

Оставени нерешени, овие проблеми негативно влијаат на брзината, ефикасноста и продуктивноста на вредните научници за податоци. Ова доведува до нивна фрустрација, разочарување во нивната работа и како резултат на тоа, деловните очекувања во врска со AI/ML одат на отпад.

Одговорноста за решавање на овие проблеми паѓа на ИТ специјалисти, кои мора да им обезбедат на аналитичарите на податоци - точно е, нешто како облакот. Подетално, потребна ни е платформа која дава слобода на избор и има удобен, лесен пристап. Во исто време, тој е брз, лесно може да се конфигурира, може да се скалира по потреба и отпорен на дефекти. Изградбата на таква платформа на технологии со отворен код помага да се избегне заклучување на продавачот и да се одржи долгорочна стратешка предност во однос на контролата на трошоците.

Пред неколку години, нешто слично се случуваше во развојот на апликации и доведе до појава на микросервиси, хибридни облаци, ИТ автоматизација и агилни процеси. За да се справат со сето ова, ИТ професионалците се свртеа кон контејнери, Кубернети и отворени хибридни облаци.

Ова искуство сега се применува за да одговори на предизвиците на Ал. Затоа ИТ професионалците градат платформи кои се засновани на контејнери, овозможуваат создавање AI/ML услуги во агилни процеси, ја забрзуваат иновативноста и се изградени со поглед кон хибридниот облак.

Ќе започнеме да градиме таква платформа со Red Hat OpenShift, нашата контејнеризирана платформа Kubernetes за хибридниот облак, која има брзо растечки екосистем на софтверски и хардверски ML решенија (NVIDIA, H2O.ai, Starburst, PerceptiLabs, итн.). Некои од клиентите на Red Hat, како што се BMW Group, ExxonMobil и други, веќе имаат распоредено контејнеризирани синџири на алатки за ML и DevOps процеси на врвот на платформата и нејзиниот екосистем за да ги донесат своите ML архитектури до производство и да ја забрзаат работата на аналитичарите на податоци.

Друга причина зошто го лансиравме проектот Open Data Hub е да демонстрираме пример на архитектура заснована на неколку софтверски проекти со отворен код и да покажеме како да го имплементираме целиот животен циклус на ML решение базирано на платформата OpenShift.

Проект за Open Data Hub

Ова е проект со отворен код кој е развиен во рамките на соодветната развојна заедница и имплементира целосен циклус на операции - од вчитување и трансформирање на почетните податоци до генерирање, обука и одржување на модел - при решавање на проблеми со AI / ML користејќи контејнери и Kubernetes на OpenShift платформа. Овој проект може да се смета за референтна имплементација, пример за тоа како да се изгради отворено решение AI/ML-како услуга базирано на OpenShift и сродни алатки со отворен код како Tensorflow, JupyterHub, Spark и други. Важно е да се напомене дека самата Red Hat го користи овој проект за да ги обезбеди своите услуги за AI/ML. Покрај тоа, OpenShift се интегрира со клучните софтверски и хардверски ML решенија од NVIDIA, Seldon, Starbust и други продавачи, што го олеснува создавањето и водење на сопствени системи за машинско учење.

Проектот Open Data Hub е фокусиран на следните категории корисници и случаи на употреба:

• Аналитичар на податоци кој има потреба од решение за имплементација на ML проекти, организирани како облак со функции за самопослужување.
• Аналитичар на податоци кој има потреба од максимален избор од најновите алатки и платформи за AI/ML со отворен код.
• Аналитичар на податоци кој има потреба од пристап до изворите на податоци кога обучува модели.
• Аналитичар на податоци кој има потреба од пристап до компјутерски ресурси (процесор, графички процесор, меморија).
• Аналитичар на податоци кој бара способност да соработува и споделува работа со колегите, да добива повратни информации и да прави подобрувања во брзото повторување.
• Аналитичар на податоци кој сака да комуницира со програмерите (и развива тимови), така што неговите ML модели и работни резултати одат во производство.
• Инженер за податоци кој треба да му обезбеди на аналитичарот на податоци пристап до различни извори на податоци додека се придржува до регулаторните и безбедносните барања.
• Администратор/оператор на ИТ систем кој бара способност без напор да го контролира животниот циклус (инсталација, конфигурација, надградба) на компоненти и технологии со отворен код. Потребни ни се и соодветни алатки за управување и квоти.

Проектот Open Data Hub обединува низа алатки со отворен код за имплементација на целосен циклус на операции со AI/ML. Jupyter Notebook овде се користи како главна работна алатка за анализа на податоци. Комплетот со алатки е широко популарен меѓу научниците за податоци денес, а Open Data Hub им овозможува лесно да креираат и управуваат со работните простори на Jupyter Notebook користејќи го вградениот JupyterHub. Покрај креирањето и увозот на Jupyter тетратки, проектот Open Data Hub содржи и голем број готови тетратки во форма на библиотека со вештачка интелигенција.

Оваа библиотека е збирка на компоненти за машинско учење со отворен код и решенија за вообичаени сценарија кои го поедноставуваат брзото прототипирање. JupyterHub е интегриран со моделот за пристап RBAC на OpenShift, кој ви овозможува да ги користите постоечките сметки на OpenShift и да имплементирате едно пријавување. Покрај тоа, JupyterHub нуди кориснички интерфејс наречен spawner, преку кој корисникот може лесно да го конфигурира количеството на компјутерски ресурси (јадра на процесорот, меморија, графички процесор) за избраниот Jupyter Notebook.

Откако аналитичарот на податоци ќе го креира и конфигурира лаптопот, за сите други грижи за него се грижи распоредувачот на Kubernetes, кој е дел од OpenShift. Корисниците можат само да ги спроведуваат своите експерименти, да ги зачувуваат и споделуваат резултатите од нивната работа. Дополнително, напредните корисници можат директно да пристапат до обвивката OpenShift CLI директно од тетратките на Jupyter за да ги искористат примитивите на Kubernetes, како што се Job или OpenShift функционалноста, како што се Tekton или Knative. Или за ова можете да го користите пригодниот GUI на OpenShift, кој се нарекува „Веб-конзола OpenShift“.

Преминувајќи кон следната фаза, Open Data Hub овозможува управување со цевководи за податоци. За ова, се користи објект Ceph, кој е обезбеден како складирање на податоци за објект компатибилен со S3. Apache Spark ви овозможува да пренесувате податоци од надворешни извори или вградено складирање Ceph S3, а исто така ви овозможува да вршите прелиминарни трансформации на податоци. Apache Kafka обезбедува напредно управување со цевководи за податоци (каде што податоците може да се вчитаат повеќе пати, како и трансформација на податоци, анализа и операции за упорност).

Значи, аналитичарот на податоци пристапи до податоците и изгради модел. Сега тој има желба да ги сподели добиените резултати со колегите или развивачите на апликации и да им го обезбеди својот модел на принципите на услугата. За ова е потребен сервер за заклучоци, а Open Data Hub има таков сервер, тој се вика Seldon и ви овозможува да го објавите моделот како RESTful услуга.

Во одреден момент, има неколку такви модели на серверот Селдон и има потреба да се следи како се користат. За да се постигне ова, Open Data Hub нуди колекција на релевантни метрики и мотор за известување заснован на широко користените алатки за следење со отворен код Prometheus и Grafana. Како резултат на тоа, добиваме повратни информации за следење на употребата на модели со вештачка интелигенција, особено во производствена средина.

На овој начин, Open Data Hub обезбедува пристап сличен на облак во текот на целиот животен циклус на AI/ML, од пристап до податоци и подготовка до обука и производство на модели.

Ставањето на сето тоа заедно

Сега се поставува прашањето како да се организира сето ова за администраторот OpenShift. И тука стапува во игра специјален Kubernetes оператор за проекти Open Data Hub.

Овој оператор управува со инсталацијата, конфигурацијата и животниот циклус на проектот Open Data Hub, вклучувајќи го и распоредувањето на гореспоменатите алатки како што се JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus и Grafana. Проектот Open Data Hub може да се најде во веб-конзолата OpenShift, во делот Оператори на заедницата. Така, администраторот на OpenShift може да одреди дека соодветните проекти на OpenShift се категоризираат како „проект за Open Data Hub“. Ова се прави еднаш. По ова, аналитичарот на податоци се најавува во неговиот проектен простор преку веб-конзолата OpenShift и гледа дека соодветниот оператор на Kubernetes е инсталиран и достапен за неговите проекти. Потоа создава примерок од проектот Open Data Hub со еден клик и веднаш има пристап до алатките опишани погоре. И сето ова може да се конфигурира во режим на висока достапност и толеранција на грешки.

Ако сакате сами да го пробате проектот Open Data Hub, почнете со инструкции за инсталација и воведно упатство. Може да се најдат технички детали за архитектурата Open Data Hub тука, планови за развој на проекти – тука. Во иднина, планираме да спроведеме дополнителна интеграција со Kubeflow, да решиме голем број проблеми со регулацијата и безбедноста на податоците, а исто така да организираме интеграција со системите засновани на правила Drools и Optaplanner. Искажете го вашето мислење и станете учесник во проектот Отвори Data Hub можно на страницата заедница.

Да повториме: Сериозните предизвици за скалирање ги спречуваат организациите да го реализираат целосниот потенцијал на вештачката интелигенција и машинското учење. Red Hat OpenShift долго време успешно се користи за решавање на слични проблеми во софтверската индустрија. Проектот Open Data Hub, имплементиран во рамките на заедницата за развој со отворен код, нуди референтна архитектура за организирање целосен циклус на операции со AI/ML врз основа на хибридниот облак OpenShift. Имаме јасен и обмислен план за развој на овој проект и сериозни сме во намерата да создадеме активна и плодна заедница околу него за развој на отворени решенија за вештачка интелигенција на платформата OpenShift.

Извор: www.habr.com