Будућност је стигла, а технологије вештачке интелигенције и машинског учења већ успешно користе ваше омиљене продавнице, транспортне компаније, па чак и фарме ћуретина.
А ако нешто постоји, онда већ постоји нешто о томе на интернету... отворени пројекат! Погледајте како вам Опен Дата Хуб помаже да проширите нове технологије и избегнете изазове са имплементацијом.
Уз све предности вештачке интелигенције (АИ) и машинског учења (МЛ), организације често имају потешкоћа да скалирају ове технологије. Главни проблеми у овом случају су обично следећи:
- Размена информација и сарадња – готово је немогуће размјењивати информације без напора и сарађивати у брзим итерацијама.
- Приступ подацима – за сваки задатак потребно га је изградити изнова и ручно, што одузима доста времена.
- Приступ на захтев – не постоји начин да се добије приступ на захтев алатима и платформи за машинско учење, као и рачунарској инфраструктури.
- Производња – модели остају у фази прототипа и не доводе се у индустријску употребу.
- Пратите и објасните резултате АИ – репродуктивност, праћење и објашњење резултата АИ/МЛ су тешки.
Остављени нерешени, ови проблеми негативно утичу на брзину, ефикасност и продуктивност вредних научника података. То доводи до њихове фрустрације, разочарања у њихов рад, а као резултат тога, пословна очекивања у вези са АИ/МЛ пропадају.
Одговорност за решавање ових проблема је на ИТ стручњацима, који аналитичарима података морају да обезбеде – тако је, нешто попут облака. Детаљније, потребна нам је платформа која даје слободу избора и има згодан и лак приступ. У исто време, брз је, лако се може реконфигурисати, скалабилан на захтев и отпоран на кварове. Изградња такве платформе на технологијама отвореног кода помаже у избегавању закључавања добављача и одржавању дугорочне стратешке предности у смислу контроле трошкова.
Пре неколико година, нешто слично се дешавало у развоју апликација и довело до појаве микросервиса, хибридних облака, ИТ аутоматизације и агилних процеса. Да би се изборили са свим овим, ИТ професионалци су се окренули контејнерима, Кубернетес-у и отвореним хибридним облацима.
Ово искуство се сада примењује да одговори на Алове изазове. Због тога ИТ професионалци граде платформе које су засноване на контејнерима, омогућавају креирање АИ/МЛ услуга у оквиру агилних процеса, убрзавају иновације и граде се са погледом на хибридни облак.
Почећемо да градимо такву платформу са Ред Хат ОпенСхифт, нашом контејнеризованом Кубернетес платформом за хибридни облак, који има брзо растући екосистем софтверских и хардверских МЛ решења (НВИДИА, Х2О.аи, Старбурст, ПерцептиЛабс, итд.). Неки од Ред Хат-ових купаца, као што су БМВ Гроуп, ЕкконМобил и други, већ су применили контејнерске МЛ алате и ДевОпс процесе на врху платформе и њеног екосистема како би своје МЛ архитектуре довели у производњу и убрзали рад аналитичара података.
Други разлог зашто смо покренули пројекат Опен Дата Хуб је да демонстрирамо пример архитектуре засноване на неколико софтверских пројеката отвореног кода и покажемо како да имплементирамо цео животни циклус МЛ решења заснованог на ОпенСхифт платформи.
Опен Дата Хуб Пројецт
Ово је пројекат отвореног кода који је развијен у оквиру одговарајуће развојне заједнице и имплементира пун циклус операција – од учитавања и трансформације почетних података до генерисања, обуке и одржавања модела – приликом решавања АИ/МЛ проблема коришћењем контејнера и Кубернетес-а на ОпенСхифт-у платформа. Овај пројекат се може сматрати референтном имплементацијом, примером како да се изгради отворено решење АИ/МЛ-ас-а-сервице засновано на ОпенСхифт-у и сродним алатима отвореног кода као што су Тенсорфлов, ЈупитерХуб, Спарк и други. Важно је напоменути да сам Ред Хат користи овај пројекат за пружање својих АИ/МЛ услуга. Поред тога, ОпенСхифт се интегрише са кључним софтверским и хардверским МЛ решењима од НВИДИА, Селдон, Старбуст и других произвођача, што олакшава изградњу и покретање сопствених система машинског учења.
Пројекат Опен Дата Хуб је фокусиран на следеће категорије корисника и случајеве коришћења:
- Аналитичар података коме је потребно решење за имплементацију МЛ пројеката, организовано као облак са самоуслужним функцијама.
- Аналитичар података коме је потребан максималан избор између најновијих алата и платформи за вештачку интелигенцију/МЛ отвореног кода.
- Аналитичар података коме је потребан приступ изворима података када обучава моделе.
- Аналитичар података коме је потребан приступ рачунарским ресурсима (ЦПУ, ГПУ, меморија).
- Аналитичар података коме је потребна способност сарадње и дељења рада са колегама, примања повратних информација и побољшања у брзој итерацији.
- Аналитичар података који жели да комуницира са програмерима (и девопс тимовима) како би његови МЛ модели и резултати рада кренули у производњу.
- Инжењер података који аналитичару података треба да обезбеди приступ различитим изворима података уз поштовање регулаторних и безбедносних захтева.
- Администратор/оператер ИТ система коме је потребна могућност да без напора контролише животни циклус (инсталација, конфигурација, надоградња) компоненти и технологија отвореног кода. Такође су нам потребни одговарајући алати за управљање и квоте.
Пројекат Опен Дата Хуб обједињује низ алата отвореног кода за имплементацију пуног циклуса АИ/МЛ операција. Јупитер Нотебоок се овде користи као главни радни алат за анализу података. Комплет алата је данас широко популаран међу научницима података, а Опен Дата Хуб им омогућава да лако креирају и управљају радним просторима Јупитер Нотебоок-а користећи уграђени ЈупитерХуб. Поред креирања и увоза Јупитер бележница, пројекат Опен Дата Хуб такође садржи низ готових бележница у облику АИ библиотеке.
Ова библиотека је колекција компоненти машинског учења отвореног кода и решења за уобичајене сценарије који поједностављују брзу израду прототипа. ЈупитерХуб је интегрисан са ОпенСхифт-овим РБАЦ моделом приступа, који вам омогућава да користите постојеће ОпенСхифт налоге и имплементирате једнократно пријављивање. Поред тога, ЈупитерХуб нуди кориснички интерфејс прилагођен кориснику који се зове спавнер, преко којег корисник може лако да конфигурише количину рачунарских ресурса (ЦПУ језгра, меморија, ГПУ) за изабрани Јупитер нотебоок рачунар.
Након што аналитичар података креира и конфигурише лаптоп, све остале бриге око њега решава Кубернетес планер, који је део ОпенСхифт-а. Корисници могу само да спроводе своје експерименте, чувају и деле резултате свог рада. Поред тога, напредни корисници могу директно да приступе ОпенСхифт ЦЛИ љусци директно из Јупитер бележница да би искористили Кубернетес примитиве као што су Јоб или ОпенСхифт функционалност као што су Тектон или Кнативе. Или за ово можете користити ОпенСхифтов практични ГУИ, који се зове „ОпенСхифт веб конзола“.
Прелазимо на следећу фазу, Опен Дата Хуб омогућава управљање цевоводима података. За ово се користи Цепх објекат, који је обезбеђен као С3 компатибилан објекат за складиштење података. Апацхе Спарк обезбеђује стримовање података из спољних извора или уграђеног Цепх С3 складиштења, а такође вам омогућава да извршите прелиминарне трансформације података. Апацхе Кафка обезбеђује напредно управљање цевоводима података (где подаци могу да се учитавају више пута, као и операције трансформације, анализе и постојаности података).
Дакле, аналитичар података је приступио подацима и направио модел. Сада има жељу да добијене резултате подели са колегама или програмерима апликација и пружи им свој модел на принципима услуге. Ово захтева сервер закључивања, а Опен Дата Хуб има такав сервер, зове се Селдон и омогућава вам да објавите модел као РЕСТфул услугу.
У неком тренутку на Селдон серверу постоји неколико таквих модела и постоји потреба да се прати како се користе. Да би се то постигло, Опен Дата Хуб нуди колекцију релевантних метрика и механизам за извештавање заснован на широко коришћеним алатима за праћење отвореног кода Прометхеус и Графана. Као резултат тога, добијамо повратне информације за праћење употребе АИ модела, посебно у производном окружењу.
На овај начин, Опен Дата Хуб пружа приступ сличан облаку током читавог животног циклуса АИ/МЛ, од приступа подацима и припреме до обуке модела и производње.
Све заједно
Сада се поставља питање како све ово организовати за ОпенСхифт администратора. И ту долази у обзир специјални Кубернетес оператер за Опен Дата Хуб пројекте.
Овај оператер управља инсталацијом, конфигурацијом и животним циклусом пројекта Опен Дата Хуб, укључујући примену горе наведених алата као што су ЈупитерХуб, Цепх, Спарк, Кафка, Селдон, Прометхеус и Графана. Пројекат Опен Дата Хуб се може наћи на ОпенСхифт веб конзоли, у одељку за оператере заједнице. Стога, ОпенСхифт администратор може одредити да су одговарајући ОпенСхифт пројекти категорисани као „Опен Дата Хуб пројекат“. Ово се ради једном. Након тога, аналитичар података се пријављује у свој пројектни простор преко ОпенСхифт веб конзоле и види да је одговарајући Кубернетес оператер инсталиран и доступан за његове пројекте. Затим једним кликом креира инстанцу пројекта Опен Дата Хуб и одмах има приступ горе описаним алатима. И све ово се може конфигурисати у режиму високе доступности и толеранције грешака.
Ако желите да сами испробате пројекат Опен Дата Хуб, почните са . Технички детаљи архитектуре Опен Дата Хуб-а се могу наћи , развојни планови пројекта – . У будућности планирамо да имплементирамо додатну интеграцију са Кубефлов-ом, решимо низ проблема са регулацијом и безбедношћу података, као и организујемо интеграцију са системима заснованим на правилима Дроолс и Оптапланнер. Изразите своје мишљење и постаните учесник пројекта могуће на страници .
Да резимирамо: Озбиљни изазови скалирања спречавају организације да остваре пуни потенцијал вештачке интелигенције и машинског учења. Ред Хат ОпенСхифт се већ дуго успешно користи за решавање сличних проблема у софтверској индустрији. Пројекат Опен Дата Хуб, имплементиран у оквиру заједнице за развој отвореног кода, нуди референтну архитектуру за организовање пуног циклуса АИ/МЛ операција заснованих на ОпенСхифт хибридном облаку. Имамо јасан и промишљен план за развој овог пројекта, и озбиљно размишљамо о стварању активне и плодне заједнице за развој отворених АИ решења на ОпенСхифт платформи око њега.
Извор: ввв.хабр.цом