O le poloketi Open Data Hub o se faʻavae aʻoaʻoga masini e faʻavae i luga o le Red Hat OpenShift

Ua oʻo mai le lumanaʻi, ma ua faʻaaogaina ma le manuia le atamai faʻapitoa ma masini aʻoaʻoina e faleoloa e te fiafia i ai, kamupani felauaiga ma e oʻo lava i faʻatoʻaga pipi.

Ma afai ei ai se mea, o lona uiga ua i ai se mea e uiga i ai i luga ole Initaneti ... o se galuega tatala! Va'ai pe fa'apefea ona fesoasoani le Open Data Hub ia te oe e fuaina tekinolosi fou ma aloese mai lu'itau fa'atinoga.

Faatasi ai ma le lelei uma o le atamai faʻapitoa (AI) ma le aʻoaʻoina o masini (ML), e masani ona faigata i faʻalapotopotoga ona faʻavasegaina nei tekinolosi. O faʻafitauli autu i lenei tulaga e masani lava o mea nei:

• Fetufaaiga o faamatalaga ma le galulue faatasi – e toetoe lava a le mafai ona fa'afesuia'i fa'amatalaga e aunoa ma se taumafaiga ma galulue fa'atasi i fa'asologa vave.
• Avanoa fa'amatalaga - mo galuega taʻitasi e manaʻomia ona toe fausia ma lima, lea e manaʻomia ai le tele o le taimi.
• Avanoa pe a mana'omia - e leai se auala e maua ai i luga ole manaʻoga avanoa i masini aʻoaʻoga meafaigaluega ma faʻavae, faʻapea foʻi ma atinaʻe komepiuta.
• Gaosiga - o fa'ata'ita'iga e tumau pea i le fa'ata'ita'iga fa'ata'ita'iga ma e le o fa'aaogaina i fale gaosimea.
• Su'e ma fa'amatala taunu'uga AI - toe faʻaleleia, suʻesuʻeina ma faʻamatalaga o taunuuga AI / ML e faigata.

A tu'u le fa'ailoaina, o nei fa'afitauli e a'afia ai le saoasaoa, lelei, ma le gaosiga o fa'amaumauga taua a saienitisi. O lenei mea e oʻo atu ai i lo latou le fiafia, le fiafia i la latou galuega, ma o se taunuuga, o faʻamoemoega pisinisi e uiga i AI / ML o loʻo faʻaumatia.

O le matafaioi mo le foia o nei faʻafitauli e pa'ū i luga ole IT, e tatau ona tuʻuina atu i tagata suʻesuʻe faʻamaumauga - e saʻo, e pei o le ao. I nisi faʻamatalaga, matou te manaʻomia se faʻavae e tuʻuina atu ai le saolotoga e filifili ai ma e faigofie, faigofie ona maua. I le taimi lava e tasi, e vave, faigofie ona toe faʻaleleia, faʻaleleia i luga ole manaʻoga ma faʻasaga i faʻaletonu. O le fausiaina o sea fa'avae i luga o fa'atekonolosi fa'alauiloa e fesoasoani e aloese ai mai le fa'atauina o le loka-i totonu ma fa'atumauina se manuia fa'ata'ita'i umi e tusa ai ma le fa'atonutonuina o tau.

I nai tausaga talu ai, na tupu ai se mea faapena i le atinaʻeina o talosaga ma taʻitaʻia ai le tulaʻi mai o microservices, hybrid clouds, IT automation, ma agile process. Ina ia faʻafetaui nei mea uma, ua liliu atu tagata tomai faʻapitoa i koneteina, Kubernetes ma ao faʻapipiʻi tatala.

O lenei aafiaga ua faaaoga nei e tali ai luitau a Al. O le mafuaaga lena o loʻo fausia ai e le au faʻapolofesa IT ni faʻavae e faʻavae i luga ole koneteina, e mafai ai ona fausia le AI / ML auaunaga i totonu ole gaioiga faʻasolosolo, faʻavavevave le faʻafouga, ma fausia ma le mata agai i le ao faʻapipiʻi.

O le a amata ona matou fausia se tulaga faʻatasi ma le Red Hat OpenShift, o la matou pusa Kubernetes platform mo le hybrid cloud, lea o loʻo faʻateleina le faʻaogaina o meaola faanatura o polokalame ma meafaigaluega ML fofo (NVIDIA, H2O.ai, Starburst, PerceptiLabs, ma isi). O nisi o tagata fa'atau a le Red Hat, e pei o le BMW Group, ExxonMobil ma isi, ua uma ona fa'apipi'iina masini ML meafaigaluega ma faiga DevOps i luga o le fa'avae ma lona fa'anatura e aumai ai a latou fausaga ML i le gaosiga ma fa'avave le galuega a tagata su'esu'e fa'amaumauga.

O le isi mafuaaga na matou faʻalauiloaina ai le Open Data Hub poloketi o le faʻaalia lea o se faʻataʻitaʻiga o se faʻataʻitaʻiga e faʻavae i luga o le tele o polokalama faakomepiuta tatala ma faʻaalia pe faʻapefea ona faʻatinoina le taamilosaga atoa o le ML solution e faʻavae i luga o le OpenShift platform.

Tatala Poloketi Hub Data

O se poloketi faʻalauiloa lea e atiaʻe i totonu o le atinaʻe atinaʻe tutusa ma faʻatinoina se taamilosaga atoa o gaioiga - mai le utaina ma le suia o faʻamatalaga muamua i le fausiaina, aʻoaʻoina ma le tausia o se faʻataʻitaʻiga - pe a foia faʻafitauli AI / ML e faʻaaoga ai pusa ma Kubernetes i le OpenShift tulaga. O lenei poloketi e mafai ona manatu o se faʻataʻitaʻiga faʻasinomaga, o se faʻataʻitaʻiga o le auala e fausia ai se fofo tatala AI / ML-as-a-auʻaunaga e faʻavae i luga o OpenShift ma fesoʻotaʻiga faʻapipiʻi punaoa e pei o Tensorflow, JupyterHub, Spark ma isi. E taua le maitauina o le Red Hat lava ia e faʻaaogaina lenei poloketi e tuʻuina atu ai ana auaunaga AI / ML. E le gata i lea, o le OpenShift e tuʻufaʻatasia ma faʻaoga autu ma meafaigaluega ML fofo mai le NVIDIA, Seldon, Starbust ma isi tagata faʻatau, faʻafaigofie ona fausia ma faʻatautaia au lava masini aʻoaʻoga.

O le poloketi Open Data Hub o loʻo taulaʻi i vaega nei o tagata faʻaoga ma faʻaoga mataupu:

• Tagata su'esu'e fa'amaumauga o lo'o mana'omia se fofo mo le fa'atinoina o galuega fa'atino ML, fa'atulagaina e pei o se ao fa'atasi ai ma galuega a le tagata lava ia.
• Su'esu'e Fa'amaumauga o lo'o mana'omia le tele o filifiliga mai mea fou matala AI/ML meafaigaluega ma fa'avae.
• Tagata su'esu'e fa'amaumauga o lo'o mana'omia le avanoa i fa'amatalaga fa'amatalaga pe a fa'ata'ita'iga a'oa'oga.
• Su'e fa'amaumauga o lo'o mana'omia le avanoa i punaoa fa'akomepiuta (CPU, GPU, manatua).
• Su'esu'e Fa'amaumauga o lo'o mana'omia le agava'a e galulue fa'atasi ma fefa'asoaa'i galuega ma a latou pa'aga, maua fa'amatalaga, ma fa'aleleia atili i le vave su'esu'e.
• O se tagata su'esu'e fa'amaumauga e mana'o e fegalegaleai ma tagata atia'e (ma devops 'au) ina ia o'o atu ana fa'ata'ita'iga ML ma taunu'uga o galuega i le gaosiga.
• Enisinia fa'amaumauga e mana'omia le tu'uina atu o se tagata su'esu'e fa'amaumauga e maua ai le tele o fa'amatalaga fa'amatalaga a'o tausisia tulafono fa'atonutonu ma le saogalemu.
• IT system administrator/operator o loʻo manaʻomia le tomai e faʻatonutonu le faʻaogaina o le olaga (faʻapipiʻiina, faʻatulagaina, faʻaleleia) o vaega matala ma tekonolosi. Matou te manaʻomia foʻi le pulega talafeagai ma meafaigaluega faʻatatau.

Ole poloketi Open Data Hub e tu'ufa'atasia ai le tele o mea faigaluega fa'apitoa e fa'atino ai se ta'amilosaga atoa o fa'agaioiga AI/ML. Jupyter Notebook o loʻo faʻaogaina iinei e avea ma meafaigaluega galue autu mo faʻamaumauga faʻamaumauga. O le meafaigaluega e lauiloa tele i le au saienitisi faʻamatalaga i aso nei, ma Open Data Hub e faʻatagaina ai i latou e faigofie ona fai ma pulea le Jupyter Notebook workspaces e faʻaaoga ai le JupyterHub ua fausia. I le faaopoopo atu i le fatuina ma le faʻaulufaleina mai o api Jupyter, o le Open Data Hub poloketi o loʻo i ai foi le tele o api ua saunia i le tulaga o se AI Library.

O lenei faletusi o se fa'aputuga o vaega e a'oa'oina ai masini ma fofo mo fa'ata'ita'iga masani e fa'afaigofie ai le fa'ata'ita'iga vave. JupyterHub ua tu'ufa'atasia ma le OpenShift's RBAC access model, lea e mafai ai ona e fa'aogaina fa'amatalaga OpenShift o lo'o iai ma fa'atino saini fa'atasi. E le gata i lea, ua ofoina atu e le JupyterHub se faʻaoga faʻaoga faʻaoga-tagata e taʻua o le spawner, lea e mafai ai e le tagata faʻaoga ona faigofie ona faʻapipiʻi le aofaʻi o punaoa faakomepiuta (CPU cores, memory, GPU) mo le Jupyter Notebook ua filifilia.

A maeʻa ona fatuina ma faʻapipiʻi e le tagata suʻesuʻe faʻamaumauga le komepiuta, o isi atugaluga uma e uiga i ai e tausia e le Kubernetes scheduler, o se vaega o OpenShift. E mafai e tagata fa'aoga ona fa'atino a latou fa'ata'ita'iga, fa'asaoina ma fa'asoa fa'ai'uga o a latou galuega. E le gata i lea, e mafai e tagata faʻaoga faʻapitoa ona maua saʻo le OpenShift CLI shell mai Jupyter api e faʻaogaina ai Kubernetes primitives e pei o Job poʻo OpenShift galuega e pei o Tekton poʻo Knative. Pe mo lenei mea e mafai ona e faʻaogaina le OpenShift's GUI faigofie, lea e taʻua o le "OpenShift web console".

O le agai i luma i le isi laasaga, Open Data Hub e mafai ai ona faʻatautaia laina paipa faʻamaumauga. Mo lenei mea, o loʻo faʻaaogaina se mea Ceph, lea e tuʻuina atu e avea o se S3-compatible object data storage. Apache Spark e faʻatagaina oe e faʻasalalau faʻamatalaga mai punaoa i fafo poʻo le teuina i totonu o le Ceph S3, ma faʻatagaina foi oe e faia suiga muamua o faʻamatalaga. Apache Kafka o loʻo tuʻuina atu le faʻalauteleina o le pulega o faʻamaumauga o faʻamaumauga (lea e mafai ai ona utaina faʻamaumauga i le tele o taimi, faʻapea foʻi ma suiga o faʻamatalaga, auʻiliʻiliga, ma faʻagaioiga faʻaauau).

O lea la, na maua e le tagata suʻesuʻe faʻamaumauga faʻamaumauga ma fausia se faʻataʻitaʻiga. O le taimi nei ua ia te ia se manaʻoga e faʻasoa taunuʻuga na maua ma ana uo poʻo tagata faʻapipiʻi talosaga, ma tuʻuina atu ia i latou lana faʻataʻitaʻiga i luga o mataupu faavae o se auaunaga. Ole mea lea e mana'omia ai se fa'aumau fa'ailoga, ma o Open Data Hub ei ai se 'au'aunaga fa'apea, e ta'ua o Seldon ma fa'atagaina oe e fa'asalalau le fa'ata'ita'iga o se auaunaga RESTful.

I se taimi, e tele na faʻataʻitaʻiga i luga o le Seldon server, ma e manaʻomia le mataʻituina pe faʻapefea ona faʻaaogaina. Ina ia ausia lenei mea, Open Data Hub ofo atu se aofaʻiga o fua faʻatatau ma se afi lipoti e faʻavae i luga ole faʻaogaina lautele o punaoa mataʻituina mea faigaluega Prometheus ma Grafana. O se taunuuga, matou te maua ni faʻamatalaga e mataʻituina ai le faʻaogaina o faʻataʻitaʻiga AI, aemaise lava i se siosiomaga gaosiga.

I lenei auala, Open Data Hub e tuʻuina atu ai se auala e pei o le ao i le taimi atoa o le AI / ML, mai le mauaina o faʻamatalaga ma sauniuniga i faʻataʻitaʻiga aʻoaʻoga ma gaosiga.

Tuu faatasi uma

O lea la ua tula'i mai le fesili pe fa'apefea ona fa'atulaga uma nei mea mo le fa'atonu OpenShift. Ma o le mea lea e sau ai se faʻalapotopotoga Kubernetes faʻapitoa mo poloketi Open Data Hub.

O lenei tagata faʻatautaia e faʻatautaia le faʻapipiʻiina, faʻatulagaina ma le olaga o le Open Data Hub project, e aofia ai le faʻapipiʻiina o meafaigaluega ua taʻua muamua e pei o JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus ma Grafana. Ole poloketi Open Data Hub e mafai ona maua ile OpenShift web console, ile vaega o tagata fa'alapotopotoga. O le mea lea, e mafai e le pule o OpenShift ona faʻamaonia e faʻavasegaina galuega tutusa OpenShift o le "Open Data Hub project". E tasi le mea e fai. A maeʻa lenei mea, e faʻapipiʻi e le tagata suʻesuʻe faʻamaumauga i totonu o lana poloketi avanoa e ala i le OpenShift web console ma vaʻai o loʻo faʻapipiʻi le Kubernetes operator tutusa ma avanoa mo ana galuega. Ona ia faia lea o se faʻataʻitaʻiga Open Data Hub project ma le kiliki e tasi ma vave ona maua avanoa i meafaigaluega o loʻo faʻamatalaina i luga. Ma o nei mea uma e mafai ona faʻatulagaina i le avanoa maualuga ma le faʻapalepale faʻaletonu.

Afai e te mana'o e fa'ata'ita'i le poloketi Open Data Hub mo oe, amata i fa'atonuga fa'apipi'i ma a'oa'oga tomua. E mafai ona maua fa'amatalaga fa'apitoa o le Open Data Hub architecture iinei, fuafuaga tau atina'e - iinei. I le lumanaʻi, matou te fuafua e faʻatino faʻaopoopoga faʻatasi ma Kubeflow, foia le tele o mataupu i faʻamaumauga faʻamaumauga ma le saogalemu, ma faʻapipiʻi faʻatasi ma faiga faʻavae tulafono Drools ma Optaplanner. Fa'aalia lou manatu ma avea ma se tagata auai i le poloketi Tatala Nofoaga Fa'amatalaga mafai i luga o le itulau nuu.

Toe fa'amanatu: O lu'itau fa'atupu tele o lo'o taofia ai fa'alāpotopotoga mai le iloaina o le malosi atoatoa o le atamai fa'apitoa ma le a'oa'oina o masini. Red Hat OpenShift ua leva ona faʻaaogaina lelei e foia ai faʻafitauli faʻapena i totonu o le pisinisi polokalama. O le poloketi Open Data Hub, fa'atinoina i totonu o le fa'alapotopotoga o atina'e matala, e ofoina atu se fausaga fa'asino mo le fa'atulagaina o se ta'amilosaga atoa o gaioiga AI/ML e fa'avae i luga o le OpenShift hybrid cloud. O loʻo i ai se matou fuafuaga manino ma mafaufau lelei mo le atinaʻeina o lenei poloketi, ma matou te manatu mamafa i le fausiaina o se faʻalapotopotoga malosi ma fua tele o loʻo siomia ai mo le atinaʻeina o fofo AI tatala i luga o le OpenShift platform.

puna: www.habr.com