Il-futur wasal, u l-intelliġenza artifiċjali u t-teknoloġiji tat-tagħlim tal-magni diġà qed jintużaw b'suċċess mill-ħwienet favoriti tiegħek, il-kumpaniji tat-trasport u anke l-irziezet tad-dundjani.
U jekk teżisti xi ħaġa, allura diġà hemm xi ħaġa dwarha fuq l-Internet... proġett miftuħ! Ara kif Open Data Hub jgħinek tiskala teknoloġiji ġodda u tevita l-isfidi tal-implimentazzjoni.
Bil-vantaġġi kollha tal-intelliġenza artifiċjali (AI) u t-tagħlim tal-magni (ML), l-organizzazzjonijiet ħafna drabi jkollhom diffikultà biex iżidu dawn it-teknoloġiji. Il-problemi ewlenin f'dan il-każ huma ġeneralment dawn li ġejjin:
- Skambju ta' informazzjoni u kooperazzjoni – huwa kważi impossibbli li tiskambja informazzjoni mingħajr sforz u tikkollabora f'iterazzjonijiet rapidi.
- Aċċess għad-dejta – għal kull kompitu jeħtieġ li jinbena mill-ġdid u manwalment, li jieħu ħafna ħin.
- Aċċess fuq talba – m'hemm l-ebda mod kif tikseb aċċess fuq talba għall-għodod u l-pjattaforma tat-tagħlim tal-magni, kif ukoll għall-infrastruttura tal-kompjuters.
- Produzzjoni – il-mudelli jibqgħu fl-istadju tal-prototip u ma jinġiebux għall-użu industrijali.
- Issegwi u spjega r-riżultati tal-AI – ir-riproduċibbiltà, it-traċċar u l-ispjegazzjoni tar-riżultati tal-AI/ML huma diffiċli.
Jekk ma jiġux indirizzati, dawn il-problemi għandhom impatt negattiv fuq il-veloċità, l-effiċjenza u l-produttività tax-xjenzjati tad-dejta siewja. Dan iwassal għall-frustrazzjoni tagħhom, id-diżappunt fix-xogħol tagħhom, u bħala riżultat, l-aspettattivi tan-negozju fir-rigward tal-AI/ML jintilfu.
Ir-responsabbiltà għas-soluzzjoni ta 'dawn il-problemi taqa' fuq l-ispeċjalisti tal-IT, li għandhom jipprovdu lill-analisti tad-dejta - hekk hu, xi ħaġa bħall-cloud. F'aktar dettall, neħtieġu pjattaforma li tagħti l-libertà tal-għażla u li jkollha aċċess konvenjenti u faċli. Fl-istess ħin, huwa mgħaġġel, faċilment rikonfigurabbli, skalabbli fuq talba u reżistenti għall-fallimenti. Il-bini ta’ pjattaforma bħal din fuq teknoloġiji ta’ sors miftuħ jgħin biex jevita l-lock-in tal-bejjiegħ u jżomm vantaġġ strateġiku fit-tul f’termini ta’ kontroll tal-ispejjeż.
Ftit snin ilu, xi ħaġa simili kienet qed tiġri fl-iżvilupp tal-applikazzjoni u wasslet għall-emerġenza ta 'mikroservizzi, sħab ibridi, awtomazzjoni tal-IT, u proċessi b'aġilità. Biex ilaħħqu ma 'dan kollu, il-professjonisti tal-IT daru għall-kontenituri, Kubernetes u sħab ibridi miftuħa.
Din l-esperjenza issa qed tiġi applikata biex twieġeb għall-isfidi ta’ Al. Huwa għalhekk li l-professjonisti tal-IT qed jibnu pjattaformi li huma bbażati fuq il-kontejners, jippermettu l-ħolqien ta 'servizzi AI/ML fi ħdan proċessi b'aġilità, jaċċelleraw l-innovazzjoni, u huma mibnija b'ħarsa lejn is-sħab ibridu.
Ser nibdew nibnu pjattaforma bħal din ma 'Red Hat OpenShift, il-pjattaforma Kubernetes tagħna fil-kontejners għall-cloud ibridu, li għandha ekosistema li qed tikber malajr ta' soluzzjonijiet ML ta 'softwer u hardware (NVIDIA, H2O.ai, Starburst, PerceptiLabs, eċċ.). Xi wħud mill-klijenti ta 'Red Hat, bħal BMW Group, ExxonMobil u oħrajn, diġà skjerati katina ta' għodda ML f'kontejners u proċessi DevOps fuq il-pjattaforma u l-ekosistema tagħha biex iġibu l-arkitetturi ML tagħhom għall-produzzjoni u jħaffu l-ħidma tal-analisti tad-dejta.
Raġuni oħra li nedejna l-proġett Open Data Hub hija biex nuru eżempju ta’ arkitettura bbażata fuq diversi proġetti ta’ softwer ta’ sors miftuħ u nuru kif nimplimentaw iċ-ċiklu tal-ħajja kollu ta’ soluzzjoni ML ibbażata fuq il-pjattaforma OpenShift.
Proġett Open Data Hub
Dan huwa proġett ta’ sors miftuħ li huwa żviluppat fi ħdan il-komunità ta’ żvilupp korrispondenti u jimplimenta ċiklu sħiħ ta’ operazzjonijiet - mit-tagħbija u t-trasformazzjoni tad-dejta inizjali għall-ġenerazzjoni, it-taħriġ u ż-żamma ta’ mudell - meta ssolvi problemi AI / ML bl-użu ta’ kontenituri u Kubernetes fuq l-OpenShift. pjattaforma. Dan il-proġett jista 'jitqies bħala implimentazzjoni ta' referenza, eżempju ta 'kif tinbena soluzzjoni miftuħa AI/ML-as-a-service bbażata fuq OpenShift u għodod ta' sors miftuħ relatati bħal Tensorflow, JupyterHub, Spark u oħrajn. Huwa importanti li wieħed jinnota li Red Hat innifsu juża dan il-proġett biex jipprovdi s-servizzi AI/ML tiegħu. Barra minn hekk, OpenShift jintegra ma 'soluzzjonijiet ML ta' softwer u ħardwer ewlenin minn NVIDIA, Seldon, Starbust u bejjiegħa oħra, li jagħmilha aktar faċli biex tibni u tħaddem is-sistemi ta 'tagħlim tal-magni tiegħek stess.
Il-proġett Open Data Hub huwa ffokat fuq il-kategoriji ta’ utenti u każijiet ta’ użu li ġejjin:
- Analista tad-dejta li jeħtieġ soluzzjoni għall-implimentazzjoni ta 'proġetti ML, organizzati bħal sħaba b'funzjonijiet self-service.
- Analista tad-Data li jeħtieġ għażla massima mill-aħħar għodod u pjattaformi AI/ML ta’ sors miftuħ.
- Analista tad-dejta li jeħtieġ aċċess għal sorsi tad-dejta meta jitħarreġ mudelli.
- Analista tad-dejta li jeħtieġ aċċess għar-riżorsi tal-kompjuter (CPU, GPU, memorja).
- Analista tad-Data li jeħtieġ il-ħila li jikkollabora u jaqsam ix-xogħol mal-kollegi, jirċievi feedback, u jagħmel titjib f'iterazzjoni rapida.
- Analista tad-dejta li jrid jinteraġixxi ma 'żviluppaturi (u timijiet devops) sabiex il-mudelli ML u r-riżultati tax-xogħol tiegħu jidħlu fil-produzzjoni.
- Inġinier tad-dejta li jeħtieġ li jipprovdi analista tad-dejta b’aċċess għal varjetà ta’ sorsi ta’ dejta filwaqt li jikkonforma mar-rekwiżiti regolatorji u ta’ sigurtà.
- Amministratur/operatur tas-sistema tal-IT li jeħtieġ l-abbiltà li jikkontrolla mingħajr sforz iċ-ċiklu tal-ħajja (installazzjoni, konfigurazzjoni, aġġornament) ta’ komponenti u teknoloġiji ta’ sors miftuħ. Għandna bżonn ukoll għodod xierqa ta’ ġestjoni u kwota.
Il-proġett Open Data Hub jiġbor flimkien firxa ta’ għodod open source biex jimplimenta ċiklu sħiħ ta’ operazzjonijiet AI/ML. Jupyter Notebook jintuża hawnhekk bħala l-għodda ta 'ħidma ewlenija għall-analiżi tad-dejta. Is-sett ta' għodod huwa popolari ħafna fost ix-xjentisti tad-dejta llum, u l-Open Data Hub jippermettilhom joħolqu u jimmaniġġjaw faċilment l-ispazji tax-xogħol tal-Jupyter Notebook billi jużaw il-JupyterHub inkorporat. Minbarra l-ħolqien u l-importazzjoni ta’ notebooks Jupyter, il-proġett Open Data Hub fih ukoll numru ta’ notebooks lesti fil-forma ta’ Librerija AI.
Din il-librerija hija ġabra ta’ komponenti ta’ tagħlim tal-magni open-source u soluzzjonijiet għal xenarji komuni li jissimplifikaw il-prototyping rapidu. JupyterHub huwa integrat mal-mudell ta 'aċċess RBAC ta' OpenShift, li jippermettilek tuża kontijiet OpenShift eżistenti u timplimenta single sign-on. Barra minn hekk, JupyterHub joffri interface għall-utent faċli għall-utent imsejjaħ spawner, li permezz tiegħu l-utent jista 'faċilment jikkonfigura l-ammont ta' riżorsi tal-kompjuters (qlub tal-CPU, memorja, GPU) għall-Notebook Jupyter magħżul.
Wara li l-analista tad-dejta joħloq u jikkonfigura l-laptop, it-tħassib l-ieħor kollu dwaru jieħu ħsiebu mill-iskeder Kubernetes, li huwa parti minn OpenShift. L-utenti jistgħu biss iwettqu l-esperimenti tagħhom, isalvaw u jaqsmu r-riżultati tax-xogħol tagħhom. Barra minn hekk, utenti avvanzati jistgħu jaċċessaw direttament il-qoxra OpenShift CLI direttament minn notebooks Jupyter biex jisfruttaw il-primittivi Kubernetes bħall-funzjonalità Job jew OpenShift bħal Tekton jew Knative. Jew għal dan tista' tuża l-GUI konvenjenti ta' OpenShift, li tissejjaħ il-"console tal-web OpenShift".
Ngħaddu għall-istadju li jmiss, Open Data Hub jagħmilha possibbli li jiġu mmaniġġjati pipelines tad-dejta. Għal dan, jintuża oġġett Ceph, li huwa pprovdut bħala ħażna tad-dejta tal-oġġett kompatibbli mal-S3. Apache Spark jippermettilek tistrimja data minn sorsi esterni jew ħażna Ceph S3 integrata, u tippermetti wkoll li twettaq trasformazzjonijiet preliminari tad-data. Apache Kafka jipprovdi ġestjoni avvanzata ta 'pipelines tad-dejta (fejn id-dejta tista' titgħabba diversi drabi, kif ukoll operazzjonijiet ta 'trasformazzjoni, analiżi u persistenza tad-dejta).
Allura, l-analista tad-dejta aċċessa d-dejta u bena mudell. Issa għandu x-xewqa li jaqsam ir-riżultati miksuba ma 'kollegi jew żviluppaturi ta' applikazzjoni, u jipprovdilhom il-mudell tiegħu fuq il-prinċipji ta 'servizz. Dan jeħtieġ server ta 'inferenza, u Open Data Hub għandu tali server, jissejjaħ Seldon u jippermettilek tippubblika l-mudell bħala servizz RESTful.
F'xi punt, hemm diversi mudelli bħal dawn fuq is-server Seldon, u hemm bżonn li jiġi mmonitorjat kif jintużaw. Biex jinkiseb dan, l-Open Data Hub joffri ġabra ta’ metriċi rilevanti u magna ta’ rappurtar ibbażata fuq l-għodod ta’ monitoraġġ ta’ sors miftuħ użati ħafna Prometheus u Grafana. Bħala riżultat, nirċievu feedback biex nissorveljaw l-użu ta 'mudelli AI, partikolarment f'ambjent ta' produzzjoni.
B'dan il-mod, Open Data Hub jipprovdi approċċ bħal cloud matul iċ-ċiklu tal-ħajja kollu tal-AI/ML, mill-aċċess tad-dejta u l-preparazzjoni sa taħriġ u produzzjoni tal-mudelli.
Poġġi dan kollu flimkien
Issa tqum il-mistoqsija kif torganizza dan kollu għall-amministratur ta 'OpenShift. U dan huwa fejn jidħol fis-seħħ operatur Kubernetes speċjali għall-proġetti tal-Open Data Hub.
Dan l-operatur jamministra l-installazzjoni, il-konfigurazzjoni u ċ-ċiklu tal-ħajja tal-proġett Open Data Hub, inkluż l-iskjerament tal-għodod imsemmija hawn fuq bħal JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus u Grafana. Il-proġett Open Data Hub jista 'jinstab fil-console tal-web OpenShift, fit-taqsima tal-operaturi tal-komunità. Għalhekk, l-amministratur ta 'OpenShift jista' jispeċifika li l-proġetti OpenShift korrispondenti huma kategorizzati bħala "proġett Open Data Hub". Dan isir darba. Wara dan, l-analista tad-dejta jidħol fl-ispazju tal-proġett tiegħu permezz tal-console tal-web OpenShift u jara li l-operatur Kubernetes korrispondenti huwa installat u disponibbli għall-proġetti tiegħu. Imbagħad joħloq istanza tal-proġett Open Data Hub bi klikk waħda u immedjatament ikollu aċċess għall-għodod deskritti hawn fuq. U dan kollu jista 'jiġi kkonfigurat f'modalità ta' disponibbiltà għolja u tolleranza għall-ħsarat.
Jekk tixtieq tipprova l-proġett Open Data Hub għalik innifsek, ibda minn . Id-dettalji tekniċi tal-arkitettura tal-Open Data Hub jistgħu jinstabu , pjanijiet ta' żvilupp tal-proġett - . Fil-futur, qed nippjanaw li nimplimentaw integrazzjoni addizzjonali ma 'Kubeflow, insolvu numru ta' kwistjonijiet bir-regolamentazzjoni u s-sigurtà tad-dejta, u norganizzaw ukoll integrazzjoni b'sistemi bbażati fuq ir-regoli Drools u Optaplanner. Esprimi l-opinjoni tiegħek u sir parteċipant fil-proġett possibbli fuq il-paġna .
Biex inġabru: Sfidi serji ta’ skalar qed jipprevjenu lill-organizzazzjonijiet milli jirrealizzaw il-potenzjal sħiħ tal-intelliġenza artifiċjali u t-tagħlim tal-magni. Red Hat OpenShift ilha tintuża b'suċċess biex issolvi problemi simili fl-industrija tas-softwer. Il-proġett Open Data Hub, implimentat fi ħdan il-komunità tal-iżvilupp tas-sors miftuħ, joffri arkitettura ta’ referenza għall-organizzazzjoni ta’ ċiklu sħiħ ta’ operazzjonijiet AI/ML ibbażati fuq is-sħab ibridu OpenShift. Għandna pjan ċar u maħsub għall-iżvilupp ta 'dan il-proġett, u aħna serji dwar il-ħolqien ta' komunità attiva u produttiva madwaru għall-iżvilupp ta 'soluzzjonijiet AI miftuħa fuq il-pjattaforma OpenShift.
Sors: www.habr.com