Lub neej yav tom ntej tau los txog, thiab kev txawj ntse txawj ntse thiab tshuab kev kawm txuj ci twb tau ua tiav los ntawm koj lub khw muag khoom nyiam, cov tuam txhab thauj khoom thiab txawm tias qaib ntxhw ua liaj ua teb.
Thiab yog hais tias muaj ib yam dab tsi tshwm sim, ces muaj ib yam dab tsi txog nws nyob rau hauv Internet ... ib tug qhib project! Saib yuav ua li cas Qhib Cov Ntaub Ntawv Hub pab koj ntsuas cov thev naus laus zis tshiab thiab zam kev siv cov teeb meem.
Nrog rau tag nrho cov txiaj ntsig ntawm kev txawj ntse (AI) thiab kev kawm tshuab (ML), cov koom haum feem ntau muaj kev nyuaj rau kev ntsuas cov thev naus laus zis no. Cov teeb meem tseem ceeb hauv qhov no feem ntau yog cov hauv qab no:
- Kev sib pauv ntaub ntawv thiab kev koom tes - Nws yuav luag tsis tuaj yeem sib pauv cov ntaub ntawv sib zog thiab sib koom tes hauv kev rov ua kom nrawm.
- Cov ntaub ntawv nkag - rau txhua txoj haujlwm nws yuav tsum tau tsim dua tshiab thiab manually, uas yuav siv sijhawm ntau heev.
- Nkag mus raws li qhov xav tau - tsis muaj txoj hauv kev kom tau raws li qhov xav tau nkag mus rau cov cuab yeej kawm tshuab thiab lub platform, nrog rau kev suav nrog cov cuab yeej cuab tam.
- Ntau lawm - cov qauv tseem nyob ntawm theem qauv thiab tsis raug coj mus rau kev lag luam.
- Taug qab thiab piav qhia AI cov txiaj ntsig - Kev rov tsim dua tshiab, taug qab thiab piav qhia ntawm AI / ML cov txiaj ntsig yog qhov nyuaj.
Sab laug tsis kho, cov teeb meem no cuam tshuam tsis zoo rau kev ceev, kev ua haujlwm, thiab kev tsim khoom ntawm cov kws tshawb fawb cov ntaub ntawv tseem ceeb. Qhov no ua rau lawv ntxhov siab, poob siab hauv lawv txoj haujlwm, thiab vim li ntawd, kev cia siab rau kev lag luam txog AI / ML mus pov tseg.
Lub luag haujlwm ntawm kev daws cov teeb meem no poob rau IT cov kws tshaj lij, uas yuav tsum tau muab cov ntaub ntawv soj ntsuam nrog - qhov yog, qee yam zoo li huab. Hauv kev nthuav dav ntxiv, peb xav tau lub platform uas muab kev ywj pheej xaiv thiab muaj kev yooj yim, nkag tau yooj yim. Nyob rau tib lub sij hawm, nws yog ceev, yooj yim reconfigurable, scalable ntawm kev thov thiab resistant rau tsis ua hauj lwm. Kev tsim lub platform zoo li no ntawm cov thev naus laus zis qhib pab kom tsis txhob muaj tus neeg muag khoom kaw-hauv thiab tswj kom muaj txiaj ntsig zoo rau lub sijhawm ntev ntawm kev tswj hwm tus nqi.
Ob peb xyoos dhau los, ib yam dab tsi zoo sib xws tau tshwm sim hauv daim ntawv thov kev txhim kho thiab ua rau muaj kev tshwm sim ntawm microservices, hybrid huab, IT automation, thiab cov txheej txheem agile. Txhawm rau tiv nrog txhua qhov no, IT cov kws tshaj lij tau tig mus rau cov thawv ntim khoom, Kubernetes thiab qhib huab huab huab.
Qhov kev paub no tam sim no tau siv los teb Al cov kev cov nyom. Tias yog vim li cas cov kws tshaj lij IT tau tsim cov platforms uas yog lub thawv ntim khoom, pab tsim cov kev pabcuam AI / ML hauv cov txheej txheem nrawm, nrawm nrawm, thiab tau tsim nrog lub qhov muag mus rau huab huab hybrid.
Peb mam li pib tsim lub platform xws li Red Hat OpenShift, peb lub thawv Kubernetes platform rau cov huab sib xyaw, uas muaj kev loj hlob sai ntawm cov software thiab kho vajtse ML kev daws teeb meem (NVIDIA, H2O.ai, Starburst, PerceptiLabs, thiab lwm yam). Qee tus Red Hat cov neeg siv khoom, xws li BMW Group, ExxonMobil thiab lwm tus, twb tau xa cov khoom ntim ML toolchains thiab DevOps cov txheej txheem rau saum lub platform thiab nws cov ecosystem coj lawv cov ML architectures rau kev tsim khoom thiab ua kom cov ntaub ntawv soj ntsuam cov ntaub ntawv.
Lwm qhov laj thawj uas peb tau tsim qhov Open Data Hub project yog los ua piv txwv ntawm kev tsim qauv raws li ntau qhov chaw qhib software thiab qhia yuav ua li cas siv tag nrho lub neej voj voog ntawm ML kev daws teeb meem raws li OpenShift platform.
Qhib Data Hub Project
Qhov no yog qhov qhib qhov project uas tau tsim nyob rau hauv lub zej zog kev sib raug zoo thiab siv tag nrho lub voj voog ntawm kev ua haujlwm - los ntawm kev thauj khoom thiab hloov cov ntaub ntawv thawj zaug rau kev tsim, kev cob qhia thiab tswj tus qauv - thaum daws teeb meem AI / ML siv ntim thiab Kubernetes ntawm OpenShift platform. Qhov project no tuaj yeem suav tias yog kev siv siv, piv txwv ntawm yuav ua li cas los tsim kev qhib AI / ML-as-a-kev pabcuam raws li OpenShift thiab lwm yam cuab yeej qhib xws li Tensorflow, JupyterHub, Spark thiab lwm yam. Nws yog ib qho tseem ceeb kom nco ntsoov tias Red Hat nws tus kheej siv qhov project no los muab nws cov kev pabcuam AI / ML. Tsis tas li ntawd, OpenShift koom nrog cov software tseem ceeb thiab kho vajtse ML cov kev daws teeb meem los ntawm NVIDIA, Seldon, Starbust thiab lwm tus neeg muag khoom, ua kom yooj yim rau kev tsim thiab khiav koj tus kheej lub tshuab kev kawm.
Txoj Haujlwm Qhib Cov Ntaub Ntawv Hub yog tsom rau cov pawg hauv qab no ntawm cov neeg siv thiab siv cov xwm txheej:
- Cov kws tshuaj ntsuam xyuas cov ntaub ntawv uas xav tau kev daws teeb meem rau kev siv ML cov haujlwm, koom nrog zoo li huab nrog kev pabcuam tus kheej.
- Cov kws tshuaj ntsuam xyuas cov ntaub ntawv uas xav tau kev xaiv siab tshaj plaws los ntawm qhov tseeb qhib qhov AI / ML cov cuab yeej thiab cov platforms.
- Cov kws tshuaj ntsuam xyuas cov ntaub ntawv uas xav tau kev nkag mus rau cov ntaub ntawv qhov chaw thaum cov qauv kev cob qhia.
- Cov kws tshuaj ntsuam xyuas cov ntaub ntawv uas xav tau kev nkag mus rau suav cov peev txheej (CPU, GPU, nco).
- Tus kws tshuaj ntsuam xyuas cov ntaub ntawv uas xav tau lub peev xwm los sib koom tes thiab sib koom ua haujlwm nrog cov npoj yaig, tau txais kev tawm tswv yim, thiab txhim kho kev rov ua haujlwm sai.
- Tus kws tshuaj ntsuam xyuas cov ntaub ntawv uas xav cuam tshuam nrog cov neeg tsim khoom (thiab pab pawg devops) kom nws cov qauv ML thiab cov txiaj ntsig ua haujlwm mus rau hauv kev tsim khoom.
- Cov kws tshaj lij cov ntaub ntawv uas yuav tsum tau muab tus kws tshuaj ntsuam xyuas cov ntaub ntawv nkag mus rau ntau yam ntaub ntawv qhov chaw thaum ua raws li cov cai tswj hwm thiab kev ruaj ntseg.
- IT system tus thawj coj / tus neeg ua haujlwm uas xav tau lub peev xwm los tswj lub neej tsis muaj zog (kev teeb tsa, teeb tsa, hloov kho) ntawm cov khoom qhib thiab cov thev naus laus zis. Peb kuj xav tau kev tswj kom tsim nyog thiab cov cuab yeej quota.
Txoj Haujlwm Qhib Cov Ntaub Ntawv Hub coj los ua ke ntau yam ntawm cov cuab yeej qhib los siv tag nrho lub voj voog ntawm AI / ML kev ua haujlwm. Jupyter Notebook yog siv ntawm no los ua cov cuab yeej ua haujlwm tseem ceeb rau kev txheeb xyuas cov ntaub ntawv. Cov cuab yeej siv tau nrov ntawm cov kws tshawb fawb cov ntaub ntawv niaj hnub no, thiab Qhib Cov Ntaub Ntawv Hub tso cai rau lawv yooj yim tsim thiab tswj Jupyter Notebook workspaces siv JupyterHub built-in. Ntxiv rau kev tsim thiab xa cov phau ntawv Jupyter, Open Data Hub project kuj muaj ntau phau ntawv npaj ua tiav hauv daim ntawv ntawm AI Library.
Lub tsev qiv ntawv no yog ib qho kev sau ntawm cov khoom siv qhib qhov kev kawm tshuab thiab cov kev daws teeb meem rau cov xwm txheej uas ua kom yooj yim prototyping sai. JupyterHub tau koom ua ke nrog OpenShift's RBAC tus qauv nkag, uas tso cai rau koj siv cov nyiaj OpenShift uas twb muaj lawm thiab siv ib qho kev kos npe rau. Tsis tas li ntawd, JupyterHub muaj cov neeg siv-phooj ywg interface hu ua spawner, los ntawm qhov uas tus neeg siv tau yooj yim teeb tsa tus nqi ntawm cov khoom siv hauv computer (CPU cores, nco, GPU) rau Jupyter Notebook.
Tom qab tus kws tshuaj ntsuam xyuas cov ntaub ntawv tsim thiab teeb tsa lub laptop, tag nrho lwm yam kev txhawj xeeb txog nws tau saib xyuas los ntawm Kubernetes teem caij, uas yog ib feem ntawm OpenShift. Cov neeg siv tsuas tuaj yeem ua tiav lawv cov kev sim, txuag thiab qhia cov txiaj ntsig ntawm lawv txoj haujlwm. Tsis tas li ntawd, cov neeg siv qib siab tuaj yeem nkag mus rau OpenShift CLI plhaub ncaj qha los ntawm Jupyter phau ntawv sau kom siv Kubernetes primitives xws li Txoj Haujlwm lossis OpenShift kev ua haujlwm xws li Tekton lossis Knative. Los yog rau qhov no koj tuaj yeem siv OpenShift qhov yooj yim GUI, uas yog hu ua "OpenShift web console".
Tsiv mus rau theem tom ntej, Qhib Cov Ntaub Ntawv Hub ua rau nws muaj peev xwm tswj cov kav dej. Rau qhov no, ib qho khoom siv Ceph, uas yog muab los ua S3-tshaj cov ntaub ntawv khaws cia. Apache Spark tso cai rau koj mus kwj cov ntaub ntawv los ntawm lwm qhov chaw los yog built-in Ceph S3 cia, thiab tseem tso cai rau koj los ua cov ntaub ntawv ua ntej hloov pauv. Apache Kafka muab kev tswj hwm zoo ntawm cov kav dej (qhov twg cov ntaub ntawv tuaj yeem thauj khoom ntau zaus, nrog rau cov ntaub ntawv hloov pauv, kev tshuaj xyuas, thiab kev ua haujlwm tsis tu ncua).
Yog li, tus kws tshuaj ntsuam xyuas cov ntaub ntawv nkag mus rau cov ntaub ntawv thiab tsim ib tus qauv. Tam sim no nws muaj lub siab xav qhia cov txiaj ntsig tau txais nrog cov npoj yaig lossis cov neeg tsim khoom siv, thiab muab lawv cov qauv ntawm cov ntsiab lus ntawm kev pabcuam. Qhov no yuav tsum muaj cov neeg siv kev xav, thiab Qhib Cov Ntaub Ntawv Hub muaj xws li cov neeg rau zaub mov, nws hu ua Seldon thiab tso cai rau koj tshaj tawm cov qauv ua RESTful kev pabcuam.
Qee lub sij hawm, muaj ntau yam qauv ntawm Seldon server, thiab yuav tsum tau saib xyuas lawv siv li cas. Txhawm rau ua tiav qhov no, Qhib Cov Ntaub Ntawv Hub muab cov ntaub ntawv sau txog cov kev ntsuas cuam tshuam thiab kev qhia lub cav raws li kev siv dav dav qhib cov cuab yeej saib xyuas Prometheus thiab Grafana. Yog li ntawd, peb tau txais kev tawm tswv yim los saib xyuas kev siv AI qauv, tshwj xeeb tshaj yog nyob rau hauv ib puag ncig tsim khoom.
Nyob rau hauv txoj kev no, Qhib Cov Ntaub Ntawv Hub muab cov huab zoo li txoj hauv kev thoob plaws tag nrho AI / ML lifecycle, los ntawm cov ntaub ntawv nkag mus thiab npaj mus rau cov qauv kev cob qhia thiab kev tsim khoom.
Muab tag nrho ua ke
Tam sim no cov lus nug tshwm sim yuav ua li cas npaj txhua qhov no rau OpenShift tus thawj coj. Thiab qhov no yog qhov tshwj xeeb Kubernetes tus neeg teb xov tooj rau Open Data Hub tej yaam num los ua si.
Tus neeg teb xov tooj no tswj hwm kev teeb tsa, teeb tsa thiab lub neej voj voog ntawm Open Data Hub qhov project, suav nrog kev xa tawm ntawm cov cuab yeej hais saum toj no xws li JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus thiab Grafana. Txoj haujlwm Qhib Cov Ntaub Ntawv Hub tuaj yeem pom nyob rau hauv OpenShift lub vev xaib console, hauv ntu cov neeg ua haujlwm hauv zej zog. Yog li, tus thawj coj ntawm OpenShift tuaj yeem qhia meej tias cov haujlwm OpenShift sib raug yog categorized li "Open Data Hub project". Qhov no ua tiav ib zaug. Tom qab qhov no, tus kws tshuaj ntsuam xyuas cov ntaub ntawv nkag mus rau hauv nws qhov project qhov chaw los ntawm OpenShift lub vev xaib thiab pom tias tus neeg siv Kubernetes tau teeb tsa thiab muaj rau nws cov haujlwm. Tom qab ntawd nws tsim qhov Open Data Hub qhov project piv txwv nrog ib qho nyem thiab tam sim ntawd nkag mus rau cov cuab yeej tau piav qhia saum toj no. Thiab tag nrho cov no tuaj yeem teeb tsa nyob rau hauv siab muaj thiab ua txhaum kev zam hom.
Yog tias koj xav sim Open Data Hub qhov project rau koj tus kheej, pib nrog . Cov ncauj lus qhia ntxaws ntawm Open Data Hub architecture tuaj yeem pom , project development plan β . Nyob rau hauv lub neej yav tom ntej, peb npaj yuav siv ntxiv kev koom ua ke nrog Kubeflow, daws ib tug xov tooj ntawm cov teeb meem nrog cov ntaub ntawv kev cai thiab kev ruaj ntseg, thiab kuj npaj kev koom ua ke nrog cov kev cai-raws li systems Drools thiab Optaplanner. Qhia koj lub tswv yim thiab dhau los ua tus koom nrog hauv qhov project ua tau ntawm nplooj ntawv .
Kom rov hais dua: Cov kev sib tw loj loj yog tiv thaiv cov koom haum los ntawm kev paub txog tag nrho cov peev xwm ntawm kev txawj ntse thiab kev kawm tshuab. Red Hat OpenShift tau ntev tau siv los daws cov teeb meem zoo sib xws hauv kev lag luam software. Open Data Hub qhov project, siv nyob rau hauv qhib qhov chaw tsim kho zej zog, muaj cov ntaub ntawv siv rau kev teeb tsa lub voj voog tag nrho ntawm AI / ML kev ua haujlwm raws li OpenShift hybrid huab. Peb muaj lub tswv yim meej thiab kev xav rau kev txhim kho ntawm qhov project no, thiab peb mob siab txog kev tsim kom muaj lub zej zog muaj txiaj ntsig thiab muaj txiaj ntsig nyob ib puag ncig nws los tsim cov kev daws teeb meem AI ntawm OpenShift platform.
Tau qhov twg los: www.hab.com