Tan kap vini an rive, ak entèlijans atifisyèl ak teknoloji aprantisaj machin yo deja itilize avèk siksè pa magazen pi renmen ou, konpayi transpò e menm fèm kodenn.
Men, si yon bagay egziste, Lè sa a, gen deja yon bagay sou li sou entènèt la ... yon pwojè ouvè! Gade kijan Open Data Hub ede ou echèl nouvo teknoloji yo epi evite defi aplikasyon yo.
Ak tout avantaj ki genyen nan entèlijans atifisyèl (AI) ak aprantisaj machin (ML), òganizasyon yo souvan gen difikilte pou dekale teknoloji sa yo. Pwoblèm prensipal yo nan ka sa a yo anjeneral sa ki annapre yo:
- Echanj enfòmasyon ak koperasyon – li prèske enposib pou fè echanj enfòmasyon san efò epi kolabore nan iterasyon rapid.
- Aksè done - pou chak travay li bezwen yo dwe bati yon nouvo ak manyèlman, ki pran anpil tan.
- Aksè sou demann – pa gen okenn fason pou jwenn aksè sou demann nan zouti aprantisaj machin ak platfòm, osi byen ke enfrastrikti enfòmatik.
- Pwodiksyon - modèl yo rete nan etap pwototip epi yo pa mennen nan itilizasyon endistriyèl.
- Swiv epi eksplike rezilta AI – repwodibilite, swiv ak eksplikasyon rezilta AI/ML yo difisil.
Si yo pa adrese, pwoblèm sa yo gen yon enpak negatif sou vitès, efikasite ak pwodiktivite syantifik done ki gen anpil valè yo. Sa a mennen nan fristrasyon yo, desepsyon nan travay yo, ak kòm yon rezilta, atant biznis konsènan AI/ML ale nan fatra.
Responsablite pou rezoud pwoblèm sa yo tonbe sou espesyalis IT yo, ki dwe bay analis done yo - se vre, yon bagay tankou nwaj la. Nan plis detay, nou bezwen yon platfòm ki bay libète chwa epi ki gen aksè pratik, fasil. An menm tan an, li se vit, fasil reconfigurable, évolutive sou demann ak rezistan a echèk. Bati yon platfòm konsa sou teknoloji sous louvri ede evite bloke machann epi kenbe yon avantaj estratejik alontèm an tèm de kontwòl pri.
Kèk ane de sa, yon bagay menm jan an t ap pase nan devlopman aplikasyon e li te mennen nan aparisyon mikwosèvis, nwaj ibrid, automatisation IT, ak pwosesis ajil. Pou fè fas ak tout bagay sa yo, pwofesyonèl IT yo te tounen vin jwenn resipyan, Kubernetes ak nwaj ibrid louvri.
Kounye a ap aplike eksperyans sa a pou reponn defi Al yo. Se poutèt sa pwofesyonèl IT yo ap konstwi platfòm ki baze sou veso, ki pèmèt kreyasyon sèvis AI/ML nan pwosesis ajil, akselere inovasyon, epi yo bati ak yon je sou nwaj ibrid la.
Nou pral kòmanse konstwi yon platfòm konsa ak Red Hat OpenShift, platfòm Kubernetes nan kontenè nou an pou nwaj ibrid la, ki gen yon ekosistèm k ap grandi byen vit nan solisyon ML lojisyèl ak pyès ki nan konpitè (NVIDIA, H2O.ai, Starburst, PerceptiLabs, elatriye). Kèk nan kliyan Red Hat yo, tankou BMW Group, ExxonMobil ak lòt moun, te deja deplwaye chèn zouti ML ak pwosesis DevOps sou tèt platfòm la ak ekosistèm li yo pou pote achitekti ML yo nan pwodiksyon ak akselere travay analis done yo.
Yon lòt rezon ki fè nou te lanse pwojè Open Data Hub la se demontre yon egzanp yon achitekti ki baze sou plizyè pwojè lojisyèl sous louvri epi montre kijan pou aplike tout sik lavi yon solisyon ML ki baze sou platfòm OpenShift la.
Louvri done Hub Pwojè
Sa a se yon pwojè sous louvri ki devlope nan kominote devlopman ki koresponn lan epi aplike yon sik konplè nan operasyon - soti nan chaje ak transfòme premye done yo jenere, fòmasyon ak kenbe yon modèl - lè rezoud pwoblèm AI / ML lè l sèvi avèk resipyan ak Kubernetes sou OpenShift la. platfòm. Pwojè sa a ka konsidere kòm yon aplikasyon referans, yon egzanp sou fason yo bati yon solisyon louvri AI/ML-as-a-service ki baze sou OpenShift ak zouti ki gen rapò ak sous louvri tankou Tensorflow, JupyterHub, Spark ak lòt moun. Li enpòtan pou sonje Red Hat li menm sèvi ak pwojè sa a pou bay sèvis AI/ML li yo. Anplis de sa, OpenShift entegre ak solisyon kle lojisyèl ak pyès ki nan konpitè ML soti nan NVIDIA, Seldon, Starbust ak lòt machann, sa ki fè li pi fasil yo bati ak kouri pwòp sistèm aprantisaj machin ou.
Pwojè Open Data Hub la konsantre sou kategori itilizatè ak ka itilizasyon sa yo:
- Analis done ki bezwen yon solisyon pou mete ann aplikasyon pwojè ML, òganize tankou yon nwaj ak fonksyon oto-sèvis.
- Analis done ki bezwen chwa maksimòm nan dènye zouti ak platfòm AI/ML sous louvri.
- Done analis ki bezwen aksè a sous done lè modèl fòmasyon.
- Analis done ki bezwen aksè nan resous informatique (CPU, GPU, memwa).
- Data Analyst ki bezwen kapasite pou kolabore ak pataje travay ak kòlèg li yo, resevwa fidbak, epi fè amelyorasyon nan iterasyon rapid.
- Yon analis done ki vle kominike avèk devlopè (ak ekip devops) pou modèl ML li yo ak rezilta travay li yo antre nan pwodiksyon an.
- Enjenyè done ki bezwen bay yon analis done aksè a yon varyete sous done pandan y ap konfòme yo ak kondisyon regilasyon ak sekirite.
- Administratè/operatè sistèm IT ki mande kapasite pou kontwole sik lavi (enstalasyon, konfigirasyon, ajou) san efò konpozan ak teknoloji sous louvri. Nou bezwen tou zouti jesyon ak quota ki apwopriye.
Pwojè Open Data Hub la rasanble yon seri zouti sous louvri pou aplike yon sik konplè operasyon AI/ML. Yo itilize Jupyter Kaye isit la kòm zouti prensipal k ap travay pou analiz done. Zouti a lajman popilè pami syantis done yo jodi a, epi Open Data Hub pèmèt yo kreye ak jere espas travay Jupyter Notebook fasil lè l sèvi avèk JupyterHub entegre. Anplis de kreye ak enpòte kaye Jupyter, pwojè Open Data Hub gen ladan tou yon kantite kaye ki pare sou fòm yon Bibliyotèk AI.
Bibliyotèk sa a se yon koleksyon konpozan aprantisaj machin sous louvri ak solisyon pou senaryo komen ki senplifye pwototip rapid. JupyterHub entegre ak modèl aksè RBAC OpenShift a, ki pèmèt ou itilize kont OpenShift ki egziste deja epi aplike yon sèl enskripsyon. Anplis de sa, JupyterHub ofri yon koòdone itilizatè-zanmitay ki rele spawner, atravè ki itilizatè a ka fasilman konfigirasyon kantite resous enfòmatik (nwayo CPU, memwa, GPU) pou kaye Jupyter chwazi a.
Apre analis done a kreye ak konfigirasyon laptop la, tout lòt enkyetid sou li yo pran swen nan pwogram Kubernetes la, ki se yon pati nan OpenShift. Itilizatè yo ka sèlman fè eksperyans yo, sove ak pataje rezilta yo nan travay yo. Anplis de sa, itilizatè avanse yo ka jwenn aksè dirèkteman nan koki OpenShift CLI dirèkteman nan kaye Jupyter pou ogmante primitif Kubernetes tankou fonksyonalite Job oswa OpenShift tankou Tekton oswa Knative. Oswa pou sa ou ka itilize entèfas pratik OpenShift a, ki rele "OpenShift web konsole".
Ale nan pwochen etap la, Open Data Hub fè li posib pou jere tiyo done yo. Pou sa, yo itilize yon objè Ceph, ki bay kòm yon depo done objè ki konpatib S3. Apache Spark pèmèt ou kouran done ki soti nan sous ekstèn oswa bati-an Ceph S3 depo, epi tou li pèmèt ou fè transfòmasyon done preliminè. Apache Kafka bay jesyon avanse nan tiyo done (kote done yo ka chaje plizyè fwa, osi byen ke transfòmasyon done, analiz, ak operasyon pèsistans).
Se konsa, analis done a te jwenn aksè nan done yo epi li bati yon modèl. Koulye a, li gen yon dezi yo pataje rezilta yo jwenn ak kòlèg oswa devlopè aplikasyon, epi bay yo ak modèl li sou prensip yo nan yon sèvis. Sa a mande pou yon sèvè enferans, ak Open Data Hub gen yon sèvè konsa, li rele Seldon epi li pèmèt ou pibliye modèl la kòm yon sèvis RESTful.
Nan kèk pwen, gen plizyè modèl sa yo sou sèvè Seldon la, epi gen yon bezwen kontwole fason yo itilize yo. Pou reyalize sa, Open Data Hub ofri yon koleksyon mezi ki enpòtan ak yon motè rapò ki baze sou zouti siveyans sous ouvè ki lajman itilize Prometheus ak Grafana. Kòm yon rezilta, nou resevwa fidbak pou kontwole itilizasyon modèl AI, patikilyèman nan yon anviwònman pwodiksyon.
Nan fason sa a, Open Data Hub bay yon apwòch ki sanble ak nwaj pandan tout sik lavi AI/ML, soti nan aksè ak preparasyon done jiska fòmasyon ak pwodiksyon modèl.
Mete li tout ansanm
Koulye a, kesyon an rive ki jan yo òganize tout bagay sa yo pou administratè a OpenShift. Epi sa a se kote yon operatè espesyal Kubernetes pou pwojè Open Data Hub antre nan jwèt.
Operatè sa a jere enstalasyon, konfigirasyon ak sik lavi pwojè Open Data Hub la, ki gen ladan deplwaman zouti yo mansyone pi wo a tankou JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus ak Grafana. Ou ka jwenn pwojè Open Data Hub la nan konsole entènèt OpenShift, nan seksyon operatè kominotè yo. Kidonk, administratè OpenShift la ka presize pwojè OpenShift korespondan yo klase kòm "Open Data Hub pwojè". Sa a se fè yon fwa. Apre sa, analis done a konekte nan espas pwojè li a atravè konsole entènèt OpenShift la epi li wè operatè Kubernetes ki koresponn lan enstale epi ki disponib pou pwojè li yo. Lè sa a, li kreye yon egzanp pwojè Open Data Hub ak yon sèl klike sou epi imedyatman gen aksè a zouti ki dekri pi wo a. Ak tout bagay sa yo ka configuré nan disponiblite segondè ak mòd tolerans fay.
Si ou ta renmen eseye pwojè Open Data Hub pou tèt ou, kòmanse avèk yo . Ou ka jwenn detay teknik sou achitekti Open Data Hub la , plan devlopman pwojè - . Nan lavni an, nou planifye aplike entegrasyon adisyonèl ak Kubeflow, rezoud yon kantite pwoblèm ak règleman done ak sekirite, epi tou òganize entegrasyon ak sistèm ki baze sou règ Drools ak Optaplanner. Eksprime opinyon w epi vin yon patisipan nan pwojè a posib sou paj la .
Pou fè yon rezime: Gwo defi dekale ap anpeche òganizasyon reyalize tout potansyèl entèlijans atifisyèl ak aprantisaj machin. Red Hat OpenShift depi lontan te itilize avèk siksè pou rezoud pwoblèm ki sanble nan endistri lojisyèl an. Pwojè Open Data Hub, ki aplike nan kominote devlopman sous louvri, ofri yon achitekti referans pou òganize yon sik konplè operasyon AI/ML ki baze sou nwaj ibrid OpenShift la. Nou gen yon plan klè ak reflechi pou devlopman pwojè sa a, epi nou seryezman sou kreye yon kominote aktif ak fwitye alantou li pou devlope solisyon AI ouvè sou platfòm OpenShift la.
Sous: www.habr.com