Miabot na ang kaugmaon, ug ang artipisyal nga paniktik ug teknolohiya sa pagkat-on sa makina malampuson nga gigamit sa imong paborito nga mga tindahan, mga kompanya sa transportasyon ug bisan mga umahan sa pabo.
Ug kung adunay usa ka butang, nan adunay usa ka butang bahin niini sa Internet ... usa ka bukas nga proyekto! Tan-awa kung giunsa pagtabang sa Open Data Hub ang pagsukod sa mga bag-ong teknolohiya ug paglikay sa mga hagit sa pagpatuman.
Uban sa tanang bentaha sa artificial intelligence (AI) ug machine learning (ML), ang mga organisasyon kasagarang maglisod sa pag-scale niini nga mga teknolohiya. Ang mga nag-unang problema niini nga kaso kasagaran mao ang mosunod:
- Pagbayloay ug kooperasyon sa impormasyon β halos imposible ang pagbayloay sa impormasyon nga walay kahago ug pagtinabangay sa paspas nga mga pag-uli.
- Pag-access sa datos - alang sa matag buluhaton kinahanglan kini nga matukod pag-usab ug mano-mano, nga nagkinahanglan og daghang oras.
- Pag-access sa panginahanglan β walay paagi aron makakuha sa on-demand nga access sa machine learning tools ug plataporma, ingon man computing infrastructure.
- Paghimo - Ang mga modelo nagpabilin sa prototype nga yugto ug wala gidala sa industriyal nga paggamit.
- Pagsubay ug pagpatin-aw sa mga resulta sa AI - Ang reproducibility, pagsubay ug pagpatin-aw sa mga resulta sa AI/ML lisud.
Kung wala masulbad, kini nga mga problema negatibo nga nakaapekto sa katulin, kahusayan, ug pagkaproduktibo sa mga bililhon nga siyentipiko sa datos. Nagdala kini sa ilang kasagmuyo, kasagmuyo sa ilang trabaho, ug ingon usa ka sangputanan, ang mga gilauman sa negosyo bahin sa AI / ML nawala.
Ang responsibilidad sa pagsulbad sa kini nga mga problema naa sa mga espesyalista sa IT, nga kinahanglan maghatag mga analista sa datos - husto kana, sama sa panganod. Sa mas detalyado, kinahanglan namon ang usa ka plataporma nga naghatag kagawasan sa pagpili ug adunay kombenyente, dali nga pag-access. Sa samang higayon, kini paspas, dali nga ma-reconfigurable, scalable sa panginahanglan ug makasugakod sa mga kapakyasan. Ang pagtukod sa ingon nga plataporma sa bukas nga gigikanan nga mga teknolohiya makatabang sa paglikay sa pag-lock sa vendor ug pagpadayon sa usa ka dugay nga estratehikong bentaha sa mga termino sa pagkontrol sa gasto.
Pipila ka tuig ang milabay, adunay susama nga nahitabo sa pagpalambo sa aplikasyon ug misangpot sa pagtungha sa mga microservice, hybrid clouds, IT automation, ug agile nga mga proseso. Aron masagubang kining tanan, ang mga propesyonal sa IT midangop sa mga sudlanan, Kubernetes ug bukas nga hybrid nga mga panganod.
Kini nga kasinatian gigamit na karon aron matubag ang mga hagit ni Al. Mao kana ang hinungdan nga ang mga propesyonal sa IT nagtukod og mga plataporma nga nakabase sa sulud, nga makahimo sa paghimo sa mga serbisyo sa AI/ML sulod sa mga agile nga proseso, pagpadali sa kabag-ohan, ug gitukod nga adunay usa ka mata sa hybrid nga panganod.
Magsugod kami sa paghimo sa ingon nga plataporma gamit ang Red Hat OpenShift, among gisudlan nga Kubernetes nga plataporma alang sa hybrid nga panganod, nga adunay paspas nga nagtubo nga ekosistema sa software ug hardware nga mga solusyon sa ML (NVIDIA, H2O.ai, Starburst, PerceptiLabs, ug uban pa). Ang pipila sa mga kustomer sa Red Hat, sama sa BMW Group, ExxonMobil ug uban pa, nag-deploy na sa containerized ML toolchain ug mga proseso sa DevOps sa ibabaw sa plataporma ug sa ekosistema niini aron madala ang ilang ML nga mga arkitektura sa produksyon ug mapadali ang trabaho sa mga data analyst.
Ang laing rason nga among gilusad ang Open Data Hub nga proyekto mao ang pagpakita og ehemplo sa usa ka arkitektura nga gibase sa daghang open source software projects ug pagpakita kon unsaon pagpatuman ang tibuok kinabuhi sa usa ka solusyon sa ML base sa OpenShift nga plataporma.
Buksan ang Proyekto sa Data Hub
Kini usa ka bukas nga gigikanan nga proyekto nga naugmad sulod sa katugbang nga komunidad sa pag-uswag ug nagpatuman sa usa ka tibuuk nga siklo sa mga operasyon - gikan sa pagkarga ug pagbag-o sa inisyal nga datos hangtod sa paghimo, pagbansay ug pagpadayon sa usa ka modelo - kung gisulbad ang mga problema sa AI / ML gamit ang mga sudlanan ug Kubernetes sa OpenShift plataporma. Kini nga proyekto mahimong isipon nga usa ka reperensiya nga pagpatuman, usa ka panig-ingnan kung giunsa paghimo ang usa ka bukas nga solusyon sa AI / ML-as-a-serbisyo nga gibase sa OpenShift ug mga may kalabutan nga open source nga mga himan sama sa Tensorflow, JupyterHub, Spark ug uban pa. Importante nga hinumdoman nga ang Red Hat mismo ang naggamit niini nga proyekto aron mahatagan ang mga serbisyo sa AI/ML niini. Dugang pa, ang OpenShift nag-uban sa mga yawe nga software ug hardware nga mga solusyon sa ML gikan sa NVIDIA, Seldon, Starbust ug uban pang mga vendor, nga nagpadali sa paghimo ug pagpadagan sa imong kaugalingon nga mga sistema sa pagkat-on sa makina.
Ang proyekto sa Open Data Hub naka-focus sa mosunod nga mga kategorya sa mga tiggamit ug mga kaso sa paggamit:
- Ang analista sa datos nga nanginahanglan usa ka solusyon alang sa pagpatuman sa mga proyekto sa ML, nga giorganisar sama sa usa ka panganod nga adunay mga gimbuhaton sa pagserbisyo sa kaugalingon.
- Analista sa Data nga nanginahanglan labing kadaghan nga kapilian gikan sa pinakabag-o nga open source AI/ML nga mga himan ug plataporma.
- Ang analista sa datos nga nanginahanglan og access sa mga gigikanan sa datos kung ang mga modelo sa pagbansay.
- Analista sa datos nga nanginahanglan og access sa mga kapanguhaan sa kompyuter (CPU, GPU, memorya).
- Ang Data Analyst nga nanginahanglan ug abilidad sa pagtinabangay ug pagpaambit sa trabaho sa mga kauban, makadawat og feedback, ug paghimo og mga pagpaayo sa paspas nga pag-uli.
- Usa ka data analyst nga gustong makig-uban sa mga developers (ug devops teams) aron ang iyang mga modelo sa ML ug mga resulta sa trabaho masulod sa produksyon.
- Inhenyero sa datos nga kinahanglan maghatag usa ka analista sa datos nga adunay access sa lainlaing mga gigikanan sa datos samtang nagsunod sa mga kinahanglanon sa regulasyon ug seguridad.
- IT system administrator/operator nga nanginahanglan ug abilidad nga dali nga makontrol ang lifecycle (pag-install, pag-configure, pag-upgrade) sa mga sangkap ug teknolohiya nga bukas nga gigikanan. Nagkinahanglan usab kami og tukma nga pagdumala ug mga himan sa quota.
Ang proyekto sa Open Data Hub naghiusa sa usa ka lainlaing mga himan nga bukas nga gigikanan aron ipatuman ang usa ka tibuuk nga siklo sa mga operasyon sa AI/ML. Ang Jupyter Notebook gigamit dinhi isip nag-unang himan sa pagtrabaho alang sa data analytics. Ang toolkit kaylap nga sikat sa mga data scientist karon, ug ang Open Data Hub nagtugot kanila sa paghimo ug pagdumala sa mga workspace sa Jupyter Notebook gamit ang built-in nga JupyterHub. Gawas pa sa paghimo ug pag-import sa mga notebook sa Jupyter, ang proyekto sa Open Data Hub naglangkob usab sa daghang mga andam nga notebook sa porma sa usa ka AI Library.
Kini nga librarya usa ka koleksyon sa bukas nga gigikanan nga mga sangkap sa pagkat-on sa makina ug mga solusyon alang sa kasagaran nga mga senaryo nga nagpasimple sa paspas nga prototyping. Ang JupyterHub gihiusa sa OpenShift's RBAC access model, nga nagtugot kanimo sa paggamit sa kasamtangan nga OpenShift nga mga account ug pagpatuman sa single sign-on. Dugang pa, ang JupyterHub nagtanyag ug user-friendly nga user interface nga gitawag ug spawner, diin ang user dali nga ma-configure ang gidaghanon sa mga kapanguhaan sa pag-compute (CPU cores, memory, GPU) para sa pinili nga Jupyter Notebook.
Human ang data analyst makamugna ug ma-configure ang laptop, ang tanang ubang mga kabalaka bahin niini giatiman sa Kubernetes scheduler, nga kabahin sa OpenShift. Ang mga tiggamit makahimo lamang sa ilang mga eksperimento, makatipig ug makapaambit sa mga resulta sa ilang trabaho. Dugang pa, ang mga advanced nga tiggamit direkta nga maka-access sa OpenShift CLI shell direkta gikan sa Jupyter notebooks aron magamit ang mga primitibo sa Kubernetes sama sa Job o OpenShift functionality sama sa Tekton o Knative. O alang niini mahimo nimong gamiton ang kombenyente nga GUI sa OpenShift, nga gitawag nga "OpenShift web console".
Ang pagpadayon sa sunod nga yugto, ang Open Data Hub nagpaposible sa pagdumala sa mga pipeline sa datos. Alang niini, usa ka Ceph nga butang ang gigamit, nga gihatag ingon usa ka S3-compatible nga butang nga pagtipig sa datos. Gitugotan ka sa Apache Spark nga mag-stream sa mga datos gikan sa gawas nga mga gigikanan o built-in nga pagtipig sa Ceph S3, ug gitugotan ka usab nga maghimo mga pasiuna nga pagbag-o sa datos. Naghatag ang Apache Kafka og abante nga pagdumala sa mga pipeline sa datos (diin ang mga datos mahimong ma-load sa daghang mga higayon, ingon man usab sa pagbag-o sa datos, pagtuki, ug mga operasyon sa pagpadayon).
Busa, ang data analyst nag-access sa datos ug nagtukod og usa ka modelo. Karon siya adunay tinguha nga ipaambit ang mga resulta nga nakuha sa mga kauban o mga developer sa aplikasyon, ug paghatag kanila sa iyang modelo sa mga prinsipyo sa usa ka serbisyo. Nagkinahanglan kini og inference server, ug ang Open Data Hub adunay ingon nga server, kini gitawag nga Seldon ug nagtugot kanimo sa pagmantala sa modelo isip usa ka RESTful nga serbisyo.
Sa pila ka punto, adunay daghang ingon nga mga modelo sa server sa Seldon, ug kinahanglan nga bantayan kung giunsa kini gigamit. Aron makab-ot kini, ang Open Data Hub nagtanyag og usa ka koleksyon sa mga may kalabutan nga metrics ug usa ka reporting engine base sa kaylap nga gigamit nga open source monitoring tools Prometheus ug Grafana. Ingon usa ka sangputanan, nakadawat kami og feedback aron mamonitor ang paggamit sa mga modelo sa AI, labi na sa usa ka palibot sa produksiyon.
Niining paagiha, ang Open Data Hub naghatag ug cloud-like approach sa tibuok AI/ML lifecycle, gikan sa data access ug preparasyon ngadto sa model training ug production.
Paghiusa sa tanan
Karon mitungha ang pangutana kon unsaon pag-organisar kining tanan alang sa tagdumala sa OpenShift. Ug kini diin ang usa ka espesyal nga operator sa Kubernetes alang sa mga proyekto sa Open Data Hub moabut.
Kini nga operator nagdumala sa pag-instalar, pag-configure ug lifecycle sa proyekto sa Open Data Hub, lakip ang pag-deploy sa nahisgutang mga himan sama sa JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus ug Grafana. Ang proyekto sa Open Data Hub makita sa OpenShift web console, sa seksyon sa mga operator sa komunidad. Sa ingon, ang administrador sa OpenShift mahimong magtino nga ang katugbang nga mga proyekto sa OpenShift gi-categorize nga "Proyekto sa Open Data Hub". Kini gihimo kausa. Human niini, ang data analyst mo-log in sa iyang project space pinaagi sa OpenShift web console ug makita nga ang katugbang nga Kubernetes operator na-install ug magamit alang sa iyang mga proyekto. Naghimo siya usa ka pananglitan sa proyekto sa Open Data Hub nga adunay usa ka pag-klik ug dayon adunay access sa mga himan nga gihulagway sa ibabaw. Ug kining tanan mahimong ma-configure sa taas nga pagkaanaa ug fault tolerance mode.
Kung gusto nimong sulayan ang proyekto sa Open Data Hub para sa imong kaugalingon, sugdi sa . Makita ang teknikal nga mga detalye sa arkitektura sa Open Data Hub , mga plano sa pagpalambo sa proyekto - . Sa umaabot, nagplano kami nga ipatuman ang dugang nga panagsama sa Kubeflow, pagsulbad sa daghang mga isyu sa regulasyon ug seguridad sa datos, ug pag-organisar usab sa panagsama sa mga sistema nga gibase sa mga lagda Drools ug Optaplanner. Ipahayag ang imong opinyon ug mahimong partisipante sa proyekto pwede sa page .
Sa pag-recap: Ang grabe nga mga hagit sa pag-scale nagpugong sa mga organisasyon sa pagkaamgo sa tibuuk nga potensyal sa artificial intelligence ug pagkat-on sa makina. Ang Red Hat OpenShift dugay na nga malampuson nga gigamit sa pagsulbad sa susamang mga problema sa industriya sa software. Ang proyekto sa Open Data Hub, nga gipatuman sulod sa open source development community, nagtanyag ug reference architecture alang sa pag-organisar sa tibuok cycle sa AI/ML operations base sa OpenShift hybrid cloud. Kami adunay usa ka tin-aw ug mahunahunaon nga plano alang sa pagpalambo niini nga proyekto, ug kami seryoso sa paghimo sa usa ka aktibo ug mabungahon nga komunidad sa palibot niini alang sa pagpalambo sa bukas nga mga solusyon sa AI sa OpenShift nga plataporma.
Source: www.habr.com