Etorkizuna iritsi da, eta adimen artifiziala eta ikaskuntza automatikoko teknologiak arrakastaz erabiltzen ari dira zure gogoko dendak, garraio-enpresek eta baita indioilar haztegiek ere.
Eta zerbait existitzen bada, orduan jada badago zerbait Interneten... proiektu irekia! Ikusi Open Data Hub-ek nola laguntzen dizun teknologia berriak eskalatzen eta ezartzeko erronkak saihesten.
Adimen artifizialaren (AI) eta ikaskuntza automatikoaren (ML) abantaila guztiekin, erakundeek zailtasunak izaten dituzte teknologia horiek eskalatzeko. Kasu honetan arazo nagusiak hauek izan ohi dira:
- Informazio-trukea eta lankidetza β ia ezinezkoa da informazioa esfortzurik gabe trukatzea eta iterazio azkarretan elkarlanean aritzea.
- Datuen sarbidea β zeregin bakoitzerako berriro eraiki behar da eta eskuz, eta horrek denbora asko eskatzen du.
- Sarbidea eskaeraren arabera β ez dago modurik eskariaren araberako sarbidea lortzeko makina ikasteko tresna eta plataformara, baita informatika-azpiegiturara ere.
- Ekoizpena β ereduak prototipo-fasean geratzen dira eta ez dira erabilera industrialetara eramaten.
- Jarraitu eta azaldu AI emaitzak β AI/ML emaitzen erreproduzigarritasuna, jarraipena eta azalpena zailak dira.
Konpondu gabe, arazo hauek datu-zientzialari baliotsuen abiadura, eraginkortasuna eta produktibitatean eragin negatiboa dute. Horrek frustrazioa, lanarekiko etsipena dakar eta, ondorioz, AI/ML-ren inguruko negozio-itxaropenak alferrik galtzen dira.
Arazo horiek konpontzeko ardura informatikako espezialisten esku dago, haiek datu-analistei eman behar dietela, hori bai, hodeia bezalako zerbait. Xehetasun gehiagorekin, aukeratzeko askatasuna ematen duen eta sarbide eroso eta erraza duen plataforma bat behar dugu. Aldi berean, azkarra da, erraz birkonfiguragarria, eskariaren arabera eskalagarria eta akatsen aurrean erresistentea da. Halako plataforma bat kode irekiko teknologietan eraikitzeak saltzaileen blokeoa saihesten laguntzen du eta epe luzerako abantaila estrategikoa mantentzen laguntzen du kostuen kontrolari dagokionez.
Duela urte batzuk, antzeko zerbait gertatzen ari zen aplikazioen garapenean eta mikrozerbitzuak, hodei hibridoak, IT automatizazioa eta prozesu arinak sortu ziren. Horri guztiari aurre egiteko, informatikako profesionalek edukiontzietara, Kubernetetara eta hodei hibrido irekietara jo dute.
Esperientzia hau Al-ren erronkei erantzuteko aplikatzen ari da orain. Horregatik, IT profesionalek edukiontzietan oinarritutako plataformak eraikitzen ari dira, prozesu arinetan AI/ML zerbitzuak sortzea ahalbidetzen dutenak, berrikuntza bizkortzen dutenak eta hodei hibridoari begira eraikitzen direnak.
Horrelako plataforma bat eraikitzen hasiko gara Red Hat OpenShift-ekin, gure edukiontzidun Kubernetes plataforma hodei hibridorako, zeinak azkar hazten ari den software eta hardware ML soluzioen ekosistema duen (NVIDIA, H2O.ai, Starburst, PerceptiLabs, etab.). Red Hat-en bezero batzuk, BMW Group, ExxonMobil eta beste batzuk, dagoeneko zabaldu dituzte edukiontzidun ML tresna-kateak eta DevOps prozesuak plataformaren eta bere ekosistemaren gainean, beren ML arkitekturak produkziora ekartzeko eta datu-analisten lana bizkortzeko.
Open Data Hub proiektua abian jarri genuen beste arrazoi bat da kode irekiko hainbat software proiektutan oinarritutako arkitektura baten adibide bat erakustea eta OpenShift plataforman oinarritutako ML irtenbide baten bizi-ziklo osoa nola inplementatu erakustea.
Open Data Hub proiektua
Kode irekiko proiektu bat da, dagokion garapen komunitatean garatzen dena eta eragiketa-ziklo oso bat inplementatzen du - hasierako datuak kargatu eta eraldatzen hasi eta eredu bat sortu, entrenatu eta mantentzera - AI / ML arazoak konpontzen direnean edukiontziak eta Kubernetes OpenShift-en erabiliz. plataforma. Proiektu hau erreferentziazko inplementaziotzat har daiteke, OpenShift-en eta erlazionatutako kode irekiko tresnetan oinarritutako AI/ML-as-a-service irtenbide ireki bat eraikitzeko adibide gisa, hala nola Tensorflow, JupyterHub, Spark eta beste. Garrantzitsua da Red Hat-ek berak proiektu hau erabiltzen duela bere AI/ML zerbitzuak eskaintzeko. Gainera, OpenShift NVIDIA, Seldon, Starbust eta beste saltzaile batzuen software eta hardware ML soluzio gakoekin integratzen da, zure ikaskuntza automatikoko sistemak eraiki eta exekutatzeko errazagoa izan dadin.
Open Data Hub proiektua erabiltzaile eta erabilera-kasu kategoria hauetan oinarritzen da:
- ML proiektuak inplementatzeko irtenbide bat behar duen datu-analista, hodei gisa antolatuta autozerbitzu funtzioekin.
- Datu-analista, kode irekiko AI/ML tresna eta plataformetatik aukerarik handiena behar duena.
- Ereduak entrenatzerakoan datu-iturrietara sarbidea behar duen datu-analista.
- Baliabide informatikoetarako sarbidea behar duen datu-analista (CPU, GPU, memoria).
- Lankideekin lankidetzan aritzeko eta partekatzeko, iritziak jasotzeko eta errepikapen azkarrean hobekuntzak egiteko gaitasuna behar duen datu-analista.
- Garatzaileekin (eta devops taldeekin) elkarreragin nahi duen datu-analista bat, bere ML ereduak eta lan-emaitzak ekoizpenera joan daitezen.
- Datu-ingeniaria, datu-analista bati hainbat datu-iturritarako sarbidea eman behar diona, arauzko eta segurtasun-eskakizunak betetzen dituen bitartean.
- Iturburu irekiko osagaien eta teknologien bizi-zikloa (instalazioa, konfigurazioa, berritzea) esfortzurik gabe kontrolatzeko gaitasuna behar duen IT-sistemen administratzaile/operatzailea. Kudeaketa eta kuota tresna egokiak ere behar ditugu.
Open Data Hub proiektuak kode irekiko tresna ugari biltzen ditu AI/ML eragiketen ziklo osoa ezartzeko. Hemen Jupyter Notebook erabiltzen da datuen analisirako lan tresna nagusi gisa. Tresna-kit oso ezaguna da gaur egun datu-zientzialarien artean, eta Open Data Hub-ek Jupyter Notebook lan-eremuak erraz sortu eta kudeatzeko aukera ematen die integratutako JupyterHub erabiliz. Jupyter koadernoak sortzeaz eta inportatzeaz gain, Open Data Hub proiektuak prest egindako koaderno batzuk ere baditu AI Liburutegi moduan.
Liburutegi hau prototipo azkarra errazten duten agertoki arruntetarako kode irekiko ikaskuntza automatikoko osagaien eta soluzioen bilduma da. JupyterHub OpenShift-en RBAC sarbide-ereduarekin integratuta dago, eta horrek lehendik dauden OpenShift kontuak erabiltzeko eta saioa hasteko aukera ematen dizu. Horrez gain, JupyterHub-ek spawner izeneko erabiltzaile-interfaze atsegina eskaintzen du, zeinaren bidez erabiltzaileak erraz konfigura dezake aukeratutako Jupyter Koadernorako baliabide informatiko kopurua (CPU nukleoak, memoria, GPU).
Datu-analistak ordenagailu eramangarria sortu eta konfiguratu ondoren, horri buruzko beste kezka guztiak Kubernetes programatzaileak hartzen ditu, OpenShift-en parte dena. Erabiltzaileek beren esperimentuak bakarrik egin ditzakete, beren lanaren emaitzak gorde eta partekatu. Gainera, erabiltzaile aurreratuek OpenShift CLI shell-era zuzenean atzi dezakete Jupyter koadernoetatik zuzenean Kubernetesen primitiboak aprobetxatzeko, hala nola Job edo OpenShift funtzionalitateak, hala nola Tekton edo Knative. Edo horretarako OpenShift-en GUI erosoa erabil dezakezu, "OpenShift web kontsola" deitzen dena.
Hurrengo fasera igaroz, Open Data Hub-ek datu kanalizazioak kudeatzea ahalbidetzen du. Horretarako, Ceph objektu bat erabiltzen da, S3-rekin bateragarria den objektu-datuen biltegiratze gisa eskaintzen dena. Apache Spark-ek kanpoko iturrietatik edo Ceph S3 biltegiratze integratua eskaintzen du datu-streaminga, eta aurretiazko datu-eraldaketak egiteko aukera ere ematen du. Apache Kafkak datu-bideen kudeaketa aurreratua eskaintzen du (non datuak hainbat aldiz karga daitezkeen, baita datuen eraldaketa, analisi eta iraunkortasun eragiketak ere).
Beraz, datu-analistak datuetara sartu eta eredu bat eraiki zuen. Orain lortutako emaitzak lankideekin edo aplikazioen garatzaileekin partekatzeko gogoa du, eta zerbitzu baten printzipioetan bere eredua eskaintzeko. Honek inferentzia zerbitzari bat behar du, eta Open Data Hub-ek halako zerbitzari bat dauka, Seldon deitzen da eta eredua RESTful zerbitzu gisa argitaratzeko aukera ematen du.
Noizbait, horrelako hainbat eredu daude Seldon zerbitzarian, eta nola erabiltzen diren kontrolatu beharra dago. Hori lortzeko, Open Data Hub-ek neurketa garrantzitsuen bilduma bat eta Prometheus eta Grafana kode irekiko monitorizazio tresnetan oinarritutako txosten-motor bat eskaintzen ditu. Ondorioz, feedbacka jasotzen dugu AI ereduen erabilera kontrolatzeko, bereziki ekoizpen-ingurunean.
Modu honetan, Open Data Hub-ek hodei itxurako ikuspegia eskaintzen du AI/ML bizi-ziklo osoan zehar, datuen sarbidetik eta prestatzetik ereduen prestakuntza eta ekoizpenera arte.
Elkarrekin jartzea
Orain galdera hau nola antolatu OpenShift administratzailearentzat sortzen da. Eta hemen sartzen da Open Data Hub proiektuetarako Kubernetes operadore berezi bat.
Operadore honek Open Data Hub proiektuaren instalazioa, konfigurazioa eta bizi-zikloa kudeatzen ditu, besteak beste, JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus eta Grafana bezalako tresnen hedapena barne. Open Data Hub proiektua OpenShift web kontsolan aurki daiteke, komunitateko operadoreen atalean. Horrela, OpenShift-eko administratzaileak dagozkion OpenShift proiektuak "Open Data Hub proiektua" gisa sailkatuta daudela zehaztu dezake. Hau behin egiten da. Horren ondoren, datu-analistak bere proiektuko espazioan sartzen du OpenShift web kontsolaren bidez eta dagokion Kubernetes operadorea instalatuta eta eskuragarri dagoela ikusten du bere proiektuetarako. Ondoren, Open Data Hub proiektuaren instantzia bat sortzen du klik batekin eta berehala atzitu ditu goian deskribatutako tresnetarako. Eta hori guztia erabilgarritasun handiko eta akatsen tolerantzia moduan konfigura daiteke.
Open Data Hub proiektua zeuk probatu nahi baduzu, hasi . Open Data Hub arkitekturaren xehetasun teknikoak aurki daitezke , proiektuak garatzeko planak - . Etorkizunean, Kubeflow-ekin integrazio gehigarria ezartzeko asmoa dugu, datuen erregulazio eta segurtasunarekin hainbat arazo konpontzea eta Drools eta Optaplanner-en arauetan oinarritutako sistemekin integrazioa ere antolatzea. Adierazi zure iritzia eta egin zaitez proiektuko partaide orrialdean posible .
Berrikusteko: eskalatze-erronka larriek erakundeei adimen artifizialaren eta ikaskuntza automatikoaren potentzial osoa eragozten diete. Red Hat OpenShift aspalditik erabiltzen da softwarearen industrian antzeko arazoak konpontzeko. Open Data Hub proiektuak, kode irekiko garapen komunitatearen barruan inplementatuta, erreferentziazko arkitektura bat eskaintzen du OpenShift hodei hibridoan oinarritutako AI/ML eragiketen ziklo osoa antolatzeko. Proiektu hau garatzeko plan argi eta gogoetatsua dugu, eta bere inguruan OpenShift plataforman OpenShift plataforman AI irtenbide irekiak garatzeko komunitate aktibo eta emankorra sortzeari buruz serio ari gara.
Iturria: www.habr.com