Mae'r dyfodol wedi cyrraedd, ac mae deallusrwydd artiffisial a thechnolegau dysgu peiriannau eisoes yn cael eu defnyddio'n llwyddiannus gan eich hoff siopau, cwmnïau trafnidiaeth a hyd yn oed ffermydd twrci.
Ac os oes rhywbeth yn bodoli, yna mae rhywbeth amdano eisoes ar y Rhyngrwyd... prosiect agored! Gweld sut mae Open Data Hub yn eich helpu i raddio technolegau newydd ac osgoi heriau gweithredu.
Gyda holl fanteision deallusrwydd artiffisial (AI) a dysgu peiriant (ML), mae sefydliadau yn aml yn cael anhawster i raddio'r technolegau hyn. Y prif broblemau yn yr achos hwn fel arfer yw'r canlynol:
- Cyfnewid gwybodaeth a chydweithio – mae bron yn amhosibl cyfnewid gwybodaeth yn ddiymdrech a chydweithio mewn fersiynau cyflym.
- Mynediad i ddata - ar gyfer pob tasg mae angen ei hadeiladu o'r newydd ac â llaw, sy'n cymryd llawer o amser.
- Mynediad ar gais – nid oes unrhyw ffordd o gael mynediad ar-alw at offer a llwyfannau dysgu peirianyddol, yn ogystal â seilwaith cyfrifiadurol.
- Cynhyrchu – mae modelau yn parhau yn y cam prototeip ac nid ydynt yn cael eu defnyddio at ddefnydd diwydiannol.
- Olrhain ac egluro canlyniadau AI – mae'n anodd atgynhyrchu, olrhain ac egluro canlyniadau AI/ML.
Heb eu trin, mae'r problemau hyn yn effeithio'n negyddol ar gyflymder, effeithlonrwydd a chynhyrchiant gwyddonwyr data gwerthfawr. Mae hyn yn arwain at eu rhwystredigaeth, siom yn eu gwaith, ac o ganlyniad, mae disgwyliadau busnes o ran AI/ML yn mynd yn wastraff.
Mae'r cyfrifoldeb am ddatrys y problemau hyn yn disgyn ar arbenigwyr TG, y mae'n rhaid iddynt ddarparu dadansoddwyr data gyda - mae hynny'n iawn, rhywbeth fel y cwmwl. Yn fwy manwl, mae angen llwyfan arnom sy'n rhoi rhyddid i ddewis ac sydd â mynediad cyfleus, hawdd. Ar yr un pryd, mae'n gyflym, yn hawdd ei ailgyflunio, yn raddadwy yn ôl y galw ac yn gallu gwrthsefyll methiannau. Mae adeiladu platfform o'r fath ar dechnolegau ffynhonnell agored yn helpu i osgoi cloi i mewn i werthwyr a chynnal mantais strategol hirdymor o ran rheoli costau.
Ychydig flynyddoedd yn ôl, roedd rhywbeth tebyg yn digwydd wrth ddatblygu cymwysiadau ac arweiniodd at ymddangosiad microwasanaethau, cymylau hybrid, awtomeiddio TG, a phrosesau ystwyth. Er mwyn ymdopi â hyn i gyd, mae gweithwyr TG proffesiynol wedi troi at gynwysyddion, Kubernetes a chymylau hybrid agored.
Mae'r profiad hwn bellach yn cael ei gymhwyso i ateb heriau Al. Dyna pam mae gweithwyr TG proffesiynol yn adeiladu llwyfannau sy'n seiliedig ar gynhwysydd, yn galluogi creu gwasanaethau AI / ML o fewn prosesau ystwyth, yn cyflymu arloesedd, ac yn cael eu hadeiladu gyda llygad tuag at y cwmwl hybrid.
Byddwn yn dechrau adeiladu platfform o'r fath gyda Red Hat OpenShift, ein platfform Kubernetes cynhwysydd ar gyfer y cwmwl hybrid, sydd ag ecosystem sy'n tyfu'n gyflym o atebion meddalwedd a chaledwedd ML (NVIDIA, H2O.ai, Starburst, PerceptiLabs, ac ati). Mae rhai o gwsmeriaid Red Hat, fel BMW Group, ExxonMobil ac eraill, eisoes wedi defnyddio cadwyni offer ML mewn cynwysyddion a phrosesau DevOps ar ben y platfform a'i ecosystem i ddod â'u pensaernïaeth ML i gynhyrchu a chyflymu gwaith dadansoddwyr data.
Rheswm arall i ni lansio'r prosiect Hyb Data Agored yw dangos enghraifft o bensaernïaeth yn seiliedig ar sawl prosiect meddalwedd ffynhonnell agored a dangos sut i weithredu cylch bywyd cyfan datrysiad ML yn seiliedig ar lwyfan OpenShift.
Prosiect Hyb Data Agored
Mae hwn yn brosiect ffynhonnell agored sy'n cael ei ddatblygu o fewn y gymuned ddatblygu gyfatebol ac yn gweithredu cylch llawn o weithrediadau - o lwytho a thrawsnewid data cychwynnol i gynhyrchu, hyfforddi a chynnal model - wrth ddatrys problemau AI / ML gan ddefnyddio cynwysyddion a Kubernetes ar y OpenShift platfform. Gellir ystyried y prosiect hwn yn weithrediad cyfeirio, enghraifft o sut i adeiladu datrysiad AI / ML-fel-a-gwasanaeth agored yn seiliedig ar OpenShift ac offer ffynhonnell agored cysylltiedig fel Tensorflow, JupyterHub, Spark ac eraill. Mae'n bwysig nodi bod Red Hat ei hun yn defnyddio'r prosiect hwn i ddarparu ei wasanaethau AI/ML. Yn ogystal, mae OpenShift yn integreiddio â datrysiadau ML meddalwedd a chaledwedd allweddol gan NVIDIA, Seldon, Starbust a gwerthwyr eraill, gan ei gwneud hi'n haws adeiladu a rhedeg eich systemau dysgu peiriannau eich hun.
Mae’r prosiect Hyb Data Agored yn canolbwyntio ar y categorïau canlynol o ddefnyddwyr ac achosion defnydd:
- Dadansoddwr data sydd angen datrysiad ar gyfer gweithredu prosiectau ML, wedi'i drefnu fel cwmwl gyda swyddogaethau hunanwasanaeth.
- Dadansoddwr Data sydd angen y dewis mwyaf posibl o'r offer a'r llwyfannau AI/ML ffynhonnell agored diweddaraf.
- Dadansoddwr data sydd angen mynediad at ffynonellau data wrth hyfforddi modelau.
- Dadansoddwr data sydd angen mynediad at adnoddau cyfrifiadurol (CPU, GPU, cof).
- Dadansoddwr Data sydd angen y gallu i gydweithio a rhannu gwaith gyda chydweithwyr, derbyn adborth, a gwneud gwelliannau mewn iteriad cyflym.
- Dadansoddwr data sydd eisiau rhyngweithio â datblygwyr (a datblygu timau) fel bod ei fodelau ML a'i ganlyniadau gwaith yn cael eu cynhyrchu.
- Peiriannydd data sydd angen darparu mynediad i ddadansoddwr data i amrywiaeth o ffynonellau data tra'n cydymffurfio â gofynion rheoliadol a diogelwch.
- Gweinyddwr/gweithredwr system TG sy'n gofyn am y gallu i reoli cylch bywyd (gosod, ffurfweddu, uwchraddio) cydrannau a thechnolegau ffynhonnell agored yn ddiymdrech. Mae angen offer rheoli a chwota priodol arnom hefyd.
Mae’r prosiect Hyb Data Agored yn dod ag ystod o offer ffynhonnell agored ynghyd i roi cylch llawn o weithrediadau AI/ML ar waith. Defnyddir Jupyter Notebook yma fel y prif offeryn gweithio ar gyfer dadansoddi data. Mae'r pecyn cymorth yn boblogaidd iawn ymhlith gwyddonwyr data heddiw, ac mae Open Data Hub yn caniatáu iddynt greu a rheoli mannau gwaith Llyfr Nodiadau Jupyter yn hawdd gan ddefnyddio'r JupyterHub adeiledig. Yn ogystal â chreu a mewnforio llyfrau nodiadau Jupyter, mae prosiect Open Data Hub hefyd yn cynnwys nifer o lyfrau nodiadau parod ar ffurf Llyfrgell AI.
Mae'r llyfrgell hon yn gasgliad o gydrannau dysgu peiriant ffynhonnell agored ac atebion ar gyfer senarios cyffredin sy'n symleiddio prototeipio cyflym. Mae JupyterHub wedi'i integreiddio â model mynediad RBAC OpenShift, sy'n eich galluogi i ddefnyddio cyfrifon OpenShift presennol a gweithredu mewngofnodi sengl. Yn ogystal, mae JupyterHub yn cynnig rhyngwyneb defnyddiwr hawdd ei ddefnyddio o'r enw spawner, lle gall y defnyddiwr ffurfweddu'n hawdd faint o adnoddau cyfrifiadurol (cridiau CPU, cof, GPU) ar gyfer y Llyfr Nodiadau Jupyter a ddewiswyd.
Ar ôl i'r dadansoddwr data greu a ffurfweddu'r gliniadur, mae trefnydd Kubernetes, sy'n rhan o OpenShift, yn gofalu am yr holl bryderon eraill amdano. Gall defnyddwyr ond cynnal eu harbrofion, arbed a rhannu canlyniadau eu gwaith. Yn ogystal, gall defnyddwyr uwch gyrchu cragen CLI OpenShift yn uniongyrchol o lyfrau nodiadau Jupyter i drosoli cyntefig Kubernetes fel ymarferoldeb Job neu OpenShift fel Tekton neu Knative. Neu ar gyfer hyn gallwch ddefnyddio GUI cyfleus OpenShift, a elwir yn “Consol gwe OpenShift”.
Gan symud ymlaen i'r cam nesaf, mae Canolfan Data Agored yn ei gwneud hi'n bosibl rheoli piblinellau data. Ar gyfer hyn, defnyddir gwrthrych Ceph, a ddarperir fel storfa ddata gwrthrych sy'n gydnaws â S3. Mae Apache Spark yn caniatáu ichi ffrydio data o ffynonellau allanol neu storfa Ceph S3 adeiledig, a hefyd yn caniatáu ichi berfformio trawsnewidiadau data rhagarweiniol. Mae Apache Kafka yn darparu rheolaeth uwch o biblinellau data (lle gellir llwytho data sawl gwaith, yn ogystal â gweithrediadau trawsnewid, dadansoddi a dyfalbarhad data).
Felly, cyrchodd y dadansoddwr data y data ac adeiladu model. Nawr mae ganddo awydd i rannu'r canlyniadau a gafwyd gyda chydweithwyr neu ddatblygwyr cymwysiadau, a darparu ei fodel iddynt ar egwyddorion gwasanaeth. Mae hyn yn gofyn am weinydd casgliad, ac mae gan Open Data Hub weinydd o'r fath, fe'i gelwir yn Seldon ac mae'n caniatáu ichi gyhoeddi'r model fel gwasanaeth RESTful.
Ar ryw adeg, mae sawl model o'r fath ar weinydd Seldon, ac mae angen monitro sut y cânt eu defnyddio. I gyflawni hyn, mae Open Data Hub yn cynnig casgliad o fetrigau perthnasol a pheiriant adrodd yn seiliedig ar yr offer monitro ffynhonnell agored a ddefnyddir yn eang Prometheus a Grafana. O ganlyniad, rydym yn derbyn adborth i fonitro'r defnydd o fodelau AI, yn enwedig mewn amgylchedd cynhyrchu.
Yn y modd hwn, mae Open Data Hub yn darparu dull tebyg i gwmwl trwy gydol y cylch bywyd AI/ML cyfan, o gyrchu a pharatoi data i hyfforddi a chynhyrchu model.
Rhoi'r cyfan at ei gilydd
Nawr mae'r cwestiwn yn codi sut i drefnu hyn i gyd ar gyfer gweinyddwr OpenShift. A dyma lle mae gweithredwr Kubernetes arbennig ar gyfer prosiectau Hyb Data Agored yn dod i rym.
Mae'r gweithredwr hwn yn rheoli gosod, cyfluniad a chylch oes y prosiect Hyb Data Agored, gan gynnwys defnyddio'r offer a grybwyllwyd eisoes fel JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus a Grafana. Mae'r prosiect Hyb Data Agored i'w weld yn y consol gwe OpenShift, yn yr adran gweithredwyr cymunedol. Felly, gall gweinyddwr OpenShift nodi bod y prosiectau OpenShift cyfatebol yn cael eu categoreiddio fel "Prosiect Canolfan Data Agored". Gwneir hyn unwaith. Ar ôl hyn, mae'r dadansoddwr data yn mewngofnodi i ofod ei brosiect trwy gonsol gwe OpenShift ac yn gweld bod y gweithredwr Kubernetes cyfatebol wedi'i osod ac ar gael ar gyfer ei brosiectau. Yna mae'n creu enghraifft o brosiect Hyb Data Agored gydag un clic ac mae ganddo fynediad ar unwaith i'r offer a ddisgrifir uchod. A gall hyn i gyd yn cael ei ffurfweddu yn argaeledd uchel a modd goddefgarwch fai.
Os hoffech roi cynnig ar y prosiect Hyb Data Agored drosoch eich hun, dechreuwch gyda . Gellir dod o hyd i fanylion technegol pensaernïaeth y Ganolfan Data Agored , cynlluniau datblygu prosiect – . Yn y dyfodol, rydym yn bwriadu gweithredu integreiddio ychwanegol â Kubeflow, datrys nifer o faterion gyda rheoleiddio data a diogelwch, a hefyd drefnu integreiddio â systemau seiliedig ar reolau Drools ac Optaplanner. Mynegwch eich barn a dewch yn gyfranogwr yn y prosiect bosibl ar y dudalen .
I grynhoi: Mae heriau graddio difrifol yn atal sefydliadau rhag gwireddu potensial llawn deallusrwydd artiffisial a dysgu peiriannau. Mae Red Hat OpenShift wedi cael ei ddefnyddio'n llwyddiannus ers tro i ddatrys problemau tebyg yn y diwydiant meddalwedd. Mae'r prosiect Hyb Data Agored, a weithredir o fewn y gymuned datblygu ffynhonnell agored, yn cynnig pensaernïaeth gyfeirio ar gyfer trefnu cylch llawn o weithrediadau AI/ML yn seiliedig ar gwmwl hybrid OpenShift. Mae gennym gynllun clir a meddylgar ar gyfer datblygu'r prosiect hwn, ac rydym o ddifrif am greu cymuned weithgar a ffrwythlon o'i gwmpas ar gyfer datblygu datrysiadau AI agored ar lwyfan OpenShift.
Ffynhonnell: hab.com