Tá an todhchaí tagtha, agus tá intleacht shaorga agus teicneolaíochtaí meaisínfhoghlama á n-úsáid go rathúil cheana féin ag na siopaí is fearr leat, cuideachtaí iompair agus fiú feirmeacha turcaí.
Agus má tá rud éigin ann, tá rud éigin faoi ar an Idirlíon cheana féin... tionscadal oscailte! Féach mar a chuidíonn Open Data Hub leat teicneolaíochtaí nua a scála agus dúshláin chur chun feidhme a sheachaint.
Le buntáistí uile na hintleachta saorga (AI) agus na meaisínfhoghlama (ML), is minic a bhíonn deacracht ag eagraíochtaí na teicneolaíochtaí seo a scála. Is iad seo a leanas na príomhfhadhbanna sa chás seo de ghnáth:
- Malartú faisnéise agus comhar – tá sé beagnach dodhéanta faisnéis a mhalartú gan stró agus comhoibriú le linn atriallta gasta.
- Дostуп к dannym – ní mór é a thógáil as an nua agus de láimh do gach tasc, rud a thógann go leor ama.
- Rochtain ar éileamh – níl aon bhealach le rochtain ar éileamh a fháil ar uirlisí agus ardán meaisínfhoghlama, chomh maith le bonneagar ríomhaireachta.
- Táirgeadh – tá samhlacha fós ag céim na fréamhshamhlacha agus ní thugtar chun úsáid thionsclaíoch iad.
- Rianaigh agus mínigh torthaí AI – tá sé deacair torthaí AI/ML a atáirgtheacht, a rianú agus a mhíniú.
Mura dtugtar aghaidh orthu, bíonn tionchar diúltach ag na fadhbanna seo ar luas, éifeachtúlacht agus táirgiúlacht eolaithe sonraí luachmhara. Cruthaíonn sé seo frustrachas, díomá orthu ina gcuid oibre, agus mar thoradh air sin, téann ionchais ghnó maidir le AI/ML amú.
Titeann an fhreagracht as na fadhbanna seo a réiteach ar speisialtóirí TF, nach mór dóibh anailísithe sonraí a sholáthar - tá sé sin ceart, rud éigin cosúil leis an scamall. Níos mine, teastaíonn ardán uainn a thugann saoirse rogha agus a bhfuil rochtain áisiúil, éasca aige. Ag an am céanna, tá sé tapa, in-athchumraithe go héasca, inscálaithe ar éileamh agus resistant to teipeanna. Trí ardán den sórt sin a thógáil ar theicneolaíochtaí foinse oscailte, cuidítear le glasáil díoltóirí a sheachaint agus buntáiste straitéiseach fadtéarmach a choinneáil i dtéarmaí rialú costais.
Cúpla bliain ó shin, bhí rud éigin cosúil leis ag tarlú i bhforbairt feidhmchlár agus mar thoradh air tháinig micrseirbhísí, scamaill hibrideacha, uathoibriú TF, agus próisis lúfar chun cinn. Chun dul i ngleic leis seo go léir, tá gairmithe TF tar éis iompú chuig coimeádáin, Kubernetes agus scamaill hibrideacha oscailte.
Tá an taithí seo á chur i bhfeidhm anois chun dúshláin Al a fhreagairt. Sin an fáth go bhfuil gairmithe TF ag tógáil ardáin atá bunaithe ar choimeádán, a chumasaíonn cruthú seirbhísí AI/ML laistigh de phróisis lúfar, a luathaíonn nuálaíocht, agus go dtógtar iad le súil i dtreo an scamall hibrideach.
Cuirfimid tús le hardán den sórt sin a thógáil le Red Hat OpenShift, ár n-ardán coimeádán Kubernetes don scamall hibrideach, a bhfuil éiceachóras réitigh bogearraí agus crua-earraí ML ag fás go tapa (NVIDIA, H2O.ai, Starburst, PerceptiLabs, etc.). Tá cuid de chustaiméirí Red Hat, mar shampla BMW Group, ExxonMobil agus daoine eile, tar éis slabhraí uirlisí ML coimeádaithe agus próisis DevOps a imscaradh cheana féin ar bharr an ardáin agus a éiceachóras chun a n-ailtireachtaí ML a tháirgeadh agus obair anailísithe sonraí a luasú.
Cúis eile a sheolamar an tionscadal Mol Sonraí Oscailte ná sampla d'ailtireacht a léiriú atá bunaithe ar roinnt tionscadal bogearraí foinse oscailte agus a thaispeáint conas saolré iomlán réiteach ML bunaithe ar an ardán OpenShift a chur i bhfeidhm.
Tionscadal Mol Sonraí Oscailte
Is tionscadal foinse oscailte é seo a fhorbraítear laistigh den phobal forbartha comhfhreagrach agus cuireann sé timthriall iomlán oibríochtaí i bhfeidhm - ó luchtú agus claochlú sonraí tosaigh chun múnla a ghiniúint, a oiliúint agus a chothabháil - nuair a bhíonn fadhbanna AI / ML á réiteach ag baint úsáide as coimeádáin agus Kubernetes ar an OpenShift ardán. Is féidir an tionscadal seo a mheas mar chur i bhfeidhm tagartha, sampla de conas réiteach oscailte AI/ML-mar-a-seirbhíse a thógáil bunaithe ar OpenShift agus uirlisí foinse oscailte gaolmhara ar nós Tensorflow, JupyterHub, Spark agus eile. Tá sé tábhachtach a thabhairt faoi deara go n-úsáideann Red Hat féin an tionscadal seo chun a sheirbhísí AI/ML a sholáthar. Ina theannta sin, comhtháthaíonn OpenShift le príomh-réitigh bogearraí agus crua-earraí ML ó NVIDIA, Seldon, Starbust agus díoltóirí eile, rud a fhágann go bhfuil sé níos éasca do chórais foghlama meaisín féin a thógáil agus a reáchtáil.
Tá tionscadal an Mhoil Sonraí Oscailte dírithe ar na catagóirí úsáideoirí agus cásanna úsáide seo a leanas:
- Anailísí sonraí a dteastaíonn réiteach uathu chun tionscadail ML a chur i bhfeidhm, eagraithe cosúil le scamall le feidhmeanna féinseirbhíse.
- Anailísí Sonraí a dteastaíonn an rogha is mó uathu ó na huirlisí agus na hardáin foinse oscailte AI/ML is déanaí.
- Anailísí sonraí a dteastaíonn rochtain ar fhoinsí sonraí uathu agus iad ag traenáil samhlacha.
- Anailísí sonraí a dteastaíonn rochtain ar acmhainní ríomhaireachta (LAP, GPU, cuimhne).
- Anailísí Sonraí a éilíonn an cumas chun comhoibriú agus obair a roinnt le comhghleacaithe, aiseolas a fháil, agus feabhsuithe a dhéanamh ar atriallta tapa.
- Anailísí sonraí atá ag iarraidh idirghníomhú le forbróirí (agus foirne a fhorbairt) ionas go dtéann a chuid samhlacha ML agus torthaí oibre isteach i dtáirgeadh.
- Innealtóir sonraí a chaithfidh rochtain a sholáthar d’anailísí sonraí ar fhoinsí éagsúla sonraí agus ceanglais rialála agus slándála á gcomhlíonadh ag an am céanna.
- Riarthóir/oibreoir córais TF a éilíonn an cumas chun saolré (suiteáil, cumraíocht, uasghrádú) comhpháirteanna foinse oscailte agus teicneolaíochtaí foinse oscailte a rialú gan stró. Teastaíonn uirlisí bainistíochta agus cuóta cuí uainn freisin.
Tugann tionscadal an Mhoil Sonraí Oscailte raon uirlisí foinse oscailte le chéile chun timthriall iomlán oibríochtaí AI/ML a chur i bhfeidhm. Úsáidtear Jupyter Notebook anseo mar an phríomhuirlis oibre le haghaidh anailísíochta sonraí. Tá an-tóir ar an bhfoireann uirlisí i measc eolaithe sonraí inniu, agus ligeann Open Data Hub dóibh spásanna oibre Jupyter Notebook a chruthú agus a bhainistiú go héasca ag baint úsáide as an JupyterHub ionsuite. Chomh maith le leabhair nótaí Jupyter a chruthú agus a allmhairiú, tá roinnt leabhar nótaí réamhdhéanta i bhfoirm Leabharlann AI sa tionscadal Open Data Hub freisin.
Is éard atá sa leabharlann seo ná bailiúchán de chomhpháirteanna foghlama meaisín foinse oscailte agus réitigh do chásanna coitianta a shimplíonn fréamhshamhlú tapa. Tá JupyterHub comhtháite le múnla rochtana RBAC OpenShift, a ligeann duit cuntais OpenShift atá ann cheana a úsáid agus síniú amháin a chur i bhfeidhm. Ina theannta sin, cuireann JupyterHub comhéadan úsáideora atá éasca le húsáid ar a dtugtar sceithire, trínar féidir leis an úsáideoir méid na n-acmhainní ríomhaireachta (cores CPU, cuimhne, GPU) a chumrú go héasca don Leabhar nótaí Jupyter roghnaithe.
Tar éis don anailísí sonraí an ríomhaire glúine a chruthú agus a chumrú, déanann sceidealóir Kubernetes, atá mar chuid de OpenShift, aire a thabhairt do gach imní eile faoi. Ní féidir le húsáideoirí ach a gcuid turgnaimh a dhéanamh, torthaí a gcuid oibre a shábháil agus a roinnt. Ina theannta sin, is féidir le húsáideoirí chun cinn rochtain dhíreach a fháil ar bhlaosc OpenShift CLI go díreach ó leabhair nótaí Jupyter chun primitives Kubernetes a ghiaráil ar nós feidhmiúlacht Job nó OpenShift mar Tekton nó Knative. Nó chuige seo is féidir leat GUI áisiúil OpenShift a úsáid, ar a dtugtar “Consól Gréasáin OpenShift”.
Ag bogadh ar aghaidh go dtí an chéad chéim eile, beidh Open Data Hub in ann píblínte sonraí a bhainistiú. Chuige seo, úsáidtear réad Ceph, a chuirtear ar fáil mar stóráil sonraí réad S3-comhoiriúnach. Ligeann Apache Spark duit sonraí a shruthú ó fhoinsí seachtracha nó stóráil Ceph S3 ionsuite, agus ligeann sé duit réamhchlaochlú sonraí a dhéanamh freisin. Soláthraíonn Apache Kafka ardbhainistíocht ar phíblínte sonraí (áit ar féidir sonraí a luchtú go minic, chomh maith le hoibríochtaí claochlaithe, anailíse agus marthanachta sonraí).
Mar sin, fuair an anailísí sonraí rochtain ar na sonraí agus thóg sé samhail. Anois tá fonn air na torthaí a fuarthas a roinnt le comhghleacaithe nó le forbróirí feidhmchlár, agus a mhúnla a sholáthar dóibh ar phrionsabail na seirbhíse. Éilíonn sé seo freastalaí tátail, agus tá freastalaí den sórt sin ag Open Data Hub, tugtar Seldon air agus ligeann duit an tsamhail a fhoilsiú mar sheirbhís RESTful.
Ag pointe éigin, tá roinnt samhlacha den sórt sin ar fhreastalaí Seldon, agus tá gá le monatóireacht a dhéanamh ar an gcaoi a n-úsáidtear iad. Chun é seo a bhaint amach, tairgeann Mol Sonraí Oscailte bailiúchán de mhéadracht ábhartha agus inneall tuairiscithe bunaithe ar na huirlisí monatóireachta foinse oscailte a úsáidtear go forleathan Prometheus agus Grafana. Mar thoradh air sin, faighimid aiseolas chun monatóireacht a dhéanamh ar úsáid samhlacha AI, go háirithe i dtimpeallacht táirgthe.
Ar an mbealach seo, cuireann an Mol Sonraí Oscailte cur chuige cosúil le néalríomhaireacht ar fáil ar feadh shaolré iomlán AI/ML, ó rochtain agus ullmhú sonraí go oiliúint agus táirgeadh samhail.
Ag cur go léir le chéile
Anois éiríonn an cheist conas é seo go léir a eagrú don riarthóir OpenShift. Agus is é seo an áit a dtagann oibreoir speisialta Kubernetes do thionscadail Mhoil Sonraí Oscailte i bhfeidhm.
Bainistíonn an t-oibreoir seo suiteáil, cumraíocht agus saolré thionscadal an Mhoil Sonraí Oscailte, lena n-áirítear imscaradh na n-uirlisí thuasluaite ar nós JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus agus Grafana. Is féidir an tionscadal Open Data Hub a fháil sa chonsól gréasáin OpenShift, sa rannóg oibreoirí pobail. Mar sin, is féidir le riarthóir OpenShift a shonrú go ndéantar na tionscadail OpenShift comhfhreagracha a chatagóiriú mar “Tionscadal Mol Sonraí Oscailte”. Déantar é seo uair amháin. Tar éis seo, logálann an anailísí sonraí isteach ina spás tionscadail trí chonsól gréasáin OpenShift agus feiceann sé go bhfuil an t-oibreoir Kubernetes comhfhreagrach suiteáilte agus ar fáil dá thionscadail. Ansin cruthaíonn sé sampla tionscadail Mol Sonraí Oscailte le cliceáil amháin agus tá rochtain aige láithreach ar na huirlisí a bhfuil cur síos orthu thuas. Agus is féidir é seo go léir a chumrú i modh ard-infhaighteachta agus lamháltais locht.
Más mian leat an tionscadal Open Data Hub a thriail duit féin, cuir tús leis . Is féidir sonraí teicniúla ailtireacht an Mhoil Sonraí Oscailte a fháil , pleananna forbartha tionscadail – . Sa todhchaí, tá sé beartaithe againn comhtháthú breise a chur i bhfeidhm le Kubeflow, roinnt saincheisteanna a réiteach maidir le rialáil agus slándáil sonraí, agus freisin comhtháthú le córais atá bunaithe ar rialacha Drools agus Optaplanner a eagrú. Cuir do thuairim in iúl agus bí i do rannpháirtí sa tionscadal féidir ar an leathanach .
Achoimre: Tá dúshláin mhóra scálaithe ag cur cosc ar eagraíochtaí lánacmhainneacht na hintleachta saorga agus na meaisínfhoghlama a bhaint amach. Tá Red Hat OpenShift in úsáid le fada go rathúil chun fadhbanna comhchosúla a réiteach sa tionscal bogearraí. Cuireann an tionscadal Mol Sonraí Oscailte, a chuirtear i bhfeidhm laistigh den phobal forbartha foinse oscailte, ailtireacht tagartha ar fáil chun timthriall iomlán oibríochtaí AI/ML a eagrú bunaithe ar scamall hibrideach OpenShift. Tá plean soiléir agus tuisceanach againn maidir le forbairt an tionscadail seo, agus táimid dáiríre faoi phobal gníomhach agus torthúil a chruthú timpeall air chun réitigh AI oscailte a fhorbairt ar an ardán OpenShift.
Foinse: will.com