Tha an àm ri teachd air ruighinn, agus tha inntleachd fuadain agus teicneòlasan ionnsachaidh innealan air an cleachdadh gu soirbheachail leis na stòran as fheàrr leat, companaidhean còmhdhail agus eadhon tuathanasan Turcaich.
Agus ma tha rudeigin ann, tha rudeigin mu dheidhinn air an eadar-lìn mu thràth ... pròiseact fosgailte! Faic mar a chuidicheas Open Data Hub thu gus teicneòlasan ùra a sgèileadh agus dùbhlain buileachaidh a sheachnadh.
Leis na buannachdan uile bho inntleachd fuadain (AI) agus ionnsachadh innealan (ML), gu tric bidh duilgheadas aig buidhnean sgèileadh nan teicneòlasan sin. Tha na prìomh dhuilgheadasan sa chùis seo mar as trice mar a leanas:
- Malairt fiosrachaidh agus co-obrachadh - tha e cha mhòr do-dhèanta fiosrachadh iomlaid gun oidhirp agus co-obrachadh ann an ath-aithrisean luath.
- Cothrom air dàta - airson gach gnìomh feumar a thogail às ùr agus le làimh, a bheir tòrr ùine.
- Cothrom air iarrtas - chan eil dòigh ann air faighinn gu iarrtas air innealan ionnsachaidh innealan agus àrd-ùrlar, a bharrachd air bun-structar coimpiutaireachd.
- Riochdachadh - tha modalan fhathast aig ìre prototype agus chan eilear gan toirt gu feum gnìomhachais.
- Cum sùil air agus mìnich toraidhean AI - tha e duilich toraidhean AI / ML ath-riochdachadh, lorg agus mìneachadh.
Air fhàgail gun dèiligeadh riutha, tha na duilgheadasan sin a’ toirt droch bhuaidh air astar, èifeachdas agus cinneasachd luchd-saidheans dàta luachmhor. Tha seo a’ leantainn gu an sàrachadh, briseadh-dùil san obair aca, agus mar thoradh air an sin, bidh dùilean gnìomhachais a thaobh AI/ML a’ dol gu sgudal.
Tha uallach airson fuasgladh fhaighinn air na duilgheadasan sin an urra ri eòlaichean IT, a dh'fheumas luchd-anailis dàta a thoirt seachad - tha sin ceart, rudeigin mar an sgòth. Nas mionaidiche, feumaidh sinn àrd-ùrlar a bheir saorsa roghainn agus aig a bheil ruigsinneachd goireasach, furasta. Aig an aon àm, tha e luath, furasta ath-dhealbhadh, scalable air iarrtas agus an aghaidh fàilligidhean. Le bhith a’ togail àrd-ùrlar mar seo air teicneòlasan stòr fosgailte, bidh e a’ cuideachadh le bhith a’ seachnadh glasadh luchd-reic agus a’ cumail buannachd ro-innleachdail fad-ùine a thaobh smachd air cosgaisean.
O chionn beagan bhliadhnaichean, bha rudeigin coltach ris a’ tachairt ann an leasachadh thagraidhean agus lean sin gu bhith a’ nochdadh meanbh-sheirbheisean, sgòthan tar-chinealach, fèin-ghluasad IT, agus pròiseasan lùthmhor. Gus dèiligeadh ri seo uile, tha proifeiseantaich IT air tionndadh gu soithichean, Kubernetes agus sgòthan tar-chinealach fosgailte.
Tha an t-eòlas seo a-nis ga chleachdadh gus dùbhlain Al a fhreagairt. Sin as coireach gu bheil proifeiseantaich IT a ’togail àrd-ùrlaran a tha stèidhichte air soithichean, a’ comasachadh seirbheisean AI / ML a chruthachadh taobh a-staigh pròiseasan lùthmhor, a ’luathachadh ùr-ghnàthachadh, agus air an togail le sùil a dh’ ionnsaigh an sgòth tar-chinealach.
Tòisichidh sinn a’ togail àrd-ùrlar mar seo le Red Hat OpenShift, an àrd-ùrlar container Kubernetes againn airson an sgòth tar-chinealach, aig a bheil eag-shiostam a tha a’ fàs gu luath de fhuasglaidhean bathar-bog is bathar-cruaidh ML (NVIDIA, H2O.ai, Starburst, PerceptiLabs, msaa). Tha cuid de luchd-ceannach Red Hat, leithid BMW Group, ExxonMobil agus feadhainn eile, mu thràth air slabhraidhean innealan ML agus pròiseasan DevOps a chuir a-steach air mullach an àrd-ùrlar agus an eag-shiostam aige gus na h-ailtirean ML aca a thoirt gu cinneasachadh agus obair luchd-anailis dàta a luathachadh.
Is e adhbhar eile a chuir sinn air bhog am pròiseact Open Data Hub a bhith a’ nochdadh eisimpleir de dh’ ailtireachd stèidhichte air grunn phròiseactan bathar-bog stòr fosgailte agus sealltainn mar a chuireas sinn cearcall-beatha iomlan fuasgladh ML an gnìomh stèidhichte air àrd-ùrlar OpenShift.
Pròiseact Hub Dàta Fosgailte
Is e pròiseact stòr fosgailte a tha seo a tha air a leasachadh taobh a-staigh na coimhearsnachd leasachaidh co-fhreagarrach agus a chuireas an gnìomh làn chearcall de ghnìomhachd - bho bhith a’ luchdachadh agus ag atharrachadh dàta tùsail gu bhith a’ gineadh, a ’trèanadh agus a’ cumail suas modail - nuair a bhios iad a ’fuasgladh dhuilgheadasan AI / ML a’ cleachdadh soithichean agus Kubernetes air an OpenShift àrd-ùrlar. Faodar beachdachadh air a’ phròiseact seo mar bhuileachadh iomraidh, eisimpleir air mar a thogas tu fuasgladh fosgailte AI/ML-mar-a-seirbheis stèidhichte air OpenShift agus innealan stòr fosgailte co-cheangailte leithid Tensorflow, JupyterHub, Spark agus feadhainn eile. Tha e cudromach cuimhneachadh gu bheil Red Hat fhèin a’ cleachdadh a’ phròiseict seo gus na seirbheisean AI/ML aige a thoirt seachad. A bharrachd air an sin, tha OpenShift a’ fighe a-steach le prìomh fhuasglaidhean bathar-bog is bathar-cruaidh ML bho NVIDIA, Seldon, Starbust agus luchd-reic eile, ga dhèanamh nas fhasa na siostaman ionnsachaidh inneal agad fhèin a thogail agus a ruith.
Tha am pròiseact Open Data Hub ag amas air na roinnean de luchd-cleachdaidh agus cùisean cleachdaidh a leanas:
- Mion-sgrùdaire dàta a dh’ fheumas fuasgladh airson pròiseactan ML a bhuileachadh, air an eagrachadh mar sgòth le gnìomhan fèin-sheirbheis.
- Mion-sgrùdaire Dàta a dh’ fheumas an roghainn as motha bho na h-innealan agus àrd-ùrlaran stòr fosgailte AI/ML as ùire.
- Mion-sgrùdaire dàta a dh’ fheumas ruigsinneachd air stòran dàta nuair a bhios iad a’ trèanadh mhodalan.
- Mion-sgrùdaire dàta a dh'fheumas cothrom air goireasan coimpiutaireachd (CPU, GPU, cuimhne).
- Mion-sgrùdaire Dàta a dh’ fheumas comas co-obrachadh agus obair a cho-roinn le co-obraichean, fios air ais fhaighinn, agus leasachaidhean a dhèanamh ann an tionndadh luath.
- Mion-sgrùdaire dàta a tha airson eadar-obrachadh le luchd-leasachaidh (agus sgiobaidhean devops) gus am bi na modailean ML agus na toraidhean obrach aige a’ dol a-steach gu cinneasachadh.
- Einnseanair dàta a dh’ fheumas cothrom a thoirt do mhion-sgrùdair dàta air grunn stòran dàta fhad ‘s a tha iad a’ cumail ri riatanasan riaghlaidh agus tèarainteachd.
- Rianadair / gnìomhaiche siostam IT a dh ’fheumas an comas smachd a chumail gun oidhirp air cearcall-beatha (stàladh, rèiteachadh, ùrachadh) de cho-phàirtean agus theicneòlasan stòr fosgailte. Tha feum againn cuideachd air innealan riaghlaidh agus cuota iomchaidh.
Tha am pròiseact Open Data Hub a’ toirt còmhla raon de dh’ innealan stòr fosgailte gus làn chearcall de ghnìomhachd AI/ML a bhuileachadh. Tha Jupyter Notebook air a chleachdadh an seo mar am prìomh inneal obrach airson mion-sgrùdadh dàta. Tha fèill mhòr air an inneal am measg luchd-saidheans dàta an-diugh, agus leigidh Open Data Hub leotha àiteachan-obrach Jupyter Notebook a chruthachadh agus a riaghladh gu furasta a’ cleachdadh an JupyterHub togte. A bharrachd air a bhith a’ cruthachadh agus a’ toirt a-steach leabhraichean notaichean Jupyter, tha grunn leabhraichean notaichean deiseil ann an cruth Leabharlann AI anns a’ phròiseact Open Data Hub cuideachd.
Tha an leabharlann seo na chruinneachadh de cho-phàirtean ionnsachaidh inneal stòr fosgailte agus fuasglaidhean airson suidheachaidhean cumanta a bhios a’ sìmpleachadh prototyping luath. Tha JupyterHub air fhilleadh a-steach le modal ruigsinneachd RBAC OpenShift, a leigeas leat cunntasan OpenShift a tha ann mu thràth a chleachdadh agus soidhnigeadh singilte a chuir an gnìomh. A bharrachd air an sin, tha JupyterHub a’ tabhann eadar-aghaidh cleachdaiche furasta a chleachdadh ris an canar spawner, tron urrainn don neach-cleachdaidh gu furasta na tha de ghoireasan coimpiutaireachd (CPU cores, cuimhne, GPU) a dhealbhadh airson an leabhar notaichean Jupyter taghte.
Às deidh don anailisiche dàta an laptop a chruthachadh agus a rèiteachadh, tha clàr-ama Kubernetes, a tha na phàirt de OpenShift, a ’toirt aire do na draghan eile mu dheidhinn. Chan urrainn do luchd-cleachdaidh ach na deuchainnean aca a dhèanamh, toraidhean an cuid obrach a shàbhaladh agus a cho-roinn. A bharrachd air an sin, faodaidh luchd-cleachdaidh adhartach faighinn gu dìreach air an t-slige OpenShift CLI gu dìreach bho leabhraichean notaichean Jupyter gus primitives Kubernetes a luathachadh leithid gnìomhachd Job no OpenShift leithid Tekton no Knative. No airson seo faodaidh tu GUI goireasach OpenShift a chleachdadh, ris an canar “Consol lìn OpenShift”.
A’ gluasad air adhart chun ath ìre, bidh Open Data Hub ga dhèanamh comasach pìoban dàta a riaghladh. Airson seo, thathas a’ cleachdadh nì Ceph, a tha air a thoirt seachad mar stòradh dàta nì a tha co-chosmhail ri S3. Leigidh Apache Spark leat dàta a shruthladh bho thùsan bhon taobh a-muigh no stòradh togte Ceph S3, agus leigidh e leat cuideachd cruth-atharrachaidhean dàta tòiseachaidh a dhèanamh. Tha Apache Kafka a’ toirt seachad stiùireadh adhartach air pìoban dàta (far am faodar dàta a luchdachadh iomadh uair, a bharrachd air cruth-atharrachadh dàta, mion-sgrùdadh agus obair leantalachd).
Mar sin, fhuair an anailisiche dàta cothrom air an dàta agus thog e modail. A-nis tha miann aige na toraidhean a gheibhear a cho-roinn le co-obraichean no luchd-leasachaidh an tagraidh, agus am modail aige a thoirt dhaibh air prionnsapalan seirbheis. Feumaidh seo frithealaiche co-dhùnaidh, agus tha frithealaiche mar sin aig Open Data Hub, canar Seldon ris agus leigidh e leat am modail fhoillseachadh mar sheirbheis RESTful.
Aig àm air choreigin, tha grunn mhodalan mar sin air frithealaiche Seldon, agus feumar sùil a chumail air mar a bhios iad gan cleachdadh. Gus seo a choileanadh, tha Open Data Hub a’ tabhann cruinneachadh de mheatairean iomchaidh agus einnsean aithris stèidhichte air na h-innealan sgrùdaidh stòr fosgailte a thathas a’ cleachdadh gu farsaing Prometheus agus Grafana. Mar thoradh air an sin, gheibh sinn fios air ais gus sùil a chumail air cleachdadh mhodalan AI, gu sònraichte ann an àrainneachd cinneasachaidh.
San dòigh seo, tha Open Data Hub a’ toirt seachad dòigh-obrach coltach ri sgòthan air feadh cuairt-beatha AI/ML gu lèir, bho ruigsinneachd dàta agus ullachadh gu trèanadh modail agus cinneasachadh.
A 'cur a h-uile càil còmhla
A-nis tha a’ cheist ag èirigh ciamar a chuireas tu seo air dòigh airson rianadair OpenShift. Agus seo far an tig gnìomhaiche sònraichte Kubernetes airson pròiseactan Open Data Hub a-steach.
Bidh an gnìomhaiche seo a’ riaghladh stàladh, rèiteachadh agus cuairt-beatha a’ phròiseict Open Data Hub, a’ toirt a-steach cleachdadh nan innealan a chaidh ainmeachadh roimhe leithid JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus agus Grafana. Gheibhear am pròiseact Open Data Hub ann an consol lìn OpenShift, anns an roinn gnìomhaichean coimhearsnachd. Mar sin, faodaidh rianadair OpenShift sònrachadh gu bheil na pròiseactan OpenShift co-fhreagarrach air an seòrsachadh mar “Pròiseact Hub Dàta Fosgailte”. Tha seo air a dhèanamh aon uair. Às deidh seo, bidh an anailisiche dàta a ’logadh a-steach don àite pròiseict aige tro chonsail lìn OpenShift agus a’ faicinn gu bheil an gnìomhaiche Kubernetes co-fhreagarrach air a chuir a-steach agus ri fhaighinn airson a phròiseactan. Bidh e an uairsin a’ cruthachadh eisimpleir de phròiseact Open Data Hub le aon bhriogadh agus tha cothrom aige sa bhad air na h-innealan a tha air am mìneachadh gu h-àrd. Agus faodar seo uile a rèiteachadh ann am modh ruigsinneachd àrd agus fulangas sgàinidhean.
Ma tha thu airson am pròiseact Open Data Hub fheuchainn dhut fhèin, tòisich le . Gheibhear mion-fhiosrachadh teicnigeach mu ailtireachd an Ionad Dàta Fosgailte , planaichean leasachaidh pròiseict - . Anns an àm ri teachd, tha sinn an dùil amalachadh a bharrachd a chuir an gnìomh le Kubeflow, grunn chùisean fhuasgladh le riaghladh dàta agus tèarainteachd, agus cuideachd amalachadh a chuir air dòigh le siostaman stèidhichte air riaghailtean Drools agus Optaplanner. Cuir an cèill do bheachd agus a bhith nad chom-pàirtiche sa phròiseact comasach air an duilleag .
Gus geàrr-chunntas: Tha fìor dhùbhlain sgèileachaidh a’ cur casg air buidhnean bho bhith a’ coileanadh làn chomas inntleachd fuadain agus ionnsachadh innealan. Chaidh Red Hat OpenShift a chleachdadh o chionn fhada gus fuasgladh fhaighinn air duilgheadasan coltach ris ann an gnìomhachas bathar-bog. Tha am pròiseact Open Data Hub, a chaidh a chuir an gnìomh taobh a-staigh na coimhearsnachd leasachaidh stòr fosgailte, a’ tabhann ailtireachd iomraidh airson làn chearcall de ghnìomhachd AI / ML a chuir air dòigh stèidhichte air sgòth hybrid OpenShift. Tha plana soilleir agus smaoineachail againn airson a’ phròiseact seo a leasachadh, agus tha sinn dha-rìribh a’ cruthachadh coimhearsnachd ghnìomhach is thorrach timcheall air airson fuasglaidhean AI fosgailte a leasachadh air an àrd-ùrlar OpenShift.
Source: www.habr.com