Ọdịnihu erutela, yana ụlọ ahịa ọkacha mmasị gị, ụlọ ọrụ ụgbọ njem na ọbụna ugbo toki na-ejizi ọgụgụ isi na teknụzụ mmụta igwe eme ihe nke ọma.
Ma ọ bụrụ na ihe dị, mgbe ahụ, enweelarị ihe gbasara ya na ịntanetị ... ọrụ na-emeghe! Hụ ka Open Data Hub si enyere gị aka ịbawanye teknụzụ ọhụrụ wee zere ihe ịma aka mmejuputa.
Site na uru niile nke ọgụgụ isi (AI) na mmụta igwe (ML), otu dị iche iche na-enwekarị ihe isi ike ịhazi teknụzụ ndị a. Nsogbu ndị bụ isi na nke a na-abụkarị ndị a:
- Ozi mgbanwe na imekọ ihe ọnụ - ọ fọrọ nke nta ka ọ bụrụ ihe na-agaghị ekwe omume ịgbanwe ozi n'enweghị mgbalị na imekọ ihe ọnụ na ngwa ngwa.
- Nweta data - maka ọrụ ọ bụla ọ chọrọ ka e wulite ya ọzọ na aka ya, nke na-ewe oge dị ukwuu.
- Nweta na-achọrọ - ọ nweghị ụzọ ị ga-esi nweta ngwa ngwa mmụta igwe na ikpo okwu, yana akụrụngwa mgbakọ na mwepụ.
- Mmepụta – ụdị na-anọgide na prototype ogbo na-adịghị ewebata na ulo oru ojiji.
- Sochie ma kọwaa nsonaazụ AI - reproducibility, nsuso na nkọwa nke AI / ML pụta siri ike.
Ọ bụrụ na a naghị edozi ya, nsogbu ndị a na-emetụta ọsọ, arụmọrụ, na nrụpụta nke ndị sayensị data bara uru. Nke a na-eduga na nkụda mmụọ ha, ndakpọ olileanya na ọrụ ha, na n'ihi ya, atụmanya azụmahịa banyere AI / ML na-aga n'iyi.
Ọrụ maka idozi nsogbu ndị a dabara na ndị ọkachamara IT, bụ ndị ga-enyerịrị ndị nyocha data - nke ahụ ziri ezi, ihe dị ka ígwé ojii. Na nkọwa ndị ọzọ, anyị chọrọ ikpo okwu nke na-enye nnwere onwe nke nhọrọ ma nwee ohere dị mfe, dị mfe. N'otu oge ahụ, ọ na-adị ngwa ngwa, na-emegharị ngwa ngwa, na-eme ka ọ bụrụ ihe na-achọsi ike ma na-eguzogide ọdịda. Ịmepụta ikpo okwu dị otú ahụ na teknụzụ ndị na-emepe emepe na-enyere aka izere mkpọchi ndị na-ere ahịa ma nọgide na-enwe uru atụmatụ ogologo oge n'ihe gbasara njikwa ọnụ ahịa.
Afọ ole na ole gara aga, ihe yiri nke ahụ na-eme na mmepe ngwa ma butere mpụta nke microservices, igwe ojii ngwakọ, akpaaka IT na usoro agile. Iji nagide ihe a niile, ndị ọkachamara IT tụgharịrị gaa na arịa, Kubernetes na igwe ojii mepere emepe.
A na-etinye ahụmịhe a ugbu a iji zaa ihe ịma aka Al. Ọ bụ ya mere ndị ọkachamara IT ji na-ewu usoro ikpo okwu dabere na akpa, na-enye aka ịmepụta ọrụ AI/ML n'ime usoro agile, na-eme ka ihe ọhụrụ dị ngwa, ma jiri anya na-ele igwe ojii ahụ ngwakọ rụọ ya.
Anyị ga-amalite iji Red Hat OpenShift wuo ụdị ikpo okwu dị otú ahụ, ikpo okwu Kubernetes anyị nwere maka igwe ojii ngwakọ, nke nwere ngwa ngwa na-eto ngwa ngwa nke ngwanrọ na ngwa ML ngwaike (NVIDIA, H2O.ai, Starburst, PerceptiLabs, wdg). Ụfọdụ n'ime ndị ahịa Red Hat, dị ka BMW Group, ExxonMobil na ndị ọzọ, ebulalarị ngwa ngwa ML toolchains na usoro DevOps n'elu ikpo okwu na gburugburu ya iji weta ihe owuwu ML ha na mmepụta ma mee ka ọrụ nke ndị nyocha data dị ngwa.
Ihe ọzọ mere anyị ji malite ọrụ Open Data Hub bụ iji gosipụta ihe atụ nke ihe owuwu nke dabere na ọtụtụ ọrụ ngwanrọ mepere emepe ma gosi otu esi etinye usoro ndụ niile nke ngwọta ML dabere na ikpo okwu OpenShift.
Mepee Data Hub Project
Nke a bụ ọrụ mepere emepe emepe emepe n'ime obodo mmepe dabara adaba ma mejuputa usoro ọrụ zuru oke - site na nbudata na ịgbanwe data mbụ na imepụta, ọzụzụ na idowe ihe atụ - mgbe edozi nsogbu AI / ML site na iji arịa na Kubernetes na OpenShift. ikpo okwu. Enwere ike iwere ọrụ a dị ka mmejuputa ntụaka, ihe atụ nke otu esi ewulite ngwa AI / ML-as-a-a-service nke dabeere na OpenShift na ngwaọrụ ndị nwere mmeghe dị ka Tensorflow, JupyterHub, Spark na ndị ọzọ. Ọ dị mkpa ịmara na Red Hat n'onwe ya na-eji ọrụ a nye ọrụ AI/ML ya. Na mgbakwunye, OpenShift na-ejikọta ya na ngwanrọ isi na ngwaike ML sitere na NVIDIA, Seldon, Starbust na ndị na-ere ahịa ndị ọzọ, na-eme ka ọ dịkwuo mfe iwulite na ijikwa usoro mmụta igwe nke gị.
Arụmọrụ Open Data Hub lekwasịrị anya n'ụdị ndị ọrụ na ikpe ndị a:
- Onye nyocha data nke chọrọ ngwọta maka mmejuputa ọrụ ML, ahaziri dị ka igwe ojii nwere ọrụ ọrụ onwe ya.
- Onye nyocha data nke chọrọ oke nhọrọ sitere na ngwa AI/ML mepere emepe kachasị ọhụrụ na nyiwe.
- Onye nyocha data nke chọrọ ịnweta isi mmalite data mgbe ụdị ọzụzụ.
- Onye nyocha data nke chọrọ ohere ịnweta akụrụngwa mgbakọ (CPU, GPU, ebe nchekwa).
- Onye nyocha data nke chọrọ ikike imekọ ihe ọnụ yana soro ndị ọrụ ibe kekọrịta ọrụ, nata nzaghachi, ma mee nkwalite n'ọsọ ọsọ.
- Onye nyocha data nke chọrọ iso ndị mmepe na-emekọrịta ihe (na ndị otu devops) ka ụdị ML ya na nsonaazụ ọrụ wee banye na mmepụta.
- Onye injinia data kwesịrị inye onye nyocha data ohere ịnweta isi mmalite data dị iche iche mgbe ọ na-agbaso ụkpụrụ iwu na nchekwa chọrọ.
- Onye na-ahụ maka sistemụ IT / onye na-arụ ọrụ nke chọrọ ikike ijikwa usoro ndụ ndụ (nwụnye, nhazi, nkwalite) nke akụrụngwa na teknụzụ mepere emepe. Anyị chọkwara njikwa kwesịrị ekwesị na akụrụngwa oke.
Ọrụ Open Data Hub na-achịkọta ọtụtụ ngwa ọrụ mepere emepe iji mejuputa usoro ọrụ AI/ML zuru oke. A na-eji akwụkwọ ndetu Jupyter mee ihe ebe a dị ka ngwa ọrụ bụ isi maka nyocha data. Ngwa ngwa a na-ewu ewu n'etiti ndị sayensị data taa, na Open Data Hub na-enye ha ohere ịmepụta na jikwaa ebe ọrụ Jupyter Notebook n'ụzọ dị mfe site na iji JupyterHub arụnyere n'ime ya. Na mgbakwunye na imepụta na mbubata akwụkwọ ndetu Jupyter, ọrụ Open Data Hub nwekwara ọtụtụ akwụkwọ ndetu emebere n'ụdị ọbá akwụkwọ AI.
Ọbá akwụkwọ a bụ nchịkọta akụrụngwa mmụta igwe mepere emepe yana ngwọta maka ọnọdụ nkịtị na-eme ka ọ dị mfe prototyping ngwa ngwa. JupyterHub jikọtara ya na ụdị ohere RBAC nke OpenShift, nke na-enye gị ohere iji akaụntụ OpenShift dị ma mejuputa otu nbanye. Na mgbakwunye, JupyterHub na-enye onye ọrụ enyi-enyi na enyi interface a na-akpọ spawner, site na nke onye ọrụ nwere ike ịhazi ego ngwa ngwa ngwa ngwa (CPU cores, memory, GPU) maka akwụkwọ ndetu Jupyter ahọpụtara.
Mgbe onye nyocha data mebere ma hazie laptọọpụ ahụ, ndị ọrụ nhazi Kubernetes na-ahụ maka nchegbu ndị ọzọ niile gbasara ya, nke bụ akụkụ nke OpenShift. Ndị ọrụ nwere ike ịme nnwale ha naanị, chekwaa ma kesaa nsonaazụ ọrụ ha. Na mgbakwunye, ndị ọrụ toro eto nwere ike nweta shei OpenShift CLI ozugbo site na akwụkwọ ndetu Jupyter ka ha wee nwee ike itinye ihe ochie Kubernetes dị ka ọrụ ọrụ ma ọ bụ OpenShift dị ka Tekton ma ọ bụ Knative. Ma ọ bụ maka nke a ị nwere ike iji OpenShift's adaba GUI, nke a na-akpọ "OpenShift web console".
N'ịga n'ihu na ọkwa ọzọ, Mepee Data Hub na-eme ka o kwe omume ijikwa pipeline data. Maka nke a, a na-eji ihe Ceph eme ihe, nke a na-enye dị ka ihe nchekwa data S3 dakọtara. Apache Spark na-enye gị ohere ịkwanye data sitere na isi mmalite ma ọ bụ nchekwa Ceph S3 arụnyere, ma na-enye gị ohere ịme mgbanwe data mbido. Apache Kafka na-enye njikwa dị elu nke pipeline data (ebe enwere ike ibunye data ọtụtụ oge, yana mgbanwe data, nyocha, na ọrụ nnọgidesi ike).
Yabụ, onye nyocha data nwetara data wee wuo ihe nlereanya. Ugbu a ọ nwere ọchịchọ ịkọrọ nsonaazụ enwetara na ndị ọrụ ibe ma ọ bụ ndị mmepe ngwa, ma nye ha ihe nlereanya ya na ụkpụrụ nke ọrụ. Nke a chọrọ ihe nkesa inference, na Open Data Hub nwere ihe nkesa dị otú ahụ, a na-akpọ ya Seldon na-enye gị ohere ibipụta ihe nlereanya dị ka ọrụ RESTful.
N'oge ụfọdụ, e nwere ọtụtụ ụdị dị otú ahụ na ihe nkesa Seldon, na ọ dị mkpa iji nyochaa ka esi eji ha. Iji nweta nke a, Open Data Hub na-enye nchịkọta metrik dị mkpa yana injin na-akọ akụkọ dabere na ngwaọrụ nleba anya mepere emepe Prometheus na Grafana. N'ihi ya, anyị na-enweta nzaghachi iji nyochaa ojiji nke ụdị AI, karịsịa na ebe mmepụta ihe.
N'ụzọ dị otú a, Open Data Hub na-enye usoro dị ka ígwé ojii n'ime oge ndụ AI / ML dum, site na ịnweta data na nkwadebe iji gosipụta ọzụzụ na mmepụta ihe.
Na-etinye ya niile ọnụ
Ugbu a ajụjụ na-ebilite ka esi hazie ihe a niile maka onye nchịkwa OpenShift. Ma nke a bụ ebe onye ọrụ Kubernetes pụrụ iche maka ọrụ Open Data Hub na-abata.
Onye ọrụ a na-ahụ maka nrụnye, nhazi na usoro ndụ nke ọrụ Open Data Hub, gụnyere ntinye nke ngwaọrụ ndị a kpọtụrụ aha dị ka JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus na Grafana. Enwere ike ịhụ oru ngo Open Data Hub na njikwa webụ OpenShift, na ngalaba ndị ọrụ obodo. Ya mere, onye nchịkwa OpenShift nwere ike ịkọwapụta na a na-ahazi ọrụ OpenShift dị ka "Open Data Hub project". Emere nke a otu ugboro. Mgbe nke a gasịrị, onye nyocha data na-abanye n'ime oghere ọrụ ya site na OpenShift web console wee hụ na arụnyere onye ọrụ Kubernetes kwekọrọ ma dị maka ọrụ ya. Ọ jiri otu pịa mepụta ihe atụ ọrụ Open Data Hub wee nweta ngwa ngwa ndị akọwara n'elu ozugbo. Na ihe niile a nwere ike ahazi na elu nnweta na mmejọ ndidi mode.
Ọ bụrụ na ị ga-achọ ịnwale ọrụ Open Data Hub maka onwe gị, malite na . Enwere ike ịchọta nkọwa nka nke ihe owuwu Open Data Hub , atụmatụ mmepe oru ngo - . N'ọdịnihu, anyị na-eme atụmatụ imejuputa ntinye mgbakwunye na Kubeflow, dozie ọtụtụ okwu na nhazi data na nchekwa, ma hazie njikọ na usoro dabeere na iwu Drools na Optaplanner. Kwupụta echiche gị wee bụrụ onye so na ọrụ a kwere omume na ibe .
Iji chịkọtaghachi: Ihe ịma aka dị oke njọ na-egbochi ndị otu ụlọ ọrụ ịghọta ikike ọgụgụ isi na mmụta igwe. Ogologo oge ejirila Red Hat OpenShift dozie nsogbu ndị yiri ya na ụlọ ọrụ ngwanrọ. Ihe oru ngo Open Data Hub, nke etinyere n'ime obodo mmepe mepere emepe, na-enye nrụtụ aka maka ịhazi usoro ọrụ AI/ML zuru oke dabere na igwe ojii ngwakọ OpenShift. Anyị nwere atụmatụ doro anya na nke na-eche echiche maka mmepe nke oru ngo a, anyị dịkwa oke mkpa maka ịmepụta obodo na-arụsi ọrụ ike ma na-amị mkpụrụ na gburugburu ya maka ịmepụta ngwọta AI na-emeghe na OpenShift ikpo okwu.
isi: www.habr.com