Ọjọ iwaju ti de, ati oye atọwọda ati awọn imọ-ẹrọ ikẹkọ ẹrọ ti wa ni lilo ni aṣeyọri nipasẹ awọn ile itaja ayanfẹ rẹ, awọn ile-iṣẹ gbigbe ati paapaa awọn oko Tọki.
Ati pe ti nkan kan ba wa, lẹhinna nkankan tẹlẹ nipa rẹ lori Intanẹẹti… iṣẹ akanṣe kan! Wo bii Ṣii Data Ipele ṣe iranlọwọ fun ọ ni iwọn awọn imọ-ẹrọ tuntun ati yago fun awọn italaya imuse.
Pẹlu gbogbo awọn anfani ti itetisi atọwọda (AI) ati ẹkọ ẹrọ (ML), awọn ajo nigbagbogbo ni iṣoro wiwọn awọn imọ-ẹrọ wọnyi. Awọn iṣoro akọkọ ninu ọran yii nigbagbogbo jẹ atẹle:
- Alaye paṣipaarọ ati ifowosowopo - o fẹrẹ jẹ pe ko ṣee ṣe lati ṣe paṣipaarọ alaye lainidii ati ifowosowopo ni awọn aṣetunṣe iyara.
- Wiwọle data - fun iṣẹ kọọkan o nilo lati kọ tuntun ati pẹlu ọwọ, eyiti o gba akoko pupọ.
- Wiwọle lori ibeere - ko si ọna lati gba iraye si ibeere si awọn irinṣẹ ikẹkọ ẹrọ ati pẹpẹ, bakanna bi awọn amayederun iširo.
- Gbóògì - Awọn awoṣe wa ni ipele apẹrẹ ati pe a ko mu wa si lilo ile-iṣẹ.
- Tọpinpin ati ṣalaye awọn abajade AI - atunṣe, ipasẹ ati alaye ti awọn abajade AI / ML nira.
Ti a ko ba sọrọ, awọn iṣoro wọnyi ni odi ni ipa lori iyara, ṣiṣe, ati iṣelọpọ ti awọn onimọ-jinlẹ data to niyelori. Eyi nyorisi ibanujẹ wọn, ibanujẹ ninu iṣẹ wọn, ati bi abajade, awọn ireti iṣowo nipa AI / ML lọ si asan.
Ojuse fun ipinnu awọn iṣoro wọnyi ṣubu lori awọn alamọja IT, ti o gbọdọ pese awọn atunnkanka data pẹlu - iyẹn tọ, nkankan bi awọsanma. Ni awọn alaye diẹ sii, a nilo pẹpẹ ti o funni ni ominira ti yiyan ati ni irọrun, iraye si irọrun. Ni akoko kanna, o yara, irọrun atunto, iwọn lori ibeere ati sooro si awọn ikuna. Ṣiṣe iru iru ẹrọ bẹ lori awọn imọ-ẹrọ orisun ṣiṣi ṣe iranlọwọ lati yago fun titiipa ataja ati ṣetọju anfani ilana igba pipẹ ni awọn ofin ti iṣakoso idiyele.
Ni ọdun diẹ sẹhin, nkan ti o jọra n ṣẹlẹ ni idagbasoke ohun elo ati yori si ifarahan ti awọn iṣẹ microservices, awọn awọsanma arabara, adaṣe IT, ati awọn ilana agile. Lati koju gbogbo eyi, awọn alamọdaju IT ti yipada si awọn apoti, Kubernetes ati ṣii awọn awọsanma arabara.
A ti lo iriri yii lati dahun awọn italaya Al. Iyẹn ni idi ti awọn alamọdaju IT ṣe n kọ awọn iru ẹrọ ti o da lori eiyan, jẹki ẹda ti awọn iṣẹ AI/ML laarin awọn ilana agile, imudara imotuntun, ati pe a kọ pẹlu oju si awọsanma arabara.
A yoo bẹrẹ kikọ iru pẹpẹ kan pẹlu Red Hat OpenShift, pẹpẹ Kubernetes ti a fi sinu apoti wa fun awọsanma arabara, eyiti o ni ilolupo ilolupo ti sọfitiwia ati awọn solusan ML hardware (NVIDIA, H2O.ai, Starburst, PerceptiLabs, ati bẹbẹ lọ). Diẹ ninu awọn alabara Red Hat, gẹgẹ bi Ẹgbẹ BMW, ExxonMobil ati awọn miiran, ti gbe awọn apoti ohun elo ML ti a fi sinu apoti ati awọn ilana DevOps lori oke pẹpẹ ati ilolupo eda rẹ lati mu awọn ayaworan ML wọn wa si iṣelọpọ ati iyara iṣẹ ti awọn atunnkanka data.
Idi miiran ti a ṣe ifilọlẹ iṣẹ akanṣe Open Data Hub ni lati ṣe afihan apẹẹrẹ ti faaji ti o da lori ọpọlọpọ awọn iṣẹ akanṣe sọfitiwia orisun ṣiṣi ati ṣafihan bi o ṣe le ṣe gbogbo ọna igbesi aye ti ojutu ML ti o da lori pẹpẹ OpenShift.
Ṣii Data Hub Project
Eyi jẹ iṣẹ akanṣe orisun ṣiṣi ti o ni idagbasoke laarin agbegbe idagbasoke ti o baamu ati imuse iwọn iṣẹ ṣiṣe ni kikun - lati ikojọpọ ati yiyipada data akọkọ si ti ipilẹṣẹ, ikẹkọ ati mimu awoṣe kan - nigbati o ba yanju awọn iṣoro AI / ML ni lilo awọn apoti ati Kubernetes lori OpenShift Syeed. Ise agbese yii ni a le kà si imuse itọkasi, apẹẹrẹ ti bi o ṣe le kọ ojuutu AI / ML-bi-a-iṣẹ ti o da lori OpenShift ati awọn irinṣẹ orisun orisun ti o ni ibatan gẹgẹbi Tensorflow, JupyterHub, Spark ati awọn omiiran. O ṣe pataki lati ṣe akiyesi pe Red Hat funrararẹ nlo iṣẹ akanṣe yii lati pese awọn iṣẹ AI/ML rẹ. Ni afikun, OpenShift ṣepọ pẹlu sọfitiwia bọtini ati awọn solusan ML hardware lati NVIDIA, Seldon, Starbust ati awọn olutaja miiran, jẹ ki o rọrun lati kọ ati ṣiṣe awọn eto ikẹkọ ẹrọ tirẹ.
Ise agbese Ṣii Data Hub wa ni idojukọ lori awọn isọri atẹle ti awọn olumulo ati awọn ọran lilo:
- Oluyanju data ti o nilo ojutu kan fun imuse awọn iṣẹ akanṣe ML, ṣeto bi awọsanma pẹlu awọn iṣẹ iṣẹ ti ara ẹni.
- Oluyanju data ti o nilo yiyan ti o pọju lati orisun ṣiṣi tuntun AI/ML awọn irinṣẹ ati awọn iru ẹrọ.
- Oluyanju data ti o nilo iraye si awọn orisun data nigbati awọn awoṣe ikẹkọ.
- Oluyanju data ti o nilo iraye si awọn orisun iširo (CPU, GPU, iranti).
- Oluyanju data ti o nilo agbara lati ṣe ifowosowopo ati pinpin iṣẹ pẹlu awọn ẹlẹgbẹ, gba awọn esi, ati ṣe awọn ilọsiwaju ni aṣetunṣe iyara.
- Oluyanju data ti o fẹ lati ṣe ajọṣepọ pẹlu awọn idagbasoke (ati awọn ẹgbẹ devops) ki awọn awoṣe ML rẹ ati awọn abajade iṣẹ lọ sinu iṣelọpọ.
- Onimọ-ẹrọ data ti o nilo lati pese oluyanju data pẹlu iraye si ọpọlọpọ awọn orisun data lakoko ibamu pẹlu ilana ati awọn ibeere aabo.
- Alakoso eto IT / oniṣẹ ẹrọ ti o nilo agbara lati ṣakoso laiparuwo igbesi aye igbesi aye (fifi sori ẹrọ, iṣeto ni, igbesoke) ti awọn paati orisun ṣiṣi ati awọn imọ-ẹrọ. A tun nilo iṣakoso ti o yẹ ati awọn irinṣẹ ipin.
Ise agbese Ṣii Data Hub n ṣajọpọ ọpọlọpọ awọn irinṣẹ orisun ṣiṣi lati ṣe ilana iyipo kikun ti awọn iṣẹ AI / ML. Jupyter Notebook jẹ lilo nibi bi irinṣẹ iṣẹ akọkọ fun awọn atupale data. Ohun elo irinṣẹ jẹ olokiki pupọ laarin awọn onimọ-jinlẹ data loni, ati Ṣii Data Hub gba wọn laaye lati ni irọrun ṣẹda ati ṣakoso awọn aaye iṣẹ iwe Jupyter Notebook nipa lilo JupyterHub ti a ṣe sinu. Ni afikun si ṣiṣẹda ati gbigbe awọn iwe ajako Jupyter wọle, iṣẹ akanṣe Open Data Hub tun ni nọmba awọn iwe ajako ti a ti ṣetan ni irisi Ile-ikawe AI kan.
Ile-ikawe yii jẹ ikojọpọ ti awọn paati ikẹkọ ẹrọ orisun-ìmọ ati awọn ojutu fun awọn oju iṣẹlẹ ti o wọpọ ti o jẹ ki iṣapẹẹrẹ iyara jẹ irọrun. JupyterHub ti ṣepọ pẹlu awoṣe iraye si OpenShift's RBAC, eyiti o fun ọ laaye lati lo awọn akọọlẹ OpenShift ti o wa ati imuse ami-iwọle ẹyọkan. Ni afikun, JupyterHub nfunni ni wiwo olumulo ore-olumulo ti a npe ni spawner, nipasẹ eyiti olumulo le ni rọọrun tunto iye awọn orisun iširo (awọn ohun kohun Sipiyu, iranti, GPU) fun Iwe Akọsilẹ Jupyter ti o yan.
Lẹhin ti oluyanju data ṣẹda ati tunto kọnputa agbeka, gbogbo awọn ifiyesi miiran nipa rẹ ni itọju nipasẹ oluṣeto Kubernetes, eyiti o jẹ apakan ti OpenShift. Awọn olumulo le ṣe awọn idanwo wọn nikan, fipamọ ati pin awọn abajade ti iṣẹ wọn. Ni afikun, awọn olumulo to ti ni ilọsiwaju le wọle taara ikarahun OpenShift CLI taara lati awọn iwe afọwọkọ Jupyter lati mu Kubernetes primitives bii Job tabi iṣẹ ṣiṣe OpenShift bii Tekton tabi Knative. Tabi fun eyi o le lo OpenShift's rọrun GUI, eyiti a pe ni “console wẹẹbu OpenShift”.
Gbigbe lọ si ipele atẹle, Ṣii Data Hub jẹ ki o ṣee ṣe lati ṣakoso awọn opo gigun ti data. Fun eyi, ohun Ceph ni a lo, eyiti o pese bi ibi ipamọ data ohun ibaramu S3. Apache Spark n pese ṣiṣanwọle data lati awọn orisun ita tabi ibi ipamọ Ceph S3 ti a ṣe sinu, ati pe o tun fun ọ laaye lati ṣe awọn iyipada data alakoko. Apache Kafka n pese iṣakoso ilọsiwaju ti awọn opo gigun ti data (nibiti o ti le kojọpọ data ni igba pupọ, bakanna bi iyipada data, itupalẹ, ati awọn iṣẹ itẹramọṣẹ).
Nitorinaa, oluyanju data wọle si data ati kọ awoṣe kan. Bayi o ni ifẹ lati pin awọn abajade ti o gba pẹlu awọn ẹlẹgbẹ tabi awọn olupilẹṣẹ ohun elo, ati pese wọn pẹlu awoṣe rẹ lori awọn ipilẹ ti iṣẹ kan. Eyi nilo olupin itọka, ati Open Data Hub ni iru olupin kan, o pe ni Seldon ati pe o fun ọ laaye lati ṣe atẹjade awoṣe bi iṣẹ RESTful.
Ni aaye kan, ọpọlọpọ iru awọn awoṣe wa lori olupin Seldon, ati pe iwulo wa lati ṣe atẹle bii wọn ṣe lo. Lati ṣaṣeyọri eyi, Ṣii Data Hub nfunni ni akojọpọ awọn metiriki ti o yẹ ati ẹrọ ijabọ kan ti o da lori awọn irinṣẹ ibojuwo orisun ṣiṣi ti a lo lọpọlọpọ Prometheus ati Grafana. Bi abajade, a gba esi lati ṣe atẹle lilo awọn awoṣe AI, ni pataki ni agbegbe iṣelọpọ.
Ni ọna yii, Ṣii Data Hub n pese ọna ti o dabi awọsanma jakejado gbogbo igbesi aye AI / ML, lati wiwọle data ati igbaradi si ikẹkọ awoṣe ati iṣelọpọ.
Fifi gbogbo rẹ papọ
Bayi ibeere naa dide bi o ṣe le ṣeto gbogbo eyi fun oluṣakoso OpenShift. Ati pe eyi ni ibiti oniṣẹ Kubernetes pataki kan fun awọn iṣẹ akanṣe Open Data Hub wa sinu ere.
Oṣiṣẹ yii n ṣakoso fifi sori ẹrọ, iṣeto ati igbesi-aye igbesi aye ti Open Data Hub ise agbese, pẹlu imuṣiṣẹ ti awọn irinṣẹ ti a ti sọ tẹlẹ gẹgẹbi JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus ati Grafana. Ise agbese Ṣii Data Hub ni a le rii ninu console wẹẹbu OpenShift, ni apakan awọn oniṣẹ agbegbe. Nitorinaa, oluṣakoso OpenShift le ṣalaye pe awọn iṣẹ akanṣe OpenShift ti o baamu jẹ tito lẹšẹšẹ bi “Iṣẹ-iṣẹ Ṣii Data Hub”. Eyi ni a ṣe ni ẹẹkan. Lẹhin eyi, oluyanju data wọle sinu aaye iṣẹ akanṣe rẹ nipasẹ console wẹẹbu OpenShift ati rii pe oniṣẹ Kubernetes ti o baamu ti fi sori ẹrọ ati wa fun awọn iṣẹ akanṣe rẹ. Lẹhinna o ṣẹda apẹẹrẹ iṣẹ akanṣe Open Data Hub pẹlu titẹ kan ati lẹsẹkẹsẹ ni iwọle si awọn irinṣẹ ti a ṣalaye loke. Ati pe gbogbo eyi le tunto ni wiwa giga ati ipo ifarada ẹbi.
Ti o ba fẹ gbiyanju iṣẹ akanṣe Ṣii Data Hub fun ararẹ, bẹrẹ pẹlu . Awọn alaye imọ-ẹrọ ti faaji Open Data Hub ni a le rii Awọn eto idagbasoke iṣẹ akanṣe - . Ni ọjọ iwaju, a gbero lati ṣe imuse isọpọ afikun pẹlu Kubeflow, yanju nọmba kan ti awọn ọran pẹlu ilana data ati aabo, ati tun ṣeto iṣọpọ pẹlu awọn eto ipilẹ-ofin Drools ati Optaplanner. Ṣe afihan ero rẹ ki o di alabaṣe ninu iṣẹ naa ṣee ṣe lori oju-iwe naa .
Lati tun ṣe: Awọn italaya wiwọn to ṣe pataki n ṣe idiwọ fun awọn ajo lati mọ agbara kikun ti oye atọwọda ati ẹkọ ẹrọ. Red Hat OpenShift ti gun ni aṣeyọri lati yanju awọn iṣoro ti o jọra ni ile-iṣẹ sọfitiwia. Ise agbese Ṣii Data Hub, ti a ṣe laarin agbegbe idagbasoke orisun ṣiṣi, nfunni faaji itọkasi fun siseto ọna kikun ti awọn iṣẹ AI/ML ti o da lori awọsanma arabara OpenShift. A ni ero ti o han gbangba ati ironu fun idagbasoke iṣẹ akanṣe yii, ati pe a ṣe pataki nipa ṣiṣẹda agbegbe ti nṣiṣe lọwọ ati eso ni ayika rẹ fun idagbasoke awọn solusan AI ṣiṣi lori pẹpẹ OpenShift.
orisun: www.habr.com