Mustaqbalku waa yimid, iyo sirdoonka macmal iyo farsamada barashada mashiinka ayaa durbaba si guul leh u isticmaaleen dukaamada aad jeceshahay, shirkadaha gaadiidka iyo xitaa beeraha turkiga.
Oo haddii ay wax jiraan, markaa waxaa jira mar hore wax ku saabsan internetka ... mashruuc furan! Eeg sida Furan Xogta Hubka ay kaaga caawinayso cabirida tignoolajiyada cusub oo aad ka fogaato caqabadaha fulinta.
Dhammaan faa'iidooyinka sirdoonka macmal (AI) iyo barashada mashiinka (ML), ururadu waxay inta badan ku adag tahay inay cabbiraan tignoolajiyadan. Dhibaatooyinka ugu waaweyn ee kiiskan inta badan waa kuwan:
- Isdhaafsiga macluumaadka iyo iskaashiga - waa wax aan macquul aheyn in macluumaadka la isku dhaafsado dadaal la'aan iyo in la iska kaashado ku celcelin degdeg ah.
- Helitaanka xogta - hawl kasta waxay u baahan tahay in dib loo dhiso oo gacanta lagu qabto, taasoo waqti badan qaadanaysa.
- Helitaanka dalabka - ma jirto hab lagu helo baahida loo qabo qalabka barashada mashiinka iyo madal, iyo sidoo kale kaabayaasha xisaabinta.
- Soo -saarid - moodooyinka ayaa ku sii jira heerka prototype oo aan loo keenin isticmaalka warshadaha.
- Lasoco oo sharax natiijooyinka AI - soo saarista, dabagalka iyo sharaxaada natiijooyinka AI/ML waa adag tahay.
Haddii aan wax laga qaban, dhibaatooyinkani waxay si xun u saameeyaan xawaaraha, waxtarka, iyo wax soo saarka saynisyahannada xogta qiimaha leh. Tani waxay keenaysaa niyad-jabkooda, niyad-jabka shaqadooda, iyo natiijada, rajooyinka ganacsi ee ku saabsan AI / ML waxay tagaan khasaare.
Mas'uuliyadda xallinta dhibaatooyinkan waxay ku dhacdaa khabiirada IT-ga, kuwaas oo ay tahay inay bixiyaan falanqeeyayaasha xogta - taasi waa sax, wax sida daruuraha. Si aad u faahfaahsan, waxaan u baahanahay madal siinaya xorriyadda doorashada oo leh ku habboon, si sahlan loo geli karo. Isla mar ahaantaana, waa mid degdeg ah, si fudud dib loo habeyn karo, la cabbiri karo baahida iyo adkaysiga guuldarrada. Dhisida madal noocan oo kale ah oo ku saabsan tignoolajiyada isha furan waxay ka caawisaa in laga fogaado qufulka iibiyaha iyo ilaalinta faa'iidada istaraatiijiyadeed ee muddada dheer marka la eego xakamaynta qiimaha.
Dhawr sano ka hor, wax la mid ah ayaa ka dhacayay horumarinta arjiga oo horseeday soo bixitaanka adeeg-yaraha, daruuraha isku-dhafka ah, qalabaynta IT-ga, iyo geeddi-socodka agile. Si loola tacaalo waxaas oo dhan, xirfadlayaasha IT-gu waxay u jeesteen weel, Kubernetes iyo daruuro isku dhafan oo furan.
Khibradan hadda waxa loo adeegsaday si looga jawaabo caqabadaha Al. Taasi waa sababta xirfadlayaasha IT ay u dhisayaan goobo ku salaysan weel, awoodna u abuurista adeegyada AI/ML ee hababka firfircoon, dardar geliyaan hal-abuurnimada, oo lagu dhisay indho-sarcaadka isku-dhafka ah.
Waxaan bilaabi doonaa inaan dhisno madal noocaan oo kale ah oo leh Koofiyada Cas OpenShift, madalkeena Kubernetes ee weel lagu shubay ee daruuraha isku-dhafka ah, kaas oo si degdeg ah u koraya nidaamka deegaanka ee software iyo xalalka ML hardware (NVIDIA, H2O.ai, Starburst, PerceptiLabs, iwm.). Qaar ka mid ah macaamiisha Koofiyada Cas, sida BMW Group, ExxonMobil iyo kuwa kale, ayaa durba geeyey weelka ML Toolchains iyo hababka DevOps ee dusha sare ee madal iyo hab-nololeedkeeda si ay u keenaan qaab-dhismeedkooda ML si ay u soo saaraan oo ay u dedejiyaan shaqada falanqeeyayaasha xogta.
Sababta kale ee aan u bilownay mashruuca Hubka Furan waa in aan muujino tusaale qaab dhismeedka ku saleysan dhowr mashruuc oo software il furan oo aan tusno sida loo hirgeliyo dhammaan wareegga nolosha ee xalka ML oo ku saleysan madal OpenShift.
Fur Mashruuca Hubka Xogta
Kani waa mashruuc il furan oo lagu horumariyo bulshada horumarka ee u dhiganta oo fulisa wareeg buuxa oo hawlgallo ah - laga bilaabo rarista iyo beddelka xogta bilowga ah si loo dhaliyo, tababarka iyo ilaalinta moodalka - marka la xalliyo dhibaatooyinka AI / ML iyadoo la adeegsanayo weelasha iyo Kubernetes ee OpenShift madal. Mashruucan waxaa loo tixgelin karaa hirgelinta tixraaca, tusaale ahaan sida loo dhiso AI / ML-as-a-adeegga furan ee ku salaysan OpenShift iyo qalabyada furan ee la xidhiidha sida Tensorflow, JupyterHub, Spark iyo kuwa kale. Waxaa muhiim ah in la ogaado in Koofiyadda Cas lafteedu ay isticmaasho mashruucan si ay u bixiso adeegyadeeda AI/ML. Intaa waxaa dheer, OpenShift waxay la midaysaa software-yada muhiimka ah iyo xalalka ML hardware ee NVIDIA, Seldon, Starbust iyo iibiyeyaasha kale, taas oo sahlaysa inaad dhisto oo aad maamusho hababka barashada mashiinkaaga.
Mashruuca Hubka Furan wuxuu diiradda saarayaa qaybaha soo socda ee isticmaalayaasha iyo kiisaska isticmaalka:
- Falanqeeyaha xogta oo u baahan xalka fulinta mashaariicda ML, oo loo habeeyey sida daruur oo leh hawlo is-adeegga.
- Falanqeeyaha Xogta oo u baahan xulashada ugu badan ee agabka AI/ML ee ugu dambeeyay ee furan.
- Falanqeeyaha xogta oo u baahan helitaanka ilaha xogta marka uu tababarayo moodooyinka.
- Falanqeeyaha xogta ee u baahan marin u helka ilaha xisaabinta (CPU, GPU, memory).
- Falanqeeyaha Xogta oo u baahan awooda wada shaqaynta iyo la wadaagida shaqada asxaabta, helo jawaab celinta, oo uu horumariyo ku samaynta dhaqsaha badan.
- Falanqeeyaha xogta raba inuu la falgalo horumariyeyaasha (iyo kooxo goostay) si moodallada ML-kiisa iyo natiijooyinka shaqadu ay u galaan wax soo saar.
- Injineer xogeed u baahan in uu siiyo falanqeeye xogta marin u helka ilo xogeedyo kala duwan isaga oo raacaya shuruudaha sharciga iyo amniga.
- Maamulaha nidaamka IT-ga / hawl-wadeenka u baahan awoodda uu si dadaal la'aan ah u xakameynayo meertada nolosha (rakibaadda, qaabeynta, cusboonaysiinta) qaybaha isha furan iyo teknoolojiyadda. Waxaan sidoo kale u baahanahay maamul ku habboon iyo qalab kootada.
Mashruuca Open Data Hub wuxuu isu keenaa noocyo kala duwan oo qalab il furan si loo hirgeliyo wareeg buuxa oo hawlgallada AI/ML ah. Buug-yaraha Jupyter waxaa halkan loo isticmaalaa sidii aaladda shaqada ugu weyn ee falanqaynta xogta. Qalabka qalabka ayaa si weyn caan uga ah saynisyahannada xogta maanta, iyo Open Data Hub waxay u oggolaanaysaa inay si fudud u abuuraan oo ay u maamulaan goobaha shaqada ee Jupyter Notebook iyagoo isticmaalaya JupyterHub-ku-dhisan. Marka laga soo tago abuurista iyo soo dejinta buugaagta xusuus-qorka ee Jupyter, mashruuca Open Data Hub waxa kale oo uu ka kooban yahay tiro buugaag-qoraal ah oo diyaarsan oo ah qaab maktabad AI ah.
Maktabadu waa ururinta qaybaha barashada mashiinka il-furan iyo xalalka xaaladaha caadiga ah ee fududeeya wax-soo-saarka degdega ah. JupyterHub waxaa lagu dhex daray qaabka gelitaanka OpenShift's RBAC, kaas oo kuu ogolaanaya inaad isticmaasho akoonnada OpenShift ee jira oo aad hirgeliso hal saxiix. Intaa waxaa dheer, JupyterHub waxay bixisaa is-dhexgal isticmaale-saaxiibtinimo ah oo loo yaqaan spawner, kaas oo isticmaaluhu si fudud u habeyn karo qadarka ilaha xisaabinta (CPU cores, memory, GPU) ee la doortay Jupyter Notebook.
Ka dib markii falanqeeyaha xogta uu abuuro oo habeeyo laptop-ka, dhammaan welwelka kale ee ku saabsan waxaa daryeelaya jadwalka Kubernetes, oo qayb ka ah OpenShift. Isticmaalayaashu waxay kaliya samayn karaan tijaabadooda, kaydiyaan oo ay wadaagaan natiijooyinka shaqadooda. Intaa waxaa dheer, isticmaalayaasha horumarsan waxay si toos ah uga heli karaan qolofka OpenShift CLI si toos ah buugaagta xusuus-qorka ee Jupyter si ay uga faa'iidaystaan Kubernetes primitives sida shaqada ama OpenShift shaqeynta sida Tekton ama Knative. Ama tan waxaad isticmaali kartaa OpenShift's GUI ku habboon, kaas oo loo yaqaan "OpenShift web console".
U gudbida marxaladda xigta, Open Data Hub waxay suurtogal ka dhigaysaa in la maareeyo dhuumaha xogta. Taas awgeed, shayga Ceph ayaa loo isticmaalaa, kaas oo loo bixiyay kaydinta xogta shay ku habboon S3. Apache Spark wuxuu kuu ogolaanayaa inaad ka soo gudbiso xogta ilaha dibadda ama kaydinta Ceph S3 ee la dhisay, sidoo kale waxay kuu ogolaaneysaa inaad sameyso isbeddelka xogta hordhaca ah. Apache Kafka waxay bixisaa maaraynta horumarsan ee dhuumaha xogta (halkaas oo xogta lagu shubi karo marar badan, iyo sidoo kale beddelka xogta, falanqaynta, iyo hawlgallada joogtada ah).
Markaa, falanqeeyaha xogta ayaa helay xogta wuxuuna dhisay qaab. Hadda wuxuu leeyahay rabitaan ah in uu la wadaago natiijooyinka la helay asxaabta ama horumarinta codsiyada, oo uu siiyo qaabkiisa mabaadi'da adeegga. Tani waxay u baahan tahay adeeg bixiyaha, Open Data Hub waxay leedahay server-kaas oo kale, waxaa loo yaqaan Seldon waxayna kuu ogolaaneysaa inaad u daabacdo qaabka adeeg RESTful ah.
Marmarka qaarkood, waxaa jira dhowr nooc oo noocaan ah oo ku yaal server-ka Seldon, waxaana loo baahan yahay in lala socdo sida loo isticmaalo. Si taas loo gaaro, Open Data Hub waxay bixisaa ururinta cabbiro khuseeya iyo mishiin warbixineed oo ku salaysan agabka la socodka isha furan ee aadka loo isticmaalo Prometheus iyo Grafana. Natiijo ahaan, waxaan helnaa jawaab celin si aan ula socono isticmaalka moodooyinka AI, gaar ahaan jawiga wax soo saarka.
Sidan oo kale, Open Data Hub waxay bixisaa hab-daruur u eg inta lagu jiro wareegga nolosha AI / ML oo dhan, laga bilaabo helitaanka xogta iyo diyaarinta qaabka tababarka iyo wax soo saarka.
Isku soo wada duuboo
Hadda su'aashu waxay soo baxaysaa sida loo abaabulo waxaas oo dhan maamulaha OpenShift. Waana halka uu ka soo galo hawl wadeenka gaarka ah ee Kubernetes ee mashaariicda Hubka Furan.
Hawlwadeenkani waxa uu maareeyaa rakibaadda, qaabaynta iyo meertada nolosha mashruuca Open Data Hub, oo ay ku jiraan hawlgelinta agabyada aan soo sheegnay sida JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus iyo Grafana. Mashruuca Hubka Furan waxaa laga heli karaa OpenShift web console, qaybta hawl wadeenada bulshada. Markaa, maamulaha OpenShift wuxuu qeexi karaa in mashaariicda OpenShift ee u dhiganta loo kala saaray "Mashruuca Xogta Hubka ee Furan". Tan waxa la sameeyaa hal mar. Taas ka dib, falanqeeyaha xogta ayaa gasha goobta mashruuca iyada oo loo marayo OpenShift web console oo uu arko in hawlwadeenka Kubernetes ee ku habboon la rakibay oo diyaar u ah mashaariicdiisa. Kadib wuxuu abuuraa tusaale mashruuca Hubka Furan oo hal gujin ah isla markiiba wuxuu helayaa aaladaha kor lagu sharaxay. Oo waxaas oo dhan waxaa lagu habeyn karaa helitaanka sare iyo qaabka dulqaadka cilladaha.
Haddii aad jeclaan lahayd inaad isku daydo naftaada mashruuca Hubka Furan, ku bilow . Faahfaahinta farsamada qaab dhismeedka Hubka Furan ayaa la heli karaa , qorshayaasha horumarinta mashruuca - . Mustaqbalka, waxaan qorsheyneynaa inaan hirgelino isdhexgalka dheeraadka ah ee Kubeflow, xallinta arrimo dhowr ah oo ku saabsan habaynta xogta iyo amniga, iyo sidoo kale abaabulo isdhexgalka nidaamyada ku salaysan qawaaniinta Drools iyo Optaplanner. Aragtidaada dhiibo oo noqo ka qaybqaataha mashruuca suurto gal bogga .
Si aan dib u soo koobo: Caqabado miisaan culus leh ayaa ka hortagaya ururada inay gartaan kartida buuxda ee sirdoonka macmal iyo barashada mashiinka. Koofiyada Cas OpenShift ayaa muddo dheer si guul leh loo isticmaalay si loo xalliyo dhibaatooyinka la midka ah ee warshadaha software. Mashruuca Hubka Furan, oo laga dhex hirgeliyay bulshada horumarinta isha furan, ayaa bixisa qaab dhismeedka tixraaca ee abaabulka wareeg buuxa ee hawlgallada AI/ML oo ku salaysan daruuraha isku-dhafka ah ee OpenShift. Waxaan leenahay qorshe cad oo fikir leh oo ku saabsan horumarinta mashruucan, waxaanan dhab ka nahay abuurista bulsho firfircoon oo miro dhal ah oo hareeraheeda ah si loo horumariyo xalalka AI ee furan ee madal OpenShift.
Source: www.habr.com