Qaababka kaydinta xogta ee Kubernetes

Haye Habr!

Waxaan ku xasuusineynaa inaan soo saarnay mid kale oo aad u xiiso badan oo faa'iido leh buug ku saabsan qaababka Kubernetes. Waxay ku bilaabantay "Naqshadaha" Brendan Gubtay, iyo, jid ahaan, waxaan ku haynaa shaqo qaybtan kasoobaxa. Maanta waxaan kugu martiqaadeynaa inaad akhrido maqaal ka soo baxay MinIO blog oo si kooban u qeexaya isbeddellada iyo qaababka gaarka ah ee qaababka kaydinta xogta ee Kubernetes.

Kubernetes ayaa asal ahaan beddeshay horumarinta codsiga dhaqameed iyo qaababka geynta. Hadda kooxi waxay horumarin kartaa, tijaabin kartaa, oo diri kartaa arji maalmo gudahood—guud ahaan bey'adyo badan, dhammaan kutlada Kubernetes. Shaqada noocan oo kale ah ee jiilalkii hore ee tignoolajiyada waxay badanaa qaadatay toddobaadyo, haddii aysan ahayn bilo.

Dardargelintan waxaa suurtageliyay soo saarista ay bixiso Kubernetes-taasi waa, xaqiiqda ah in Kubernetes lafteeda ay la falgasho faahfaahinta heerka hoose ee mashiinnada muuqaalka ah, u oggolaanaya dadka isticmaala inay ku dhawaaqaan processor-ka la rabo, qaddarka xusuusta ee la rabo, iyo tirada kiisaska weelka, iyo cabbiro kale. Iyada oo bulsho weyn ay taageerto Kubernetes iyo korsinteedu ay si joogto ah u sii fidayso, Kubernetes waa hogaamiyaha ka mid ah dhammaan aaladaha abaabulka weelka marka loo eego xad ballaadhan.

Sida isticmaalka Kubernetes u korayo, sidoo kale jaahwareerka ku saabsan qaababka kaydinta ayaa u koraya..

Iyadoo qof kastaa uu u tartamayo qayb ka mid ah Kubernetes pie (ie, kaydinta xogta), marka ay timaado ka hadalka kaydinta xogta, calaamaduhu waxay ku qarqayaan buuq badan.
Kubernetes waxa ay ka kooban tahay qaab casri ah oo loogu talagalay horumarinta codsiga, geynta, iyo maamulka. Qaabkan casriga ah waxa uu ka saara kaydinta xogta xisaabinta. Si aad si buuxda u fahamto kala goynta macnaha Kubernetes, waxaad sidoo kale u baahan tahay inaad fahanto waxa codsiyada dawladeed iyo kuwa bilaa dal ay yihiin, iyo sida kaydinta xogta ay ugu habboon tahay taas. Tani waa halka habka REST API ee loo isticmaalo S3 uu faa'iidooyin cad ka leeyahay habka POSIX/CSI ee xalalka kale.

Maqaalkan, waxaan ka hadli doonaa qaababka kaydinta xogta ee Kubernetes oo si gaar ah u taaban doonaa doodda u dhaxaysa codsiyada dawlad-goboleed iyo kuwa aan waddan lahayn si loo fahmo farqiga u dhexeeya iyaga iyo sababta ay muhiim u tahay. Inta kale ee qoraalka ah waxay eegi doontaa codsiyada iyo qaababka kaydinta xogta iyaga oo eegaya hababka ugu fiican ee la shaqaynta weelasha iyo Kubernetes.

Konteenarada aan dal lahayn

Konteenarada dabci ahaan waa kuwo khafiif ah oo aan caadi ahayn. Si fudud ayaa loo joojin karaa, laga saari karaa, ama loo diri karaa nood kale - dhamaantood ilbiriqsiyo gudahood. Nidaamka habaynta weelka weyn, hawlgallada noocan oo kale ah waxay dhacaan mar kasta, isticmaalayaashu xitaa ma dareemaan isbeddeladaas. Si kastaba ha ahaatee, dhaqaaqa ayaa suurtagal ah oo kaliya haddii weelku aanu lahayn wax ku-tiirsanaanta qanjirada uu ku yaal. Konteenarada noocaan ah ayaa la sheegay inay shaqeeyaan dawlad la'aan.

Konteenarada Gobolka

Haddii weelku kaydiyo xogta aaladaha gudaha ku xiran (ama aaladda block), markaas bakhaarka xogta uu ku yaal waa in loo raro nood cusub, oo ay weheliso weelka laftiisa, haddii ay dhacdo guuldarro. Tani waa muhiim sababtoo ah haddii kale codsiga ku socda weelka ma awoodi doono inuu si sax ah u shaqeeyo sababtoo ah waxay u baahan tahay inay gasho xogta lagu kaydiyo warbaahinta maxaliga ah. Konteenarada noocaan ah ayaa la sheegay inay shaqeeyaan dawladeed.

Marka laga eego dhinaca farsamada kaliya, weelasha sharafta leh ayaa sidoo kale loo wareejin karaa qanjidhada kale. Tan waxaa sida caadiga ah lagu gaaraa iyadoo la isticmaalayo nidaamyada faylka la qaybiyey ama xannibaadda kaydinta shabakadda ee ku dheggan dhammaan noodaha socda weelasha. Sidan, weelku waxay gelayaan mugga kaydinta xogta joogtada ah, waxaana macluumaadka lagu kaydiyaa saxanadaha ku yaal shabakadda oo dhan. Waxaan u yeeri doonaa habkan "hab weel dawladeed", maqaalka intiisa kalena waxaan ugu yeeri doonaa midnimo dartiis.

Habka weelka caadiga ah ee caadiga ah, dhammaan sanduuqyada arjiyada waxay ku lifaaqan yihiin hal nidaam faylal la qaybiyey-nooc kaydinta la wadaago halkaasoo dhammaan xogta codsigu ay degan tahay. Iyadoo ay jiraan kala duwanaansho suurtagal ah, tani waa hab heer sare ah.

Hadda aynu eegno sababta habka weel ee dawladeed u yahay qaab lid ku ah adduunka daruuraha xuddun u ah.

Naqshadaynta codsiga asalka ah ee daruuraha

Dhaqan ahaan, codsiyadu waxay u isticmaali jireen kaydinta xogta habaysan ee kaydinta macluumaadka iyo saxannada maxaliga ah ama nidaamyada faylka la qaybiyay halkaas oo dhammaan xogta aan habaysan ama xitaa hab-dhismeedku la tuuray. Markay tirada xogta aan habaysan lahayn ay korodhay, horumariyayaashu waxay xaqiiqsadeen in POSIX uu aad u sheekaysanayay, uu lahaa culays wayn, oo ugu dambayntii caqabad ku noqday waxqabadka codsiga marka loo guurayo miisaanyo waaweyn.

Tani waxay inta badan gacan ka gaysatay soo bixitaanka heerka cusub ee kaydinta xogta, taas oo ah, kaydinta daruuraha ku salaysan, ka shaqaynta ugu horaysa ee ku salaysan REST API iyo ka xoraynta codsiga dayactirka culayska leh ee kaydinta xogta degaanka. Xaaladdan oo kale, codsigu wuxuu si wax ku ool ah u galayaa qaab aan waddan lahayn (maaddaama gobolku ku jiro kaydinta fog). Codsiyada casriga ah waxaa laga dhisay meel xoq ah iyadoo maskaxda lagu hayo qodobkan. Sida caadiga ah, codsi kasta oo casri ah oo socodsiiya xogta nooc ama mid kale (logs, metadata, blobs, iwm.) waxaa loo dhisay si waafaqsan jaantuska daruuriga ah, halkaas oo gobolka lagu wareejiyo nidaamka software si gaar ah loogu talagalay kaydinta.

Habka weelka leh ee dawladeed ayaa ku qasbaya dhammaan jaantuskan inuu dib u soo celiyo halkii uu ka bilaabmay!

Adigoo isticmaalaya POSIX interfaces si ay u kaydiyaan xogta, codsiyadu waxay u shaqeeyaan sidii inay yihiin kuwo xaalad leh, sidaas awgeedna, waxay ka baxayaan mabaadi'da ugu muhiimsan ee naqshadaynta daruuraha, taas oo ah, awoodda ay ku kala duwan yihiin cabbirka xargaha codsiga ee ku xiran midka soo socda. galinta.load, u guuri nood cusub isla marka uu noodhka hadda ku guuldareysto, iyo wixii la mid ah.

Marka aan si qoto dheer u eegno xaaladdan, waxaan ogaanay in marka la dooranayo dukaanka xogta, waxaan mar kale iyo mar kale la kulannaa POSIX vs. REST API dilemma, LAAKIIN iyada oo sii xumeyn dheeraad ah dhibaatooyinka POSIX sababtoo ah dabeecadda la qaybiyay ee deegaanka Kubernetes. Khaas ahaan,

• POSIX waa sheeko: POSIX semantics waxay u baahan tahay in hawlgal kasta lagu xidho xogta badan iyo sharraxayaasha faylka kuwaas oo gacan ka geysta ilaalinta xaaladda hawlgalka. Tani waxay keenaysaa kharashyo muhiim ah oo aan lahayn qiimo dhab ah. Kaydinta sheyga API-yada, gaar ahaan S3 API, waxay ka takhalusaan shuruudahan, iyagoo u oggolaanaya arjiga inuu shido ka dibna "illow" wicitaanka. Jawaabta nidaamka kaydinta ayaa tilmaamaysa in falku ahaa mid guulaystay iyo in kale. Haddii uu ku guuldareysto, codsigu wuxuu isku dayi karaa mar kale.
• Xayiraadaha shabakada: Nidaamka la qaybiyey, waxa la maldahan in ay jiri karaan codsiyo badan oo isku dayaya in ay xogta u qoraan isla warbaahinta ku lifaaqan. Sidaa darteed, ma aha oo kaliya codsiyada midba midka kale ku tartami doona xawaaraha wareejinta xogta (si loogu diro xogta warbaahinta), laakiin nidaamka kaydinta laftiisa ayaa ku tartami doona xajmiga xajmiga iyada oo u diraya xogta gudaha saxannada jirka. Sababtoo ah joogitaanka POSIX, tirada wicitaanada shabakadu way kordhisaa dhowr jeer. Dhanka kale, S3 API wuxuu bixiyaa farqi cad oo u dhexeeya wicitaannada shabakadaha u dhexeeya kuwa ka soo jeeda macmiilka ee server-ka iyo kuwa ka dhex dhaca server-ka.
• Amniga: Habka amniga POSIX waxaa loogu talagalay ka qaybqaadashada firfircoonida aadanaha: maamulayaashu waxay dejiyaan heerar gaar ah oo isticmaale ama koox kasta. Habkani waa ay adagtahay in lala qabsado adduunyada daruurta udub dhexaad u ah. Codsiyada casriga ahi waxay ku xidhan yihiin moodooyinka amniga ku salaysan ee API, halkaasoo xuquuqaha gelitaanka lagu qeexay siyaasado, xisaab adeeg, shahaadooyin ku meel gaar ah, iwm.
• Maareynta: Konteenarada sida gaarka ah loo leeyahay waxay leeyihiin xoogaa maarayn ah. Waxaan ka hadleynaa isku-dhafka isku midka ah ee helitaanka xogta, hubinta joogteynta xogta, waxaas oo dhan waxay u baahan yihiin tixgelin taxaddar leh qaababka helitaanka xogta si loo isticmaalo. Software dheeraad ah waa in la rakibaa, la kormeeraa, oo la habeeyaa, iyada oo aan lagu xusin dadaal dheeri ah oo horumarineed.

Interface Kaydinta Xogta Koonteenarada

In kasta oo Interface Kaydinta Kontaynarrada (CSI) ay caawimo weyn ka ahayd fidinta lakabka mugga ee Kubernetes, qayb ahaan dibadda u saaraysa iibiyaasha kaydinta qolofka saddexaad, waxa ay sidoo kale si badheedh la'aan ah gacan uga gaysatay rumaynta in habka weelka ee dawladu yahay habka lagu taliyey kaydinta xogta gudaha Kubernetes.

CSI waxaa loo sameeyay sidii halbeeg loogu talagalay bixinta xannibaado aan sabab lahayn iyo nidaamyada kaydinta faylalka si loo helo codsiyada dhaxalgalka ah marka lagu shaqeynayo Kubernetes. Iyo, sida maqaalkani muujiyay, xaaladda kaliya ee habka weel dawladeed (iyo CSI qaabkeeda hadda) macno samaynayso waa marka codsiga laftiisa uu yahay nidaam dhaxal ah oo aan suurtagal ahayn in lagu daro taageerada sheyga kaydinta API. .

Waxaa muhiim ah in la fahmo in isticmaalka CSI ee qaabka hadda jira, taas oo ah, kor u qaadista mugga marka la shaqeynayo codsiyada casriga ah, waxaan la kulmi doonaa ku dhawaad ​​​​dhibaatooyin isku mid ah oo ka soo baxay nidaamyada halkaasoo kaydinta xogta lagu habeeyay qaabka POSIX.

Habka Wacan

Xaaladdan oo kale, waxaa muhiim ah in la fahmo in codsiyada intooda badan aan si dabiici ah loogu talagalay shaqo dawladeed ama waddan la'aan ah. Dabeecaddani waxay ku xidhan tahay nidaamka guud ee qaab dhismeedka iyo doorashooyinka naqshadaynta gaarka ah ee la sameeyay. Aan wax yar ka hadalno codsiyada sharciga ah.

Mabda 'ahaan, dhammaan xogta codsiga waxa loo qaybin karaa dhawr nooc oo ballaadhan:

• Log xogta
• Xogta wakhtiga stamp
• Xogta wax kala iibsiga
• Xogta badan
• Sawirada weelka
• Blob ( shayga weyn ee binary) xogta

Dhammaan noocyada xogtan ayaa si aad ah loogu taageeray goobaha kaydinta casriga ah, waxaana jira dhowr goobood oo daruur-hooyo ah oo loogu talagalay in lagu gudbiyo xogta mid kasta oo ka mid ah qaababkan gaarka ah. Tusaale ahaan, xogta wax kala iibsiga iyo xogta badan waxa laga yaabaa inay ku jiraan xog-ururin-dhaladeedka casriga ah sida CockroachDB, YugaByte, iwm. Sawirada weelka ama xogta boobka waxaa lagu kaydin karaa diiwaanka docker ee ku salaysan MiniIO. Xogta wakhtiga stamp waxa lagu kaydin karaa xog taxane wakhti ah sida InfluxDB, iwm. Halkan faahfaahin kama bixin doono nooc kasta oo xog ah iyo codsiyadeeda, laakiin fikradda guud waa in laga fogaado kaydinta xogta joogtada ah ee ku tiirsan rakibida diskka maxalliga ah.

Intaa waxaa dheer, inta badan waa wax ku ool ah in la bixiyo lakab kaydin ku meel gaar ah oo u adeega sida kaydka faylka ku meel gaadhka ah ee codsiyada, laakiin codsiyadu waa inaanay ku xidhnayn lakabkan sida isha runta.

Kaydinta codsiga gaarka ah

Iyadoo inta badan ay faa'iido u leedahay in codsiyada lagu hayo waddan la'aan, codsiyada loo qorsheeyay in lagu kaydiyo xogta - sida database-yada, bakhaarada alaabta, dukaamada qiimaha muhiimka ah - waa inay ahaadaan kuwo qoran. Aynu eegno sababta codsiyadan loogu daad-gureeyay Kubernetes. Aan tusaale u soo qaadanno MinIO, laakiin mabaadi'da la midka ah ayaa lagu dabaqaa nidaam kasta oo kale oo weyn oo kaydinta asalka ah.

Codsiyada asalka u ah Cloud waxaa loogu talagalay inay si buuxda uga faa'iidaystaan ​​dabacsanaanta ku jirta weelasha. Taas macnaheedu waxa weeye in aanay wax fikrad ah ka samayn deegaanka la geyn doono. Tusaale ahaan, MinIO waxay isticmaashaa habka koodka tirtiridda gudaha si ay u siiso nidaamka adkaysi ku filan oo uu ku sii shaqeeyo xitaa haddii kala badh saxanadu ay fashilmaan. MiniIO waxay kaloo maamushaa daacadnimada xogta iyo amniga iyadoo adeegsanaysa xashiishada iyo siraynta dhinac-serverka ee iska leh.

Codsiyada sida daruuraha xuddun u ah, cabbirada joogtada ah ee maxalliga ah (PVs) ayaa ugu habboon kaydinta kaydinta. PV maxalli ah waxay bixisaa awooda lagu kaydiyo xogta ceeriin, halka codsiyada ku shaqeeya dusha PV-yadan ay si madaxbanaan u ururiyaan macluumaadka si loo cabbiro xogta loona maareeyo baahida xogta sii kordheysa.

Habkani aad ayuu uga fudud yahay oo si weyn ayuu uga miisaan badan yahay PV-yada ku salaysan CSI, kuwaas oo soo bandhigaya lakabkooda maaraynta xogta iyo dib-u-celinta nidaamka; Xaqiiqdu waxay tahay in lakabyadani ay inta badan khilaafaan codsiyada loogu talagalay inay noqdaan kuwo caddaynaya.

Dhaqdhaqaaq xooggan oo ku wajahan kala saarida xogta xisaabinta

Maqaalkan, waxaan uga hadalnay sida codsiyada dib loogu hagayo inay shaqeeyaan iyada oo aan la badbaadin gobolka, ama, si kale loo dhigo, kaydinta xogta ayaa laga saarayaa xisaabinta. Gebagebadii, aan eegno tusaalayaal dhab ah oo ku saabsan isbeddelkan.

Duufaan, goob caan ah oo lagu falanqeeyo xogta, ayaa dhaqan ahaan ahayd mid xaalad leh oo la geeyay HDFS. Si kastaba ha ahaatee, sida Spark u guurto adduunka daruur-centric ah, madal waxaa sii kordheysa loo isticmaalo dal la'aan iyadoo la isticmaalayo `s3a`. Spark waxay isticmaashaa s3a si ay ugu wareejiso gobolka nidaamyo kale, halka weelasha Spark laftoodu ay shaqeeyaan gebi ahaanba bilaa dawlad. Ciyaartoyda kale ee waaweyn ee ganacsiga ee goobta falanqaynta xogta waaweyn, gaar ahaan, Vertica, Teradata, Greenplum Waxay sidoo kale u dhaqaaqayaan inay la shaqeeyaan kala soocida kaydinta xogta iyo xisaabinta iyaga.

Nidaamyo la mid ah ayaa sidoo kale lagu arki karaa goobaha kale ee falanqaynta waaweyn, oo ay ku jiraan Presto, Tensorflow to R, Jupyter. Marka la dejiyo gobolka nidaamyada kaydinta daruuraha fog, waxay noqonaysaa mid aad u fudud in la maareeyo oo la cabbiro codsigaaga. Intaa waxa dheer, waxa ay fududaynaysaa ku qaadida codsiga meelo kala duwan.

Source: www.habr.com