Qaababka kaydinta xogta ee Kubernetes

Haye Habr!

Waxaan ku xasuusineynaa inaan sii deynay maqaal kale oo aad u xiiso badan oo faa'iido leh buug ku saabsan qaababka Kubernetes. Waxay ku bilaabantay "Qaababka" Brendan Gubtay, iyo, jid ahaan, waxaan ku haynaa shaqo qaybtan kasoobaxaMaanta, waxaan kugu martiqaadeynaa inaad akhrido maqaal ka socda MinIO blog oo si kooban u qeexaya isbeddellada iyo qaababka gaarka ah ee qaababka kaydinta xogta ee Kubernetes.

Kubernetes ayaa asal ahaan beddeshay horumarinta codsiga dhaqameed iyo qaababka geynta. Kooxuhu hadda way horumari karaan, tijaabin karaan, oo geyn karaan arjiga dhawr maalmood gudahood—guud ahaan deegaanno badan, dhammaan kutlada Kubernetes. Shaqada noocaan ah, oo leh jiilalkii hore ee teknoolojiyadda, waxay sida caadiga ah qaadatay toddobaadyo, haddii aysan ahayn bilo.

Dardargelintan waxaa suurtogal ka dhigaya soo saarista ay bixiso Kubernetes - taas oo ah, xaqiiqda ah in Kubernetes lafteedu ay gacanta ku hayso faahfaahinta heerka hoose ee mishiinnada jireed ama farsamada, taas oo u oggolaanaysa dadka isticmaala inay sheegaan, oo ka mid ah xuduudaha kale, processor-ka la rabo, xusuusta loo baahan yahay, iyo tirada tusaalooyinka weelka. Iyada oo bulshadeeda weyni ay taageerto iyo korsashadeeda sii kordhaysa, Kubernetes ilaa hadda waa hogaamiyaha ka mid ah aaladaha abaabulka weelka.

Sida korsashada Kubernetes u korto, sidaas oo kale jaahwareerka ku saabsan qaababka kaydinta ayaa u koraya..

Iyada oo qof kastaa uu u tartamayo qayb ka mid ah pie Kubernetes (taas oo ah, kaydinta xogta), marka ay timaado kaydinta xogta, calaamadda waxaa lagu qariyaa buuq badan.
Kubernetes waxay ka kooban tahay qaab casri ah oo loogu talagalay horumarinta, geynta, iyo maareynta codsiyada. Qaabkan casriga ah waxa uu qurxiya kaydinta xisaabinta. Si aad si buuxda u fahamto kala-goyntan macnaha Kubernetes, waa in sidoo kale la fahmo fikradaha codsiyada dawladeed iyo kuwa aan waddan lahayn, iyo sida kaydinta ugu habboon tahay iyaga. Tani waa halka habka S3 ee REST API uu ku bixiyo faa'iidooyin cad marka loo eego habka POSIX/CSI ee caadiga ah ee xalalka kale.

Maqaalkan, waxaan ka wada hadli doonaa qaababka kaydinta xogta ee Kubernetes oo si gaar ah wax uga qaban doonaa dooda u dhaxaysa codsiyada dawlad-goboleed iyo kuwa aan waddan lahayn si ay si buuxda u fahmaan farqiga iyo sababta ay muhiim u yihiin. Maqaalka intiisa kale ayaa baari doona codsiyada iyo qaababka kaydinta ee iftiinka weelka iyo hababka ugu fiican ee Kubernetes.

Weelasha aan dal lahayn

Koonteennadu si dabiici ah ayay u fudud yihiin oo waa ephemeral. Si sahal ah ayaa loo joojin karaa, loo tirtiri karaa, ama loo diri karaa nood kale—dhammaantood waa ilbiriqsiyo gudaheed. Nidaamka habaynta weelka weyn, hawlgallada noocan oo kale ah ayaa si joogto ah u dhaca, isticmaalayaashuna kama warqabaan isbeddellada. Si kastaba ha ahaatee, raritaanku waxa kaliya oo suurtagal ah haddii weelku aanu ku tiirsanayn noodhka uu ku jiro. Konteenarada noocaan ah ayaa la sheegay inay socdaan. dawlad la'aan.

Weelasha sharafta leh

Haddii weelku kaydiyo xogta aaladaha gudaha ku xidhan (ama aaladda block), kaydka xogta uu ku yaal waa in loo raro nood cusub oo ay weheliso weelka laftiisa haddii ay dhacdo guuldarro. Tani waa muhiim sababtoo ah haddii kale, codsiga ku shaqeeya weelka ma awoodi doono inuu si sax ah u shaqeeyo, sababtoo ah waxay u baahan tahay inay gasho xogta lagu kaydiyo kaydinta maxaliga ah. Konteenarada noocaan ah ayaa la sheegay inay socdaan dawladeed.

Marka laga eego dhinaca farsamada oo keliya, weelasha sharafta leh ayaa sidoo kale loo wareejin karaa qanjidhada kala duwan. Tan waxaa sida caadiga ah lagu gaaraa iyadoo la adeegsanayo nidaamyada faylka la qaybiyay ama kaydinta block-ku-xidhan ee shabakad ku xidhan dhammaan noodhka socodsiiya weelasha. Sidan, weelku waxay heli karaan xajmiyada kaydinta joogtada ah, macluumaadkana waxa lagu kaydiyaa saxanadaha ku yaal shabakadaha oo dhan. waxaan u wici doonaa habkan"hab weel dawladeed", maqaalka intiisa kalena waxaan u tixraaci doonaa sidiisa oo dhan si joogto ah.

Habka weelka caadiga ah ee caadiga ah, dhammaan sanduuqyada codsiyadu waxay ku xiran yihiin hal nidaam faylka la qaybiyey, abuurista nooc kaydinta la wadaago halkaas oo dhammaan xogta codsigu ay degan tahay. Iyadoo ay jiraan kala duwanaansho suurtagal ah, tani waa hab heer sare ah.

Hadda aynu eegno sababta habka weel ee dawladeed uu u yahay qaab lid ku ah adduunka daruuriga ah ee hooyo.

Naqshad codsi xuddun u ah

Dhaqan ahaan, codsiyadu waxay u isticmaali jireen xogta kaydinta habaysan iyo saxannada maxalliga ah ama nidaamyada faylalka la qaybiyey si loo kaydiyo dhammaan xogta aan habaysan ama xitaa qaab-dhismeedkoodu hooseeyo. Markay korodhay mugga xogta aan habaysanayn, horumariyayaashu waxay xaqiiqsadeen in POSIX ay ahayd mid aad u hadal badan, oo ay la kulantay xad-dhaaf weyn, oo ugu dambayntii caqabad ku noqday waxqabadka arjiga oo aad u weyn.

Tani waa waxa inta badan ka qayb qaatay soo ifbaxa heerka kaydinta xogta cusub: kaydinta daruur-hooyo, kaas oo ugu horrayn ku shaqeeya REST API oo ka xoreeya codsiyada culayska ilaalinta kaydinta xogta deegaanka. Xaaladdan oo kale, codsigu wuxuu si wax ku ool ah u beddelaa qaab aan waddan lahayn (maaddaama gobolka meel fog lagu kaydiyo). Codsiyada casriga ah ayaa laga dhisay dhulka iyadoo maskaxda lagu hayo qodobkan. Sida caadiga ah, codsi kasta oo casri ah oo socodsiiya nooc kasta oo xog ah (logs, metadata, blobs, iwm.) waxaa la dhisay iyadoo la adeegsanayo jaantuska daruuriga ah, halkaasoo gobolka loo guuray nidaam software gaar ah.

Qaabkii weelka ahaa ee dawladnimada lahaa ayaa ku qasbaya mawqifkan oo dhan inuu dib ugu noqdo halkii uu ka bilaabmay!

Adigoo isticmaalaya POSIX interfaces si ay u kaydiyaan xogta, codsiyadu waxay u dhaqmaan sidii inay yihiin kuwo dawladeed, sidaas darteedna ay ka tagaan mabaadi'da ugu muhiimsan ee naqshadeynta daruuriga ah, sida awoodda ay ku kala duwan yihiin cabbirka fiilooyinka shaqaalaha codsiga ee ku saleysan culeyska soo socda, u guura nood cusub isla marka qanjirka hadda uu guuldareysto, iyo wixii la mid ah.

Marka la eego xaaladdan si dhow, waxaan ogaanay in marka la dooranayo dukaanka xogta, waxaan mar kale iyo mar kale la kulannaa dhibaatada "POSIX vs. REST API", LAAKIIN iyada oo sii xumeyn dheeraad ah dhibaatooyinka POSIX sababtoo ah dabeecadda la qaybiyay ee deegaanka Kubernetes. Gaar ahaan,

• POSIX waa sheekoSemantics POSIX waxay u baahan tahay in hawlgal kasta lagu xidho xogta badan iyo sharraxayaasha faylka kuwaas oo gacan ka geysta ilaalinta xaaladda hawlgalka. Tani waxay soo bandhigaysaa dulsaar weyn oo aan lahayn qiimo dhab ah. Kaydinta walxaha API-yada, gaar ahaan S3 API, ayaa meesha ka saaray shuruudahan, taas oo u oggolaanaysa codsigu inuu fuliyo oo dabadeed "illaawa" wicitaanka. Jawaabta nidaamka kaydinta ayaa tilmaamaysa in falku ahaa mid guulaystay iyo in kale. Haddi lagu guulaysan waayo, codsigu dib ayuu isku dayi karaa.
• Xayiraadaha shabakadaNidaamka la qaybiyey, waxa la maldahan in ay jiri karaan codsiyo badan oo isku dayaya in ay xogta u qoraan isla aaladda kaydinta ku lifaaqan. Sidaa darteed, ma aha oo kaliya codsiyadu inay ku tartamaan midba midka kale si loogu wareejiyo xogta xogta (si loogu diro xogta qalabka kaydinta), laakiin nidaamka kaydinta laftiisa ayaa sidoo kale ku tartami doona xajmiga xajmiga iyada oo loo qaybinayo xogta gudaha saxannada jirka. Sababta oo ah hadalka POSIX, tirada wicitaanada shabakadu waxay kordhisaa dhowr laab. Dhanka kale, S3 API waxay xaqiijisaa kala duwanaansho cad oo udhaxeysa wicitaanada shabakadaha ee ka imaanaya macmiilka iyo kuwa ka dhacaya server-ka.
• AmnigaQaabka amniga POSIX wuxuu ku tiirsan yahay faragelinta bini'aadamka ee firfircoon: maamulayaashu waxay dejiyaan heerar gaar ah oo isticmaale ama koox kasta. Habkani waa ay adag tahay in lala qabsado adduun daruur ku salaysan. Codsiyada casriga ahi waxay ku tiirsan yihiin moodooyinka amniga ee ku salaysan API, halkaasoo xuquuqaha gelitaanka lagu qeexay siyaasado, xisaab adeeg, shahaadooyin ku meel gaar ah, iyo wixii la mid ah.
• MaareyntaWeelasha sharafta leh waxay la yimaadaan kharashaadka maamulka qaarkood. Isku-dubbaridka gelitaanka xogta isku-dhafan iyo hubinta joogtaynta xogta waxay u baahan tahay tixgalin taxadir leh ee qaababka gelitaanka xogta. Software dheeraad ah waa in la rakibaa, la maareeyaa, oo la habeeyaa, iyada oo aan lagu xusin dadaalka horumarinta dheeraadka ah.

Interface weelka kaydinta xogta

In kasta oo Interface Kaydinta Kontaynarrada (CSI) ay caawimo weyn ka ahayd qaadashada lakabka mugga Kubernetes, qayb ahaan iyada oo loo soo dirayo iibiyeyaasha kaydinta xogta qolo saddexaad, waxay sidoo kale si badheedh la'aan ah gacan uga gaysatay aaminsanaanta in hab weel dawladeed leh uu yahay habka lagu taliyey ee lagu kaydinayo xogta Kubernetes.

CSI waxaa loo sameeyay sidii halbeeg loogu talagalay bixinta xannibaado aan sabab lahayn iyo nidaamyada kaydinta faylalka ee codsiyada dhaxalka ah ee ku socda Kubernetes. Iyo, sida lagu muujiyey qodobkan, xaaladda kaliya ee habka weel dawladeed (iyo CSI qaabkeeda hadda) macno samaynayso waa marka codsiga laftiisa uu yahay nidaam dhaxalgal ah oo aan taageeri karin APIs kaydinta shayga.

Waa muhiim in la fahmo in marka la isticmaalayo CSI qaabkeeda hadda, taas oo ah, kor u qaadida mugga marka la shaqaynayo codsiyada casriga ah, waxaan la kulmi doonaa ku dhawaad ​​dhibaatooyinka la mid ah kuwaas oo ka kacay nidaamka halkaas oo kaydinta xogta habaysan ee style POSIX.

Hab tayo badan leh

Xaaladdan oo kale, waxaa muhiim ah in la fahmo in codsiyada badankooda aan loogu talagelin inay u shaqeeyaan si dawladeed ama dawlad la'aan. Dabeecaddani waxay ku xidhan tahay hab-dhismeedka guud ee nidaamka iyo doorashooyinka naqshadaynta gaarka ah. Aan wax yar ka hadalno codsiyada sharciga ah.

Mabda 'ahaan, dhammaan xogta codsiga waxa loo qaybin karaa dhawr nooc oo ballaadhan:

• Log xogta
• Xogta wakhtiga stamp
• Xogta wax kala iibsiga
• Xogta badan
• Sawirada weelka
• Xogta Blob (walxaha waaweyn ee binary)

Dhammaan noocyada xogtan waxaa si aad u wanaagsan u taageeraya aaladaha kaydinta xogta casriga ah, waxaana jira dhowr goobood oo daruur-hooyo ah oo loogu talagalay in lagu gudbiyo xogta mid kasta oo ka mid ah qaababkan gaarka ah. Tusaale ahaan, xogta wax kala iibsiga iyo xogta badan waxay ku jiri kartaa kaydka xogta asalka ah ee daruuriga ah sida CockroachDB, YugaByte, iyo kuwa kale. Sawirada weelka ama xogta bararka waxaa lagu kaydin karaa diiwaanka Docker ee ku salaysan MiniIO. Xogta wakhtiga stamp waxa lagu kaydin karaa xog taxane wakhti ah sida InfluxDB, iyo kuwa kale. Ma geli doono faahfaahinta nooc kasta oo xog ah iyo codsiyada u dhigma halkan, laakiin fikradda guud waa in laga fogaado kaydinta xogta joogtada ah ee ku salaysan rakibaadda saxanka maxalliga ah.

Intaa waxaa dheer, inta badan waa wax ku ool ah in la bixiyo lakab ku meel gaar ah oo u adeega sida nooc kaydinta faylka ku meel gaadhka ah ee codsiyada, laakiin codsiyadu waa inaanay ku xidhnayn lakabkan sida isha runta ah.

Kaydinta codsiyada sharciga ah

In kasta oo ay faa'iido u leedahay in la socodsiiyo codsiyada bilaa waddan ah inta badan, codsiyada loogu talagalay in lagu kaydiyo xogta - sida kaydinta macluumaadka, kaydinta shayga, iyo bakhaarrada qiimaha muhiimka ah - waa inay ahaadaan kuwo qoran. Aynu sahamno sababta codsiyadan loogu daad gureeyay Kubernetes. Waxaan u isticmaali doonaa MiniIO tusaale ahaan, laakiin mabaadi'da la midka ah ayaa lagu dabaqaa nidaam kasta oo kale oo weyn oo kaydinta asalka ah ee daruuriga ah.

Codsiyada asalka u ah Cloud waxaa loogu talagalay inay ka faa'iidaystaan ​​dabacsanaanta dabiiciga ah ee weelasha. Taas macnaheedu waxa weeye in aanay wax male ah ka samayn deegaanka la geyn doono. Tusaale ahaan, MinIO waxay isticmaashaa habka codaynta tirtiridda, iyadoo siisa nidaamka adkaysi ku filan si uu u sii shaqeeyo xitaa haddii kala badh saxanadeeda ay fashilmaan. MinIO sidoo kale waxay maamushaa daacadnimada xogta iyo amniga iyadoo adeegsanaysa xashiishada iyo sirta dhinaceeda ee server-ka.

Codsiyada waddaniga ah ee daruuriga ah, cabbirada joogtada ah ee maxalliga ah (PVs) ayaa ah kaydinta ugu habboon ee kaydinta. PV maxalli ah ayaa bixisa kaydinta xogta cayriin, halka codsiyada ku shaqeeya dusha PV-yadan ay si madaxbanaan u ururiyaan macluumaadka si ay u cabbiraan xogta oo ay u maareeyaan baahida xogta sii kordheysa.

Habkani aad buu uga fudud yahay oo miisaankiisu aad buu uga fiican yahay PV-yada ku salaysan CSI, kuwaas oo soo bandhigaya lakabkooda maaraynta xogta iyo dib-u-celinta nidaamka; Dhibaatadu waxay tahay in lakabyadani ay caadi ahaan khilaafaan codsiyada dawladnimada leh.

Dhaqdhaqaaq kalsooni leh oo ku wajahan kala saarida xogta xisaabinta

Maqaalkan, waxaan kaga hadalnay sida codsiyada ay ugu wareegayaan hawlgal aan wadan, ama, si kale loo dhigo, kala soocida kaydinta xogta iyo xisaabinta. Gebogebadii, waxaan eegi doonaa qaar ka mid ah tusaalayaasha dhabta ah ee isbeddelkan.

DuufaanSpark, oo ah madal falanqaynta xogta ee caanka ah, ayaa dhaqan ahaan ahayd mid xaalad leh oo la geeyay HDFS. Si kastaba ha ahaatee, marka Spark u dhaqaaqdo adduun-dhalaeed daruuri ah, waxaa si isa soo taraysa loo isticmaalayaa bilaa dal iyadoo la isticmaalayo s3a. Spark waxay isticmaashaa s3a si ay ula xidhiidho nidaamka nidaamyada kale, halka weelasha Spark laftoodu ay gebi ahaanba yihiin bilaa dawlad. Ciyaartoyda kale ee waaweyn ee ganacsiga ee ku jira goobta falanqaynta xogta weyn, gaar ahaan Vertica, Teradata, Greenplum Waxay sidoo kale u socdaan sidii ay ula shaqeyn lahaayeen kala soocida kaydinta xogta iyo xisaabinta.

Nidaamyo la mid ah ayaa lagu arki karaa goobaha kale ee falanqaynta waaweyn, oo ay ku jiraan Presto, Tensorflow to R, iyo Jupyter. Marka la dejiyo gobolka nidaamyada kaydinta daruuraha fog, waxay noqonaysaa mid aad u fudud in la maareeyo oo la cabbiro codsigaaga. Tani waxay sidoo kale fududaynaysaa ku qaadida codsiga ee jawiyo kala duwan.

Source: www.habr.com