🥇Balaadhinta iyo kaabidda Kubernetes (warbixinta dib u eegista iyo muuqaalka)

April 8 ee shirka Saint HighLoad++ 2019, Iyada oo qayb ka ah qaybta "DevOps iyo Operations", warbixin "Balaadhinta iyo dhamaystirka Kubernetes" ayaa la bixiyay, abuurista saddex shaqaale oo ka tirsan shirkadda Flant. Gudaha, waxaan ka hadalnaa xaalado badan oo aan rabnay inaan ballaarino oo aan buuxinno awoodda Kubernetes, laakiin taas oo aan u helin xal diyaar ah oo fudud. Waxaan haynaa xalalka lagama maarmaanka ah ee qaabka mashaariicda Isha Furan, iyo hadalkani wuxuu sidoo kale u heellan yahay iyaga.

Dhaqan ahaan, waan ku faraxsanahay inaan soo bandhigno muuqaalka warbixinta (50 daqiiqo, aad uga xog badan maqaalka) iyo soo koobida ugu weyn ee qaabka qoraalka. Tag!

Xudunta iyo kordhinta K8s

Kubernetes waxay bedelaysaa warshadaha iyo hababka maamulka ee mudada dheer la aasaasay:

Mahad isaga abstractions, Hadda ka dib kuma shaqaynayno fikrado ay ka mid yihiin samaynta habayn ama socodsiinta amar (Chef, Aansible...), laakiin isticmaal kooxaynta weelasha, adeegyada, iwm.
Waxaan diyaarin karnaa codsiyo annagoo aan ka fikirin nuances-ka goob gaar ah, kaas oo lagu soo saari doono: bir qaawan, daruur mid ka mid ah bixiyayaasha, iwm.
K8s waligaa si ka badan looma heli karo hababka ugu fiican ku saabsan abaabulka kaabayaasha: farsamooyinka is-bogsiinta, is-bogsiinta, dulqaadka khaladka, iwm.

Si kastaba ha noqotee, dabcan, wax waliba maahan mid sahlan: Kubernetes ayaa sidoo kale keenay caqabadaheeda cusub.

Kubureteska ma waa isku-dar ah oo xaliya dhammaan dhibaatooyinka dhammaan isticmaalayaasha. Muhiim Kubernetes waxay mas'uul ka tahay oo kaliya go'an ka mid ah hawlaha ugu yar ee lagama maarmaanka ah ee ka jira kasta koox:

Xudunta Kubernetes waxay qeexaysaa aasaaska aasaasiga ah ee aasaasiga ah ee kooxaynta weelasha, maaraynta taraafikada, iyo wixii la mid ah. Waxaan uga hadalnay iyaga si faahfaahsan warbixin 2 sano ka hor.

Dhanka kale, K8s waxay bixisaa fursado weyn oo lagu ballaariyo hawlaha jira, kuwaas oo gacan ka geysanaya xiritaanka kuwa kale - gaar ah - baahida isticmaalaha. Kudaridda Kubernetes waa mas'uuliyadda maamulayaasha kooxda, kuwaas oo ay tahay inay rakibaan oo habeeyaan wax kasta oo lagama maarmaanka u ah si ay u helaan kooxdooda "qaab sax ah" [si ay u xalliyaan dhibaatooyinkooda gaarka ah]. Waa maxay nooca lagu daro kuwan? Aynu eegno tusaalayaal.

Tusaalooyinka add-ons

Markaan ku rakibnay Kubernetes, waxaa laga yaabaa inaan la yaabno in isku-xirnaanta lagama maarmaanka u ah is-dhexgalka boodhka labadaba gudaha noodhka iyo inta u dhaxaysa noodhka aysan iskeed u shaqayn. Kernel-ka Kubernetes ma dammaanad qaadayo isku xirka lagama maarmaanka ah; taa beddelkeeda, waxay go'aamisaa shabakadda interface (CNI) add-ons qolo saddexaad. Waa in aan rakibnaa mid ka mid ah kuwan ku-darka ah, kaas oo mas'uul ka noqon doona qaabeynta shabakadda.

Tusaalaha ugu dhow waa xalalka kaydinta xogta (disk-ka deegaanka, aaladda xannibaadda shabakadda, Ceph...). Markii hore waxay ku jireen xudunta, laakiin la imaatinka CSI xaaladdu waxay u beddeshaa shay la mid ah kii hore loo sharraxay: interface-ku wuxuu ku yaalaa Kubernetes, hirgelintiisuna waxay ku jirtaa qaybaha saddexaad.

Tusaalooyinka kale waxaa ka mid ah:

Ingress-koontaroolayaasha (eeg dib u eegistooda gudaha maqaalkeenii dhawaa).
maamule ceer:
Hawlwadeennada waa fasal dhan oo lagu daro (oo ay ku jiraan maamulaha shahaadada ee la sheegay), waxay qeexaan (yada) iyo kantaroolayaasha. Macnaha shaqadoodu waxay xaddidan tahay oo kaliya male-awaalkeena waxayna noo ogolaaneysaa inaan u rogno qaybaha kaabayaasha diyaarsan (tusaale ahaan, DBMS) oo u rogi kara kuwa hore, kuwaas oo aad ugu sahlan in ay la shaqeeyaan (marka loo eego weelal iyo goobahooda). Tiro badan oo ka mid ah hawl-wadeennada ayaa la qoray - xitaa haddii qaar badan oo iyaga ka mid ah aysan weli diyaar u ahayn wax soo saarka, waa arrin waqti uun ah:
Metrics - sawir kale oo ku saabsan sida Kubernetes u kala soocay interface-ka (Metrics API) ee hirgelinta (ku-darka dhinacyada saddexaad sida Adapter Prometheus, wakiilka kooxda Datadog ...).
Si aad u la socodka iyo tirakoobka, halkaasoo ficil ahaan aan loo baahnayn oo keliya Prometheus iyo Grafana, laakiin sidoo kale kube-state-metrics, node-outporter, iwm.

Kani maaha liis dhamaystiran oo wax lagu daro...Tusaale ahaan, shirkadda Flant ee aanu hadda rakibno 29 add-ons (dhammaantood waxay abuuraan wadar ahaan 249 walxood oo Kubernetes ah). Si fudud loo dhigo, ma arki karno nolosha kooxdu iyada oo aan lagu darin.

Automation

Hawl-wadeenada waxa loo qaabeeyey inay toosiyaan hawlgallada joogtada ah ee aan la kulanno maalin kasta. Waa kuwan tusaalayaal nolosha dhabta ah oo qorista hawlwadeenku ay u noqon lahayd xal aad u wanaagsan:

Waxaa jira diiwaan gaar ah (sida u baahan soo gelid) oo leh sawirro codsiga. Waxaa loo maleynayaa in boodh kasta loo qoondeeyay sir gaar ah oo u oggolaanaysa xaqiijinta diiwaanka. Hawsheenu waa in aan hubinno in sirtan laga helay meesha magaca si ay boobku u soo dejisan karaan sawirrada. Waxaa jiri kara codsiyo badan (mid kasta oo ka mid ah kuwaas oo u baahan sir), waxayna faa'iido u leedahay in si joogta ah loo cusbooneysiiyo sirta naftooda, sidaas darteed ikhtiyaarka ah in la dhigo sirta gacanta ayaa la tirtiraa. Tani waa meesha uu hawlwadeenku u yimaado samatabbixinta: waxaanu abuurnaa kontaroole kaas oo sugi doona inta uu soo baxayo magaca magaca iyo, iyada oo ku saleysan dhacdadan, waxay ku dari doontaa sirta magaca.
Si aan toos ahayn loogu oggolaado in laga soo galo sanduuqyada internetka waa mamnuuc. Laakiin marmarka qaarkood waxaa laga yaabaa in loo baahdo: waa macquul in habka ogolaanshaha gelitaanka uu si fudud u shaqeeyo, iyada oo aan loo baahnayn xirfado gaar ah, tusaale ahaan, joogitaanka calaamad gaar ah oo ku taal magaca. Sidee ayuu hawlwadeenku halkan noogu caawin karaa? Waxaa la sameeyay kontaroole sugaya in calaamaddu ka soo baxdo goobta magaca oo ku dara siyaasadda ku habboon gelitaanka internetka.
Xaalad la mid ah: ka soo qaad inaan u baahanahay inaan wax ku darno xumaan, haddii ay leedahay calaamad la mid ah (oo leh nooc ka mid ah horgalayaasha). Ficilada uu ku kacayo hawlwadeenku waa wax iska cad...

Koox kasta, hawlaha caadiga ah waa in la xalliyaa, iyo sax tan waxaa la samayn karaa iyadoo la isticmaalayo ka shaqeeyayaasha.

Isku soo wada duuboo dhammaan sheekooyinka lagu tilmaamay, waxaan gaadhnay in shaqada raaxada leh ee Kubernetes waxaad u baahan tahay: A) ku rakib add-ons, b) horumarinta hawlwadeenada (xallinta hawlaha maamulka maalin kasta).

Sidee bayaan loogu qoraa Kubernetes?

Guud ahaan, nidaamku waa mid fudud:

... laakiin markaas waxaa soo baxday in:

Kubernetes API waa shay aan fududayn oo waqti badan ku qaadata in la barto;
programming sidoo kale maaha mid loogu talagalay qof kasta (Luqadda Go ayaa loo doortay luqadda la door bidayo sababtoo ah waxaa jira qaab gaar ah oo loogu talagalay - Hawlwadeenka SDK);
Xaaladdu waxay la mid tahay qaabka laftiisa.

line hoose: si loo qoro koontaroole (operator) waa inuu ku kharash gareeyaan kheyraadka muhiimka ah si aad wax u barato. Tani waxay marmarsiinyo u noqonaysaa hawl-wadeenada "weyn" - dheh, MySQL DBMS. Laakiin haddii aan xasuusanno tusaalooyinka kor ku xusan (daah-furka siraha, helitaanka boodhka internetka ...), taas oo aan sidoo kale rabno inaan si sax ah u samayno, markaa waxaan fahmi doonaa in dadaalka la bixiyay uu ka miisaan badan yahay natiijada aan hadda u baahanahay:

Guud ahaan, laba daran mid dooro ayaa soo baxay: kharash badan ku bixi oo hel qalabka saxda ah ee qoraallada, ama u samee qaabkii hore (laakin si degdeg ah). Si loo xalliyo - si aan u helno tanaasul ka dhexeeya kuwan darafyada - waxaan abuurnay mashruuc noo gaar ah: qolof-shaqaale (sidoo kale eeg kiisa dhawaan lagu dhawaaqay Hubka saaran).

Shell-shaqaale

Sidee buu u shaqeeyaa? Kooxdu waxay leedahay boodh ka kooban Go binary oo leh hawl-wadeen qolof ah. Waxa agtiisa ah gogol qabatooyin (Faahfaahin dheeraad ah oo ku saabsan iyaga - hoos eeg). Hawl-wadeenka qolofka laftiisa ayaa qaarkood iska leh dhacdooyinka gudaha Kubernetes API, marka ay dhacdo taas oo ay soo saartey jillaabyada u dhigma.

Sidee baa hawl-wadeenka qolofku u garanayaa qab-qabsiyada uu ugu yeedho dhacdooyinka? Macluumaadkan waxa u gudbiya hawl-wadeenka qoloflaha laftooda, waxayna u sameeyaan si fudud.

Jillaabku waa qoraalka Bash ama fayl kasta oo la fulin karo oo aqbala hal dood --config oo ku jawaaba JSON. Midda dambe ayaa go'aamisa shayada xiisaha u leh iyo dhacdooyinka (walxahaas) waa in laga jawaabaa:

Waxaan ku tusi doonaa hirgelinta ku-shaqeeyaha qolofka mid ka mid ah tusaalayaashayada - burburinta siraha sirta ah ee gelitaanka diiwaanka gaarka ah ee sawirada codsiga. Waxay ka kooban tahay laba marxaladood.

Tababar: 1. Qor jillaab

Marka hore, jillaab ayaanu ka shaqayn doonaa --config, taasoo muujinaysa inaan xiisaynno meelaha magacyada, iyo gaar ahaan, xilliga la abuuray:

[[ $1 == "--config" ]] ; then
  cat << EOF
{
  "onKubernetesEvent": [
    {
      "kind": "namespace",
      "event": ["add"]
    }
  ]
}
EOF
…

Sidee caqligu u ekaan lahaa? Sidoo kale aad u fudud:

…
else
  createdNamespace=$(jq -r '.[0].resourceName' $BINDING_CONTEXT_PATH)
  kubectl create -n ${createdNamespace} -f - << EOF
Kind: Secret
...
EOF
fi

Talaabada koowaad waa in la ogaado meesha magaca la sameeyay, ta labaadna waa in la sameeyo iyada oo la adeegsanayo kubectl sirta magacan.

Practice: 2. Isku-dubarid sawirka

Waxa hadhay oo dhan waa in loo gudbiyo jillaabkii la abuuray ee hawl-wadeenka qolofka - sida tan loo sameeyo? Hawl-wadeenka qolofka laftiisu waxa uu u imanayaa sida sawirka Docker, markaa hawshayadu waa in aan ku darno jillaab-tusaha gaarka ah ee sawirkan:

FROM flant/shell-operator:v1.0.0-beta.1
ADD my-handler.sh /hooks

Waxa hadhay oo dhan waa in la soo ururiyo oo la riixo:

$ docker build -t registry.example.com/my-operator:v1 .
$ docker push registry.example.com/my-operator:v1

Taabashada kama dambaysta ahi waa in la geeyo sawirka kooxda. Si tan loo sameeyo, aan qorno Bixitaan:

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: my-operator
spec:
  template:
    spec:
      containers:
      - name: my-operator
        image: registry.example.com/my-operator:v1 # 1
      serviceAccountName: my-operator              # 2

Waxaa jira laba qodob oo ay tahay inaad u fiirsato:

calaamad muujinaysa sawirka cusub ee la abuuray;
Tani waa qayb ka mid ah nidaamka kaas oo (ugu yaraan) u baahan xuquuq si uu u rukumo dhacdooyinka Kubernetes iyo in loo qoondeeyo siraha meelaha magacyada, markaa waxaan u abuurnaa AdeegAccount (iyo xeerar) loogu talagalay jillaab.

Natiijadu - waxaan xallinay dhibkayaga qaraabo loogu talagalay Kubernetes hab abuura hawlwadeen u ah burburinta siraha.

Astaamaha kale ee shell-operator

Si loo xaddido walxaha nooca aad dooratay ee jillaabku ku shaqayn doono, waa la sifayn karaa, xulashada si waafaqsan calaamado gaar ah (ama isticmaalaya matchExpressions):

"onKubernetesEvent": [
  {
    "selector": {
      "matchLabels": {
        "foo": "bar",
       },
       "matchExpressions": [
         {
           "key": "allow",
           "operation": "In",
           "values": ["wan", "warehouse"],
         },
       ],
     }
     …
  }
]

Bixiyay farsamaynta kala goynta, kaas oo isticmaalaya filter jq - wuxuu kuu ogolaanayaa inaad u beddesho walxo waaweyn oo JSON ah kuwo yaryar, halkaas oo kaliya xuduudahaas ayaa hadhay oo aan rabno inaan la soconno isbeddelada.

Marka jillaab la yiraahdo, hawlwadeenka qolofka ayaa dhaafa xogta shayga, kaas oo loo isticmaali karo baahi kasta.

Dhacdooyinka kiciya qablooyinku kuma koobna dhacdooyinka Kubernetes: hawl-wadeenka qolofka ayaa taageero siiya xirmooyinka wacaya waqti (oo la mid ah crontab ee jadwal dhaqameedka), iyo sidoo kale dhacdo gaar ah onStartup. Dhammaan dhacdooyinkan waa la isku dari karaa waxaana lagu meelayn karaa isku mid ah.

Iyo laba astaamood oo kale oo ka mid ah hawl-wadeenka qolofka:

Way shaqeysaa si aan sinnayn. Tan iyo markii dhacdo Kubernetes ah (sida shay la abuuray) la helay, dhacdooyin kale (sida shay la mid ah oo la tirtiray) ayaa ka dhici kara kooxda, iyo qabsatooyinku waxay u baahan yihiin inay xisaabiyaan tan. Haddii jilitaanka lagu fuliyay qalad, ka dibna by default waxay noqon doontaa dib u wac ilaa si guul leh loo dhammeeyo (dhaqankan waa la bedeli karaa).
Waxay dhoofisaa cabbir Prometheus, kaas oo aad ku fahmi karto in hawl-wadeenka qolofka uu shaqaynayo, ogow tirada khaladaadka ee jilba kasta iyo cabbirka safka hadda jira.

Si aan u soo koobo qaybtan warbixinta:

Rakibaadda Waxyaalaha Dheeraadka ah

Shaqada raaxada leh ee Kubernetes, baahida loo qabo in lagu rakibo add-ons ayaa sidoo kale la sheegay. Waxaan kuu sheegi doonaa waxa ku saabsan aniga oo isticmaalaya tusaalaha dariiqa shirkadeena sida aan hadda u samayno.

Waxaan bilownay la shaqeynta Kubernetes oo leh dhowr rucub, waxa kaliya ee lagu daray taas oo ahayd Ingress. Waxay u baahday in si kala duwan loogu rakibo koox kasta, waxaanan u samaynay dhowr habayn YAML oo deegaan kala duwan ah: bir qaawan, AWS...

Maadaama ay jireen kooxo badan, waxaa jiray habayn badan. Intaa waxaa dheer, waxaan hagaajinnay qaababkan laftooda, taas oo keentay in ay noqdaan kuwo aad u kala duwan:

Si wax walba loo hagaajiyo, waxaan ku bilownay qoraal (install-ingress.sh), kaasoo dood ahaan u qaatay nooca kutlada aan geyn doono, ayaa soo saartay qaabeynta YAML ee lagama maarmaanka ah oo u soo rogtay Kubernetes.

Isku soo wada duuboo, dariiqeena dheeraadka ah iyo sababihii la xidhiidhay waxay ahaayeen sidan.

Si aad ula shaqeyso qaabaynta YAML, mashiinka template ayaa loo baahan yahay (marxaladihii ugu horeeyay tani waa sad fudud);
kororka tirada kooxaha, baahida loo qabo cusboonaysiinta tooska ah ayaa timid (xalkii ugu horreeyay wuxuu ahaa in qoraalka lagu dhejiyo Git, cusbooneysiiyo iyadoo la adeegsanayo cron oo la socodsiiyo);
qoraal la mid ah ayaa looga baahnaa Prometheus (install-prometheus.sh), si kastaba ha ahaatee, waxaa xusid mudan xaqiiqda ah in ay u baahan tahay macluumaad badan oo dheeraad ah, iyo sidoo kale kaydintooda (hab wanaagsan - meel dhexe iyo koox), iyo qaar ka mid ah xogta (passwords) ayaa si toos ah loo soo saari karaa:
Khatarta ah in wax khalad ah loo rogo tiro sii kordheysa oo kooxo ah ayaa si joogto ah u kordheysay, marka waxaan ogaanay in rakibayaashu (tusaale ahaan laba qoraal: for Ingress iyo Prometheus) diyaarinta ayaa loo baahday (laamo dhowr ah oo Git ku yaal, dhowr crons si loo cusboonaysiiyo iyaga oo u dhigma: kooxo deggan ama tijaabo ah);
с kubectl apply way adagtahay in lala shaqeeyo sababtoo ah maaha wax caddaynaya oo kaliya waxay abuuri kartaa shay, laakiin ma samayn karto go'aanno ku saabsan xaaladdooda / tirtirto;
Waxa naga maqnaa hawlo aanaan fulin wakhtigaas oo dhan:
- xakamaynta buuxda ee natiijada cusboonaysiinta kooxda,
- si toos ah u go'aaminta qaar ka mid ah cabirrada (gelinta qoraallada rakibaadda) iyadoo lagu salaynayo xogta laga heli karo kooxda (helitaanka),
- horumarkeeda macquulka ah ee qaabka helitaanka joogtada ah.

Waxaan ku fulinay dhammaan waayo-aragnimada urursan ee qaabka mashruucayaga kale - addon-operator.

Addon-operator

Waxay ku salaysan tahay hawl-wadeenka qolofka hore loo sheegay. Nidaamka oo dhan wuxuu u eg yahay sidan:

Waxa soo socda ayaa lagu daraa qabsatooyinka qolofka-shaqaale:

qiyamka kaydinta,
shaxda Helm,
qayb in la socda bakhaarka qiyamka iyo - haddii ay dhacdo wax isbeddello ah - waxay weydiisataa Helm inuu dib u rogo jaantuska.

Sidaa darteed, waxaan ka falcelin karnaa dhacdo ka dhacday Kubernetes, waxaan bilownay jillaab, ka dibna waxaan ku sameyn karnaa isbeddelo kaydinta, ka dib markaa shaxda ayaa dib loo soo dejin doonaa. Jaantuska ka soo baxa, waxaanu u kala soocnaa jillaabyada iyo jaantuska hal qayb, kaas oo aan u yeerno module:

Waxaa jiri kara qaybo badan, iyagana waxaan ku darnaa jillaabyo caalami ah, bakhaar qiimayaal caalami ah, iyo qayb ilaalinaysa dukaankan caalamiga ah.

Hadda, marka ay wax ka dhacaan Kubernetes, waxaan uga falcelin karnaa annaga oo adeegsanayna jillaab caalami ah oo aan wax ka beddelno dukaanka caalamiga ah. Isbeddelkan waa la ogaan doonaa wuxuuna sababi doonaa in dhammaan cutubyada kooxda la soo saaro:

Nidaamkani waxa uu buuxinayaa dhammaan shuruudaha rakibidda add-ons ee kor lagu sheegay:

Helm ayaa mas'uul ka ah qaabaynta iyo caddaynta.
Arrinta dib-u-cusboonaysiinta ayaa lagu xalliyay iyada oo la adeegsanayo jillaab caalami ah, kaas oo aadaya diiwaanka jadwal iyo, haddii ay aragto muuqaal cusub oo halkaas ah, soo rogo (ie "lafteeda").
Dejinta kaydinta kutlada waxa lagu fuliyaa iyadoo la isticmaalayo ConfigMap, oo ka kooban xogta aasaasiga ah ee kaydinta (bilawga waxa lagu shubaa kaydinta).
Dhibaatooyinka abuuritaanka erayga sirta ah, helitaanka iyo helitaan joogto ah ayaa lagu xalliyey iyadoo la isticmaalayo jillaab.
Hagaajinta waxaa lagu gaaraa iyada oo ay ugu wacan tahay tags, kaas oo Docker uu ka taageero sanduuqa dhexdiisa.
Natiijada waxaa lagu kormeeraa iyadoo la isticmaalayo cabbirro aan ku fahmi karno heerka.

Nidaamkan oo dhan waxaa loo hirgeliyay qaab hal binary ah oo ku yaal Go, kaas oo loo yaqaan addon-operator. Tani waxay ka dhigaysaa jaantusku mid fudud:

Qaybta ugu muhiimsan ee jaantuskan waa cutubyo (hoos lagu iftiimiyay cawlan). Hadda waxaan u qori karnaa moduleka loogu talagalay kordhinta loo baahan yahay iyadoo la adeegsanayo dadaal yar oo hubi in lagu rakibi doono koox kasta, la cusboonaysiin doono oo ka jawaabi doono dhacdooyinka ay u baahan tahay kutlada.

"Flant" ayaa loo isticmaalaa addon-operator oo ku yaal 70+ Kubernetes rucubyada. Xaalada hadda - nooca alfa. Hadda waxaan diyaarineynaa dukumeenti si loo sii daayo beta, laakiin hadda waxaan ku jirnaa kaydka tusaalooyin la heli karo, oo ku saleysan taas oo aad abuuri karto addon adiga kuu gaar ah.

Halkeen ka heli karaa modules-ka addon-operator? Daabacaadda maktabadeena ayaa inoo ah marxaladda xigta, waxaan qorsheyneynaa inaan tan sameyno xagaaga.

Muuqaalo iyo sawiro

Fiidiyowga waxqabadka (~ 50 daqiiqo):

Soo bandhigida warbixinta:

PS

Warbixinno kale oo ku jira blog-keena:

«Databases iyo Kubernets"; (Dmitry Stolyarov; Noofambar 8, 2018 ee HighLoad++);
«Kormeerka iyo Kubernetes"; (Dmitry Stolyarov; May 28, 2018 at RootConf);
«CI/CD Hababka ugu Fiican ee Kubernetes iyo GitLab"; (Dmitry Stolyarov; Noofambar 7, 2017 ee HighLoad++);
«Khibradayada Kubernetes ee mashaariicda yaryar"; (Dmitry Stolyarov; Juun 6, 2017 at RootConf).

Waxa kale oo laga yaabaa inaad xiisaynayso daabacadaha soo socda:

«Soo bandhigida hawl-wadeenka qolofka: abuurista hawl-wadeennada Kubernetes way fududaatay".

Source: www.habr.com

Kordhinta iyo kordhinta Kubernetes ( dulmar iyo warbixin muuqaal ah)