🥇Fautuaga e iva e faaleleia atili ai le faatinoga o Kubernetes

Talofa uma! O loʻu igoa o Oleg Sidorenkov, ou te galue i DomClick o le ulu o le vaega o atinaʻe. Ua matou faʻaaogaina Kubik i le gaosiga mo le silia ma le tolu tausaga, ma i le taimi lea ua matou oʻo i le tele o taimi manaia eseese ma ia. O le asō o le a ou taʻuina atu ia te oe pe faʻapefea, faatasi ai ma le auala saʻo, e mafai ai ona e faʻapipiʻi atili faʻatinoga mai vanilla Kubernetes mo lau fuifui. Sauni fa'aauau!

Tou te iloa lelei uma lava o Kubernetes o se fa'aogaina avanoa fa'apitoa mo le fa'atulagaina o pusa; lelei, poʻo 5 binaries e galue faʻataulāitu e ala i le puleaina o le taamilosaga o le olaga o au microservices i se siosiomaga server. E le gata i lea, o se mea faigaluega faigofie e mafai ona faʻapipiʻiina e pei o Lego mo le maualuga o faʻasalalauga mo galuega eseese.

Ma e foliga mai e lelei mea uma: togi sapalai i totonu o le fuifui e pei o fafie i totonu o se pusa afi, ma e te le iloa se faʻanoanoa. Ae afai e te mo le siʻosiʻomaga, o le a e manatu: “E faapefea ona ou mumū pea le afi ma faasaoina le vaomatua?” I se isi faaupuga, pe faʻafefea ona maua ni auala e faʻaleleia atili ai atinaʻe ma faʻaitiitia tau.

1. Mataʻituina le 'au ma punaoa faʻaoga

O se tasi o auala sili ona taatele, ae aoga o le faʻaofiina o talosaga / tapulaʻa. Vaevae tusi talosaga i igoa avanoa, ma igoa avanoa i vaega atinae. Aʻo leʻi faʻapipiʻiina, seti le aoga o le talosaga mo le faʻaaogaina o le taimi o le gaosiga, manatua, ma le teuina o le ephemeral.

resources:
   requests:
     memory: 2Gi
     cpu: 250m
   limits:
     memory: 4Gi
     cpu: 500m

E ala i le poto masani, na matou oʻo ai i le faaiuga: e le tatau ona e faʻateleina talosaga mai tapulaʻa e sili atu ma le faalua. O le tele o le fuifui e fuafua e faʻatatau i talosaga, ma afai e te tuʻuina atu talosaga se eseesega i punaoa, mo se faʻataʻitaʻiga, 5-10 taimi, ona mafaufau lea i le mea o le a tupu i lau node pe a tumu i pods ma faʻafuaseʻi ona maua le uta. E leai se mea lelei. I se laʻititi, faʻamalosi, ma i le maualuga, e te faʻamavae atu i le tagata faigaluega ma maua se uta faʻataʻamilosaga i luga o nodes o loʻo totoe pe a amata ona gaioi pods.

E le gata i lea, faatasi ai ma le fesoasoani limitranges I le amataga, e mafai ona e setiina mea taua mo le atigipusa - laʻititi, maualuga ma faʻaletonu:

➜  ~ kubectl describe limitranges --namespace ops
Name:       limit-range
Namespace:  ops
Type        Resource           Min   Max   Default Request  Default Limit  Max Limit/Request Ratio
----        --------           ---   ---   ---------------  -------------  -----------------------
Container   cpu                50m   10    100m             100m           2
Container   ephemeral-storage  12Mi  8Gi   128Mi            4Gi            -
Container   memory             64Mi  40Gi  128Mi            128Mi          2

'Aua ne'i galo e fa'atapula'a puna'oa o igoa avanoa ina ia le mafai e se 'au ona fa'aaogaina uma punaoa o le fuifui:

➜  ~ kubectl describe resourcequotas --namespace ops
Name:                   resource-quota
Namespace:              ops
Resource                Used          Hard
--------                ----          ----
limits.cpu              77250m        80
limits.memory           124814367488  150Gi
pods                    31            45
requests.cpu            53850m        80
requests.memory         75613234944   150Gi
services                26            50
services.loadbalancers  0             0
services.nodeports      0             0

E pei ona mafai ona vaʻaia mai le faʻamatalaga resourcequotas, afai e manaʻo le au ops e faʻapipiʻi pods e faʻaumatia ai le isi 10 cpu, o le a le faʻatagaina e le tagata faʻatulagaina lenei mea ma o le a lafoina se mea sese:

Error creating: pods "nginx-proxy-9967d8d78-nh4fs" is forbidden: exceeded quota: resource-quota, requested: limits.cpu=5,requests.cpu=5, used: limits.cpu=77250m,requests.cpu=53850m, limited: limits.cpu=10,requests.cpu=10

Ina ia foia sea faafitauli, e mafai ona e tusia se meafaigaluega, mo se faataitaiga, pei lenei, mafai ona teuina ma tuʻuina atu le tulaga o punaoa faʻatonu.

2. Filifili le teuina o faila sili ona lelei

O iinei ou te fia pa'i atu ai i le autu o voluma faifai pea ma le subsystem disk o nodes tagata faigaluega Kubernetes. Ou te faʻamoemoe e leai se tasi e faʻaaogaina le "Cube" i luga o le HDD i le gaosiga, ae o nisi taimi e le lava le SSD masani. Na matou feagai ma se faʻafitauli lea na faʻaumatia ai e ogalaau le tisiki ona o gaioiga I / O, ma e le tele ni fofo:

Fa'aoga SSDs maualuga pe sui i le NVMe (pe afai e te pulea au lava meafaigaluega).
Fa'aitiitia le maualuga o le fa'amau.
Fai le faapaleniina “atamai” o pusa e toso faamalosi le tisiki (podAntiAffinity).

O le mata o loʻo i luga o loʻo faʻaalia ai le mea e tupu i lalo o le nginx-ingress-controller i le disk pe a mafai le access_logs logging (~ 12 afe logs / sec). O lenei tulaga, ioe, e mafai ona taʻitaʻia ai le faʻaleagaina o talosaga uma i luga o lenei node.

A’o le PV, talofa, ou te le’i taumafai lava i mea uma ituaiga Volume Tumau. Fa'aaoga le filifiliga sili e fetaui ma oe. I le tala faasolopito, na tupu i lo tatou atunuu o se vaega itiiti o auaunaga e manaʻomia ai le RWX volumes, ma i se taimi ua leva na amata ai ona latou faʻaogaina le teuina o le NFS mo lenei galuega. taugofie ma... lava. O le mea moni, na ma 'ai ma 'ai - faʻamanuia oe, ae na ma aʻoaʻoina e faʻafefe, ma e le toe tiga loʻu ulu. Ma afai e mafai, alu i le S3 mea e teu ai mea.

3. Aoina ata ua sili ona lelei

E sili ona lelei le fa'aogaina o ata e sili ona lelei i koneteina ina ia mafai e Kubernetes ona aumai vave ma fa'atino lelei.

Optimized o lona uiga o ata:

aofia ai na o le tasi le talosaga pe faia na o le tasi le galuega;
laiti i le lapopoa, aua o ata tetele e sili atu ona leaga i luga o le upega tafailagi;
iai ni fa'ai'uga o le soifua maloloina ma le nofo sauni e mafai ai e Kubernetes ona faia se gaioiga pe a fa'aletonu;
fa'aoga faiga fa'aoga fa'aoga-pei (pei o le Alpine po'o le CoreOS), ia e sili atu ona tete'e i mea sese fa'atulagaina;
fa'aoga le tele o la'asaga fau ina ia mafai ona e fa'apipi'i na'o talosaga tu'ufa'atasi ae le o fa'apogai fa'atasi.

E tele meafaigaluega ma auʻaunaga e mafai ai e oe ona siaki ma faʻamaonia ata ile lele. E taua le fa'afou pea ma fa'ata'ita'i mo le saogalemu. O se taunuuga e te maua:

Fa'aiti'itia uta feso'otaiga i luga ole fuifui atoa.
Fa'aiti'itia le taimi e amata ai koneteina.
Laʻititi laʻititi o lau resitala atoa Docker.

4. Fa'aoga DNS cache

Afai tatou te talanoa e uiga i uta maualuga, o lona uiga o le olaga e matua leaga lava e aunoa ma le faʻaogaina o le DNS system. I se tasi taimi, na lagolagoina e le au atinaʻe Kubernetes a latou kube-dns solution. Na faʻatinoina foi iinei, ae o lenei polokalama e leʻi faʻatulagaina faapitoa ma e leʻi maua ai le faʻatinoga manaʻomia, e ui lava e foliga mai o se galuega faigofie. Ona aliali mai lea o coredns, lea na matou fesuiaʻi ma leai se faʻavauvau; na mulimuli ane avea ma auaunaga DNS le lelei i K8s. I se taimi, na matou tuputupu aʻe i le 40 afe rps i le DNS system, ma o lenei fofo foi na le lava. Ae, o le laki, na sau ai Nodelocaldns, aka node local cache, aka NodeLocal DNSCache.

Aisea tatou te faaaogaina ai lenei mea? O loʻo i ai se pusa i le fatu Linux lea, pe a tele telefoni e ala i le conntrack NAT i luga o le UDP, e taʻitaʻia ai se tuʻuga tuʻuga mo faʻamaumauga i luga o laulau fesoʻotaʻi, ma o se vaega o fefaʻatauaiga e ala i le NAT ua leiloa (o malaga taʻitasi i le Auaunaga o le NAT). Nodelocaldns foia lenei faafitauli e ala i le aveesea o le NAT ma faʻaleleia le fesoʻotaʻiga i le TCP i luga ole DNS, faʻapea foʻi ma le faʻaogaina o fesili DNS i luga o le lotoifale (e aofia ai se puʻupuʻu 5-lua le lelei cache).

5. Fa'afua pods fa'alava ma tu'usa'o otometi

E mafai ona e fai atu ma le mautinoa o au microservices uma ua sauni mo le faalua i le faatoluina o le uta? E fa'afefea ona fa'asoa lelei punaoa i au talosaga? O le fa'atumauina o ni pa'u o lo'o tamomoe i tua atu o le mamafa o galuega e ono fa'aletonu, ae o le toe fa'afo'i i tua e ono tula'i mai ai le fa'aletonu mai le fa'afuase'i o le fa'ateleina o feoaiga i le auaunaga. Auaunaga e pei o Fa'asagaga Pod Autoscaler и Vertical Pod Autoscaler.

VPA e fa'atagaina oe e otometi ona fa'atupu talosaga/tapua'i o au koneteina i totonu o le pod e fa'atatau ile fa'aoga moni. E mafai faapefea ona aoga? Afai ei ai ni au pods e le mafai ona faʻalava faʻalava mo nisi mafuaʻaga (e leʻo faʻatuatuaina atoatoa), ona mafai lea ona e taumafai e tuʻuina atu suiga i ana punaoa i le VPA. O lona uiga o se faiga faʻatonuga e faʻavae i luga o faʻamaumauga faʻasolopito ma o loʻo i ai nei mai le metric-server, o lea afai e te le manaʻo e otometi le suia o talosaga / tapulaʻa, e mafai ona e mataʻituina punaoa fautuaina mo au koneteina ma faʻamalieina tulaga e teu ai PPU ma manatua i le fuifui.

Ata na maua mai https://levelup.gitconnected.com/kubernetes-autoscaling-101-cluster-autoscaler-horizontal-pod-autoscaler-and-vertical-pod-2a441d9ad231

Ole fa'atulagaina ile Kubernetes e fa'avae pea ile talosaga. Po o le a lava le tau e te tuʻuina i ai, o le a suʻe e le tagata faʻatulagaina se node talafeagai e faʻatatau i ai. Ole tau fa'atapula'a e mana'omia mo le cubelet e malamalama i le taimi e fa'amalo pe tape ai le pod. Ma talu ai na o le pau lava le mea taua o le tau o talosaga, o le a galulue faatasi le VPA. Soo se taimi lava e te fuaina ai se talosaga i luga o le sa'o, e te fa'amalamalamaina mea e tatau ona i ai. O le a le mea o le a tupu i tapulaa? O le a fa'afuafua fo'i le fa'atatau lea.

Mo se fa'ata'ita'iga, o fa'atonuga masani ia o le pod:

resources:
   requests:
     memory: 250Mi
     cpu: 200m
   limits:
     memory: 500Mi
     cpu: 350m

O le afi fa'atonu e fa'amautu ai e mana'omia e lau talosaga le 300m CPU ma le 500Mi e fa'asolo lelei. O le ae mauaina tulaga nei:

resources:
   requests:
     memory: 500Mi
     cpu: 300m
   limits:
     memory: 1000Mi
     cpu: 525m

E pei ona taʻua i luga, o le fua faʻatatau lea e faʻavae i luga ole fua faatatau ole talosaga / tapulaʻa ile faʻaaliga:

PPU: 200m → 300m: fua faatatau 1:1.75;
Manatu: 250Mi → 500Mi: fua faatatau 1:2.

E tusa ai ma HPA, ona sili atu lea ona manino le faiga o le gaioiga. O fua fa'atatau e pei o le PPU ma le manatua e fa'atapula'aina, ma afai o le averesi o fa'atusa uma e sili atu i le fa'ailoga, o le talosaga e fa'ateleina e le +1 sub se'ia pa'u le tau i lalo o le fa'ailoga po'o se'ia o'o i le numera aupito maualuga o fa'atusa.

Ata na maua mai https://levelup.gitconnected.com/kubernetes-autoscaling-101-cluster-autoscaler-horizontal-pod-autoscaler-and-vertical-pod-2a441d9ad231

I le faaopoopo atu i fua masani e pei o le PPU ma le manatua, e mafai ona e seti i luga o au metotia masani mai le Prometheus ma galulue faʻatasi ma i latou pe a e manatu o le faʻamaoniga sili lea o le taimi e fua ai lau talosaga. O le taimi lava e fa'amautu ai le talosaga i lalo ole metric threshold, ole HPA o le a amata ona fa'asolo i lalo i le numera aupito maualalo o fa'atusa pe se'i ausia e le uta le fa'ailoga fa'apitoa.

6. Aua nei galo e uiga i Node Affinity ma Pod Affinity

E le o pona uma e fa'aoga i masini e tasi, ma e le o pods uma e mana'omia le fa'aogaina o talosaga fa'atatau. Kubernetes e mafai ai ona e setiina le faʻapitoa o nodes ma pods faʻaaogaina Node Affinity и Pod Affinity.

Afai ei ai ni au pona e talafeagai mo le faʻaogaina o mea faʻapitoa, ona sili atu lea ona lelei le faʻaogaina o talosaga i nodes talafeagai. Ina ia faia lenei faʻaoga nodeSelector fa'atasi ai ma se fa'ailoga node.

Fa'apea e lua au pona: tasi ma CPUType=HIGHFREQ ma se numera tele o cores vave, o le isi ma MemoryType=HIGHMEMORY sili atu le manatua ma sili atu le faatinoga. O le auala pito sili ona faigofie o le tuʻuina atu lea o le faʻapipiʻiina i se node HIGHFREQe ala i le faaopoopo i le vaega spec lenei tagata filifilia:

…
nodeSelector:
	CPUType: HIGHFREQ

O se auala sili atu ona taugata ma faʻapitoa e fai ai lenei mea o le faʻaaogaina nodeAffinity i le fanua affinity razdela spec. E lua filifiliga:

requiredDuringSchedulingIgnoredDuringExecution: faʻatulagaina faigata (o le a faʻapipiʻi e le tagata faʻatulagaina pods naʻo luga o nodes patino (ma e leai se isi mea));
preferredDuringSchedulingIgnoredDuringExecution: tulaga vaivai (o le a taumafai le tagata faʻatulagaina e faʻapipiʻi i nodes patino, ma afai e le manuia, o le a taumafai e faʻapipiʻi i le isi node avanoa).

E mafai ona e faʻamaonia se faʻasologa faʻapitoa mo le puleaina o igoa o le node, pei ole In, NotIn, Exists, DoesNotExist, Gt poʻo Lt. Ae ui i lea, ia manatua o metotia lavelave i lisi uumi o igoa o le a faʻagesegese ai le faia o filifiliga i tulaga ogaoga. I se isi faaupuga, ia faafaigofie.

E pei ona taʻua i luga, o Kubernetes e faʻatagaina oe e seti le vavalalata o pusa o loʻo iai nei. O lona uiga, e mafai ona e fa'aogaina nisi pods e galulue fa'atasi ma isi pods i le sone avanoa e tasi (fa'atatau mo ao) po'o nodes.

В podAffinity fanua affinity razdela spec o lo'o avanoa fo'i fanua tutusa e pei o le tulaga o nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution и preferredDuringSchedulingIgnoredDuringExecution. Pau lava le eseesega o lena matchExpressions o le a fusifusia ai pusa i se node ua uma ona faʻaogaina se pusa o loʻo i ai lena igoa.

E ofoina atu foi e Kubernetes se fanua podAntiAffinity, lea, i se isi itu, e le fusifusia le paʻu i se pona ma ni pusa faʻapitoa.

E uiga i faaupuga nodeAffinity Ole fautuaga lava e tasi e mafai ona tuʻuina atu: taumafai e faʻafaigofie tulafono ma talafeagai, aua le taumafai e faʻateleina le faʻamatalaga o le pod ma se seti o tulafono faigata. E matua faigofie lava le faia o se tulafono e le fetaui ma tulaga o le fuifui, fatuina o uta le manaʻomia i luga o le faʻatulagaina ma faʻaitiitia ai le faʻatinoga atoa.

7. Taints & Tolerances

O loʻo i ai se isi auala e pulea ai le faʻatulagaina. Afai e iai sau fuifui tele ma le fiaselau o nodes ma le faitau afe o microservices, o lona uiga e matua faigata lava ona le faʻatagaina nisi pods e faʻafeiloaʻi i luga o nisi nodes.

O le faiga o tants-fa'asa tulafono-e fesoasoani i lenei. Mo se faʻataʻitaʻiga, i nisi faʻaaliga e mafai ona e faʻasaina nisi nodes mai le taʻavale pods. Ina ia faʻaogaina le taint i se node patino e te manaʻomia le faʻaogaina o le filifiliga taint i le kubectl. Fa'ailoa le ki ma le tau ona fa'aleaga lea NoSchedule poʻo NoExecute:

$ kubectl taint nodes node10 node-role.kubernetes.io/ingress=true:NoSchedule

E taua foi le matauina o le taint mechanism e lagolagoina ai ni aafiaga autu se tolu: NoSchedule, NoExecute и PreferNoSchedule.

NoSchedule o lona uiga mo le taimi nei o le a leai se faʻamatalaga tutusa i le faʻamatalaga pod tolerations, o le a le mafai ona faʻapipiʻiina i luga o le node (i lenei faʻataʻitaʻiga node10).
PreferNoSchedule - fa'a faigofie NoSchedule. I lenei tulaga, o le a taumafai le tagata faʻatulagaina e aua le tuʻufaʻatasia pods e leai se mea e fetaui tolerations i node, ae e le o se tapulaa faigata. Afai e leai ni punaoa i totonu o le fuifui, o le a amata ona faʻapipiʻi pods i luga o lenei node.
NoExecute - o le a'afiaga lea e fa'aoso ai le vave fa'asa'olotoina o pods e leai se fa'ailoga talafeagai tolerations.

O le mea e malie ai, e mafai ona fa'aleaogaina lenei amio i le fa'aogaina o le tolerations mechanism. E faigofie lenei mea pe'ā iai se node "fa'asaina" ma e na'o oe e mana'omia le tu'uina o auaunaga tetele i luga. E faapefea ona fai? Fa'ataga na'o pa'u e iai le fa'apalepale talafeagai.

E fa'apea le fa'amatalaga o le pod:

spec:
   tolerations:
     - key: "node-role.kubernetes.io/ingress"
        operator: "Equal"
        value: "true"
        effect: "NoSchedule"

E le o lona uiga o le isi toe faʻaleleia o le a pa'ū i luga o lenei node, e le o le Node Affinity mechanism ma nodeSelector. Ae e ala i le tuʻufaʻatasia o le tele o vaega, e mafai ona e ausia tulaga faʻatulagaina faʻatulagaina sili ona faigofie.

8. Seti le Fa'amuamua Pod Deployment

Ona o lo'o i ai au pods e tu'uina atu i nodes e le fa'apea e tatau ona fa'apena uma le fa'amuamua. Mo se faʻataʻitaʻiga, atonu e te manaʻo e faʻapipiʻi nisi pods i luma o isi.

Kubernetes e ofoina atu auala eseese e faʻatulaga ai le Pod Priority ma Preemption. O le faatulagaga e aofia ai ni vaega se tele: mea faitino PriorityClass ma fa'amatalaga fanua priorityClassName i le faʻamatalaga pod. Sei o tatou vaai i se faataitaiga:

apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: high-priority
value: 99999
globalDefault: false
description: "This priority class should be used for very important pods only"

Tatou te fatuina PriorityClass, tu'u i ai se igoa, fa'amatalaga ma le tau. O le maualuga value, o le maualuga o le faamuamua. O le tau e mafai ona avea ma so'o se 32-bit integer e itiiti ifo pe tutusa ma le 1. O tau maualuluga e fa'aagaga mo fa'atonuga fa'a-misiona e masani lava e le mafai ona fa'asao. Fa'ato'a tupu pe a leai se nofoaga e liliu ai se pusa fa'amuamua, ona 'ave'esea lea o isi pona mai se node. Afai e faigata tele lenei masini mo oe, e mafai ona e faʻaopoopoina le filifiliga preemptionPolicy: Never, ona leai ai lea o se faʻataʻitaʻiga, o le pod o le a tu muamua i le laina ma faʻatali mo le faʻatulagaina e suʻe punaoa saoloto mo ia.

Le isi, matou te faia se pod lea matou te faʻaalia ai le igoa priorityClassName:

apiVersion: v1
kind: Pod
metadata:
  name: static-web
  labels:
    role: myrole
 spec:
  containers:
    - name: web
      image: nginx
      ports:
        - name: web
          containerPort: 80
          protocol: TCP
  priorityClassName: high-priority

E mafai ona e faia le tele o vasega fa'amuamua e te mana'o ai, e ui lava e fautuaina e aua le fa'apopoleina i lenei mea (fai mai, fa'atapula'a oe i le maualalo, feololo ma maualuga le fa'amuamua).

O lea, pe a manaʻomia, e mafai ona e faʻateleina le lelei o le faʻaaogaina o auaunaga taua e pei o le nginx-ingress-controller, coredns, ma isi.

9. Fa'asilisili le fuifui ETCD

ETCD e mafai ona taʻua o le faiʻai o le fuifui atoa. E taua tele le faʻamautuina o le faʻaogaina o lenei faʻamaumauga i se tulaga maualuga, talu ai o le saoasaoa o gaioiga i le Cube e faʻalagolago i ai. O se tulaga talafeagai, ma i le taimi lava e tasi, o le fofo lelei o le tausia lea o le ETCD fuifui i luga o matai nodes ina ia maua ai sina tuai i le kube-apiserver. Afai e le mafai ona e faia lenei mea, ona tuʻu lea o le ETCD i le latalata e mafai ai, ma le bandwidth lelei i le va o tagata auai. Fa'afofoga fo'i i le tele o nodes mai le ETCD e mafai ona pa'u i fafo e aunoa ma se afaina i le fuifui

Ia manatua o le faʻateleina o le aofaʻi o sui i totonu o se fuifui e mafai ona faʻateleina le faʻapalepale masei pe a faʻaalu le faʻatinoga, o mea uma e tatau ona faʻalelei.

Afai tatou te talanoa e uiga i le setiina o le auaunaga, e i ai nai fautuaga:

Ia lelei meafaigaluega, faʻavae i luga o le tele o le fuifui (e mafai ona e faitau iinei).
Tweak ni nai ta'iala pe afai na e fa'asalalauina se fuifui i le va o se pea DC po'o lau feso'otaiga ma tisiki e tele mea e mana'omia (e mafai ona e faitau iinei).

iʻuga

O lenei tusiga o loʻo faʻamatalaina manatu o loʻo taumafai la matou 'au e tausisia. E le o se fa'amatalaga la'asaga i lea laasaga o gaioiga, ae o filifiliga e mafai ona aoga mo le fa'amalieina o fuifui i luga. E manino lava o fuifui ta'itasi e tulaga ese i lona lava ala, ma e mafai ona matua'i fesuisuia'i fofo fa'atulagaina, o lea e manaia ai le maua mai o lau fa'amatalaga i le auala e te mata'ituina ai lau fuifui Kubernetes ma pe fa'apefea ona e fa'aleleia lona fa'atinoga. Faasoa atu lou poto masani i faʻamatalaga, o le a manaia le iloa.

puna: www.habr.com

Nine Kubernetes Fautuaga Fa'atinoga