🥇Ajutised mahud koos hoiustamismahu jälgimisega: EmptyDir steroidi all

Mõned rakendused peavad samuti andmeid salvestama, kuid nad võtavad rahulikult, et andmeid ei salvestata pärast taaskäivitamist.

Näiteks vahemälu teenused on piiratud mäluga, kuid võivad ka liikuda andmed, mida harva kasutatakse, aeglasemasse salvestusse, millel on väike mõju üldisele jõudlusele. Teised rakendused peavad teadma, et failides võivad olla teatud lugemisõigusega andmed, näiteks seadistused või salajased võtmed.

Kubernetesel on juba mitu tüüpi efemeerseid mahtu, kuid nende funktsionaalsus on piiratud sellega, mis on K8s-s rakendatud.

Efemeersed CSI mahud on võimaldanud Kubernetesel laiendada läbi CSI draiverite, et tagada kergete kohalike mahtude tugi. Selle meetodiga on võimalik rakendada millel on mistahes struktuur: seadistused, saladused, identifitseerimisandmed, muutujad jms. CSI draivereid tuleb täiustada, et toetada seda Kubernetes funktsiooni, kuna eeldatakse, et tavalised standardiseeritud draiverid ei toimi — kuid eeldatakse, et selliseid mahtusid saab kasutada igas sõlmes, mida podi jaoks on valitud.

See võib olla probleem sõlme tähtsaid ressursse tarbivate mahtude puhul või salvestuste puhul, mis on saadaval ainult teatud sõlmedes. Sel põhjusel tutvustatakse Kubernetes 1.19-s kahte uut mahufunktsiooni alfa-testimiseks, mis on kontseptuaalselt sarnased EmptyDir mahtudega:

üldotstarbelised efemeersed mahud;
CSI salvestuse mahtu jälgimine.

Uue lähenemise eelised:

salvestus võib olla kohalik või võrgupõhine;
mahtudel võivad olla määratud suurused, mida rakendus ei saa ületada;
toimib kõikide CSI draiveritega, mis toetavad püsivate mahtude pakkumist ja (salvestuse jälgimise toetamiseks) rakendavad kutset GetCapacity;
mahtudel võivad olla mõned algandmed, mis sõltuvad draiverist ja parameetritest;
kõik mahuga seotud tüüpilised toimingud (oleku snapshot'i loomine, suuruse muutmine jne) on toetatud;
mahtu saab kasutada mis tahes rakenduste kontrollija abil, mis aktsepteerib mooduli või mahu spetsifikatsiooni;
Kubernetes'i planeerija valib ise sobivad sõlmed, seega ei ole enam vaja planeerija laiendusi seadistada ja webhooks'e muuta.

Rakenduse variandid

Seega sobivad ajutised üldkasutamiseks mõeldud mahud järgmisteks rakendusteks:

Püsiv mälu memcached'i operatiivmälu asendajana

Viimased memcached'i väljalasked lisavad toe püsiva mälu (nt Intel Optane) kasutamiseks tõlkija märkustavapärase operatiivmälu asemel. Memcached'i juurutamisel rakenduste juhtimisliidese kaudu saab ajutiste üldkasutamiseks mõeldud mahude abil teha taotluse väljatõstmiseks määratud suurusega volumi jaoks PMEM'i kaudu CSI draiveri abil, näiteks PMEM-CSI.

Kohalik LVM-i salvestusruum tööruumina

Andmetega töötavad rakendused, mille andmete maht ületab operatiivmälu suuruse, saavad küsida kohalikku salvestust, mille suurus või tulemuslikkuse mõõdikud ei pruugi tavalised Kubernetes'e EmptyDir mahud pakkuda. Näiteks selle eesmärgi saavutamiseks on kirjutatud TopoLVM.

Ainult lugemiseks mõeldud mahud andmete jaoks

Mahuvälja andmine võib põhjustada täidetud mahu loomist, kui:

taastamine mahupildi tegemine;
mahukoopia loomine andmeplokid;
töös Need mahud võivad olla mountitud ainult lugemisrežiimis..

Ajutised üldkasutamiseks mõeldud mahud

Kuidas see töötab

Ajutiste üldkasutuseks mõeldud mahude peamine omadus on uus mahupäritolu,

EphemeralVolumeSource , mis sisaldab kõiki välju selle mahutaotluse loomiseks (ajalooliselt nimetatakse seda pideva mahu taotluseks, PVC). Uus kontrollerkube-controller-manager vaatab podid, mis loovad sellise mahupäritolu, ja loob nende podide jaoks PVC. CSI draiveri jaoks näeb see taotlus välja nagu kõik teised, seega ei ole siin erilist tuge vajalik. Nii kaua, kui sellised PVC-d eksisteerivad – neid saab kasutada nagu kõiki teisi mahutaotlusi. Eelkõige võivad need olla viidud andmeallikana mahu kopeerimisel või mahu pildistamisel. PVC objekt sisaldab ka mahuhäire praegust olekut.

Kui sellised PVC-d eksisteerivad, võivad neid kasutada nagu kõiki teisi mahtude päringuid. Ehkki nad võivad olla andmeallikaks mahu kopeerimisel või mahu snapshot'i loomisel. PVC-objekt sisaldab ka mahu praegust olekut.

Automaatsete PVC-de nimed on eelnevalt määratud: need on podi nime ja mahtude nime kombinatsioonid, mis on eraldatud sidekriipsuga. Eelnevalt määratud nimed lihtsustavad PVC-de kasutamist, sest pole vaja otsida, kui podi ja mahu nimed on teada. Puuduseks on see, et nimi võib juba olla kasutusel, mille Kubernetes tuvastab ja mille tõttu toimuva podi käivitamine takistatakse.

Käskude tagamiseks, et maht kustutatakse koos podiga, teeb kontroller podi mahtude omaniku. Kui pod kustutatakse, aktiveeritakse tavapärane prügi koristamise mehhanism, mis kustutab nii nõude kui ka mahu.

Nõuetele vastatakse salvestusajami draiveri kaudu tavalise salvestusklassi mehhanismi abil. Kuigi koheselt ja hiljuti kohalike ühendustega (need on) WaitForFirstConsumer) on toetatud, on efemeersete mahtude puhul mõttekas kasutada WaitForFirstConsumer, et planeerija saaks arvesse võtta nii sõlme kasutamist kui ka salvestusruumi kättesaadavust sõlme valimisel. Siin on lisandunud uus funktsioon.

Salvestusruumi jälgimine

Tavaliselt ei oma planeerija andmeid selle kohta, kus CSI draiver loob mahu. Samuti ei ole planeerijal võimalust otse draiveriga selle teabe pärimiseks ühendust võtta. Seetõttu küsib planeerija sõlmedelt, kuni ta leiab sõlme, kus mahud võivad olla kättesaadavad (hilinenud liitmine) või jätab koha valiku täielikult draiveri hooleks (kohene liitmine).

Uus API CSIStorageCapacity, mis on alpha faasis, võimaldab vajalike andmete salvestamist etcd-s, nii et need on planeerija jaoks kergesti kättesaadavad. Erinevalt efemeersete mahtude tavakasutuse toetusest peab draiveri käitamisel olema aktiveeritud salvestusruumi jälgimise tugi: external-provisioner peab avaldama kapatsiteedi teavet, mille ta on saanud draiverilt tavalise GetCapacity.

Kui planeerijal tuleb valida sõlm podile, millel on kinnitamata maht, mis kasutab hilinenud liitmist, ja draiver aktiveeris selle funktsiooni jälgimist, seadistades lipu CSIDriver.storageCapacity, siis lükatakse automaatselt tagasi sõlmed, millel ei ole piisavalt salvestusruumi. See töötab nii efemeersete tavakasutuse mahtude kui ka püsivate mahtude puhul, kuid mitte efemeersete CSI mahtude jaoks, kuna nende parameetreid ei saa Kubernetesest lugeda.

Nagu tavaliselt, luuakse otsetoetavad mahud enne podide planeerimist ning nende paigutuse valib salvestusjuht, seega seadistamise ajal external-provisioner vaadatakse vaikimisi üle salvestusklassid, mis pakuvad otsetoetust, kuna neid andmeid ei kasutata nagunii.

Kuna Kubernetes'i ajakava peab töötama potentsiaalselt aegunud teabega, ei ole garanteeritud, et maht on alati saadaval, kui mahtu luuakse, kuid samas on tõenäosus, et see luuakse ilma uuesti katsetamata, suurem.

Märkus. Lisainfot saate ning saate ohutult "katsetada katsetuskeskkonnas", ning kui olukord peaks olema täiesti arusaamatu, võite saada kvalifitseeritud tehnikatoe abi intensiivkursustel — Kubernetes Põhi mis toimuvad 28.-30. septembril, ning edasijõudnud spetsialistide jaoks Kubernetes Mega 14–16 oktoobril.

Turvalisus

CSIStorageCapacity

CSIStorageCapacity objektid asuvad nimede ruumides. Iga CSI draiveri juurutamisel soovitatakse RBAC õigusi piirata selles nimeserveris, et selgelt oleks aru, kust andmed pärinevad. Igal juhul Kubernetes seda ei kontrolli, ja tavaliselt paigaldatakse draiverid ühte nimede ruumi, nii et lõpuks oodatakse, et draiver töötaks ja ei avalikustaks valeandmeid (ja siin läks mul kaart käima, tõlkija märk: inspireeritud vanast anekdootist)

Ajutiste üldkasutuseks mõeldud mahude peamine omadus on uus mahupäritolu,

Kui kasutajatel on õigus luua poda (otseselt või kaudselt) - saavad nad luua ka ajutisi ühiskasutatavaid mahte, isegi kui neil pole õigust mahtu taotleda. See on seetõttu, et RBAC õiguste kontrollid rakendatakse PVC loomise kontrollerile, mitte kasutajale. See on oluline muudatus, mida tuleb lisada kasutajakontole, enne selle funktsiooni aktiveerimist klastrites, kui usaldamatutel kasutajatel ei tohiks olla õigust mahte luua.

Näide

Erinev teema PMEM-CSI-s sisaldab kõiki vajalikke muudatusi Kubernetes 1.19 klastri käivitamiseks QEMU virtuaalamadest, kõik funktsioonid on alpha staadiumis. Draiveri kood ei ole muutunud, on muutunud vaid juurutamine.

Sobivas masinas (Linux, tavaline kasutaja võib kasutada Docker, vaadake siit detailid) need käsud tõstavad üles klastrit ja paigaldavad PMEM-CSI draiveri:

git clone --branch=kubernetes-1-19-blog-post https://github.com/intel/pmem-csi.git
cd pmem-csi
export TEST_KUBERNETES_VERSION=1.19 TEST_FEATURE_GATES=CSIStorageCapacity=true,GenericEphemeralVolume=true TEST_PMEM_REGISTRY=intel
make start && echo && test/setup-deployment.sh

Kui kõik on töövalmis, sisaldab väljund kasutamiseks juhiseid:

Testiklastri on valmis. Logige sisse aadressiga [...] /pmem-csi/_work/pmem-govm/ssh.0, käivitage
kubectl pärast sisselogimist. Alternatiivselt kasutage kubectl otse järgnevate keskkonnamuutujatega:
   KUBECONFIG=[...] /pmem-csi/_work/pmem-govm/kube.config

salajane/pmem-csi-registry-secrets loodud
salajane/pmem-csi-node-secrets loodud
teenusekonto/pmem-csi-controller loodud
...
Et proovida pmem-csi draiveri ajutisi mahuteid:
   cat deploy/kubernetes-1.19/pmem-app-ephemeral.yaml |
   [...] /pmem-csi/_work/pmem-govm/ssh.0 kubectl create -f -

CSIStorageCapacity objektid ei ole mõeldud inimeste poolt lugemiseks, seega on vajalik teatud töötlemine. GoLang'i mallifiltrite abil kuvatakse salvestusklassid, selles näites kuvatakse nimi, topoloogia ja maht:

$ kubectl get 
        -o go-template='{{range .items}}{{if eq .storageClassName "pmem-csi-sc-late-binding"}}{{.metadata.name}} {{.nodeTopology.matchLabels}} {{.capacity}}
{{end}}{{end}}' 
        csistoragecapacities
csisc-2js6n kaart[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker2] 30716Mi
csisc-sqdnt kaart[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker1] 30716Mi
csisc-ws4bv kaart[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker3] 30716Mi

Üksikobjektil on järgmine sisu:

$ kubectl describe csistoragecapacities/csisc-6cw8j
Nimi:         csisc-sqdnt
Nimi ruum:    default
Märgid:       
Märkused:     
API versioon:  storage.k8s.io/v1alpha1
Maht:        30716Mi
Tüüp:        CSIStorageCapacity
Metaandmed:
  Loomise ajatemperatuur:  2020-08-11T15:41:03Z
  Generaatori nimi:       csisc-
  Halduse väljad:
    ...
  Omaniku viidatud:
    API versioon:     apps/v1
    Kontroller:      true
    Tüüp:            StatefulSet
    Nimi:            pmem-csi-controller
    UID:             590237f9-1eb4-4208-b37b-5f7eab4597d1
  Ressursi versioon:  2994
  Ise link:         /apis/storage.k8s.io/v1alpha1/namespaces/default/csistoragecapacities/csisc-sqdnt
  UID:               da36215b-3b9d-404a-a4c7-3f1c3502ab13
Node Topoloogia:
  Vastav märgid:
    pmem-csi.intel.com/node:  pmem-csi-pmem-govm-worker1
Salvestusklassi nimi:           pmem-csi-sc-late-binding
Sündmused:

Proovime luua demonstreerimise rakenduse, millel on üks ajutine mahuti üldiselt. Faili sisu pmem-app-ephemeral.yaml:

# This example Pod definition demonstrates
# how to use generic ephemeral inline volumes
# with a PMEM-CSI storage class.
kind: Pod
apiVersion: v1
metadata:
  name: my-csi-app-inline-volume
spec:
  containers:
    - name: my-frontend
      image: intel/pmem-csi-driver-test:v0.7.14
      command: [ "sleep", "100000" ]
      volumeMounts:
      - mountPath: "/data"
        name: my-csi-volume
  volumes:
  - name: my-csi-volume
    ephemeral:
      volumeClaimTemplate:
        spec:
          accessModes:
          - ReadWriteOnce
          resources:
            requests:
              storage: 4Gi
          storageClassName: pmem-csi-sc-late-binding

Pärast loomist, nagu ülaltoodud juhendis näidatud, on meil lisakonteiner ja PVC:

$ kubectl get pods/my-csi-app-inline-volume -o wide
NIMI                       VALMIS   OLEK    UUENDUSED   VANUS     IP          NODE                         NOMINEERITUD NODE   VALMIDUSE VÄRJAD
my-csi-app-inline-volume   1/1     Käivitatud   0          6m58s   10.36.0.2   pmem-csi-pmem-govm-worker1              
$ kubectl get pvc/my-csi-app-inline-volume-my-csi-volume
NIMI                                     OLEK   MAHT                                     MAHT       JURDUSMODID   SALVESTUSKLASS               VANUS
my-csi-app-inline-volume-my-csi-volume   Seotud    pvc-c11eb7ab-a4fa-46fe-b515-b366be908823   4Gi        RWO            pmem-csi-sc-late-binding   9m21s

PVC omanik — konteiner:

$ kubectl get -o yaml pvc/my-csi-app-inline-volume-my-csi-volume
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  annotations:
    pv.kubernetes.io/bind-completed: "yes"
    pv.kubernetes.io/bound-by-controller: "yes"
    volume.beta.kubernetes.io/storage-provisioner: pmem-csi.intel.com
    volume.kubernetes.io/selected-node: pmem-csi-pmem-govm-worker1
  creationTimestamp: "2020-08-11T15:44:57Z"
  finalizers:
  - kubernetes.io/pvc-protection
  managedFields:
    ...
  name: my-csi-app-inline-volume-my-csi-volume
  namespace: default
  ownerReferences:
  - apiVersion: v1
    blockOwnerDeletion: true
    controller: true
    kind: Pod
    name: my-csi-app-inline-volume
    uid: 75c925bf-ca8e-441a-ac67-f190b7a2265f
...

Oodatult uuendati teavet pmem-csi-pmem-govm-worker1:

csisc-2js6n kaarditamine[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker2] 30716Mi
csisc-sqdnt kaarditamine[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker1] 26620Mi
csisc-ws4bv kaarditamine[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker3] 30716Mi

Kui teisele rakendusele on vajalik rohkem kui 26620Mi, ei arvestata planeerija seda pmem-csi-pmem-govm-worker1 igal juhul.

Mis edasi?

Mõlemad funktsioonid on veel arenduses. Alpha-testimise käigus on avatud mitmeid taotlusi. Parendamise ettepanekutest loobumise linkide kaudu dokumenteeritakse töö, mida tuleb teha, et liikuda beta-etappi, ja samuti, milliseid alternatiive on juba kaalutud ja tagasi lükatud:

Allikas: habr.com