Ефемерне количине са праћењем капацитета складиштења: ЕмптиДир на стероидима

Неке апликације такође морају да чувају податке, али им је прилично пријатна чињеница да подаци неће бити сачувани након поновног покретања.

На пример, услуге кеширања су ограничене РАМ-ом, али такође могу да преместе податке који се ретко користе у складиште које је спорије од РАМ-а, са малим утицајем на укупне перформансе. Друге апликације морају да буду свесне да у датотекама може постојати неки унос само за читање, као што су подешавања или тајни кључеви.

Кубернетес већ има неколико типова ефемерне свеске, али њихова функционалност је ограничена на оно што је имплементирано у К8с.

Краткотрајан ЦСИ волумес омогућио је да Кубернетес буде проширен ЦСИ драјверима како би се обезбедила подршка за лаке локалне волумене. На овај начин је могуће користити произвољне структуре: подешавања, тајне, идентификациони подаци, променљиве итд. ЦСИ драјвери морају бити модификовани да би подржали ову Кубернетес функцију, пошто се претпоставља да обични стандардизовани драјвери неће радити - али се претпоставља да се такви волумени могу користити на било ком чвору изабраном за под.

Ово може бити проблем за волумене који троше значајне ресурсе хоста или за складиште које је доступно само на неким хостовима. Зато Кубернетес 1.19 уводи две нове функције запремине за алфа тестирање које су концептуално сличне запреминама ЕмптиДир:

• ефемерни волумени опште намене;

• ЦСИ праћење капацитета складиштења.

Предности новог приступа:

• складиште може бити локално или повезано преко мреже;

• волумени могу имати одређену величину коју апликација не може премашити;

• ради са било којим ЦСИ драјверима који подржавају обезбеђивање сталних волумена и (да подржава праћење капацитета) имплементирају позив GetCapacity;

• волумени могу имати неке почетне податке у зависности од драјвера и подешавања;

• све стандардне операције са запремином (креирање снимка, промена величине, итд.) су подржане;

• волумени се могу користити са било којим апликацијским контролером који прихвата спецификацију модула или запремине;

• Кубернетес планер сам бира одговарајуће чворове, тако да више нема потребе за обезбеђивањем и конфигурисањем екстензија планера или модификацијом веб-хукова.

Опције апликације

Због тога су ефемерне запремине опште намене погодне за следеће случајеве употребе:

Трајна меморија као замена за РАМ за мемцацхед

Најновија издања мемцацхед-а додата подршка користећи трајну меморију (Интел Оптане, итд., прибл. преводилац) уместо обичне РАМ меморије. Када примењујете мемцацхед преко контролера апликације, можете да користите ефемерне волумене опште намене да бисте захтевали да се волумен дате величине додели од ПМЕМ-а користећи ЦСИ драјвер, на пример ПМЕМ-ЦСИ.

ЛВМ локално складиште као радни простор

Апликације које раде са подацима који су већи од РАМ-а могу захтевати локалну меморију са величином или метриком перформанси које не могу да обезбеде обични ЕмптиДир волумени из Кубернетес-а. На пример, за ову сврху је написано ТопоЛВМ.

Приступ само за читање за количине података

Алокација волумена може резултирати стварањем пуног волумена када:

• рестаурација снимак јачине звука;

• стварање свеске копије;

• рад чувари места података.

Ови волумени се могу монтирати у режиму само за читање.

Како ово ради

Ефемерне свеске опште намене

Кључна карактеристика ефемерних томова опште намене је нови извор волумена, EphemeralVolumeSource, који садржи сва поља за креирање захтева за запремину (историјски назван захтев за упорни волумен, ПВЦ). Нови контролер у kube-controller-manager гледа на модуле који стварају такав извор запремине, а затим креира ПВЦ за те махуне. За ЦСИ драјвер, овај захтев изгледа исто као и остали, тако да овде није потребна посебна подршка.

Све док такви ПВЦ-ови постоје, могу се користити као и сви други захтеви за волумен. Конкретно, они се могу референцирати као извор података приликом копирања волумена или прављења снимка из волумена. ПВЦ објекат такође садржи тренутно стање запремине.

Имена аутоматски креираних ПВЦ-ова су унапред дефинисана: они су комбинација назива под и назива волумена, одвојени цртицом. Унапред дефинисана имена олакшавају интеракцију са ПВЦ-ом јер не морате да га тражите ако знате назив под и назив волумена. Лоша страна је у томе што је име можда већ у употреби, што Кубернетес детектује и као резултат тога модул блокира покретање.

Да би се осигурало да се волумен брише заједно са подом, контролер шаље захтев волумену који је под власником. Када се под обрише, функционише стандардни механизам за сакупљање смећа, који брише и захтев и волумен.

Захтеви се усклађују од стране драјвера за складиштење путем нормалног механизма класе складиштења. Иако часови са тренутним и касним везивањем (ака WaitForFirstConsumer) су подржани, за ефемерне волумене има смисла користити WaitForFirstConsumer, тада планер може узети у обзир и коришћење чвора и доступност складишта када бира чвор. Овде се појављује нова функција.

Праћење капацитета складиштења

Обично планер нема знања о томе где ће ЦСИ драјвер креирати волумен. Такође не постоји начин да планер директно контактира возача како би затражио ове информације. Према томе, планер испитује чворове све док не пронађе онај на коме се волуменима може приступити (касно повезивање) или препусти избор локације у потпуности драјверу (тренутно повезивање).

Нови АПИ за CSIStorageCapacity, који је у алфа фази, омогућава складиштење потребних података у етцд тако да буду доступни планеру. За разлику од подршке за ефемерне волумене опште намене, када примените драјвер, морате да омогућите праћење капацитета складиштења: external-provisioner треба да објави информације о капацитету примљене од возача путем нормалног GetCapacity.

Ако планер треба да изабере чвор за под са невезаним волуменом који користи касно везивање, а управљачки програм је омогућио ову функцију током примене постављањем заставице CSIDriver.storageCapacity, онда ће чворови који немају довољно складишног капацитета бити аутоматски одбачени. Ово функционише и за ефемерне и за трајне волумене опште намене, али не и за ЦСИ ефемерне волумене јер Кубернетес не може да прочита њихове параметре.

Као и обично, одмах повезани волумени се креирају пре заказивања подова, а њихово постављање бира управљачки програм за складиштење, тако да приликом конфигурисања external-provisioner Подразумевано, класе складиштења са тренутним везивањем се прескачу, пошто се ови подаци ионако неће користити.

Пошто је кубернетес планер приморан да ради са потенцијално застарелим информацијама, не постоји гаранција да ће капацитет бити доступан у сваком случају када се волумен креира, али су шансе да ће бити креиран без поновних покушаја ипак повећане.

НБ Можете добити детаљније информације, као и безбедно „вежбати на штанду за мачке“, а у случају потпуно неразумљиве ситуације добити квалификовану техничку подршку на интензивним курсевима - Кубернетес Басе одржаће се од 28. до 30. септембра, а за напредније специјалисте Кубернетес Мега 14–16. октобар.

безбедност

ЦСИСторагеЦапацити

ЦСИСторагеЦапацити објекти се налазе у просторима имена када се сваки ЦСИ драјвер поставља у сопственом именском простору, препоручује се да се ограничи РБАЦ права на ЦСИСторагеЦапацити у том простору јер је очигледно одакле подаци долазе. Кубернетес ионако не проверава ово, и обично се драјвери стављају у исти именски простор, тако да се на крају очекује да драјвери раде и не објављују нетачне податке (и ту је моја картица отказала, прибл. преводилац по узору на брадату шалу)

Ефемерне свеске опште намене

Ако корисници имају права да креирају под (директно или индиректно), они ће такође моћи да креирају ефемерне волумене опште намене чак и ако немају права да креирају захтев на том волумену. То је зато што се РБАЦ провере дозволе примењују на контролер који креира ПВЦ, а не на корисника. Ово је главна промена коју треба додати на свој рачун, пре него што омогућите ову функцију на кластерима где непоуздани корисници не би требало да имају права да креирају волумене.

Пример

Одвојен твиг ПМЕМ-ЦСИ садржи све неопходне промене за покретање Кубернетес 1.19 кластера унутар КЕМУ виртуелних машина са свим функцијама у алфа фази. Шифра драјвера се није променила, само је промењена примена.

На одговарајућој машини (Линук, обичан корисник може да користи лучки радник, погледај овде детаљи) ове команде ће покренути кластер и инсталирати драјвер ПМЕМ-ЦСИ:

git clone --branch=kubernetes-1-19-blog-post https://github.com/intel/pmem-csi.git
cd pmem-csi
export TEST_KUBERNETES_VERSION=1.19 TEST_FEATURE_GATES=CSIStorageCapacity=true,GenericEphemeralVolume=true TEST_PMEM_REGISTRY=intel
make start && echo && test/setup-deployment.sh

Након што све функционише, излаз ће садржати упутства за употребу:

The test cluster is ready. Log in with [...]/pmem-csi/_work/pmem-govm/ssh.0, run
kubectl once logged in.  Alternatively, use kubectl directly with the
following env variable:
   KUBECONFIG=[...]/pmem-csi/_work/pmem-govm/kube.config

secret/pmem-csi-registry-secrets created
secret/pmem-csi-node-secrets created
serviceaccount/pmem-csi-controller created
...
To try out the pmem-csi driver ephemeral volumes:
   cat deploy/kubernetes-1.19/pmem-app-ephemeral.yaml |
   [...]/pmem-csi/_work/pmem-govm/ssh.0 kubectl create -f -

Објекти ЦСИСторагеЦапацити нису предвиђени да их читају људи, тако да је потребна нека обрада. Филтери Голанг шаблона ће показати класе складиштења, овај пример ће показати назив, топологију и капацитет:

$ kubectl get 
        -o go-template='{{range .items}}{{if eq .storageClassName "pmem-csi-sc-late-binding"}}{{.metadata.name}} {{.nodeTopology.matchLabels}} {{.capacity}}
{{end}}{{end}}' 
        csistoragecapacities
csisc-2js6n map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker2] 30716Mi
csisc-sqdnt map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker1] 30716Mi
csisc-ws4bv map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker3] 30716Mi

Један објекат има следећи садржај:

$ kubectl describe csistoragecapacities/csisc-6cw8j
Name:         csisc-sqdnt
Namespace:    default
Labels:       <none>
Annotations:  <none>
API Version:  storage.k8s.io/v1alpha1
Capacity:     30716Mi
Kind:         CSIStorageCapacity
Metadata:
  Creation Timestamp:  2020-08-11T15:41:03Z
  Generate Name:       csisc-
  Managed Fields:
    ...
  Owner References:
    API Version:     apps/v1
    Controller:      true
    Kind:            StatefulSet
    Name:            pmem-csi-controller
    UID:             590237f9-1eb4-4208-b37b-5f7eab4597d1
  Resource Version:  2994
  Self Link:         /apis/storage.k8s.io/v1alpha1/namespaces/default/csistoragecapacities/csisc-sqdnt
  UID:               da36215b-3b9d-404a-a4c7-3f1c3502ab13
Node Topology:
  Match Labels:
    pmem-csi.intel.com/node:  pmem-csi-pmem-govm-worker1
Storage Class Name:           pmem-csi-sc-late-binding
Events:                       <none>

Хајде да покушамо да направимо демо апликацију са једним ефемерним волуменом опште намене. Садржај датотеке pmem-app-ephemeral.yaml:

# This example Pod definition demonstrates
# how to use generic ephemeral inline volumes
# with a PMEM-CSI storage class.
kind: Pod
apiVersion: v1
metadata:
  name: my-csi-app-inline-volume
spec:
  containers:
    - name: my-frontend
      image: intel/pmem-csi-driver-test:v0.7.14
      command: [ "sleep", "100000" ]
      volumeMounts:
      - mountPath: "/data"
        name: my-csi-volume
  volumes:
  - name: my-csi-volume
    ephemeral:
      volumeClaimTemplate:
        spec:
          accessModes:
          - ReadWriteOnce
          resources:
            requests:
              storage: 4Gi
          storageClassName: pmem-csi-sc-late-binding

Након креирања, као што је приказано у упутствима изнад, сада имамо додатну подну и ПВЦ:

$ kubectl get pods/my-csi-app-inline-volume -o wide
NAME                       READY   STATUS    RESTARTS   AGE     IP          NODE                         NOMINATED NODE   READINESS GATES
my-csi-app-inline-volume   1/1     Running   0          6m58s   10.36.0.2   pmem-csi-pmem-govm-worker1   <none>           <none>
$ kubectl get pvc/my-csi-app-inline-volume-my-csi-volume
NAME                                     STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS               AGE
my-csi-app-inline-volume-my-csi-volume   Bound    pvc-c11eb7ab-a4fa-46fe-b515-b366be908823   4Gi        RWO            pmem-csi-sc-late-binding   9m21s

Власник ПВЦ-а - под:

$ kubectl get -o yaml pvc/my-csi-app-inline-volume-my-csi-volume
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  annotations:
    pv.kubernetes.io/bind-completed: "yes"
    pv.kubernetes.io/bound-by-controller: "yes"
    volume.beta.kubernetes.io/storage-provisioner: pmem-csi.intel.com
    volume.kubernetes.io/selected-node: pmem-csi-pmem-govm-worker1
  creationTimestamp: "2020-08-11T15:44:57Z"
  finalizers:
  - kubernetes.io/pvc-protection
  managedFields:
    ...
  name: my-csi-app-inline-volume-my-csi-volume
  namespace: default
  ownerReferences:
  - apiVersion: v1
    blockOwnerDeletion: true
    controller: true
    kind: Pod
    name: my-csi-app-inline-volume
    uid: 75c925bf-ca8e-441a-ac67-f190b7a2265f
...

Очекивано ажуриране информације за pmem-csi-pmem-govm-worker1:

csisc-2js6n map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker2] 30716Mi
csisc-sqdnt map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker1] 26620Mi
csisc-ws4bv map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker3] 30716Mi

Ако другој апликацији треба више од 26620Ми, планер неће узети у обзир pmem-csi-pmem-govm-worker1 у сваком случају.

Шта је следеће?

Обе функције су још у развоју. Неколико апликација је отворено током алфа тестирања. Линкови предлога побољшања документују посао који треба да се уради да би се прешло у бета фазу, као и које су алтернативе већ размотрене и одбијене:

• КЕП-1698: генерички ефемерни инлине волумени

• КЕП-1472: Праћење капацитета складиштења

Извор: ввв.хабр.цом