스토리지 용량 추적 기능이 있는 임시 볼륨: 스테로이드의 빈Dir

일부 응용 프로그램도 데이터를 저장해야 하지만 다시 시작한 후에는 데이터가 저장되지 않는다는 점에 매우 만족합니다.

예를 들어 캐싱 서비스는 RAM에 의해 제한되지만, 거의 사용되지 않는 데이터를 RAM보다 느린 스토리지로 이동할 수도 있어 전체 성능에 거의 영향을 미치지 않습니다. 다른 애플리케이션에서는 파일에 설정이나 비밀 키와 같은 일부 읽기 전용 입력이 있을 수 있다는 점을 인식해야 합니다.

Kubernetes에는 이미 여러 유형이 있습니다. 임시 볼륨, 그러나 그 기능은 K8s에 구현된 기능으로 제한됩니다.

임시 CSI 볼륨 Kubernetes가 CSI 드라이버로 확장되어 경량 로컬 볼륨에 대한 지원을 제공할 수 있었습니다. 이런 식으로 사용이 가능합니다 임의의 구조: 설정, 비밀, 식별 데이터, 변수 등. 이 Kubernetes 기능을 지원하려면 CSI 드라이버를 수정해야 합니다. 일반 표준화된 드라이버는 작동하지 않을 것이라고 가정하지만 이러한 볼륨은 포드에 대해 선택된 모든 노드에서 사용할 수 있다고 가정하기 때문입니다.

이는 상당한 호스트 리소스를 소비하는 볼륨이나 일부 호스트에서만 사용할 수 있는 스토리지의 경우 문제가 될 수 있습니다. 이것이 바로 Kubernetes 1.19에 빈Dir 볼륨과 개념적으로 유사한 두 가지 새로운 알파 테스트 볼륨 기능이 도입된 이유입니다.

• 범용 임시 볼륨;

• CSI 스토리지 용량 추적.

새로운 접근 방식의 장점:

• 저장소는 로컬이거나 네트워크를 통해 연결될 수 있습니다.

• 볼륨은 애플리케이션이 초과할 수 없는 지정된 크기를 가질 수 있습니다.

• 영구 볼륨 프로비저닝을 지원하고 (용량 추적을 지원하기 위해) 호출을 구현하는 모든 CSI 드라이버와 함께 작동합니다. GetCapacity;

• 볼륨에는 드라이버 및 설정에 따라 일부 초기 데이터가 있을 수 있습니다.

• 볼륨에 대한 모든 표준 작업(스냅샷 생성, 크기 조정 등)이 지원됩니다.

• 볼륨은 모듈 또는 볼륨 사양을 허용하는 모든 애플리케이션 컨트롤러와 함께 사용할 수 있습니다.

• Kubernetes 스케줄러는 자체적으로 적합한 노드를 선택하므로 더 이상 스케줄러 확장을 프로비저닝 및 구성하거나 웹후크를 수정할 필요가 없습니다.

응용 프로그램 옵션

따라서 범용 임시 볼륨은 다음 사용 사례에 적합합니다.

memcached의 RAM을 대체하는 영구 메모리

memcached의 최신 릴리스 추가 지원 영구 메모리 사용(Intel Optane 등, 약. 역자) 일반 RAM 대신. 애플리케이션 컨트롤러를 통해 memcached를 배포할 때 범용 임시 볼륨을 사용하여 CSI 드라이버를 사용하여 PMEM에서 특정 크기의 볼륨을 할당하도록 요청할 수 있습니다. 예를 들어 PMEM-CSI.

작업 공간으로서의 LVM 로컬 저장소

RAM보다 큰 데이터를 사용하는 애플리케이션에는 Kubernetes의 일반 빈Dir 볼륨이 제공할 수 없는 크기 또는 성능 지표를 갖춘 로컬 스토리지가 필요할 수 있습니다. 예를 들어, 이 목적을 위해 다음과 같이 작성되었습니다. 토포LVM.

데이터 볼륨에 대한 읽기 전용 액세스

다음과 같은 경우 볼륨을 할당하면 전체 볼륨이 생성될 수 있습니다.

• 복구 볼륨 스냅샷;

• 창조 볼륨 사본;

• 작업 데이터 자리 표시자.

이러한 볼륨은 읽기 전용 모드로 마운트할 수 있습니다.

이거 어떻게 작동 시켜요

범용 임시 볼륨

범용 임시 볼륨의 주요 특징은 새로운 볼륨 소스입니다. EphemeralVolumeSource, 볼륨 요청(역사적으로는 영구 볼륨 요청, PVC라고 함)을 생성하기 위한 모든 필드가 포함되어 있습니다. 새로운 컨트롤러 kube-controller-manager 그러한 볼륨 소스를 생성하는 포드를 살펴본 다음 해당 포드에 대한 PVC를 생성합니다. CSI 드라이버의 경우 이 요청은 다른 요청과 동일해 보이므로 여기서는 특별한 지원이 필요하지 않습니다.

이러한 PVC가 존재하는 한 볼륨의 다른 요청처럼 사용할 수 있습니다. 특히 볼륨을 복사하거나 볼륨에서 스냅샷을 생성할 때 데이터 소스로 참조될 수 있습니다. PVC 객체에는 볼륨의 현재 상태도 포함되어 있습니다.

자동으로 생성된 PVC의 이름은 사전 정의되어 있습니다. 이는 포드 이름과 볼륨 이름의 조합이며 하이픈으로 구분됩니다. 사전 정의된 이름을 사용하면 포드 이름과 볼륨 이름을 알고 있으면 PVC를 찾을 필요가 없으므로 PVC와 더 쉽게 상호 작용할 수 있습니다. 단점은 이름이 이미 사용 중일 수 있으며, 이는 Kubernetes에서 감지되어 결과적으로 Pod 시작이 차단된다는 것입니다.

포드와 함께 볼륨이 삭제되었는지 확인하기 위해 컨트롤러는 소유자 아래의 볼륨에 요청합니다. Pod가 삭제되면 표준 가비지 수집 메커니즘이 작동하여 요청과 볼륨을 모두 삭제합니다.

요청은 저장소 클래스의 일반적인 메커니즘을 통해 저장소 드라이버와 일치됩니다. 즉각 바인딩과 지연 바인딩이 있는 클래스(일명 WaitForFirstConsumer)이 지원됩니다. 임시 볼륨의 경우 사용하는 것이 합리적입니다. WaitForFirstConsumer그러면 스케줄러는 노드를 선택할 때 노드 사용량과 스토리지 가용성을 모두 고려할 수 있습니다. 여기에 새로운 기능이 나타납니다.

스토리지 용량 추적

일반적으로 스케줄러는 CSI 드라이버가 볼륨을 생성할 위치를 알지 못합니다. 또한 스케줄러가 운전자에게 직접 연락하여 이 정보를 요청할 수 있는 방법도 없습니다. 따라서 스케줄러는 볼륨에 액세스할 수 있는 볼륨을 찾을 때까지 노드를 폴링하거나(지연 바인딩) 위치 선택을 전적으로 드라이버에 맡깁니다(즉시 바인딩).

새로운 API CSIStorageCapacity알파 단계에 있는 는 필요한 데이터를 etcd에 저장하여 스케줄러에서 사용할 수 있도록 합니다. 범용 임시 볼륨에 대한 지원과 달리 드라이버를 배포할 때 스토리지 용량 추적을 활성화해야 합니다. external-provisioner 일반을 통해 운전자로부터 수신된 용량 정보를 게시해야 합니다. GetCapacity.

스케줄러가 지연 바인딩을 사용하는 바인딩되지 않은 볼륨이 있는 Pod에 대한 노드를 선택해야 하고 드라이버가 플래그를 설정하여 배포 중에 이 기능을 활성화한 경우 CSIDriver.storageCapacity, 저장 용량이 부족한 노드는 자동으로 폐기됩니다. 이는 범용 임시 볼륨과 영구 볼륨 모두에 작동하지만 Kubernetes에서 해당 매개변수를 읽을 수 없기 때문에 CSI 임시 볼륨에는 작동하지 않습니다.

평소와 같이 포드가 예약되기 전에 즉시 연결된 볼륨이 생성되고 해당 배치는 스토리지 드라이버에 의해 선택되므로 구성할 때 external-provisioner 기본적으로 즉시 바인딩이 포함된 스토리지 클래스는 건너뜁니다. 이 데이터는 어쨌든 사용되지 않기 때문입니다.

Kubernetes 스케줄러는 잠재적으로 오래된 정보를 사용하여 작업해야 하므로 볼륨이 생성될 때마다 용량을 사용할 수 있다는 보장은 없지만 그럼에도 불구하고 재시도 없이 생성될 가능성은 높아집니다.

NB 더 자세한 정보를 얻을 수 있을 뿐만 아니라 안전하게 "고양이 스탠드에서 연습"할 수 있으며, 완전히 이해할 수 없는 상황의 경우 집중 과정에서 자격을 갖춘 기술 지원 지원을 받을 수 있습니다. 쿠버네티스 베이스 28월 30~XNUMX일에 진행되며, 보다 고급 전문가를 대상으로 진행됩니다. 쿠버네티스 메가 14월 16~XNUMX일.

Безопасность

CSIS스토리지 용량

CSIStorageCapacity 개체는 네임스페이스에 상주합니다. 각 CSI 드라이버를 자체 네임스페이스에 롤아웃할 때 데이터의 출처가 분명하므로 해당 공간의 CSIStorageCapacity에 대한 RBAC 권한을 제한하는 것이 좋습니다. Kubernetes는 어쨌든 이를 확인하지 않으며 일반적으로 드라이버는 동일한 네임스페이스에 배치되므로 궁극적으로 드라이버는 작동하고 잘못된 데이터를 게시하지 않을 것으로 예상됩니다(여기서 내 카드가 실패했습니다. 대략. 수염난 농담을 바탕으로 한 번역기)

범용 임시 볼륨

사용자가 포드를 직접 또는 간접적으로 생성할 수 있는 권한이 있는 경우 해당 볼륨에 대한 요청을 생성할 수 있는 권한이 없더라도 범용 임시 볼륨을 생성할 수도 있습니다. 이는 RBAC 권한 확인이 사용자가 아닌 PVC를 생성하는 컨트롤러에 적용되기 때문입니다. 이것이 추가할 주요 변경 사항입니다. 귀하의 계정으로, 신뢰할 수 없는 사용자에게 볼륨 생성 권한이 없어야 하는 클러스터에서 이 기능을 활성화하기 전에.

예

별개의 나뭇 가지 PMEM-CSI에는 알파 단계의 모든 기능을 갖춘 QEMU 가상 머신 내에서 Kubernetes 1.19 클러스터를 실행하는 데 필요한 모든 변경 사항이 포함되어 있습니다. 드라이버 코드는 변경되지 않았으며 배포만 변경되었습니다.

적합한 머신(Linux, 일반 사용자는 도커, 보다 여기에 세부 정보) 다음 명령은 클러스터를 불러오고 PMEM-CSI 드라이버를 설치합니다.

git clone --branch=kubernetes-1-19-blog-post https://github.com/intel/pmem-csi.git
cd pmem-csi
export TEST_KUBERNETES_VERSION=1.19 TEST_FEATURE_GATES=CSIStorageCapacity=true,GenericEphemeralVolume=true TEST_PMEM_REGISTRY=intel
make start && echo && test/setup-deployment.sh

모든 것이 작동하면 출력에 사용 지침이 포함됩니다.

The test cluster is ready. Log in with [...]/pmem-csi/_work/pmem-govm/ssh.0, run
kubectl once logged in.  Alternatively, use kubectl directly with the
following env variable:
   KUBECONFIG=[...]/pmem-csi/_work/pmem-govm/kube.config

secret/pmem-csi-registry-secrets created
secret/pmem-csi-node-secrets created
serviceaccount/pmem-csi-controller created
...
To try out the pmem-csi driver ephemeral volumes:
   cat deploy/kubernetes-1.19/pmem-app-ephemeral.yaml |
   [...]/pmem-csi/_work/pmem-govm/ssh.0 kubectl create -f -

CSIStorageCapacity 개체는 사람이 읽을 수 없으므로 일부 처리가 필요합니다. Golang 템플릿 필터는 스토리지 클래스를 표시하며, 이 예에서는 이름, 토폴로지 및 용량을 표시합니다.

$ kubectl get 
        -o go-template='{{range .items}}{{if eq .storageClassName "pmem-csi-sc-late-binding"}}{{.metadata.name}} {{.nodeTopology.matchLabels}} {{.capacity}}
{{end}}{{end}}' 
        csistoragecapacities
csisc-2js6n map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker2] 30716Mi
csisc-sqdnt map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker1] 30716Mi
csisc-ws4bv map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker3] 30716Mi

단일 객체에는 다음과 같은 내용이 있습니다.

$ kubectl describe csistoragecapacities/csisc-6cw8j
Name:         csisc-sqdnt
Namespace:    default
Labels:       <none>
Annotations:  <none>
API Version:  storage.k8s.io/v1alpha1
Capacity:     30716Mi
Kind:         CSIStorageCapacity
Metadata:
  Creation Timestamp:  2020-08-11T15:41:03Z
  Generate Name:       csisc-
  Managed Fields:
    ...
  Owner References:
    API Version:     apps/v1
    Controller:      true
    Kind:            StatefulSet
    Name:            pmem-csi-controller
    UID:             590237f9-1eb4-4208-b37b-5f7eab4597d1
  Resource Version:  2994
  Self Link:         /apis/storage.k8s.io/v1alpha1/namespaces/default/csistoragecapacities/csisc-sqdnt
  UID:               da36215b-3b9d-404a-a4c7-3f1c3502ab13
Node Topology:
  Match Labels:
    pmem-csi.intel.com/node:  pmem-csi-pmem-govm-worker1
Storage Class Name:           pmem-csi-sc-late-binding
Events:                       <none>

단일 범용 임시 볼륨을 사용하여 데모 애플리케이션을 만들어 보겠습니다. 파일 내용 pmem-app-ephemeral.yaml:

# This example Pod definition demonstrates
# how to use generic ephemeral inline volumes
# with a PMEM-CSI storage class.
kind: Pod
apiVersion: v1
metadata:
  name: my-csi-app-inline-volume
spec:
  containers:
    - name: my-frontend
      image: intel/pmem-csi-driver-test:v0.7.14
      command: [ "sleep", "100000" ]
      volumeMounts:
      - mountPath: "/data"
        name: my-csi-volume
  volumes:
  - name: my-csi-volume
    ephemeral:
      volumeClaimTemplate:
        spec:
          accessModes:
          - ReadWriteOnce
          resources:
            requests:
              storage: 4Gi
          storageClassName: pmem-csi-sc-late-binding

위 지침에 표시된 대로 생성 후 이제 추가 포드와 PVC가 생겼습니다.

$ kubectl get pods/my-csi-app-inline-volume -o wide
NAME                       READY   STATUS    RESTARTS   AGE     IP          NODE                         NOMINATED NODE   READINESS GATES
my-csi-app-inline-volume   1/1     Running   0          6m58s   10.36.0.2   pmem-csi-pmem-govm-worker1   <none>           <none>
$ kubectl get pvc/my-csi-app-inline-volume-my-csi-volume
NAME                                     STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS               AGE
my-csi-app-inline-volume-my-csi-volume   Bound    pvc-c11eb7ab-a4fa-46fe-b515-b366be908823   4Gi        RWO            pmem-csi-sc-late-binding   9m21s

PVC 소유자 - 아래:

$ kubectl get -o yaml pvc/my-csi-app-inline-volume-my-csi-volume
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  annotations:
    pv.kubernetes.io/bind-completed: "yes"
    pv.kubernetes.io/bound-by-controller: "yes"
    volume.beta.kubernetes.io/storage-provisioner: pmem-csi.intel.com
    volume.kubernetes.io/selected-node: pmem-csi-pmem-govm-worker1
  creationTimestamp: "2020-08-11T15:44:57Z"
  finalizers:
  - kubernetes.io/pvc-protection
  managedFields:
    ...
  name: my-csi-app-inline-volume-my-csi-volume
  namespace: default
  ownerReferences:
  - apiVersion: v1
    blockOwnerDeletion: true
    controller: true
    kind: Pod
    name: my-csi-app-inline-volume
    uid: 75c925bf-ca8e-441a-ac67-f190b7a2265f
...

다음에 대한 정보가 업데이트될 것으로 예상됩니다. pmem-csi-pmem-govm-worker1:

csisc-2js6n map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker2] 30716Mi
csisc-sqdnt map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker1] 26620Mi
csisc-ws4bv map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker3] 30716Mi

다른 애플리케이션에 26620Mi 이상이 필요한 경우 스케줄러는 이를 고려하지 않습니다. pmem-csi-pmem-govm-worker1 어쨌든.

다음은 뭐지?

두 기능 모두 아직 개발 중입니다. 알파 테스트 중에 여러 응용 프로그램이 열렸습니다. 개선 제안 링크는 베타 단계로 이동하기 위해 수행해야 하는 작업과 이미 고려 및 거부된 대안을 문서화합니다.

• KEP-1698: 일반 임시 인라인 볼륨

• KEP-1472: 저장 용량 추적

출처 : habr.com