🥇ストレージ容量追跡を備えたエフェメラルボリューム: ステロイド上の EmptyDir

一部のアプリケーションはデータを保存する必要がありますが、再起動後にデータが保存されないという事実に非常に慣れています。

たとえば、キャッシュサービスは RAM によって制限されますが、全体的なパフォーマンスにほとんど影響を与えることなく、めったに使用されないデータを RAM よりも遅いストレージに移動することもできます。他のアプリケーションは、設定や秘密キーなど、ファイル内に読み取り専用の入力が含まれる可能性があることを認識する必要があります。

Kubernetesにはすでにいくつかのタイプがあります一時的なボリュームですが、その機能は K8s に実装されているものに限定されます。

一時的な CSI ボリューム Kubernetes を CSI ドライバーで拡張して、軽量のローカルボリュームのサポートを提供できるようになりました。このようにして使用することが可能です任意の構造: 設定、シークレット、識別データ、変数など。通常の標準化されたドライバーは機能しないと想定されているため、この Kubernetes 機能をサポートするには CSI ドライバーを変更する必要がありますが、そのようなボリュームはポッド用に選択された任意のノードで使用できると想定されています。

これは、ホストリソースを大量に消費するボリュームや、一部のホストでのみ利用可能なストレージの場合に問題になる可能性があります。そのため、Kubernetes 1.19 では、概念的には EmptyDir ボリュームに似た XNUMX つの新しいアルファテストボリューム機能が導入されています。

汎用の一時ボリューム。
CSI ストレージ容量の追跡。

新しいアプローチの利点:

ストレージはローカルにすることも、ネットワーク経由で接続することもできます。
ボリュームには、アプリケーションが超過できない指定サイズを設定できます。
永続ボリュームのプロビジョニングをサポートし、(容量追跡をサポートするために) 呼び出しを実装する任意の CSI ドライバーと連携します。 GetCapacity;
ドライバーと設定に応じて、ボリュームには初期データが含まれる場合があります。
ボリュームに関するすべての標準操作 (スナップショットの作成、サイズ変更など) がサポートされています。
ボリュームは、モジュールまたはボリュームの仕様を受け入れる任意のアプリケーションコントローラーで使用できます。
Kubernetes スケジューラーは適切なノードを独自に選択するため、スケジューラー拡張機能をプロビジョニングおよび構成したり、Webhook を変更したりする必要はなくなりました。

アプリケーションオプション

したがって、汎用の一時ボリュームは、次の使用例に適しています。

memcached の RAM の代替としての永続メモリ

memcached の最新リリース追加サポート永続メモリの使用 (Intel Optane など) 約。翻訳者) 通常の RAM の代わりに。アプリケーションコントローラーを介して memcached をデプロイする場合、汎用の一時ボリュームを使用して、CSI ドライバーを使用して PMEM から特定のサイズのボリュームを割り当てるように要求できます。 PMEM-CSI.

ワークスペースとしての LVM ローカルストレージ

RAM より大きいデータを扱うアプリケーションでは、Kubernetes の通常の EmptyDir ボリュームでは提供できないサイズまたはパフォーマンスメトリクスのローカルストレージが必要になる場合があります。たとえば、この目的のために次のように書かれましたトポLVM.

データボリュームへの読み取り専用アクセス

次の場合、ボリュームを割り当てるとフルボリュームが作成されることがあります。

これらのボリュームは読み取り専用モードでマウントできます。

これはどう動かすのですか

汎用一時ボリューム

汎用一時ボリュームの重要な機能は、新しいボリュームソースです。 EphemeralVolumeSource、ボリュームリクエスト (従来は永続ボリュームリクエスト、PVC と呼ばれていました) を作成するためのすべてのフィールドが含まれています。新しいコントローラーが入った kube-controller-manager は、そのようなボリュームソースを作成するポッドを確認し、それらのポッドの PVC を作成します。 CSI ドライバーの場合、このリクエストは他のリクエストと同じように見えるため、ここでは特別なサポートは必要ありません。

このような PVC が存在する限り、ボリューム上の他のリクエストと同様に使用できます。特に、ボリュームをコピーするとき、またはボリュームからスナップショットを作成するときに、データソースとして参照できます。 PVC オブジェクトには、ボリュームの現在の状態も含まれます。

自動的に作成される PVC の名前は事前定義されており、ポッド名とボリューム名をハイフンで区切って組み合わせたものになります。事前定義された名前を使用すると、ポッド名とボリューム名がわかっている場合は探す必要がないため、PVC との対話が容易になります。欠点は、その名前がすでに使用されている可能性があり、Kubernetes によって検出され、その結果ポッドの起動がブロックされることです。

ボリュームがポッドとともに確実に削除されるようにするために、コントローラーは所有者の配下のボリュームにリクエストを作成します。ポッドが削除されると、標準のガベージコレクションメカニズムが機能し、リクエストとボリュームの両方が削除されます。

リクエストは、ストレージクラスの通常のメカニズムを通じてストレージドライバーによって照合されます。ただし、即時バインディングと遅延バインディングを備えたクラス (別名) WaitForFirstConsumer) がサポートされており、一時ボリュームの場合は使用するのが理にかなっています。 WaitForFirstConsumerの場合、スケジューラはノードを選択するときにノードの使用状況とストレージの可用性の両方を考慮できます。ここで新機能が登場します。

ストレージ容量の追跡

通常、スケジューラは、CSI ドライバがボリュームを作成する場所については知りません。また、スケジューラがドライバーに直接連絡してこの情報を要求する方法もありません。したがって、スケジューラーは、ボリュームにアクセスできるノードが見つかるまでノードをポーリングするか (遅延バインディング)、場所の選択を完全にドライバーに任せます (即時バインディング)。

新しいです API CSIStorageCapacityはアルファ段階にあり、必要なデータを etcd に保存してスケジューラーが利用できるようにします。汎用の一時ボリュームのサポートとは異なり、ドライバーを展開するときは、ストレージ容量の追跡を有効にする必要があります。 external-provisioner 通常の方法でドライバーから受け取った容量情報を公開する必要があります GetCapacity.

スケジューラが遅延バインディングを使用するアンバインドボリュームを持つポッドのノードを選択する必要があり、ドライバーがデプロイメント中にフラグを設定することでこの機能を有効にした場合 CSIDriver.storageCapacity、十分なストレージ容量がないノードは自動的に破棄されます。これは、汎用の一時ボリュームと永続ボリュームの両方で機能しますが、CSI 一時ボリュームのパラメータは Kubernetes によって読み取れないため、機能しません。

通常どおり、すぐにリンクされたボリュームはポッドがスケジュールされる前に作成され、その配置はストレージドライバーによって選択されるため、構成時に external-provisioner デフォルトでは、即時バインディングを持つストレージクラスはスキップされます。このデータはいずれにせよ使用されないからです。

Kubernetes スケジューラは古い可能性のある情報を処理することを強制されるため、ボリュームの作成時に常に容量が利用できるという保証はありませんが、それでも再試行せずに作成される可能性は高くなります。

N.B. より詳細な情報を入手できるだけでなく、安全に「猫のスタンドで練習」することもでき、完全に理解できない状況が発生した場合には、集中コースで資格のある技術サポートの支援を受けることができます。 Kubernetes ベース 28月30日～XNUMX日に開催され、より高度な専門家向け Kubernetes メガ 14月16日～XNUMX日。

セキュリティ

CSISストレージ容量

CSIStorageCapacity オブジェクトは名前空間に存在します。各 CSI ドライバーを独自の名前空間でロールアウトする場合は、データの送信元が明らかであるため、その空間内の CSIStorageCapacity に対する RBAC 権限を制限することをお勧めします。いずれにしても、Kubernetes はこれをチェックしません。通常、ドライバーは同じ名前空間に配置されるため、最終的にドライバーは機能し、間違ったデータを公開しないことが期待されます (そして、これが私のカードが失敗した場所です) 約。ひげを生やしたジョークに基づいた翻訳者)

汎用一時ボリューム

ユーザーがポッドを (直接的または間接的に) 作成する権限を持っている場合は、ボリューム上でリクエストを作成する権限を持っていない場合でも、汎用の一時ボリュームを作成することもできます。これは、RBAC 権限チェックがユーザーではなく、PVC を作成するコントローラに適用されるためです。これが追加する主な変更点ですあなたのアカウントに、信頼されていないユーザーがボリュームを作成する権限を持たないクラスターでこの機能を有効にする前に。

例

別々のブランチ PMEM-CSI には、アルファ段階のすべての機能を備えた QEMU 仮想マシン内で Kubernetes 1.19 クラスターを実行するために必要なすべての変更が含まれています。ドライバーコードは変更されておらず、展開のみが変更されています。

適切なマシン (Linux、通常のユーザーは使用できます) デッカー、見るここで詳細)、これらのコマンドはクラスターを起動し、PMEM-CSI ドライバーをインストールします。

git clone --branch=kubernetes-1-19-blog-post https://github.com/intel/pmem-csi.git
cd pmem-csi
export TEST_KUBERNETES_VERSION=1.19 TEST_FEATURE_GATES=CSIStorageCapacity=true,GenericEphemeralVolume=true TEST_PMEM_REGISTRY=intel
make start &amp;&amp; echo &amp;&amp; test/setup-deployment.sh

すべてが機能すると、出力には使用説明が含まれます。

The test cluster is ready. Log in with [...]/pmem-csi/_work/pmem-govm/ssh.0, run
kubectl once logged in.  Alternatively, use kubectl directly with the
following env variable:
   KUBECONFIG=[...]/pmem-csi/_work/pmem-govm/kube.config

secret/pmem-csi-registry-secrets created
secret/pmem-csi-node-secrets created
serviceaccount/pmem-csi-controller created
...
To try out the pmem-csi driver ephemeral volumes:
   cat deploy/kubernetes-1.19/pmem-app-ephemeral.yaml |
   [...]/pmem-csi/_work/pmem-govm/ssh.0 kubectl create -f -

CSIStorageCapacity オブジェクトは人間が読み取ることを想定していないため、何らかの処理が必要です。 Golang テンプレートフィルターはストレージクラスを表示します。この例では、名前、トポロジ、容量が表示されます。

$ kubectl get 
        -o go-template='{{range .items}}{{if eq .storageClassName "pmem-csi-sc-late-binding"}}{{.metadata.name}} {{.nodeTopology.matchLabels}} {{.capacity}}
{{end}}{{end}}' 
        csistoragecapacities
csisc-2js6n map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker2] 30716Mi
csisc-sqdnt map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker1] 30716Mi
csisc-ws4bv map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker3] 30716Mi

単一のオブジェクトには次の内容が含まれます。

$ kubectl describe csistoragecapacities/csisc-6cw8j
Name:         csisc-sqdnt
Namespace:    default
Labels:       <none>
Annotations:  <none>
API Version:  storage.k8s.io/v1alpha1
Capacity:     30716Mi
Kind:         CSIStorageCapacity
Metadata:
  Creation Timestamp:  2020-08-11T15:41:03Z
  Generate Name:       csisc-
  Managed Fields:
    ...
  Owner References:
    API Version:     apps/v1
    Controller:      true
    Kind:            StatefulSet
    Name:            pmem-csi-controller
    UID:             590237f9-1eb4-4208-b37b-5f7eab4597d1
  Resource Version:  2994
  Self Link:         /apis/storage.k8s.io/v1alpha1/namespaces/default/csistoragecapacities/csisc-sqdnt
  UID:               da36215b-3b9d-404a-a4c7-3f1c3502ab13
Node Topology:
  Match Labels:
    pmem-csi.intel.com/node:  pmem-csi-pmem-govm-worker1
Storage Class Name:           pmem-csi-sc-late-binding
Events:                       <none>

単一の汎用一時ボリュームを使用してデモアプリケーションを作成してみましょう。ファイルの内容 pmem-app-ephemeral.yaml:

# This example Pod definition demonstrates
# how to use generic ephemeral inline volumes
# with a PMEM-CSI storage class.
kind: Pod
apiVersion: v1
metadata:
  name: my-csi-app-inline-volume
spec:
  containers:
    - name: my-frontend
      image: intel/pmem-csi-driver-test:v0.7.14
      command: [ "sleep", "100000" ]
      volumeMounts:
      - mountPath: "/data"
        name: my-csi-volume
  volumes:
  - name: my-csi-volume
    ephemeral:
      volumeClaimTemplate:
        spec:
          accessModes:
          - ReadWriteOnce
          resources:
            requests:
              storage: 4Gi
          storageClassName: pmem-csi-sc-late-binding

上記の手順で示したように作成すると、追加のポッドと PVC が作成されます。

$ kubectl get pods/my-csi-app-inline-volume -o wide
NAME                       READY   STATUS    RESTARTS   AGE     IP          NODE                         NOMINATED NODE   READINESS GATES
my-csi-app-inline-volume   1/1     Running   0          6m58s   10.36.0.2   pmem-csi-pmem-govm-worker1   <none>           <none>
$ kubectl get pvc/my-csi-app-inline-volume-my-csi-volume
NAME                                     STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS               AGE
my-csi-app-inline-volume-my-csi-volume   Bound    pvc-c11eb7ab-a4fa-46fe-b515-b366be908823   4Gi        RWO            pmem-csi-sc-late-binding   9m21s

PVC 所有者 - 以下:

$ kubectl get -o yaml pvc/my-csi-app-inline-volume-my-csi-volume
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  annotations:
    pv.kubernetes.io/bind-completed: "yes"
    pv.kubernetes.io/bound-by-controller: "yes"
    volume.beta.kubernetes.io/storage-provisioner: pmem-csi.intel.com
    volume.kubernetes.io/selected-node: pmem-csi-pmem-govm-worker1
  creationTimestamp: "2020-08-11T15:44:57Z"
  finalizers:
  - kubernetes.io/pvc-protection
  managedFields:
    ...
  name: my-csi-app-inline-volume-my-csi-volume
  namespace: default
  ownerReferences:
  - apiVersion: v1
    blockOwnerDeletion: true
    controller: true
    kind: Pod
    name: my-csi-app-inline-volume
    uid: 75c925bf-ca8e-441a-ac67-f190b7a2265f
...

更新される予定の情報 pmem-csi-pmem-govm-worker1:

csisc-2js6n map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker2] 30716Mi
csisc-sqdnt map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker1] 26620Mi
csisc-ws4bv map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker3] 30716Mi

別のアプリケーションが 26620Mi を超える必要がある場合、スケジューラは考慮しません。 pmem-csi-pmem-govm-worker1 いかなる場合でも。

次は何ですか？

どちらの機能もまだ開発中です。アルファテスト中にいくつかのアプリケーションが開かれました。改善提案のリンクには、ベータ段階に移行するために必要な作業と、どの代替案がすでに検討され拒否されたかが文書化されています。

出所： habr.com

ストレージ容量を追跡する一時ボリューム: ステロイド上の EmptyDir

アプリケーションオプション

memcached の RAM の代替としての永続メモリ

ワークスペースとしての LVM ローカルストレージ

データボリュームへの読み取り専用アクセス

これはどう動かすのですか

汎用一時ボリューム

ストレージ容量の追跡

セキュリティ

CSISストレージ容量

汎用一時ボリューム

例

次は何ですか？

コメントを追加します返信をキャンセル

ストレージ容量を追跡する一時ボリューム: ステロイド上の EmptyDir

アプリケーションオプション

memcached の RAM の代替としての永続メモリ

ワークスペースとしての LVM ローカル ストレージ

データボリュームへの読み取り専用アクセス

これはどう動かすのですか

汎用一時ボリューム

ストレージ容量の追跡

セキュリティ

CSISストレージ容量

汎用一時ボリューム

例

次は何ですか？

コメントを追加します 返信をキャンセル

ワークスペースとしての LVM ローカルストレージ

コメントを追加します返信をキャンセル