Ceph-ਅਧਾਰਿਤ ਸਟੋਰੇਜ ਨੂੰ ਕੁਬਰਨੇਟਸ ਕਲੱਸਟਰ ਨਾਲ ਜੋੜਨ ਦੀ ਇੱਕ ਵਿਹਾਰਕ ਉਦਾਹਰਣ

ਕੰਟੇਨਰ ਸਟੋਰੇਜ਼ ਇੰਟਰਫੇਸ (CSI) ਕੁਬਰਨੇਟਸ ਅਤੇ ਸਟੋਰੇਜ ਪ੍ਰਣਾਲੀਆਂ ਵਿਚਕਾਰ ਇੱਕ ਯੂਨੀਫਾਈਡ ਇੰਟਰਫੇਸ ਹੈ। ਅਸੀਂ ਪਹਿਲਾਂ ਹੀ ਇਸ ਬਾਰੇ ਸੰਖੇਪ ਵਿੱਚ ਗੱਲ ਕਰ ਚੁੱਕੇ ਹਾਂ ਨੂੰ ਦੱਸਿਆ, ਅਤੇ ਅੱਜ ਅਸੀਂ CSI ਅਤੇ Ceph ਦੇ ਸੁਮੇਲ 'ਤੇ ਡੂੰਘਾਈ ਨਾਲ ਵਿਚਾਰ ਕਰਾਂਗੇ: ਅਸੀਂ ਦਿਖਾਵਾਂਗੇ ਕਿ ਕਿਵੇਂ Ceph ਸਟੋਰੇਜ ਨੂੰ ਕਨੈਕਟ ਕਰੋ ਕੁਬਰਨੇਟਸ ਕਲੱਸਟਰ ਨੂੰ।
ਲੇਖ ਅਸਲ, ਭਾਵੇਂ ਕਿ ਸਮਝ ਦੀ ਸੌਖ ਲਈ ਥੋੜ੍ਹੇ ਜਿਹੇ ਸਰਲ ਉਦਾਹਰਣਾਂ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਅਸੀਂ Ceph ਅਤੇ Kubernetes ਕਲੱਸਟਰਾਂ ਨੂੰ ਸਥਾਪਿਤ ਅਤੇ ਸੰਰਚਿਤ ਕਰਨ ਬਾਰੇ ਵਿਚਾਰ ਨਹੀਂ ਕਰਦੇ ਹਾਂ।

ਕੀ ਤੁਸੀਂ ਹੈਰਾਨ ਹੋ ਰਹੇ ਹੋ ਕਿ ਇਹ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ?

ਇਸ ਲਈ, ਤੁਹਾਡੇ ਕੋਲ ਤੁਹਾਡੀਆਂ ਉਂਗਲਾਂ 'ਤੇ ਕੁਬਰਨੇਟਸ ਕਲੱਸਟਰ ਹੈ, ਤੈਨਾਤ, ਉਦਾਹਰਨ ਲਈ, kubespray. ਨੇੜੇ ਕੰਮ ਕਰ ਰਿਹਾ ਇੱਕ Ceph ਕਲੱਸਟਰ ਹੈ - ਤੁਸੀਂ ਇਸਨੂੰ ਇੰਸਟਾਲ ਵੀ ਕਰ ਸਕਦੇ ਹੋ, ਉਦਾਹਰਨ ਲਈ, ਇਸਦੇ ਨਾਲ ਪਲੇਬੁੱਕ ਦਾ ਇੱਕ ਸੈੱਟ. ਮੈਂ ਉਮੀਦ ਕਰਦਾ ਹਾਂ ਕਿ ਇਹ ਦੱਸਣ ਦੀ ਕੋਈ ਲੋੜ ਨਹੀਂ ਹੈ ਕਿ ਉਹਨਾਂ ਵਿਚਕਾਰ ਉਤਪਾਦਨ ਲਈ ਘੱਟੋ-ਘੱਟ 10 Gbit/s ਦੀ ਬੈਂਡਵਿਡਥ ਵਾਲਾ ਨੈੱਟਵਰਕ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ।

ਜੇ ਤੁਹਾਡੇ ਕੋਲ ਇਹ ਸਭ ਹੈ, ਤਾਂ ਚਲੋ!

ਪਹਿਲਾਂ, ਆਓ Ceph ਕਲੱਸਟਰ ਨੋਡਾਂ ਵਿੱਚੋਂ ਇੱਕ 'ਤੇ ਚੱਲੀਏ ਅਤੇ ਜਾਂਚ ਕਰੀਏ ਕਿ ਸਭ ਕੁਝ ਕ੍ਰਮ ਵਿੱਚ ਹੈ:

ceph health
ceph -s

ਅੱਗੇ, ਅਸੀਂ ਤੁਰੰਤ RBD ਡਿਸਕਾਂ ਲਈ ਇੱਕ ਪੂਲ ਬਣਾਵਾਂਗੇ:

ceph osd pool create kube 32
ceph osd pool application enable kube rbd

ਚਲੋ ਕੁਬਰਨੇਟਸ ਕਲੱਸਟਰ ਵੱਲ ਵਧਦੇ ਹਾਂ। ਉੱਥੇ, ਸਭ ਤੋਂ ਪਹਿਲਾਂ, ਅਸੀਂ RBD ਲਈ Ceph CSI ਡਰਾਈਵਰ ਇੰਸਟਾਲ ਕਰਾਂਗੇ। ਅਸੀਂ ਹੈਲਮ ਦੁਆਰਾ, ਉਮੀਦ ਅਨੁਸਾਰ, ਸਥਾਪਿਤ ਕਰਾਂਗੇ।
ਅਸੀਂ ਇੱਕ ਚਾਰਟ ਦੇ ਨਾਲ ਇੱਕ ਰਿਪੋਜ਼ਟਰੀ ਜੋੜਦੇ ਹਾਂ, ਸਾਨੂੰ ceph-csi-rbd ਚਾਰਟ ਲਈ ਵੇਰੀਏਬਲਾਂ ਦਾ ਇੱਕ ਸੈੱਟ ਮਿਲਦਾ ਹੈ:

helm repo add ceph-csi https://ceph.github.io/csi-charts
helm inspect values ceph-csi/ceph-csi-rbd > cephrbd.yml

ਹੁਣ ਤੁਹਾਨੂੰ cephrbd.yml ਫਾਈਲ ਨੂੰ ਭਰਨ ਦੀ ਲੋੜ ਹੈ। ਅਜਿਹਾ ਕਰਨ ਲਈ, Ceph ਵਿੱਚ ਮਾਨੀਟਰਾਂ ਦੇ ਕਲੱਸਟਰ ID ਅਤੇ IP ਪਤੇ ਲੱਭੋ:

ceph fsid  # так мы узнаем clusterID
ceph mon dump  # а так увидим IP-адреса мониторов

ਅਸੀਂ ਪ੍ਰਾਪਤ ਕੀਤੇ ਮੁੱਲਾਂ ਨੂੰ cephrbd.yml ਫਾਈਲ ਵਿੱਚ ਦਾਖਲ ਕਰਦੇ ਹਾਂ। ਉਸੇ ਸਮੇਂ, ਅਸੀਂ PSP ਨੀਤੀਆਂ (ਪੋਡ ਸੁਰੱਖਿਆ ਨੀਤੀਆਂ) ਬਣਾਉਣ ਨੂੰ ਸਮਰੱਥ ਕਰਦੇ ਹਾਂ। ਭਾਗਾਂ ਵਿੱਚ ਵਿਕਲਪ nodeplugin и ਪ੍ਰੋਵੀਜ਼ਨਰ ਪਹਿਲਾਂ ਹੀ ਫਾਈਲ ਵਿੱਚ, ਉਹਨਾਂ ਨੂੰ ਹੇਠਾਂ ਦਰਸਾਏ ਅਨੁਸਾਰ ਠੀਕ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ:

csiConfig:
  - clusterID: "bcd0d202-fba8-4352-b25d-75c89258d5ab"
    monitors:
      - "v2:172.18.8.5:3300/0,v1:172.18.8.5:6789/0"
      - "v2:172.18.8.6:3300/0,v1:172.18.8.6:6789/0"
      - "v2:172.18.8.7:3300/0,v1:172.18.8.7:6789/0"

nodeplugin:
  podSecurityPolicy:
    enabled: true

provisioner:
  podSecurityPolicy:
    enabled: true

ਅੱਗੇ, ਸਾਡੇ ਲਈ ਬਾਕੀ ਬਚਦਾ ਹੈ ਕੁਬਰਨੇਟਸ ਕਲੱਸਟਰ ਵਿੱਚ ਚਾਰਟ ਨੂੰ ਸਥਾਪਿਤ ਕਰਨਾ।

helm upgrade -i ceph-csi-rbd ceph-csi/ceph-csi-rbd -f cephrbd.yml -n ceph-csi-rbd --create-namespace

ਬਹੁਤ ਵਧੀਆ, RBD ਡਰਾਈਵਰ ਕੰਮ ਕਰਦਾ ਹੈ!
ਆਓ ਕੁਬਰਨੇਟਸ ਵਿੱਚ ਇੱਕ ਨਵੀਂ ਸਟੋਰੇਜ ਕਲਾਸ ਬਣਾਈਏ। ਇਸ ਨੂੰ ਦੁਬਾਰਾ Ceph ਨਾਲ ਥੋੜਾ ਜਿਹਾ ਟਿੰਕਰਿੰਗ ਦੀ ਲੋੜ ਹੈ।

ਅਸੀਂ Ceph ਵਿੱਚ ਇੱਕ ਨਵਾਂ ਉਪਭੋਗਤਾ ਬਣਾਉਂਦੇ ਹਾਂ ਅਤੇ ਉਸਨੂੰ ਪੂਲ ਵਿੱਚ ਲਿਖਣ ਦੇ ਅਧਿਕਾਰ ਦਿੰਦੇ ਹਾਂ ਕਿubeਬ:

ceph auth get-or-create client.rbdkube mon 'profile rbd' osd 'profile rbd pool=kube'

ਹੁਣ ਦੇਖੀਏ ਕਿ ਐਕਸੈਸ ਕੁੰਜੀ ਅਜੇ ਵੀ ਉੱਥੇ ਹੈ:

ceph auth get-key client.rbdkube

ਕਮਾਂਡ ਕੁਝ ਇਸ ਤਰ੍ਹਾਂ ਆਉਟਪੁੱਟ ਕਰੇਗੀ:

AQCO9NJbhYipKRAAMqZsnqqS/T8OYQX20xIa9A==

ਆਉ ਇਸ ਮੁੱਲ ਨੂੰ ਕੁਬਰਨੇਟਸ ਕਲੱਸਟਰ ਵਿੱਚ ਸੀਕਰੇਟ ਵਿੱਚ ਜੋੜੀਏ - ਜਿੱਥੇ ਸਾਨੂੰ ਇਸਦੀ ਲੋੜ ਹੈ userKey:

---
apiVersion: v1
kind: Secret
metadata:
  name: csi-rbd-secret
  namespace: ceph-csi-rbd
stringData:
  # Значения ключей соответствуют имени пользователя и его ключу, как указано в
  # кластере Ceph. ID юзера должен иметь доступ к пулу,
  # указанному в storage class
  userID: rbdkube
  userKey: <user-key>

ਅਤੇ ਅਸੀਂ ਆਪਣਾ ਰਾਜ਼ ਬਣਾਉਂਦੇ ਹਾਂ:

kubectl apply -f secret.yaml

ਅੱਗੇ, ਸਾਨੂੰ ਸਟੋਰੇਜ ਕਲਾਸ ਮੈਨੀਫੈਸਟ ਦੀ ਲੋੜ ਹੈ ਇਸ ਤਰ੍ਹਾਂ:

---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
   name: csi-rbd-sc
provisioner: rbd.csi.ceph.com
parameters:
   clusterID: <cluster-id>
   pool: kube

   imageFeatures: layering

   # Эти секреты должны содержать данные для авторизации
   # в ваш пул.
   csi.storage.k8s.io/provisioner-secret-name: csi-rbd-secret
   csi.storage.k8s.io/provisioner-secret-namespace: ceph-csi-rbd
   csi.storage.k8s.io/controller-expand-secret-name: csi-rbd-secret
   csi.storage.k8s.io/controller-expand-secret-namespace: ceph-csi-rbd
   csi.storage.k8s.io/node-stage-secret-name: csi-rbd-secret
   csi.storage.k8s.io/node-stage-secret-namespace: ceph-csi-rbd

   csi.storage.k8s.io/fstype: ext4

reclaimPolicy: Delete
allowVolumeExpansion: true
mountOptions:
  - discard

ਭਰਨ ਦੀ ਲੋੜ ਹੈ clusterID, ਜੋ ਅਸੀਂ ਟੀਮ ਦੁਆਰਾ ਪਹਿਲਾਂ ਹੀ ਸਿੱਖ ਚੁੱਕੇ ਹਾਂ ceph fsid, ਅਤੇ ਇਸ ਮੈਨੀਫੈਸਟ ਨੂੰ Kubernetes ਕਲੱਸਟਰ 'ਤੇ ਲਾਗੂ ਕਰੋ:

kubectl apply -f storageclass.yaml

ਇਹ ਦੇਖਣ ਲਈ ਕਿ ਕਲੱਸਟਰ ਇਕੱਠੇ ਕਿਵੇਂ ਕੰਮ ਕਰਦੇ ਹਨ, ਆਓ ਹੇਠਾਂ ਦਿੱਤੇ PVC (ਪਰਸਿਸਟੈਂਟ ਵਾਲਿਊਮ ਕਲੇਮ) ਨੂੰ ਬਣਾਈਏ:

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: rbd-pvc
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
  storageClassName: csi-rbd-sc

ਆਓ ਤੁਰੰਤ ਦੇਖੀਏ ਕਿ ਕੁਬਰਨੇਟਸ ਨੇ ਸੇਫ ਵਿੱਚ ਬੇਨਤੀ ਕੀਤੀ ਵਾਲੀਅਮ ਕਿਵੇਂ ਬਣਾਈ:

kubectl get pvc
kubectl get pv

ਸਭ ਕੁਝ ਬਹੁਤ ਵਧੀਆ ਲੱਗਦਾ ਹੈ! ਇਹ ਸੇਫ ਵਾਲੇ ਪਾਸੇ ਕਿਹੋ ਜਿਹਾ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ?
ਸਾਨੂੰ ਪੂਲ ਵਿੱਚ ਵਾਲੀਅਮ ਦੀ ਇੱਕ ਸੂਚੀ ਮਿਲਦੀ ਹੈ ਅਤੇ ਸਾਡੇ ਵਾਲੀਅਮ ਬਾਰੇ ਜਾਣਕਾਰੀ ਦੇਖਦੇ ਹਾਂ:

rbd ls -p kube
rbd -p kube info csi-vol-eb3d257d-8c6c-11ea-bff5-6235e7640653  # тут, конечно же, будет другой ID тома, который выдала предыдущая команда

ਹੁਣ ਦੇਖਦੇ ਹਾਂ ਕਿ ਇੱਕ RBD ਵਾਲੀਅਮ ਦਾ ਆਕਾਰ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ।
pvc.yaml ਮੈਨੀਫੈਸਟ ਵਿੱਚ ਵਾਲੀਅਮ ਦਾ ਆਕਾਰ 2Gi ਵਿੱਚ ਬਦਲੋ ਅਤੇ ਇਸਨੂੰ ਲਾਗੂ ਕਰੋ:

kubectl apply -f pvc.yaml

ਆਉ ਤਬਦੀਲੀਆਂ ਦੇ ਪ੍ਰਭਾਵੀ ਹੋਣ ਦੀ ਉਡੀਕ ਕਰੀਏ ਅਤੇ ਵਾਲੀਅਮ ਆਕਾਰ ਨੂੰ ਦੁਬਾਰਾ ਵੇਖੀਏ।

rbd -p kube info csi-vol-eb3d257d-8c6c-11ea-bff5-6235e7640653

kubectl get pv
kubectl get pvc

ਅਸੀਂ ਦੇਖਦੇ ਹਾਂ ਕਿ ਪੀਵੀਸੀ ਦਾ ਆਕਾਰ ਬਦਲਿਆ ਨਹੀਂ ਹੈ। ਇਹ ਪਤਾ ਕਰਨ ਲਈ ਕਿ ਕਿਉਂ, ਤੁਸੀਂ PVC ਦੇ YAML ਵਰਣਨ ਲਈ ਕੁਬਰਨੇਟਸ ਤੋਂ ਪੁੱਛਗਿੱਛ ਕਰ ਸਕਦੇ ਹੋ:

kubectl get pvc rbd-pvc -o yaml

ਇੱਥੇ ਸਮੱਸਿਆ ਹੈ:

ਸੁਨੇਹਾ: ਨੋਡ 'ਤੇ ਫਾਈਲ ਸਿਸਟਮ ਨੂੰ ਮੁੜ ਆਕਾਰ ਦੇਣ ਲਈ ਇੱਕ ਪੌਡ (ਮੁੜ) ਸ਼ੁਰੂ ਕਰਨ ਲਈ ਉਪਭੋਗਤਾ ਦੀ ਉਡੀਕ ਕਰ ਰਿਹਾ ਹੈ। ਕਿਸਮ: FileSystemResizePending

ਭਾਵ, ਡਿਸਕ ਵਧ ਗਈ ਹੈ, ਪਰ ਇਸ ਉੱਤੇ ਫਾਈਲ ਸਿਸਟਮ ਨਹੀਂ ਹੈ.
ਫਾਈਲ ਸਿਸਟਮ ਨੂੰ ਵਧਾਉਣ ਲਈ, ਤੁਹਾਨੂੰ ਵਾਲੀਅਮ ਮਾਊਂਟ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਸਾਡੇ ਦੇਸ਼ ਵਿੱਚ, ਬਣਾਇਆ ਗਿਆ PVC/PV ਵਰਤਮਾਨ ਵਿੱਚ ਕਿਸੇ ਵੀ ਤਰੀਕੇ ਨਾਲ ਵਰਤਿਆ ਨਹੀਂ ਜਾਂਦਾ ਹੈ।

ਅਸੀਂ ਇੱਕ ਟੈਸਟ ਪੋਡ ਬਣਾ ਸਕਦੇ ਹਾਂ, ਉਦਾਹਰਨ ਲਈ ਇਸ ਤਰ੍ਹਾਂ:

---
apiVersion: v1
kind: Pod
metadata:
  name: csi-rbd-demo-pod
spec:
  containers:
    - name: web-server
      image: nginx:1.17.6
      volumeMounts:
        - name: mypvc
          mountPath: /data
  volumes:
    - name: mypvc
      persistentVolumeClaim:
        claimName: rbd-pvc
        readOnly: false

ਅਤੇ ਹੁਣ ਆਓ ਪੀਵੀਸੀ ਨੂੰ ਵੇਖੀਏ:

kubectl get pvc

ਆਕਾਰ ਬਦਲ ਗਿਆ ਹੈ, ਸਭ ਕੁਝ ਠੀਕ ਹੈ.

ਪਹਿਲੇ ਹਿੱਸੇ ਵਿੱਚ, ਅਸੀਂ RBD ਬਲਾਕ ਡਿਵਾਈਸ (ਇਹ Rados ਬਲਾਕ ਡਿਵਾਈਸ ਲਈ ਹੈ) ਨਾਲ ਕੰਮ ਕੀਤਾ ਹੈ, ਪਰ ਇਹ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ ਜੇਕਰ ਵੱਖ-ਵੱਖ ਮਾਈਕ੍ਰੋ ਸਰਵਿਸਿਜ਼ ਨੂੰ ਇਸ ਡਿਸਕ ਨਾਲ ਇੱਕੋ ਸਮੇਂ ਕੰਮ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। CephFS ਡਿਸਕ ਚਿੱਤਰਾਂ ਦੀ ਬਜਾਏ ਫਾਈਲਾਂ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਬਹੁਤ ਵਧੀਆ ਅਨੁਕੂਲ ਹੈ.
Ceph ਅਤੇ Kubernetes ਕਲੱਸਟਰਾਂ ਦੀ ਉਦਾਹਰਨ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਅਸੀਂ CephFS ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ CSI ਅਤੇ ਹੋਰ ਜ਼ਰੂਰੀ ਸੰਸਥਾਵਾਂ ਨੂੰ ਸੰਰਚਿਤ ਕਰਾਂਗੇ।

ਆਓ ਨਵੇਂ ਹੈਲਮ ਚਾਰਟ ਤੋਂ ਮੁੱਲ ਪ੍ਰਾਪਤ ਕਰੀਏ ਜਿਸ ਦੀ ਸਾਨੂੰ ਲੋੜ ਹੈ:

helm inspect values ceph-csi/ceph-csi-cephfs > cephfs.yml

ਦੁਬਾਰਾ ਤੁਹਾਨੂੰ cephfs.yml ਫਾਈਲ ਨੂੰ ਭਰਨ ਦੀ ਲੋੜ ਹੈ। ਪਹਿਲਾਂ ਵਾਂਗ, Ceph ਹੁਕਮ ਮਦਦ ਕਰਨਗੇ:

ceph fsid
ceph mon dump

ਫਾਈਲ ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਦੇ ਮੁੱਲਾਂ ਨਾਲ ਭਰੋ:

csiConfig:
  - clusterID: "bcd0d202-fba8-4352-b25d-75c89258d5ab"
    monitors:
      - "172.18.8.5:6789"
      - "172.18.8.6:6789"
      - "172.18.8.7:6789"

nodeplugin:
  httpMetrics:
    enabled: true
    containerPort: 8091
  podSecurityPolicy:
    enabled: true

provisioner:
  replicaCount: 1
  podSecurityPolicy:
    enabled: true

ਕਿਰਪਾ ਕਰਕੇ ਧਿਆਨ ਦਿਓ ਕਿ ਮਾਨੀਟਰ ਪਤੇ ਸਧਾਰਨ ਫਾਰਮ ਐਡਰੈੱਸ:ਪੋਰਟ ਵਿੱਚ ਦਿੱਤੇ ਗਏ ਹਨ। ਨੋਡ 'ਤੇ cephfs ਨੂੰ ਮਾਊਂਟ ਕਰਨ ਲਈ, ਇਹ ਐਡਰੈੱਸ ਕਰਨਲ ਮੋਡੀਊਲ ਨੂੰ ਦਿੱਤੇ ਜਾਂਦੇ ਹਨ, ਜੋ ਅਜੇ ਤੱਕ ਇਹ ਨਹੀਂ ਜਾਣਦੇ ਕਿ v2 ਮਾਨੀਟਰ ਪ੍ਰੋਟੋਕੋਲ ਨਾਲ ਕਿਵੇਂ ਕੰਮ ਕਰਨਾ ਹੈ।
ਅਸੀਂ httpMetrics ਲਈ ਪੋਰਟ ਬਦਲਦੇ ਹਾਂ (ਪ੍ਰੋਮੀਥੀਅਸ ਮੈਟ੍ਰਿਕਸ ਦੀ ਨਿਗਰਾਨੀ ਕਰਨ ਲਈ ਉੱਥੇ ਜਾਵੇਗਾ) ਤਾਂ ਜੋ ਇਹ nginx-proxy ਨਾਲ ਟਕਰਾ ਨਾ ਕਰੇ, ਜੋ ਕਿ Kubespray ਦੁਆਰਾ ਸਥਾਪਿਤ ਕੀਤਾ ਗਿਆ ਹੈ। ਤੁਹਾਨੂੰ ਇਸਦੀ ਲੋੜ ਨਹੀਂ ਹੋ ਸਕਦੀ।

ਕੁਬਰਨੇਟਸ ਕਲੱਸਟਰ ਵਿੱਚ ਹੈਲਮ ਚਾਰਟ ਨੂੰ ਸਥਾਪਿਤ ਕਰੋ:

helm upgrade -i ceph-csi-cephfs ceph-csi/ceph-csi-cephfs -f cephfs.yml -n ceph-csi-cephfs --create-namespace

ਚਲੋ ਉੱਥੇ ਇੱਕ ਵੱਖਰਾ ਉਪਭੋਗਤਾ ਬਣਾਉਣ ਲਈ Ceph ਡੇਟਾ ਸਟੋਰ 'ਤੇ ਚੱਲੀਏ। ਦਸਤਾਵੇਜ਼ ਦੱਸਦਾ ਹੈ ਕਿ CephFS ਪ੍ਰੋਵੀਜ਼ਨਰ ਨੂੰ ਕਲੱਸਟਰ ਪ੍ਰਸ਼ਾਸਕ ਪਹੁੰਚ ਅਧਿਕਾਰਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਪਰ ਅਸੀਂ ਇੱਕ ਵੱਖਰਾ ਉਪਭੋਗਤਾ ਬਣਾਵਾਂਗੇ fs ਸੀਮਤ ਅਧਿਕਾਰਾਂ ਨਾਲ:

ceph auth get-or-create client.fs mon 'allow r' mgr 'allow rw' mds 'allow rws' osd 'allow rw pool=cephfs_data, allow rw pool=cephfs_metadata'

ਅਤੇ ਆਓ ਤੁਰੰਤ ਉਸਦੀ ਪਹੁੰਚ ਕੁੰਜੀ ਨੂੰ ਵੇਖੀਏ, ਸਾਨੂੰ ਬਾਅਦ ਵਿੱਚ ਇਸਦੀ ਲੋੜ ਪਵੇਗੀ:

ceph auth get-key client.fs

ਆਓ ਵੱਖਰਾ ਸੀਕਰੇਟ ਅਤੇ ਸਟੋਰੇਜ ਕਲਾਸ ਬਣਾਈਏ।
ਕੁਝ ਨਵਾਂ ਨਹੀਂ, ਅਸੀਂ ਇਸਨੂੰ ਪਹਿਲਾਂ ਹੀ RBD ਦੀ ਉਦਾਹਰਣ ਵਿੱਚ ਦੇਖਿਆ ਹੈ:

---
apiVersion: v1
kind: Secret
metadata:
  name: csi-cephfs-secret
  namespace: ceph-csi-cephfs
stringData:
  # Необходимо для динамически создаваемых томов
  adminID: fs
  adminKey: <вывод предыдущей команды>

ਮੈਨੀਫੈਸਟ ਨੂੰ ਲਾਗੂ ਕਰਨਾ:

kubectl apply -f secret.yaml

ਅਤੇ ਹੁਣ - ਇੱਕ ਵੱਖਰੀ ਸਟੋਰੇਜ ਕਲਾਸ:

---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: csi-cephfs-sc
provisioner: cephfs.csi.ceph.com
parameters:
  clusterID: <cluster-id>

  # Имя файловой системы CephFS, в которой будет создан том
  fsName: cephfs

  # (необязательно) Пул Ceph, в котором будут храниться данные тома
  # pool: cephfs_data

  # (необязательно) Разделенные запятыми опции монтирования для Ceph-fuse
  # например:
  # fuseMountOptions: debug

  # (необязательно) Разделенные запятыми опции монтирования CephFS для ядра
  # См. man mount.ceph чтобы узнать список этих опций. Например:
  # kernelMountOptions: readdir_max_bytes=1048576,norbytes

  # Секреты должны содержать доступы для админа и/или юзера Ceph.
  csi.storage.k8s.io/provisioner-secret-name: csi-cephfs-secret
  csi.storage.k8s.io/provisioner-secret-namespace: ceph-csi-cephfs
  csi.storage.k8s.io/controller-expand-secret-name: csi-cephfs-secret
  csi.storage.k8s.io/controller-expand-secret-namespace: ceph-csi-cephfs
  csi.storage.k8s.io/node-stage-secret-name: csi-cephfs-secret
  csi.storage.k8s.io/node-stage-secret-namespace: ceph-csi-cephfs

  # (необязательно) Драйвер может использовать либо ceph-fuse (fuse), 
  # либо ceph kernelclient (kernel).
  # Если не указано, будет использоваться монтирование томов по умолчанию,
  # это определяется поиском ceph-fuse и mount.ceph
  # mounter: kernel
reclaimPolicy: Delete
allowVolumeExpansion: true
mountOptions:
  - debug

ਆਓ ਇਸਨੂੰ ਇੱਥੇ ਭਰੀਏ clusterID ਅਤੇ Kubernetes ਵਿੱਚ ਲਾਗੂ:

kubectl apply -f storageclass.yaml

ਨਿਰੀਖਣ

ਜਾਂਚ ਕਰਨ ਲਈ, ਜਿਵੇਂ ਕਿ ਪਿਛਲੀ ਉਦਾਹਰਨ ਵਿੱਚ, ਆਓ ਇੱਕ ਪੀਵੀਸੀ ਬਣਾਈਏ:

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: csi-cephfs-pvc
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 5Gi
  storageClassName: csi-cephfs-sc

ਅਤੇ ਪੀਵੀਸੀ/ਪੀਵੀ ਦੀ ਮੌਜੂਦਗੀ ਦੀ ਜਾਂਚ ਕਰੋ:

kubectl get pvc
kubectl get pv

ਜੇਕਰ ਤੁਸੀਂ CephFS ਵਿੱਚ ਫਾਈਲਾਂ ਅਤੇ ਡਾਇਰੈਕਟਰੀਆਂ ਨੂੰ ਵੇਖਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਇਸ ਫਾਈਲ ਸਿਸਟਮ ਨੂੰ ਕਿਤੇ ਮਾਊਂਟ ਕਰ ਸਕਦੇ ਹੋ। ਉਦਾਹਰਨ ਲਈ ਜਿਵੇਂ ਕਿ ਹੇਠਾਂ ਦਿਖਾਇਆ ਗਿਆ ਹੈ.

ਚਲੋ Ceph ਕਲੱਸਟਰ ਨੋਡਾਂ ਵਿੱਚੋਂ ਇੱਕ 'ਤੇ ਚੱਲੀਏ ਅਤੇ ਹੇਠ ਲਿਖੀਆਂ ਕਾਰਵਾਈਆਂ ਕਰੀਏ:

# Точка монтирования
mkdir -p /mnt/cephfs

# Создаём файл с ключом администратора
ceph auth get-key client.admin >/etc/ceph/secret.key

# Добавляем запись в /etc/fstab
# !! Изменяем ip адрес на адрес нашего узла
echo "172.18.8.6:6789:/ /mnt/cephfs ceph name=admin,secretfile=/etc/ceph/secret.key,noatime,_netdev    0       2" >> /etc/fstab

mount /mnt/cephfs

ਬੇਸ਼ੱਕ, ਇਸ ਤਰ੍ਹਾਂ ਇੱਕ Ceph ਨੋਡ 'ਤੇ FS ਨੂੰ ਮਾਊਂਟ ਕਰਨਾ ਸਿਰਫ਼ ਸਿਖਲਾਈ ਦੇ ਉਦੇਸ਼ਾਂ ਲਈ ਢੁਕਵਾਂ ਹੈ, ਜੋ ਕਿ ਅਸੀਂ ਆਪਣੇ 'ਤੇ ਕਰਦੇ ਹਾਂ ਸਲਰਮ ਕੋਰਸ. ਮੈਨੂੰ ਨਹੀਂ ਲਗਦਾ ਕਿ ਕੋਈ ਵੀ ਅਜਿਹਾ ਉਤਪਾਦਨ ਵਿੱਚ ਕਰੇਗਾ; ਮਹੱਤਵਪੂਰਣ ਫਾਈਲਾਂ ਨੂੰ ਗਲਤੀ ਨਾਲ ਮਿਟਾਉਣ ਦਾ ਇੱਕ ਉੱਚ ਜੋਖਮ ਹੈ.

ਅਤੇ ਅੰਤ ਵਿੱਚ, ਆਓ ਦੇਖੀਏ ਕਿ CephFS ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਵਾਲੀਅਮ ਨੂੰ ਮੁੜ ਆਕਾਰ ਦੇਣ ਨਾਲ ਚੀਜ਼ਾਂ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀਆਂ ਹਨ। ਚਲੋ Kubernetes ਤੇ ਵਾਪਸ ਆਓ ਅਤੇ PVC ਲਈ ਸਾਡੇ ਮੈਨੀਫੈਸਟ ਨੂੰ ਸੰਪਾਦਿਤ ਕਰੀਏ - ਉੱਥੇ ਆਕਾਰ ਵਧਾਓ, ਉਦਾਹਰਨ ਲਈ, 7Gi ਤੱਕ।

ਚਲੋ ਸੰਪਾਦਿਤ ਫਾਈਲ ਨੂੰ ਲਾਗੂ ਕਰੀਏ:

kubectl apply -f pvc.yaml

ਆਉ ਮਾਊਂਟ ਕੀਤੀ ਡਾਇਰੈਕਟਰੀ ਨੂੰ ਵੇਖੀਏ ਕਿ ਕੋਟਾ ਕਿਵੇਂ ਬਦਲਿਆ ਹੈ:

getfattr -n ceph.quota.max_bytes <каталог-с-данными>

ਇਸ ਕਮਾਂਡ ਦੇ ਕੰਮ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਆਪਣੇ ਸਿਸਟਮ ਉੱਤੇ ਪੈਕੇਜ ਇੰਸਟਾਲ ਕਰਨ ਦੀ ਲੋੜ ਹੋ ਸਕਦੀ ਹੈ attr.

ਅੱਖਾਂ ਡਰਦੀਆਂ ਹਨ, ਪਰ ਹੱਥ ਕਰਦੇ ਹਨ

ਇਹ ਸਾਰੇ ਸਪੈਲ ਅਤੇ ਲੰਬੇ YAML ਪ੍ਰਗਟਾਵੇ ਸਤ੍ਹਾ 'ਤੇ ਗੁੰਝਲਦਾਰ ਜਾਪਦੇ ਹਨ, ਪਰ ਅਭਿਆਸ ਵਿੱਚ, ਸਲਰਮ ਵਿਦਿਆਰਥੀ ਇਹਨਾਂ ਨੂੰ ਬਹੁਤ ਜਲਦੀ ਫੜ ਲੈਂਦੇ ਹਨ।
ਇਸ ਲੇਖ ਵਿਚ ਅਸੀਂ ਜੰਗਲ ਵਿਚ ਡੂੰਘੇ ਨਹੀਂ ਗਏ - ਇਸਦੇ ਲਈ ਅਧਿਕਾਰਤ ਦਸਤਾਵੇਜ਼ ਹਨ. ਜੇਕਰ ਤੁਸੀਂ ਕੁਬਰਨੇਟਸ ਕਲੱਸਟਰ ਨਾਲ Ceph ਸਟੋਰੇਜ ਸਥਾਪਤ ਕਰਨ ਦੇ ਵੇਰਵਿਆਂ ਵਿੱਚ ਦਿਲਚਸਪੀ ਰੱਖਦੇ ਹੋ, ਤਾਂ ਇਹ ਲਿੰਕ ਮਦਦ ਕਰਨਗੇ:

ਵਾਲੀਅਮ ਦੇ ਨਾਲ ਕੰਮ ਕਰਨ ਵਾਲੇ ਕੁਬਰਨੇਟਸ ਦੇ ਆਮ ਸਿਧਾਂਤ
RBD ਦਸਤਾਵੇਜ਼
ਇੱਕ Ceph ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ RBD ਅਤੇ Kubernetes ਨੂੰ ਏਕੀਕ੍ਰਿਤ ਕਰਨਾ
CSI ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ RBD ਅਤੇ Kubernetes ਨੂੰ ਏਕੀਕ੍ਰਿਤ ਕਰਨਾ
ਜਨਰਲ CephFS ਦਸਤਾਵੇਜ਼
CSI ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ CephFS ਅਤੇ Kubernetes ਨੂੰ ਏਕੀਕ੍ਰਿਤ ਕਰਨਾ

Slurm ਕੋਰਸ 'ਤੇ ਕੁਬਰਨੇਟਸ ਬੇਸ ਤੁਸੀਂ ਥੋੜਾ ਹੋਰ ਅੱਗੇ ਜਾ ਸਕਦੇ ਹੋ ਅਤੇ ਕੁਬਰਨੇਟਸ ਵਿੱਚ ਇੱਕ ਅਸਲ ਐਪਲੀਕੇਸ਼ਨ ਤੈਨਾਤ ਕਰ ਸਕਦੇ ਹੋ ਜੋ CephFS ਨੂੰ ਫਾਈਲ ਸਟੋਰੇਜ ਵਜੋਂ ਵਰਤੇਗਾ। GET/POST ਬੇਨਤੀਆਂ ਦੁਆਰਾ ਤੁਸੀਂ ਫਾਈਲਾਂ ਨੂੰ ਸੇਫ ਤੋਂ ਟ੍ਰਾਂਸਫਰ ਕਰਨ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਦੇ ਯੋਗ ਹੋਵੋਗੇ।

ਅਤੇ ਜੇਕਰ ਤੁਸੀਂ ਡਾਟਾ ਸਟੋਰੇਜ ਵਿੱਚ ਵਧੇਰੇ ਦਿਲਚਸਪੀ ਰੱਖਦੇ ਹੋ, ਤਾਂ ਇਸ ਲਈ ਸਾਈਨ ਅੱਪ ਕਰੋ Ceph 'ਤੇ ਨਵਾਂ ਕੋਰਸ. ਜਦੋਂ ਕਿ ਬੀਟਾ ਟੈਸਟ ਚੱਲ ਰਿਹਾ ਹੈ, ਕੋਰਸ ਨੂੰ ਛੋਟ 'ਤੇ ਪ੍ਰਾਪਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਤੁਸੀਂ ਇਸਦੀ ਸਮੱਗਰੀ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰ ਸਕਦੇ ਹੋ।

ਲੇਖ ਦੇ ਲੇਖਕ: ਅਲੈਗਜ਼ੈਂਡਰ ਸ਼ਵਾਲੋਵ, ਅਭਿਆਸ ਇੰਜੀਨੀਅਰ ਸਾ Southਥਬ੍ਰਿਜ, ਪ੍ਰਮਾਣਿਤ ਕੁਬਰਨੇਟਸ ਪ੍ਰਸ਼ਾਸਕ, ਸਲਰਮ ਕੋਰਸਾਂ ਦੇ ਲੇਖਕ ਅਤੇ ਵਿਕਾਸਕਾਰ।

ਸਰੋਤ: www.habr.com