ឧទាហរណ៍ជាក់ស្តែងនៃការភ្ជាប់ឧបករណ៍ផ្ទុកដែលមានមូលដ្ឋានលើ Ceph ទៅចង្កោម Kubernetes

Container Storage Interface (CSI) គឺជាចំណុចប្រទាក់បង្រួបបង្រួមរវាង Kubernetes និងប្រព័ន្ធផ្ទុកទិន្នន័យ។ យើងបាននិយាយយ៉ាងខ្លីអំពីវារួចហើយ បានប្រាប់ហើយថ្ងៃនេះ យើងនឹងពិនិត្យមើលឱ្យបានដិតដល់នូវការរួមបញ្ចូលគ្នានៃ CSI និង Ceph៖ យើងនឹងបង្ហាញពីរបៀប ភ្ជាប់ឧបករណ៍ផ្ទុក Ceph ទៅក្រុម Kubernetes ។
អត្ថបទនេះផ្តល់នូវឧទាហរណ៍ជាក់ស្តែង ទោះបីជាសាមញ្ញបន្តិចសម្រាប់ភាពងាយស្រួលនៃការយល់ឃើញក៏ដោយ។ យើងមិនពិចារណាការដំឡើង និងកំណត់រចនាសម្ព័ន្ធ Ceph និង Kubernetes clusters ទេ។

តើអ្នកឆ្ងល់ថាតើវាដំណើរការយ៉ាងដូចម្តេច?

ដូច្នេះ អ្នកមានចង្កោម Kubernetes នៅចុងម្រាមដៃរបស់អ្នក បានដាក់ពង្រាយ ឧទាហរណ៍ kubespray. មានចង្កោម Ceph ធ្វើការនៅក្បែរ - អ្នកក៏អាចដំឡើងវាឧទាហរណ៍ជាមួយនេះ។ សំណុំនៃសៀវភៅលេង. ខ្ញុំសង្ឃឹមថាមិនចាំបាច់និយាយថាសម្រាប់ផលិតកម្មរវាងពួកគេត្រូវតែមានបណ្តាញដែលមានកម្រិតបញ្ជូនយ៉ាងហោចណាស់ 10 Gbit / s ។

បើមានទាំងអស់នេះ តោះទៅ!

ជាដំបូង សូមចូលទៅកាន់ថ្នាំង Ceph cluster មួយ ហើយពិនិត្យមើលថាអ្វីៗគឺស្ថិតនៅក្នុងលំដាប់៖

ceph health
ceph -s

បន្ទាប់ យើងនឹងបង្កើតអាងសម្រាប់ថាស RBD ភ្លាមៗ៖

ceph osd pool create kube 32
ceph osd pool application enable kube rbd

ចូរបន្តទៅក្រុម Kubernetes ។ នៅទីនោះ ជាដំបូង យើងនឹងដំឡើងកម្មវិធីបញ្ជា Ceph CSI សម្រាប់ RBD ។ យើងនឹងដំឡើងតាមការរំពឹងទុកតាមរយៈ Helm ។
យើងបន្ថែមឃ្លាំងជាមួយគំនូសតាង យើងទទួលបានសំណុំនៃអថេរសម្រាប់តារាង ceph-csi-rbd៖

helm repo add ceph-csi https://ceph.github.io/csi-charts
helm inspect values ceph-csi/ceph-csi-rbd > cephrbd.yml

ឥឡូវអ្នកត្រូវបំពេញឯកសារ cephrbd.yml ។ ដើម្បីធ្វើដូច្នេះ សូមស្វែងរកលេខសម្គាល់ចង្កោម និងអាសយដ្ឋាន IP របស់ម៉ូនីទ័រនៅក្នុង Ceph៖

ceph fsid  # так мы узнаем clusterID
ceph mon dump  # а так увидим IP-адреса мониторов

យើងបញ្ចូលតម្លៃដែលទទួលបានទៅក្នុងឯកសារ cephrbd.yml ។ ក្នុងពេលជាមួយគ្នានេះ យើងបើកដំណើរការបង្កើតគោលការណ៍ PSP (Pod Security Policy)។ ជម្រើសនៅក្នុងផ្នែក nodeplugin и អ្នកផ្តល់ រួចហើយនៅក្នុងឯកសារ គេអាចកែបានដូចរូបខាងក្រោម៖

csiConfig:
  - clusterID: "bcd0d202-fba8-4352-b25d-75c89258d5ab"
    monitors:
      - "v2:172.18.8.5:3300/0,v1:172.18.8.5:6789/0"
      - "v2:172.18.8.6:3300/0,v1:172.18.8.6:6789/0"
      - "v2:172.18.8.7:3300/0,v1:172.18.8.7:6789/0"

nodeplugin:
  podSecurityPolicy:
    enabled: true

provisioner:
  podSecurityPolicy:
    enabled: true

បន្ទាប់មក អ្វីដែលនៅសេសសល់សម្រាប់ពួកយើងគឺត្រូវដំឡើងតារាងក្នុងចង្កោម Kubernetes។

helm upgrade -i ceph-csi-rbd ceph-csi/ceph-csi-rbd -f cephrbd.yml -n ceph-csi-rbd --create-namespace

អស្ចារ្យណាស់ កម្មវិធីបញ្ជា RBD ដំណើរការ!
តោះបង្កើត StorageClass ថ្មីនៅក្នុង Kubernetes។ នេះ​ទាមទារ​ឱ្យ​មាន​ការ​ច្រណែន​បន្តិច​ម្តង​ទៀត​ជាមួយ Ceph ។

យើងបង្កើតអ្នកប្រើប្រាស់ថ្មីនៅក្នុង Ceph ហើយផ្តល់ឱ្យគាត់នូវសិទ្ធិក្នុងការសរសេរទៅកាន់អាង គូបេ:

ceph auth get-or-create client.rbdkube mon 'profile rbd' osd 'profile rbd pool=kube'

ឥឡូវ​យើង​មើល​សោ​ចូល​ប្រើ​នៅ​តែ​មាន៖

ceph auth get-key client.rbdkube

ពាក្យបញ្ជានឹងចេញអ្វីមួយដូចនេះ៖

AQCO9NJbhYipKRAAMqZsnqqS/T8OYQX20xIa9A==

តោះបន្ថែមតម្លៃនេះទៅ Secret នៅក្នុងចង្កោម Kubernetes - កន្លែងដែលយើងត្រូវការវា។ userKey:

---
apiVersion: v1
kind: Secret
metadata:
  name: csi-rbd-secret
  namespace: ceph-csi-rbd
stringData:
  # Значения ключей соответствуют имени пользователя и его ключу, как указано в
  # кластере Ceph. ID юзера должен иметь доступ к пулу,
  # указанному в storage class
  userID: rbdkube
  userKey: <user-key>

ហើយយើងបង្កើតអាថ៌កំបាំងរបស់យើង៖

kubectl apply -f secret.yaml

បន្ទាប់យើងត្រូវការ StorageClass បង្ហាញអ្វីមួយដូចនេះ៖

---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
   name: csi-rbd-sc
provisioner: rbd.csi.ceph.com
parameters:
   clusterID: <cluster-id>
   pool: kube

   imageFeatures: layering

   # Эти секреты должны содержать данные для авторизации
   # в ваш пул.
   csi.storage.k8s.io/provisioner-secret-name: csi-rbd-secret
   csi.storage.k8s.io/provisioner-secret-namespace: ceph-csi-rbd
   csi.storage.k8s.io/controller-expand-secret-name: csi-rbd-secret
   csi.storage.k8s.io/controller-expand-secret-namespace: ceph-csi-rbd
   csi.storage.k8s.io/node-stage-secret-name: csi-rbd-secret
   csi.storage.k8s.io/node-stage-secret-namespace: ceph-csi-rbd

   csi.storage.k8s.io/fstype: ext4

reclaimPolicy: Delete
allowVolumeExpansion: true
mountOptions:
  - discard

ចាំបាច់ត្រូវបំពេញ clusterIDដែលពួកយើងបានសិក្សារួចហើយដោយក្រុម ceph fsidហើយអនុវត្ត manifest នេះទៅក្រុម Kubernetes៖

kubectl apply -f storageclass.yaml

ដើម្បីពិនិត្យមើលពីរបៀបដែលចង្កោមដំណើរការជាមួយគ្នា ចូរបង្កើត PVC ខាងក្រោម (ការទាមទារកម្រិតសំឡេងជាប់រហូត)៖

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: rbd-pvc
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
  storageClassName: csi-rbd-sc

តោះមើលភ្លាមៗពីរបៀបដែល Kubernetes បានបង្កើតបរិមាណដែលបានស្នើសុំនៅក្នុង Ceph៖

kubectl get pvc
kubectl get pv

អ្វីៗហាក់ដូចជាអស្ចារ្យណាស់! តើនេះមើលទៅដូចអ្វីនៅខាង Ceph?
យើងទទួលបានបញ្ជីបរិមាណនៅក្នុងអាង ហើយមើលព័ត៌មានអំពីបរិមាណរបស់យើង៖

rbd ls -p kube
rbd -p kube info csi-vol-eb3d257d-8c6c-11ea-bff5-6235e7640653  # тут, конечно же, будет другой ID тома, который выдала предыдущая команда

ឥឡូវនេះសូមមើលពីរបៀបផ្លាស់ប្តូរទំហំបរិមាណ RBD ដំណើរការ។
ផ្លាស់ប្តូរទំហំសំឡេងនៅក្នុង manifest pvc.yaml ទៅ 2Gi ហើយអនុវត្តវា៖

kubectl apply -f pvc.yaml

តោះរង់ចាំការផ្លាស់ប្ដូរមានប្រសិទ្ធភាព ហើយពិនិត្យមើលទំហំសំឡេងម្តងទៀត។

rbd -p kube info csi-vol-eb3d257d-8c6c-11ea-bff5-6235e7640653

kubectl get pv
kubectl get pvc

យើងឃើញថាទំហំ PVC មិនផ្លាស់ប្តូរទេ។ ដើម្បីស្វែងយល់ពីមូលហេតុ អ្នកអាចសាកសួរ Kubernetes សម្រាប់ការពិពណ៌នា YAML នៃ PVC៖

kubectl get pvc rbd-pvc -o yaml

នេះជាបញ្ហា៖

សារ៖ កំពុងរង់ចាំអ្នកប្រើប្រាស់ (ឡើងវិញ) ចាប់ផ្តើមផត ដើម្បីបញ្ចប់ការប្តូរទំហំប្រព័ន្ធឯកសារនៅលើថ្នាំង។ ប្រភេទ៖ FileSystemResizePending

នោះគឺថាឌីសបានរីកចម្រើនប៉ុន្តែប្រព័ន្ធឯកសារនៅលើវាមិនមានទេ។
ដើម្បីពង្រីកប្រព័ន្ធឯកសារ អ្នកត្រូវម៉ោនកម្រិតសំឡេង។ នៅក្នុងប្រទេសរបស់យើង PVC/PV ដែលត្រូវបានបង្កើតឡើងនាពេលបច្ចុប្បន្ននេះមិនត្រូវបានប្រើតាមវិធីណាមួយឡើយ។

យើងអាចបង្កើត Pod សាកល្បងឧទាហរណ៍ដូចនេះ៖

---
apiVersion: v1
kind: Pod
metadata:
  name: csi-rbd-demo-pod
spec:
  containers:
    - name: web-server
      image: nginx:1.17.6
      volumeMounts:
        - name: mypvc
          mountPath: /data
  volumes:
    - name: mypvc
      persistentVolumeClaim:
        claimName: rbd-pvc
        readOnly: false

ហើយឥឡូវនេះសូមមើល PVC:

kubectl get pvc

ទំហំបានផ្លាស់ប្តូរ អ្វីគ្រប់យ៉ាងគឺល្អ។

នៅក្នុងផ្នែកទីមួយ យើងបានធ្វើការជាមួយឧបករណ៍ប្លុក RBD (វាតំណាងឱ្យឧបករណ៍ទប់ស្កាត់ Rados) ប៉ុន្តែវាមិនអាចធ្វើបានទេប្រសិនបើសេវាមីក្រូផ្សេងៗត្រូវធ្វើការជាមួយថាសនេះក្នុងពេលដំណាលគ្នា។ CephFS គឺល្អជាងសម្រាប់ធ្វើការជាមួយឯកសារជាជាងរូបភាពថាស។
ដោយប្រើឧទាហរណ៍នៃ Ceph និង Kubernetes clusters យើងនឹងកំណត់រចនាសម្ព័ន្ធ CSI និងអង្គភាពចាំបាច់ផ្សេងទៀតដើម្បីធ្វើការជាមួយ CephFS ។

ចូរយើងទទួលបានតម្លៃពីតារាង Helm ថ្មីដែលយើងត្រូវការ៖

helm inspect values ceph-csi/ceph-csi-cephfs > cephfs.yml

ជាថ្មីម្តងទៀតអ្នកត្រូវបំពេញឯកសារ cephfs.yml ។ ដូចពីមុនពាក្យបញ្ជា Ceph នឹងជួយ:

ceph fsid
ceph mon dump

បំពេញឯកសារដោយតម្លៃដូចនេះ៖

csiConfig:
  - clusterID: "bcd0d202-fba8-4352-b25d-75c89258d5ab"
    monitors:
      - "172.18.8.5:6789"
      - "172.18.8.6:6789"
      - "172.18.8.7:6789"

nodeplugin:
  httpMetrics:
    enabled: true
    containerPort: 8091
  podSecurityPolicy:
    enabled: true

provisioner:
  replicaCount: 1
  podSecurityPolicy:
    enabled: true

សូមចំណាំថាអាសយដ្ឋានម៉ូនីទ័រត្រូវបានបញ្ជាក់នៅក្នុងអាសយដ្ឋានទម្រង់សាមញ្ញ៖ ច្រក។ ដើម្បីម៉ោន cephfs នៅលើថ្នាំង អាសយដ្ឋានទាំងនេះត្រូវបានបញ្ជូនទៅម៉ូឌុលខឺណែល ដែលមិនទាន់ដឹងពីរបៀបធ្វើការជាមួយពិធីការម៉ូនីទ័រ v2 នៅឡើយ។
យើងផ្លាស់ប្តូរច្រកសម្រាប់ httpMetrics (Prometheus នឹងទៅទីនោះសម្រាប់ការត្រួតពិនិត្យម៉ែត្រ) ដូច្នេះវាមិនប៉ះទង្គិចជាមួយ nginx-proxy ដែលត្រូវបានដំឡើងដោយ Kubespray ។ អ្នកប្រហែលជាមិនត្រូវការវាទេ។

ដំឡើងតារាង Helm នៅក្នុងចង្កោម Kubernetes៖

helm upgrade -i ceph-csi-cephfs ceph-csi/ceph-csi-cephfs -f cephfs.yml -n ceph-csi-cephfs --create-namespace

តោះទៅឃ្លាំងទិន្នន័យ Ceph ដើម្បីបង្កើតអ្នកប្រើប្រាស់ដាច់ដោយឡែកនៅទីនោះ។ ឯកសារចែងថាអ្នកផ្តល់ CephFS ទាមទារសិទ្ធិចូលប្រើអ្នកគ្រប់គ្រងចង្កោម។ ប៉ុន្តែយើងនឹងបង្កើតអ្នកប្រើប្រាស់ដាច់ដោយឡែក fs ជាមួយនឹងសិទ្ធិមានកំណត់៖

ceph auth get-or-create client.fs mon 'allow r' mgr 'allow rw' mds 'allow rws' osd 'allow rw pool=cephfs_data, allow rw pool=cephfs_metadata'

ហើយសូមក្រឡេកមើលសោចូលប្រើប្រាស់របស់គាត់ភ្លាមៗ យើងនឹងត្រូវការវានៅពេលក្រោយ៖

ceph auth get-key client.fs

តោះបង្កើត Secret និង StorageClass ដាច់ដោយឡែក។
គ្មានអ្វីថ្មីទេ យើងបានឃើញវារួចហើយនៅក្នុងឧទាហរណ៍នៃ RBD៖

---
apiVersion: v1
kind: Secret
metadata:
  name: csi-cephfs-secret
  namespace: ceph-csi-cephfs
stringData:
  # Необходимо для динамически создаваемых томов
  adminID: fs
  adminKey: <вывод предыдущей команды>

ការអនុវត្តការបង្ហាញ៖

kubectl apply -f secret.yaml

ហើយឥឡូវនេះ - StorageClass ដាច់ដោយឡែកមួយ៖

---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: csi-cephfs-sc
provisioner: cephfs.csi.ceph.com
parameters:
  clusterID: <cluster-id>

  # Имя файловой системы CephFS, в которой будет создан том
  fsName: cephfs

  # (необязательно) Пул Ceph, в котором будут храниться данные тома
  # pool: cephfs_data

  # (необязательно) Разделенные запятыми опции монтирования для Ceph-fuse
  # например:
  # fuseMountOptions: debug

  # (необязательно) Разделенные запятыми опции монтирования CephFS для ядра
  # См. man mount.ceph чтобы узнать список этих опций. Например:
  # kernelMountOptions: readdir_max_bytes=1048576,norbytes

  # Секреты должны содержать доступы для админа и/или юзера Ceph.
  csi.storage.k8s.io/provisioner-secret-name: csi-cephfs-secret
  csi.storage.k8s.io/provisioner-secret-namespace: ceph-csi-cephfs
  csi.storage.k8s.io/controller-expand-secret-name: csi-cephfs-secret
  csi.storage.k8s.io/controller-expand-secret-namespace: ceph-csi-cephfs
  csi.storage.k8s.io/node-stage-secret-name: csi-cephfs-secret
  csi.storage.k8s.io/node-stage-secret-namespace: ceph-csi-cephfs

  # (необязательно) Драйвер может использовать либо ceph-fuse (fuse), 
  # либо ceph kernelclient (kernel).
  # Если не указано, будет использоваться монтирование томов по умолчанию,
  # это определяется поиском ceph-fuse и mount.ceph
  # mounter: kernel
reclaimPolicy: Delete
allowVolumeExpansion: true
mountOptions:
  - debug

ចូរយើងបំពេញវានៅទីនេះ clusterID និងអាចអនុវត្តបាននៅក្នុង Kubernetes៖

kubectl apply -f storageclass.yaml

ការត្រួតពិនិត្យ

ដើម្បីពិនិត្យមើលដូចក្នុងឧទាហរណ៍មុន តោះបង្កើត PVC៖

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: csi-cephfs-pvc
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 5Gi
  storageClassName: csi-cephfs-sc

ហើយពិនិត្យមើលវត្តមានរបស់ PVC/PV៖

kubectl get pvc
kubectl get pv

ប្រសិនបើអ្នកចង់មើលឯកសារ និងថតក្នុង CephFS អ្នកអាចដំឡើងប្រព័ន្ធឯកសារនេះនៅកន្លែងណាមួយ។ ឧទាហរណ៍ដូចបានបង្ហាញខាងក្រោម។

តោះទៅកាន់ថ្នាំង Ceph cluster មួយ ហើយអនុវត្តសកម្មភាពខាងក្រោម៖

# Точка монтирования
mkdir -p /mnt/cephfs

# Создаём файл с ключом администратора
ceph auth get-key client.admin >/etc/ceph/secret.key

# Добавляем запись в /etc/fstab
# !! Изменяем ip адрес на адрес нашего узла
echo "172.18.8.6:6789:/ /mnt/cephfs ceph name=admin,secretfile=/etc/ceph/secret.key,noatime,_netdev    0       2" >> /etc/fstab

mount /mnt/cephfs

ជាការពិតណាស់ ការដំឡើង FS នៅលើថ្នាំង Ceph បែបនេះគឺសមរម្យសម្រាប់តែគោលបំណងបណ្តុះបណ្តាលប៉ុណ្ណោះ ដែលជាអ្វីដែលយើងធ្វើនៅលើរបស់យើង វគ្គបណ្ដុះបណ្ដាល. ខ្ញុំ​មិន​គិត​ថា​អ្នក​ណា​ម្នាក់​នឹង​ធ្វើ​បែប​នេះ​ក្នុង​ការ​ផលិត​ទេ មាន​ហានិភ័យ​ខ្ពស់​ក្នុង​ការ​លុប​ឯកសារ​សំខាន់ៗ​ដោយ​ចៃដន្យ។

ហើយចុងក្រោយ សូមពិនិត្យមើលពីរបៀបដែលអ្វីៗដំណើរការជាមួយការផ្លាស់ប្តូរទំហំក្នុងករណី CephFS ។ តោះត្រឡប់ទៅ Kubernetes ហើយកែសម្រួល manifest របស់យើងសម្រាប់ PVC - បង្កើនទំហំនៅទីនោះ ឧទាហរណ៍ទៅ 7Gi ។

តោះអនុវត្តឯកសារដែលបានកែសម្រួល៖

kubectl apply -f pvc.yaml

សូមក្រឡេកមើលថតដែលបានម៉ោន ដើម្បីមើលថាតើកូតាបានផ្លាស់ប្តូរយ៉ាងដូចម្តេច៖

getfattr -n ceph.quota.max_bytes <каталог-с-данными>

ដើម្បីឱ្យពាក្យបញ្ជានេះដំណើរការ អ្នកប្រហែលជាត្រូវដំឡើងកញ្ចប់នៅលើប្រព័ន្ធរបស់អ្នក។ attr.

ភ្នែកខ្លាច ប៉ុន្តែដៃធ្វើ

អក្ខរាវិរុទ្ធទាំងអស់នេះ និងការបង្ហាញ YAML ដ៏វែងហាក់ដូចជាស្មុគស្មាញលើផ្ទៃ ប៉ុន្តែនៅក្នុងការអនុវត្តជាក់ស្តែង សិស្ស Slurm ទទួលបានការព្យួររបស់ពួកគេយ៉ាងឆាប់រហ័ស។
នៅក្នុងអត្ថបទនេះយើងមិនបានចូលជ្រៅទៅក្នុងព្រៃទេ - មានឯកសារផ្លូវការសម្រាប់រឿងនោះ។ ប្រសិនបើអ្នកចាប់អារម្មណ៍លើព័ត៌មានលម្អិតនៃការដំឡើងឧបករណ៍ផ្ទុក Ceph ជាមួយនឹងចង្កោម Kubernetes តំណភ្ជាប់ទាំងនេះនឹងជួយ៖

គោលការណ៍ទូទៅនៃ Kubernetes ធ្វើការជាមួយបរិមាណ
ឯកសារ RBD
ការរួមបញ្ចូល RBD និង Kubernetes តាមទស្សនៈ Ceph
ការរួមបញ្ចូល RBD និង Kubernetes តាមទស្សនៈ CSI
ឯកសារ CephFS ទូទៅ
ការរួមបញ្ចូល CephFS និង Kubernetes តាមទស្សនៈ CSI

នៅលើវគ្គសិក្សា Slurm មូលដ្ឋាន Kubernetes អ្នកអាចបន្តបន្តិចទៀត ហើយដាក់ឱ្យប្រើប្រាស់កម្មវិធីពិតនៅក្នុង Kubernetes ដែលនឹងប្រើ CephFS ជាកន្លែងផ្ទុកឯកសារ។ តាមរយៈសំណើ GET/POST អ្នកនឹងអាចផ្ទេរឯកសារទៅ និងទទួលវាពី Ceph ។

ហើយប្រសិនបើអ្នកចាប់អារម្មណ៍លើការផ្ទុកទិន្នន័យបន្ថែមទៀត សូមចុះឈ្មោះសម្រាប់ វគ្គសិក្សាថ្មីលើ Ceph. ខណៈពេលដែលការធ្វើតេស្តបេតាកំពុងបន្ត វគ្គសិក្សាអាចទទួលបានដោយការបញ្ចុះតម្លៃ ហើយអ្នកអាចមានឥទ្ធិពលលើខ្លឹមសាររបស់វា។

អ្នកនិពន្ធអត្ថបទ៖ Alexander Shvalov វិស្វករអនុវត្ត សៅប្រ៊ីតអ្នកគ្រប់គ្រង Kubernetes ដែលមានការបញ្ជាក់ អ្នកនិពន្ធ និងអ្នកបង្កើតវគ្គសិក្សា Slurm ។

ប្រភព: www.habr.com