Ceph-आधारित भण्डारणलाई Kubernetes क्लस्टरमा जडान गर्ने व्यावहारिक उदाहरण

कन्टेनर भण्डारण इन्टरफेस (CSI) Kubernetes र भण्डारण प्रणालीहरू बीचको एक एकीकृत इन्टरफेस हो। हामीले पहिले नै यसको बारेमा छोटकरीमा कुरा गरिसकेका छौं भन्यो, र आज हामी CSI र Ceph को संयोजनमा नजिकबाट हेर्नेछौं: हामी कसरी देखाउनेछौं Ceph भण्डारण जडान गर्नुहोस् Kubernetes क्लस्टरमा।
लेखले वास्तविकता प्रदान गर्दछ, यद्यपि धारणाको सहजताको लागि थोरै सरल उदाहरणहरू। हामी Ceph र Kubernetes क्लस्टरहरू स्थापना र कन्फिगर गर्ने विचार गर्दैनौं।

के तपाइँ सोच्दै हुनुहुन्छ कि यो कसरी काम गर्दछ?

त्यसोभए, तपाइँसँग तपाइँको औंलाको छेउमा कुबेरनेट क्लस्टर छ, तैनाथ गरिएको, उदाहरणका लागि, kubespray। त्यहाँ नजिकै काम गरिरहेको Ceph क्लस्टर छ - तपाईं यसलाई स्थापना गर्न सक्नुहुन्छ, उदाहरणका लागि, यससँग प्लेबुकहरूको सेट। मलाई आशा छ कि त्यहाँ उल्लेख गर्न आवश्यक छैन कि तिनीहरू बीचको उत्पादनको लागि कम्तिमा 10 Gbit/s को ब्यान्डविथ भएको नेटवर्क हुनुपर्छ।

यदि तपाईंसँग यो सबै छ भने, जानुहोस्!

पहिले, Ceph क्लस्टर नोडहरू मध्ये एउटामा जाऔं र जाँच गरौं कि सबै कुरा क्रमबद्ध छ:

ceph health
ceph -s

अर्को, हामी तुरुन्तै RBD डिस्कहरूको लागि पूल सिर्जना गर्नेछौं:

ceph osd pool create kube 32
ceph osd pool application enable kube rbd

Kubernetes क्लस्टरमा जाऔं। त्यहाँ, सबै भन्दा पहिले, हामी RBD को लागि Ceph CSI ड्राइभर स्थापना गर्नेछौं। हामी हेल्म मार्फत अपेक्षित रूपमा स्थापना गर्नेछौं।
हामी चार्टको साथ भण्डार थप्छौं, हामीले ceph-csi-rbd चार्टको लागि चरहरूको सेट पाउँछौं:

helm repo add ceph-csi https://ceph.github.io/csi-charts
helm inspect values ceph-csi/ceph-csi-rbd > cephrbd.yml

अब तपाईंले cephrbd.yml फाइल भर्नु पर्छ। यो गर्नका लागि, Ceph मा मोनिटरहरूको क्लस्टर ID र IP ठेगानाहरू फेला पार्नुहोस्:

ceph fsid  # так мы узнаем clusterID
ceph mon dump  # а так увидим IP-адреса мониторов

हामीले प्राप्त मानहरू cephrbd.yml फाइलमा प्रविष्ट गर्छौं। एकै समयमा, हामी PSP नीतिहरू (पोड सुरक्षा नीतिहरू) को निर्माण सक्षम गर्दछौं। खण्डहरूमा विकल्पहरू nodeplugin и प्रावधानकर्ता पहिले नै फाइलमा छ, तिनीहरूलाई तल देखाइएको रूपमा सुधार गर्न सकिन्छ:

csiConfig:
  - clusterID: "bcd0d202-fba8-4352-b25d-75c89258d5ab"
    monitors:
      - "v2:172.18.8.5:3300/0,v1:172.18.8.5:6789/0"
      - "v2:172.18.8.6:3300/0,v1:172.18.8.6:6789/0"
      - "v2:172.18.8.7:3300/0,v1:172.18.8.7:6789/0"

nodeplugin:
  podSecurityPolicy:
    enabled: true

provisioner:
  podSecurityPolicy:
    enabled: true

अर्को, हाम्रो लागि बाँकी रहेको कुबर्नेट्स क्लस्टरमा चार्ट स्थापना गर्नु हो।

helm upgrade -i ceph-csi-rbd ceph-csi/ceph-csi-rbd -f cephrbd.yml -n ceph-csi-rbd --create-namespace

राम्रो, RBD चालक काम गर्दछ!
Kubernetes मा नयाँ StorageClass सिर्जना गरौं। यसलाई फेरि सेफसँग अलिकति टिंकरिंग चाहिन्छ।

हामी Ceph मा नयाँ प्रयोगकर्ता सिर्जना गर्छौं र उसलाई पूलमा लेख्ने अधिकार दिन्छौं घन:

ceph auth get-or-create client.rbdkube mon 'profile rbd' osd 'profile rbd pool=kube'

अब पहुँच कुञ्जी अझै त्यहाँ छ हेरौं:

ceph auth get-key client.rbdkube

आदेशले यो जस्तै केहि आउटपुट गर्नेछ:

AQCO9NJbhYipKRAAMqZsnqqS/T8OYQX20xIa9A==

यो मान Kubernetes क्लस्टरमा Secret मा थपौं - जहाँ हामीलाई यो चाहिन्छ प्रयोगकर्ता कुञ्जी:

---
apiVersion: v1
kind: Secret
metadata:
  name: csi-rbd-secret
  namespace: ceph-csi-rbd
stringData:
  # Значения ключей соответствуют имени пользователя и его ключу, как указано в
  # кластере Ceph. ID юзера должен иметь доступ к пулу,
  # указанному в storage class
  userID: rbdkube
  userKey: <user-key>

र हामी हाम्रो गोप्य सिर्जना गर्छौं:

kubectl apply -f secret.yaml

अर्को, हामीलाई StorageClass manifest केहि चाहिन्छ:

---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
   name: csi-rbd-sc
provisioner: rbd.csi.ceph.com
parameters:
   clusterID: <cluster-id>
   pool: kube

   imageFeatures: layering

   # Эти секреты должны содержать данные для авторизации
   # в ваш пул.
   csi.storage.k8s.io/provisioner-secret-name: csi-rbd-secret
   csi.storage.k8s.io/provisioner-secret-namespace: ceph-csi-rbd
   csi.storage.k8s.io/controller-expand-secret-name: csi-rbd-secret
   csi.storage.k8s.io/controller-expand-secret-namespace: ceph-csi-rbd
   csi.storage.k8s.io/node-stage-secret-name: csi-rbd-secret
   csi.storage.k8s.io/node-stage-secret-namespace: ceph-csi-rbd

   csi.storage.k8s.io/fstype: ext4

reclaimPolicy: Delete
allowVolumeExpansion: true
mountOptions:
  - discard

भर्न आवश्यक छ clusterID, जुन हामीले टोलीले पहिले नै सिकेका छौं ceph fsid, र Kubernetes क्लस्टरमा यो manifest लागू गर्नुहोस्:

kubectl apply -f storageclass.yaml

क्लस्टरहरूले सँगै काम गर्ने तरिका जाँच गर्न, निम्न PVC (निरन्तर भोल्युम दाबी) सिर्जना गरौं:

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: rbd-pvc
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
  storageClassName: csi-rbd-sc

तुरुन्तै हेरौं कि कसरी कुबर्नेट्सले Ceph मा अनुरोध गरिएको भोल्युम सिर्जना गर्यो:

kubectl get pvc
kubectl get pv

सबै राम्रो देखिन्छ! यो Ceph छेउमा कस्तो देखिन्छ?
हामी पोखरीमा भोल्युमहरूको सूची पाउँछौं र हाम्रो भोल्युमको बारेमा जानकारी हेर्नुहोस्:

rbd ls -p kube
rbd -p kube info csi-vol-eb3d257d-8c6c-11ea-bff5-6235e7640653  # тут, конечно же, будет другой ID тома, который выдала предыдущая команда

अब हेरौं कसरी RBD भोल्युम रिसाइज गर्ने काम गर्छ।
pvc.yaml manifest मा भोल्युम साइज 2Gi मा परिवर्तन गर्नुहोस् र यसलाई लागू गर्नुहोस्:

kubectl apply -f pvc.yaml

परिवर्तनहरू प्रभाव पार्नको लागि पर्खनुहोस् र भोल्युम आकार फेरि हेर्नुहोस्।

rbd -p kube info csi-vol-eb3d257d-8c6c-11ea-bff5-6235e7640653

kubectl get pv
kubectl get pvc

हामी देख्छौं कि PVC को आकार परिवर्तन भएको छैन। किन पत्ता लगाउन, तपाइँ PVC को YAML विवरणको लागि Kubernetes लाई सोध्न सक्नुहुन्छ:

kubectl get pvc rbd-pvc -o yaml

यहाँ समस्या छ:

सन्देश: प्रयोगकर्ताको लागि पर्खँदै (पुनः) नोडमा फाइल प्रणाली रिसाइज समाप्त गर्न पोड सुरु गर्न। प्रकार: FileSystemResizePending

त्यो हो, डिस्क बढेको छ, तर यसमा फाइल प्रणाली छैन।
फाइल प्रणाली बढाउन, तपाईंले भोल्युम माउन्ट गर्न आवश्यक छ। हाम्रो देशमा, सिर्जना गरिएको PVC/PV हाल कुनै पनि तरिकाले प्रयोग गरिएको छैन।

हामी एक परीक्षण पोड सिर्जना गर्न सक्छौं, उदाहरण को लागी यो जस्तै:

---
apiVersion: v1
kind: Pod
metadata:
  name: csi-rbd-demo-pod
spec:
  containers:
    - name: web-server
      image: nginx:1.17.6
      volumeMounts:
        - name: mypvc
          mountPath: /data
  volumes:
    - name: mypvc
      persistentVolumeClaim:
        claimName: rbd-pvc
        readOnly: false

र अब PVC हेरौं:

kubectl get pvc

आकार परिवर्तन भएको छ, सबै ठीक छ।

पहिलो भागमा, हामीले RBD ब्लक यन्त्रसँग काम गर्‍यौं (यसलाई Rados Block Device भनिन्छ), तर यो गर्न सकिँदैन यदि विभिन्न माइक्रोसर्भिसेसहरूले यस डिस्कसँग एकैसाथ काम गर्न आवश्यक छ। CephFS डिस्क छविहरू भन्दा फाइलहरूसँग काम गर्नको लागि धेरै राम्रो उपयुक्त छ।
Ceph र Kubernetes क्लस्टरहरूको उदाहरण प्रयोग गरेर, हामी CephFS सँग काम गर्न CSI र अन्य आवश्यक निकायहरू कन्फिगर गर्नेछौं।

हामीलाई चाहिने नयाँ हेल्म चार्टबाट मानहरू प्राप्त गरौं:

helm inspect values ceph-csi/ceph-csi-cephfs > cephfs.yml

फेरि तपाईंले cephfs.yml फाइल भर्नु पर्छ। पहिले जस्तै, Ceph आदेशहरूले मद्दत गर्नेछ:

ceph fsid
ceph mon dump

यस प्रकारका मानहरूसँग फाइल भर्नुहोस्:

csiConfig:
  - clusterID: "bcd0d202-fba8-4352-b25d-75c89258d5ab"
    monitors:
      - "172.18.8.5:6789"
      - "172.18.8.6:6789"
      - "172.18.8.7:6789"

nodeplugin:
  httpMetrics:
    enabled: true
    containerPort: 8091
  podSecurityPolicy:
    enabled: true

provisioner:
  replicaCount: 1
  podSecurityPolicy:
    enabled: true

कृपया ध्यान दिनुहोस् कि मनिटर ठेगानाहरू साधारण फारम ठेगानामा निर्दिष्ट गरिएको छ: पोर्ट। नोडमा cephfs माउन्ट गर्न, यी ठेगानाहरू कर्नेल मोड्युलमा स्थानान्तरण गरिएका छन्, जसलाई v2 मनिटर प्रोटोकलसँग कसरी काम गर्ने भनेर अझै थाहा छैन।
हामीले httpMetrics को लागि पोर्ट परिवर्तन गर्छौं (प्रोमेथियस मेट्रिक्सको निगरानीको लागि त्यहाँ जानेछन्) ताकि यो nginx-proxy सँग द्वन्द्व नहोस्, जुन Kubespray द्वारा स्थापना गरिएको हो। तपाईंलाई यो आवश्यक नहुन सक्छ।

Kubernetes क्लस्टरमा हेलम चार्ट स्थापना गर्नुहोस्:

helm upgrade -i ceph-csi-cephfs ceph-csi/ceph-csi-cephfs -f cephfs.yml -n ceph-csi-cephfs --create-namespace

त्यहाँ छुट्टै प्रयोगकर्ता सिर्जना गर्न Ceph डाटा स्टोरमा जाऔं। कागजातले बताउँछ कि CephFS प्रावधानकर्तालाई क्लस्टर प्रशासक पहुँच अधिकार चाहिन्छ। तर हामी छुट्टै प्रयोगकर्ता सिर्जना गर्नेछौं fs सीमित अधिकार संग:

ceph auth get-or-create client.fs mon 'allow r' mgr 'allow rw' mds 'allow rws' osd 'allow rw pool=cephfs_data, allow rw pool=cephfs_metadata'

र तुरुन्तै उसको पहुँच कुञ्जी हेरौं, हामीलाई पछि यसको आवश्यकता हुनेछ:

ceph auth get-key client.fs

अलग सेक्रेट र स्टोरेज क्लास सिर्जना गरौं।
केहि नयाँ छैन, हामीले यो पहिले नै RBD को उदाहरणमा देखेका छौं:

---
apiVersion: v1
kind: Secret
metadata:
  name: csi-cephfs-secret
  namespace: ceph-csi-cephfs
stringData:
  # Необходимо для динамически создаваемых томов
  adminID: fs
  adminKey: <вывод предыдущей команды>

प्रकटीकरण लागू गर्दै:

kubectl apply -f secret.yaml

र अब - एक अलग StorageClass:

---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: csi-cephfs-sc
provisioner: cephfs.csi.ceph.com
parameters:
  clusterID: <cluster-id>

  # Имя файловой системы CephFS, в которой будет создан том
  fsName: cephfs

  # (необязательно) Пул Ceph, в котором будут храниться данные тома
  # pool: cephfs_data

  # (необязательно) Разделенные запятыми опции монтирования для Ceph-fuse
  # например:
  # fuseMountOptions: debug

  # (необязательно) Разделенные запятыми опции монтирования CephFS для ядра
  # См. man mount.ceph чтобы узнать список этих опций. Например:
  # kernelMountOptions: readdir_max_bytes=1048576,norbytes

  # Секреты должны содержать доступы для админа и/или юзера Ceph.
  csi.storage.k8s.io/provisioner-secret-name: csi-cephfs-secret
  csi.storage.k8s.io/provisioner-secret-namespace: ceph-csi-cephfs
  csi.storage.k8s.io/controller-expand-secret-name: csi-cephfs-secret
  csi.storage.k8s.io/controller-expand-secret-namespace: ceph-csi-cephfs
  csi.storage.k8s.io/node-stage-secret-name: csi-cephfs-secret
  csi.storage.k8s.io/node-stage-secret-namespace: ceph-csi-cephfs

  # (необязательно) Драйвер может использовать либо ceph-fuse (fuse), 
  # либо ceph kernelclient (kernel).
  # Если не указано, будет использоваться монтирование томов по умолчанию,
  # это определяется поиском ceph-fuse и mount.ceph
  # mounter: kernel
reclaimPolicy: Delete
allowVolumeExpansion: true
mountOptions:
  - debug

यसलाई यहाँ भरौं clusterID र Kubernetes मा लागू:

kubectl apply -f storageclass.yaml

निरीक्षण

जाँच गर्न, अघिल्लो उदाहरणमा जस्तै, PVC सिर्जना गरौं:

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: csi-cephfs-pvc
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 5Gi
  storageClassName: csi-cephfs-sc

र PVC/PV को उपस्थिति जाँच गर्नुहोस्:

kubectl get pvc
kubectl get pv

यदि तपाइँ CephFS मा फाइलहरू र डाइरेक्टरीहरू हेर्न चाहनुहुन्छ भने, तपाइँ यो फाइल प्रणाली कतै माउन्ट गर्न सक्नुहुन्छ। उदाहरण को लागी तल देखाइएको छ।

Ceph क्लस्टर नोडहरू मध्ये एउटामा जानुहोस् र निम्न कार्यहरू गर्नुहोस्:

# Точка монтирования
mkdir -p /mnt/cephfs

# Создаём файл с ключом администратора
ceph auth get-key client.admin >/etc/ceph/secret.key

# Добавляем запись в /etc/fstab
# !! Изменяем ip адрес на адрес нашего узла
echo "172.18.8.6:6789:/ /mnt/cephfs ceph name=admin,secretfile=/etc/ceph/secret.key,noatime,_netdev    0       2" >> /etc/fstab

mount /mnt/cephfs

निस्सन्देह, यस जस्तै Ceph नोडमा FS माउन्ट गर्नु केवल प्रशिक्षण उद्देश्यका लागि उपयुक्त छ, जुन हामी हाम्रो मा गर्छौं। स्लर्म पाठ्यक्रमहरू। मलाई लाग्दैन कि कसैले यो उत्पादनमा गर्नेछ; त्यहाँ गल्तिले महत्त्वपूर्ण फाइलहरू मेटाउने उच्च जोखिम छ।

र अन्तमा, CephFS को मामला मा रिसाइज भोल्युम संग चीजहरु कसरी काम गर्छ जाँच गरौं। Kubernetes मा फर्कनुहोस् र PVC को लागि हाम्रो manifest सम्पादन गर्नुहोस् - त्यहाँ आकार बढाउनुहोस्, उदाहरणका लागि, 7Gi मा।

सम्पादित फाइल लागू गरौं:

kubectl apply -f pvc.yaml

कोटा कसरी परिवर्तन भएको छ हेर्न माउन्ट गरिएको डाइरेक्टरी हेरौं:

getfattr -n ceph.quota.max_bytes <каталог-с-данными>

यो आदेश काम गर्नको लागि, तपाईंले आफ्नो प्रणालीमा प्याकेज स्थापना गर्न आवश्यक पर्दछ attr.

आँखा डराउँछन्, तर हातहरू

यी सबै मन्त्रहरू र लामो YAML प्रकटहरू सतहमा जटिल देखिन्छन्, तर व्यवहारमा, Slurm विद्यार्थीहरूले तिनीहरूलाई चाँडै ह्याङ्ग प्राप्त गर्छन्।
यस लेखमा हामी जंगलमा गहिरो गएका छैनौं - यसको लागि आधिकारिक कागजातहरू छन्। यदि तपाइँ Kubernetes क्लस्टरको साथ Ceph भण्डारण सेटअप गर्ने विवरणहरूमा रुचि राख्नुहुन्छ भने, यी लिङ्कहरूले मद्दत गर्नेछ:

मात्रा संग काम गर्ने Kubernetes को सामान्य सिद्धान्तहरू
RBD दस्तावेज
Ceph परिप्रेक्ष्यबाट RBD र Kubernetes एकीकृत गर्दै
CSI परिप्रेक्ष्यबाट RBD र Kubernetes एकीकृत गर्दै
सामान्य CephFS दस्तावेज
CSI परिप्रेक्ष्यबाट CephFS र Kubernetes एकीकृत गर्दै

स्लर्म कोर्समा Kubernetes आधार तपाईं अलि अगाडी जान सक्नुहुन्छ र Kubernetes मा एक वास्तविक अनुप्रयोग तैनात गर्न सक्नुहुन्छ जुन फाइल भण्डारणको रूपमा CephFS प्रयोग गर्दछ। GET/POST अनुरोधहरू मार्फत तपाइँ फाइलहरू स्थानान्तरण गर्न र Ceph बाट प्राप्त गर्न सक्षम हुनुहुनेछ।

र यदि तपाइँ डाटा भण्डारणमा बढी रुचि राख्नुहुन्छ भने, त्यसपछि साइन अप गर्नुहोस् Ceph मा नयाँ पाठ्यक्रम। बिटा परीक्षण चलिरहेको बेला, पाठ्यक्रम छुटमा प्राप्त गर्न सकिन्छ र तपाईंले यसको सामग्रीलाई प्रभाव पार्न सक्नुहुन्छ।

लेखको लेखक: अलेक्जेंडर श्वालोभ, अभ्यास इन्जिनियर साउथब्रिज, प्रमाणित Kubernetes प्रशासक, लेखक र Slurm पाठ्यक्रम को विकासकर्ता।

स्रोत: www.habr.com