Ceph-આધારિત સ્ટોરેજને Kubernetes ક્લસ્ટર સાથે જોડવાનું વ્યવહારુ ઉદાહરણ

કન્ટેનર સ્ટોરેજ ઈન્ટરફેસ (CSI) એ કુબરનેટ્સ અને સ્ટોરેજ સિસ્ટમ્સ વચ્ચેનું એકીકૃત ઈન્ટરફેસ છે. અમે પહેલાથી જ તેના વિશે ટૂંકમાં વાત કરી છે કહ્યું, અને આજે આપણે CSI અને Ceph ના સંયોજનને નજીકથી જોઈશું: અમે બતાવીશું કે કેવી રીતે Ceph સ્ટોરેજને કનેક્ટ કરો કુબરનેટીસ ક્લસ્ટરમાં.
અનુભૂતિની સરળતા માટે લેખ વાસ્તવિક, જોકે થોડા સરળ ઉદાહરણો પૂરા પાડે છે. અમે Ceph અને Kubernetes ક્લસ્ટરોને ઇન્સ્ટોલ અને ગોઠવવાનું વિચારતા નથી.

શું તમે આશ્ચર્ય પામી રહ્યા છો કે તે કેવી રીતે કામ કરે છે?

તેથી, તમારી પાસે તમારી આંગળીના વેઢે કુબરનેટ્સ ક્લસ્ટર છે, જે તૈનાત છે, ઉદાહરણ તરીકે, કુબેસ્પ્રે. નજીકમાં એક Ceph ક્લસ્ટર કામ કરે છે - તમે તેને ઇન્સ્ટોલ પણ કરી શકો છો, ઉદાહરણ તરીકે, આ સાથે પ્લેબુકનો સમૂહ. હું આશા રાખું છું કે તેમની વચ્ચે ઉત્પાદન માટે ઓછામાં ઓછા 10 Gbit/s ની બેન્ડવિડ્થ સાથેનું નેટવર્ક હોવું આવશ્યક છે તે ઉલ્લેખ કરવાની જરૂર નથી.

જો તમારી પાસે આ બધું છે, તો ચાલો!

પ્રથમ, ચાલો Ceph ક્લસ્ટર નોડ્સમાંથી એક પર જઈએ અને તપાસીએ કે બધું ક્રમમાં છે:

ceph health
ceph -s

આગળ, અમે તરત જ RBD ડિસ્ક માટે પૂલ બનાવીશું:

ceph osd pool create kube 32
ceph osd pool application enable kube rbd

ચાલો કુબરનેટ્સ ક્લસ્ટર તરફ આગળ વધીએ. ત્યાં, સૌ પ્રથમ, અમે RBD માટે Ceph CSI ડ્રાઇવર ઇન્સ્ટોલ કરીશું. અમે અપેક્ષા મુજબ, હેલ્મ દ્વારા ઇન્સ્ટોલ કરીશું.
અમે ચાર્ટ સાથે રીપોઝીટરી ઉમેરીએ છીએ, અમને ceph-csi-rbd ચાર્ટ માટે ચલોનો સમૂહ મળે છે:

helm repo add ceph-csi https://ceph.github.io/csi-charts
helm inspect values ceph-csi/ceph-csi-rbd > cephrbd.yml

હવે તમારે cephrbd.yml ફાઇલ ભરવાની જરૂર છે. આ કરવા માટે, Ceph માં મોનિટરના ક્લસ્ટર ID અને IP સરનામાઓ શોધો:

ceph fsid  # так мы узнаем clusterID
ceph mon dump  # а так увидим IP-адреса мониторов

અમે cephrbd.yml ફાઇલમાં મેળવેલ મૂલ્યો દાખલ કરીએ છીએ. તે જ સમયે, અમે PSP નીતિઓ (પોડ સુરક્ષા નીતિઓ) ની રચનાને સક્ષમ કરીએ છીએ. વિભાગોમાં વિકલ્પો નોડપ્લગિન и જોગવાઈ કરનાર ફાઇલમાં પહેલેથી જ છે, તેઓ નીચે બતાવ્યા પ્રમાણે સુધારી શકાય છે:

csiConfig:
  - clusterID: "bcd0d202-fba8-4352-b25d-75c89258d5ab"
    monitors:
      - "v2:172.18.8.5:3300/0,v1:172.18.8.5:6789/0"
      - "v2:172.18.8.6:3300/0,v1:172.18.8.6:6789/0"
      - "v2:172.18.8.7:3300/0,v1:172.18.8.7:6789/0"

nodeplugin:
  podSecurityPolicy:
    enabled: true

provisioner:
  podSecurityPolicy:
    enabled: true

આગળ, આપણા માટે જે બાકી રહે છે તે કુબરનેટ્સ ક્લસ્ટરમાં ચાર્ટને ઇન્સ્ટોલ કરવાનો છે.

helm upgrade -i ceph-csi-rbd ceph-csi/ceph-csi-rbd -f cephrbd.yml -n ceph-csi-rbd --create-namespace

સરસ, RBD ડ્રાઇવર કામ કરે છે!
ચાલો Kubernetes માં એક નવો StorageClass બનાવીએ. આને ફરીથી Ceph સાથે થોડી ટિંકરિંગની જરૂર છે.

અમે Ceph માં એક નવો વપરાશકર્તા બનાવીએ છીએ અને તેને પૂલમાં લખવાના અધિકારો આપીએ છીએ સમઘન:

ceph auth get-or-create client.rbdkube mon 'profile rbd' osd 'profile rbd pool=kube'

હવે ચાલો જોઈએ કે એક્સેસ કી હજી પણ ત્યાં છે:

ceph auth get-key client.rbdkube

આદેશ આના જેવું કંઈક આઉટપુટ કરશે:

AQCO9NJbhYipKRAAMqZsnqqS/T8OYQX20xIa9A==

ચાલો આ મૂલ્યને કુબરનેટ્સ ક્લસ્ટરમાં સિક્રેટમાં ઉમેરીએ - જ્યાં આપણને તેની જરૂર છે વપરાશકર્તા કી:

---
apiVersion: v1
kind: Secret
metadata:
  name: csi-rbd-secret
  namespace: ceph-csi-rbd
stringData:
  # Значения ключей соответствуют имени пользователя и его ключу, как указано в
  # кластере Ceph. ID юзера должен иметь доступ к пулу,
  # указанному в storage class
  userID: rbdkube
  userKey: <user-key>

અને અમે અમારું રહસ્ય બનાવીએ છીએ:

kubectl apply -f secret.yaml

આગળ, અમને આના જેવું કંઈક સ્ટોરેજક્લાસ મેનિફેસ્ટની જરૂર છે:

---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
   name: csi-rbd-sc
provisioner: rbd.csi.ceph.com
parameters:
   clusterID: <cluster-id>
   pool: kube

   imageFeatures: layering

   # Эти секреты должны содержать данные для авторизации
   # в ваш пул.
   csi.storage.k8s.io/provisioner-secret-name: csi-rbd-secret
   csi.storage.k8s.io/provisioner-secret-namespace: ceph-csi-rbd
   csi.storage.k8s.io/controller-expand-secret-name: csi-rbd-secret
   csi.storage.k8s.io/controller-expand-secret-namespace: ceph-csi-rbd
   csi.storage.k8s.io/node-stage-secret-name: csi-rbd-secret
   csi.storage.k8s.io/node-stage-secret-namespace: ceph-csi-rbd

   csi.storage.k8s.io/fstype: ext4

reclaimPolicy: Delete
allowVolumeExpansion: true
mountOptions:
  - discard

ભરવાની જરૂર છે ક્લસ્ટરઆઈડી, જે અમે ટીમ દ્વારા પહેલાથી જ શીખ્યા છીએ ceph fsid, અને આ મેનિફેસ્ટને Kubernetes ક્લસ્ટર પર લાગુ કરો:

kubectl apply -f storageclass.yaml

ક્લસ્ટર્સ એકસાથે કેવી રીતે કાર્ય કરે છે તે તપાસવા માટે, ચાલો નીચે આપેલ PVC (પર્સિસ્ટન્ટ વોલ્યુમ ક્લેમ) બનાવીએ:

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: rbd-pvc
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
  storageClassName: csi-rbd-sc

ચાલો તરત જ જોઈએ કે કુબરનેટેસે સેફમાં વિનંતી કરેલ વોલ્યુમ કેવી રીતે બનાવ્યું:

kubectl get pvc
kubectl get pv

બધું સરસ લાગે છે! Ceph બાજુ પર આ શું દેખાય છે?
અમને પૂલમાં વોલ્યુમોની સૂચિ મળે છે અને અમારા વોલ્યુમ વિશેની માહિતી જુઓ:

rbd ls -p kube
rbd -p kube info csi-vol-eb3d257d-8c6c-11ea-bff5-6235e7640653  # тут, конечно же, будет другой ID тома, который выдала предыдущая команда

હવે ચાલો જોઈએ કે RBD વોલ્યુમનું માપ બદલવાનું કેવી રીતે કાર્ય કરે છે.
pvc.yaml મેનિફેસ્ટમાં વોલ્યુમનું કદ 2Gi માં બદલો અને તેને લાગુ કરો:

kubectl apply -f pvc.yaml

ચાલો ફેરફારોના પ્રભાવમાં આવવાની રાહ જોઈએ અને ફરીથી વોલ્યુમનું કદ જોઈએ.

rbd -p kube info csi-vol-eb3d257d-8c6c-11ea-bff5-6235e7640653

kubectl get pv
kubectl get pvc

અમે જોઈએ છીએ કે પીવીસીનું કદ બદલાયું નથી. શા માટે તે જાણવા માટે, તમે PVC ના YAML વર્ણન માટે Kubernetes ને ક્વેરી કરી શકો છો:

kubectl get pvc rbd-pvc -o yaml

અહીં સમસ્યા છે:

સંદેશ: નોડ પરના વોલ્યુમનું પુન:સાઇઝ ફાઇલ સિસ્ટમ સમાપ્ત કરવા માટે વપરાશકર્તા પોડ (ફરીથી) શરૂ કરે તેની રાહ જુએ છે. પ્રકાર: FileSystemResizePending

એટલે કે, ડિસ્ક વધી છે, પરંતુ તેના પરની ફાઇલ સિસ્ટમ નથી.
ફાઇલ સિસ્ટમને વધારવા માટે, તમારે વોલ્યુમ માઉન્ટ કરવાની જરૂર છે. આપણા દેશમાં, બનાવેલ PVC/PV હાલમાં કોઈપણ રીતે ઉપયોગમાં લેવાતું નથી.

અમે ટેસ્ટ પોડ બનાવી શકીએ છીએ, ઉદાહરણ તરીકે આના જેવા:

---
apiVersion: v1
kind: Pod
metadata:
  name: csi-rbd-demo-pod
spec:
  containers:
    - name: web-server
      image: nginx:1.17.6
      volumeMounts:
        - name: mypvc
          mountPath: /data
  volumes:
    - name: mypvc
      persistentVolumeClaim:
        claimName: rbd-pvc
        readOnly: false

અને હવે ચાલો પીવીસી જોઈએ:

kubectl get pvc

કદ બદલાઈ ગયું છે, બધું સારું છે.

પ્રથમ ભાગમાં, અમે RBD બ્લોક ઉપકરણ સાથે કામ કર્યું હતું (તે Rados બ્લોક ઉપકરણ માટે વપરાય છે), પરંતુ જો વિવિધ માઇક્રોસર્વિસિસને આ ડિસ્ક સાથે એકસાથે કામ કરવાની જરૂર હોય તો આ કરી શકાતું નથી. ડિસ્ક ઈમેજીસને બદલે ફાઈલો સાથે કામ કરવા માટે CephFS વધુ યોગ્ય છે.
Ceph અને Kubernetes ક્લસ્ટરોના ઉદાહરણનો ઉપયોગ કરીને, અમે CephFS સાથે કામ કરવા માટે CSI અને અન્ય જરૂરી સંસ્થાઓને ગોઠવીશું.

ચાલો આપણે જોઈતા નવા હેલ્મ ચાર્ટમાંથી મૂલ્યો મેળવીએ:

helm inspect values ceph-csi/ceph-csi-cephfs > cephfs.yml

ફરીથી તમારે cephfs.yml ફાઇલ ભરવાની જરૂર છે. પહેલાની જેમ, Ceph આદેશો મદદ કરશે:

ceph fsid
ceph mon dump

આના જેવા મૂલ્યો સાથે ફાઇલ ભરો:

csiConfig:
  - clusterID: "bcd0d202-fba8-4352-b25d-75c89258d5ab"
    monitors:
      - "172.18.8.5:6789"
      - "172.18.8.6:6789"
      - "172.18.8.7:6789"

nodeplugin:
  httpMetrics:
    enabled: true
    containerPort: 8091
  podSecurityPolicy:
    enabled: true

provisioner:
  replicaCount: 1
  podSecurityPolicy:
    enabled: true

મહેરબાની કરીને નોંધ કરો કે મોનિટર સરનામાં સરળ ફોર્મ સરનામાંમાં ઉલ્લેખિત છે:પોર્ટ. નોડ પર cephfs ને માઉન્ટ કરવા માટે, આ સરનામાં કર્નલ મોડ્યુલને પસાર કરવામાં આવે છે, જે હજુ સુધી v2 મોનિટર પ્રોટોકોલ સાથે કેવી રીતે કામ કરવું તે જાણતું નથી.
અમે httpમેટ્રિક્સ માટે પોર્ટ બદલીએ છીએ (પ્રોમિથિયસ મેટ્રિક્સનું નિરીક્ષણ કરવા માટે ત્યાં જશે) જેથી તે nginx-proxy સાથે વિરોધાભાસ ન કરે, જે Kubespray દ્વારા ઇન્સ્ટોલ કરેલું છે. તમને કદાચ આની જરૂર નથી.

કુબરનેટ્સ ક્લસ્ટરમાં હેલ્મ ચાર્ટ ઇન્સ્ટોલ કરો:

helm upgrade -i ceph-csi-cephfs ceph-csi/ceph-csi-cephfs -f cephfs.yml -n ceph-csi-cephfs --create-namespace

ચાલો Ceph ડેટા સ્ટોર પર જઈએ અને ત્યાં એક અલગ વપરાશકર્તા બનાવીએ. દસ્તાવેજીકરણ જણાવે છે કે CephFS પ્રોવિઝનરને ક્લસ્ટર એડમિનિસ્ટ્રેટર ઍક્સેસ અધિકારોની જરૂર છે. પરંતુ અમે એક અલગ વપરાશકર્તા બનાવીશું fs મર્યાદિત અધિકારો સાથે:

ceph auth get-or-create client.fs mon 'allow r' mgr 'allow rw' mds 'allow rws' osd 'allow rw pool=cephfs_data, allow rw pool=cephfs_metadata'

અને ચાલો તરત જ તેની એક્સેસ કી જોઈએ, અમને પછીથી તેની જરૂર પડશે:

ceph auth get-key client.fs

ચાલો અલગ સિક્રેટ અને સ્ટોરેજ ક્લાસ બનાવીએ.
કંઈ નવું નથી, અમે આરબીડીના ઉદાહરણમાં આ જોઈ ચૂક્યા છીએ:

---
apiVersion: v1
kind: Secret
metadata:
  name: csi-cephfs-secret
  namespace: ceph-csi-cephfs
stringData:
  # Необходимо для динамически создаваемых томов
  adminID: fs
  adminKey: <вывод предыдущей команды>

મેનિફેસ્ટ લાગુ કરવું:

kubectl apply -f secret.yaml

અને હવે - એક અલગ સ્ટોરેજ ક્લાસ:

---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: csi-cephfs-sc
provisioner: cephfs.csi.ceph.com
parameters:
  clusterID: <cluster-id>

  # Имя файловой системы CephFS, в которой будет создан том
  fsName: cephfs

  # (необязательно) Пул Ceph, в котором будут храниться данные тома
  # pool: cephfs_data

  # (необязательно) Разделенные запятыми опции монтирования для Ceph-fuse
  # например:
  # fuseMountOptions: debug

  # (необязательно) Разделенные запятыми опции монтирования CephFS для ядра
  # См. man mount.ceph чтобы узнать список этих опций. Например:
  # kernelMountOptions: readdir_max_bytes=1048576,norbytes

  # Секреты должны содержать доступы для админа и/или юзера Ceph.
  csi.storage.k8s.io/provisioner-secret-name: csi-cephfs-secret
  csi.storage.k8s.io/provisioner-secret-namespace: ceph-csi-cephfs
  csi.storage.k8s.io/controller-expand-secret-name: csi-cephfs-secret
  csi.storage.k8s.io/controller-expand-secret-namespace: ceph-csi-cephfs
  csi.storage.k8s.io/node-stage-secret-name: csi-cephfs-secret
  csi.storage.k8s.io/node-stage-secret-namespace: ceph-csi-cephfs

  # (необязательно) Драйвер может использовать либо ceph-fuse (fuse), 
  # либо ceph kernelclient (kernel).
  # Если не указано, будет использоваться монтирование томов по умолчанию,
  # это определяется поиском ceph-fuse и mount.ceph
  # mounter: kernel
reclaimPolicy: Delete
allowVolumeExpansion: true
mountOptions:
  - debug

ચાલો તેને અહીં ભરીએ ક્લસ્ટરઆઈડી અને કુબરનેટ્સમાં લાગુ:

kubectl apply -f storageclass.yaml

નિરીક્ષણ

તપાસવા માટે, અગાઉના ઉદાહરણની જેમ, ચાલો પીવીસી બનાવીએ:

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: csi-cephfs-pvc
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 5Gi
  storageClassName: csi-cephfs-sc

અને PVC/PV ની હાજરી તપાસો:

kubectl get pvc
kubectl get pv

જો તમે CephFS માં ફાઇલો અને ડિરેક્ટરીઓ જોવા માંગતા હો, તો તમે આ ફાઇલ સિસ્ટમને ક્યાંક માઉન્ટ કરી શકો છો. ઉદાહરણ તરીકે નીચે બતાવ્યા પ્રમાણે.

ચાલો Ceph ક્લસ્ટર નોડ્સમાંથી એક પર જઈએ અને નીચેની ક્રિયાઓ કરીએ:

# Точка монтирования
mkdir -p /mnt/cephfs

# Создаём файл с ключом администратора
ceph auth get-key client.admin >/etc/ceph/secret.key

# Добавляем запись в /etc/fstab
# !! Изменяем ip адрес на адрес нашего узла
echo "172.18.8.6:6789:/ /mnt/cephfs ceph name=admin,secretfile=/etc/ceph/secret.key,noatime,_netdev    0       2" >> /etc/fstab

mount /mnt/cephfs

અલબત્ત, આના જેવા Ceph નોડ પર FS માઉન્ટ કરવાનું માત્ર તાલીમના હેતુઓ માટે જ યોગ્ય છે, જે અમે અમારા સ્લર્મ અભ્યાસક્રમો. મને નથી લાગતું કે ઉત્પાદનમાં કોઈ આ કરશે; આકસ્મિક રીતે મહત્વપૂર્ણ ફાઇલોને ભૂંસી નાખવાનું ઉચ્ચ જોખમ છે.

અને છેલ્લે, ચાલો તપાસીએ કે CephFS ના કિસ્સામાં વોલ્યુમ માપ બદલવાની સાથે વસ્તુઓ કેવી રીતે કાર્ય કરે છે. ચાલો Kubernetes પર પાછા જઈએ અને PVC માટે અમારા મેનિફેસ્ટને સંપાદિત કરીએ - ત્યાં કદ વધારવું, ઉદાહરણ તરીકે, 7Gi.

ચાલો સંપાદિત ફાઇલ લાગુ કરીએ:

kubectl apply -f pvc.yaml

ક્વોટા કેવી રીતે બદલાયો છે તે જોવા માટે ચાલો માઉન્ટ થયેલ ડિરેક્ટરી જોઈએ:

getfattr -n ceph.quota.max_bytes <каталог-с-данными>

આ આદેશ કામ કરવા માટે, તમારે તમારી સિસ્ટમ પર પેકેજ ઇન્સ્ટોલ કરવાની જરૂર પડી શકે છે attr.

આંખો ભયભીત છે, પરંતુ હાથ કરે છે

આ તમામ સ્પેલ્સ અને લાંબા YAML મેનિફેસ્ટ સપાટી પર જટિલ લાગે છે, પરંતુ વ્યવહારમાં, સ્લર્મના વિદ્યાર્થીઓ ખૂબ જ ઝડપથી તેને પકડી લે છે.
આ લેખમાં આપણે જંગલમાં ઊંડે સુધી નથી ગયા - તેના માટે સત્તાવાર દસ્તાવેજો છે. જો તમને કુબરનેટ્સ ક્લસ્ટર સાથે Ceph સ્ટોરેજ સેટ કરવાની વિગતોમાં રસ હોય, તો આ લિંક્સ મદદ કરશે:

વોલ્યુમ સાથે કામ કરતા કુબરનેટ્સના સામાન્ય સિદ્ધાંતો
આરબીડી દસ્તાવેજીકરણ
Ceph દ્રષ્ટિકોણથી RBD અને Kubernetes ને એકીકૃત કરવું
CSI દ્રષ્ટિકોણથી RBD અને કુબરનેટ્સને એકીકૃત કરવું
સામાન્ય CephFS દસ્તાવેજીકરણ
CSI દ્રષ્ટિકોણથી CephFS અને Kubernetes ને એકીકૃત કરવું

સ્લર્મ કોર્સ પર કુબરનેટ્સ બેઝ તમે થોડે આગળ જઈને કુબરનેટ્સમાં એક વાસ્તવિક એપ્લિકેશન જમાવી શકો છો જે CephFS નો ઉપયોગ ફાઇલ સ્ટોરેજ તરીકે કરશે. GET/POST વિનંતીઓ દ્વારા તમે ફાઇલોને Ceph પર ટ્રાન્સફર કરી શકશો અને તેમને પ્રાપ્ત કરી શકશો.

અને જો તમને ડેટા સ્ટોરેજમાં વધુ રસ હોય, તો સાઇન અપ કરો Ceph પર નવો અભ્યાસક્રમ. જ્યારે બીટા ટેસ્ટ ચાલુ છે, ત્યારે કોર્સ ડિસ્કાઉન્ટ પર મેળવી શકાય છે અને તમે તેની સામગ્રીને પ્રભાવિત કરી શકો છો.

લેખના લેખક: એલેક્ઝાન્ડર શ્વાલોવ, પ્રેક્ટિસ એન્જિનિયર સાઉથબ્રીજ, પ્રમાણિત કુબરનેટ્સ એડમિનિસ્ટ્રેટર, સ્લર્મ અભ્યાસક્રમોના લેખક અને વિકાસકર્તા.

સોર્સ: www.habr.com