কুবারনেটস ক্লাস্টারের সাথে Ceph-ভিত্তিক স্টোরেজকে সংযুক্ত করার একটি বাস্তব উদাহরণ

কন্টেইনার স্টোরেজ ইন্টারফেস (CSI) হল Kubernetes এবং স্টোরেজ সিস্টেমের মধ্যে একটি ইউনিফাইড ইন্টারফেস। আমরা ইতিমধ্যে সংক্ষিপ্তভাবে এটি সম্পর্কে কথা বলেছি বলা, এবং আজ আমরা CSI এবং Ceph এর সংমিশ্রণটি ঘনিষ্ঠভাবে দেখব: আমরা দেখাব কিভাবে Ceph স্টোরেজ সংযোগ করুন কুবারনেটস ক্লাস্টারে।
প্রবন্ধটি বাস্তব উপলব্ধি করে, যদিও উপলব্ধির সহজতার জন্য সামান্য সরলীকৃত উদাহরণ। আমরা Ceph এবং Kubernetes ক্লাস্টার ইনস্টল এবং কনফিগার করার কথা বিবেচনা করি না।

আপনি এটা কিভাবে কাজ করে ভাবছেন?

সুতরাং, আপনার নখদর্পণে একটি কুবারনেটস ক্লাস্টার রয়েছে, স্থাপন করা হয়েছে, উদাহরণস্বরূপ, কুবেস্প্রে. কাছাকাছি একটি Ceph ক্লাস্টার কাজ করছে - আপনি এটি ইনস্টল করতে পারেন, উদাহরণস্বরূপ, এটির সাথে প্লেবুকের একটি সেট. আমি আশা করি যে তাদের মধ্যে উত্পাদনের জন্য কমপক্ষে 10 Gbit/s ব্যান্ডউইথ সহ একটি নেটওয়ার্ক থাকতে হবে তা উল্লেখ করার দরকার নেই।

আপনি যদি এই সব আছে, চলুন!

প্রথমে, আসুন Ceph ক্লাস্টার নোডগুলির একটিতে যান এবং সবকিছু ঠিকঠাক আছে কিনা তা পরীক্ষা করি:

ceph health
ceph -s

পরবর্তী, আমরা অবিলম্বে RBD ডিস্কগুলির জন্য একটি পুল তৈরি করব:

ceph osd pool create kube 32
ceph osd pool application enable kube rbd

এবার কুবারনেটস ক্লাস্টারে যাওয়া যাক। সেখানে, প্রথমত, আমরা RBD এর জন্য Ceph CSI ড্রাইভার ইনস্টল করব। আমরা হেলমের মাধ্যমে প্রত্যাশিতভাবে ইনস্টল করব।
আমরা একটি চার্টের সাথে একটি সংগ্রহস্থল যোগ করি, আমরা ceph-csi-rbd চার্টের জন্য ভেরিয়েবলের একটি সেট পাই:

helm repo add ceph-csi https://ceph.github.io/csi-charts
helm inspect values ceph-csi/ceph-csi-rbd > cephrbd.yml

এখন আপনাকে cephrbd.yml ফাইলটি পূরণ করতে হবে। এটি করার জন্য, Ceph এ মনিটরগুলির ক্লাস্টার আইডি এবং আইপি ঠিকানাগুলি সন্ধান করুন:

ceph fsid  # так мы узнаем clusterID
ceph mon dump  # а так увидим IP-адреса мониторов

আমরা cephrbd.yml ফাইলে প্রাপ্ত মানগুলি প্রবেশ করি। একই সময়ে, আমরা পিএসপি নীতিগুলি (পড নিরাপত্তা নীতি) তৈরি করতে সক্ষম করি। বিভাগে বিকল্প নোডপ্লাগইন и বিধানকারী ইতিমধ্যেই ফাইলে রয়েছে, সেগুলি নীচে দেখানো হিসাবে সংশোধন করা যেতে পারে:

csiConfig:
  - clusterID: "bcd0d202-fba8-4352-b25d-75c89258d5ab"
    monitors:
      - "v2:172.18.8.5:3300/0,v1:172.18.8.5:6789/0"
      - "v2:172.18.8.6:3300/0,v1:172.18.8.6:6789/0"
      - "v2:172.18.8.7:3300/0,v1:172.18.8.7:6789/0"

nodeplugin:
  podSecurityPolicy:
    enabled: true

provisioner:
  podSecurityPolicy:
    enabled: true

এরপরে, আমাদের জন্য যা অবশিষ্ট থাকে তা হল Kubernetes ক্লাস্টারে চার্টটি ইনস্টল করা।

helm upgrade -i ceph-csi-rbd ceph-csi/ceph-csi-rbd -f cephrbd.yml -n ceph-csi-rbd --create-namespace

দুর্দান্ত, আরবিডি ড্রাইভার কাজ করে!
কুবারনেটসে একটি নতুন স্টোরেজক্লাস তৈরি করা যাক। এটি আবার Ceph সঙ্গে tinkering একটি বিট প্রয়োজন.

আমরা Ceph-এ একজন নতুন ব্যবহারকারী তৈরি করি এবং তাকে পুলে লেখার অধিকার দিই কুবে:

ceph auth get-or-create client.rbdkube mon 'profile rbd' osd 'profile rbd pool=kube'

এখন দেখা যাক অ্যাক্সেস কী এখনও আছে:

ceph auth get-key client.rbdkube

কমান্ডটি এরকম কিছু আউটপুট করবে:

AQCO9NJbhYipKRAAMqZsnqqS/T8OYQX20xIa9A==

কুবারনেটস ক্লাস্টারে সিক্রেট-এ এই মানটি যোগ করা যাক - যেখানে আমাদের এটি প্রয়োজন ব্যবহারকারীর চাবি:

---
apiVersion: v1
kind: Secret
metadata:
  name: csi-rbd-secret
  namespace: ceph-csi-rbd
stringData:
  # Значения ключей соответствуют имени пользователя и его ключу, как указано в
  # кластере Ceph. ID юзера должен иметь доступ к пулу,
  # указанному в storage class
  userID: rbdkube
  userKey: <user-key>

এবং আমরা আমাদের গোপন তৈরি করি:

kubectl apply -f secret.yaml

এর পরে, আমাদের এইরকম একটি স্টোরেজক্লাস ম্যানিফেস্ট দরকার:

---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
   name: csi-rbd-sc
provisioner: rbd.csi.ceph.com
parameters:
   clusterID: <cluster-id>
   pool: kube

   imageFeatures: layering

   # Эти секреты должны содержать данные для авторизации
   # в ваш пул.
   csi.storage.k8s.io/provisioner-secret-name: csi-rbd-secret
   csi.storage.k8s.io/provisioner-secret-namespace: ceph-csi-rbd
   csi.storage.k8s.io/controller-expand-secret-name: csi-rbd-secret
   csi.storage.k8s.io/controller-expand-secret-namespace: ceph-csi-rbd
   csi.storage.k8s.io/node-stage-secret-name: csi-rbd-secret
   csi.storage.k8s.io/node-stage-secret-namespace: ceph-csi-rbd

   csi.storage.k8s.io/fstype: ext4

reclaimPolicy: Delete
allowVolumeExpansion: true
mountOptions:
  - discard

পূরণ করা প্রয়োজন ক্লাস্টারআইডি, যা আমরা ইতিমধ্যে দল দ্বারা শিখেছি ceph fsid, এবং Kubernetes ক্লাস্টারে এই ম্যানিফেস্টটি প্রয়োগ করুন:

kubectl apply -f storageclass.yaml

ক্লাস্টারগুলি একসাথে কীভাবে কাজ করে তা পরীক্ষা করতে, আসুন নিম্নলিখিত PVC (পারসিস্টেন্ট ভলিউম দাবি) তৈরি করি:

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: rbd-pvc
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
  storageClassName: csi-rbd-sc

আসুন অবিলম্বে দেখুন কিভাবে কুবারনেটস Ceph এ অনুরোধ করা ভলিউম তৈরি করেছে:

kubectl get pvc
kubectl get pv

সবকিছু দুর্দান্ত বলে মনে হচ্ছে! এই Ceph দিকে মত দেখায় কি?
আমরা পুলে ভলিউমের একটি তালিকা পাই এবং আমাদের ভলিউম সম্পর্কে তথ্য দেখি:

rbd ls -p kube
rbd -p kube info csi-vol-eb3d257d-8c6c-11ea-bff5-6235e7640653  # тут, конечно же, будет другой ID тома, который выдала предыдущая команда

এখন দেখা যাক কিভাবে RBD ভলিউম রিসাইজ করা কাজ করে।
pvc.yaml ম্যানিফেস্টে ভলিউমের আকার 2Gi এ পরিবর্তন করুন এবং এটি প্রয়োগ করুন:

kubectl apply -f pvc.yaml

আসুন পরিবর্তনগুলি কার্যকর হওয়ার জন্য অপেক্ষা করি এবং আবার ভলিউম আকারটি দেখুন।

rbd -p kube info csi-vol-eb3d257d-8c6c-11ea-bff5-6235e7640653

kubectl get pv
kubectl get pvc

আমরা দেখতে পাই যে পিভিসির আকার পরিবর্তন হয়নি। কেন তা খুঁজে বের করতে, আপনি PVC-এর YAML বিবরণের জন্য Kubernetes-কে জিজ্ঞাসা করতে পারেন:

kubectl get pvc rbd-pvc -o yaml

এখানে সমস্যা:

বার্তা: ব্যবহারকারীর জন্য অপেক্ষা করা হচ্ছে (পুনরায়) একটি পড শুরু করার জন্য ফাইল সিস্টেম নোডের ভলিউমের রিসাইজ শেষ করতে। প্রকার: FileSystemResizePending

অর্থাৎ, ডিস্ক বেড়েছে, কিন্তু ফাইল সিস্টেমে তা হয়নি।
ফাইল সিস্টেম বাড়াতে, আপনাকে ভলিউম মাউন্ট করতে হবে। আমাদের দেশে, তৈরি করা PVC/PV বর্তমানে কোনোভাবেই ব্যবহার করা হয় না।

আমরা একটি পরীক্ষা পড তৈরি করতে পারি, উদাহরণস্বরূপ:

---
apiVersion: v1
kind: Pod
metadata:
  name: csi-rbd-demo-pod
spec:
  containers:
    - name: web-server
      image: nginx:1.17.6
      volumeMounts:
        - name: mypvc
          mountPath: /data
  volumes:
    - name: mypvc
      persistentVolumeClaim:
        claimName: rbd-pvc
        readOnly: false

এবং এখন পিভিসি তাকান:

kubectl get pvc

আকার পরিবর্তন হয়েছে, সবকিছু ঠিক আছে।

প্রথম অংশে, আমরা RBD ব্লক ডিভাইসের সাথে কাজ করেছি (এটির অর্থ হল Rados ব্লক ডিভাইস), কিন্তু যদি বিভিন্ন মাইক্রোসার্ভিসে একই সাথে এই ডিস্কের সাথে কাজ করার প্রয়োজন হয় তবে এটি করা যাবে না। ডিস্ক ইমেজের চেয়ে ফাইলের সাথে কাজ করার জন্য CephFS অনেক বেশি উপযুক্ত।
Ceph এবং Kubernetes ক্লাস্টারের উদাহরণ ব্যবহার করে, আমরা CephFS-এর সাথে কাজ করার জন্য CSI এবং অন্যান্য প্রয়োজনীয় সত্তা কনফিগার করব।

আসুন আমাদের প্রয়োজনীয় নতুন হেলম চার্ট থেকে মানগুলি পান:

helm inspect values ceph-csi/ceph-csi-cephfs > cephfs.yml

আবার আপনাকে cephfs.yml ফাইলটি পূরণ করতে হবে। আগের মত, Ceph কমান্ড সাহায্য করবে:

ceph fsid
ceph mon dump

এই মত মান দিয়ে ফাইলটি পূরণ করুন:

csiConfig:
  - clusterID: "bcd0d202-fba8-4352-b25d-75c89258d5ab"
    monitors:
      - "172.18.8.5:6789"
      - "172.18.8.6:6789"
      - "172.18.8.7:6789"

nodeplugin:
  httpMetrics:
    enabled: true
    containerPort: 8091
  podSecurityPolicy:
    enabled: true

provisioner:
  replicaCount: 1
  podSecurityPolicy:
    enabled: true

অনুগ্রহ করে মনে রাখবেন যে মনিটরের ঠিকানাগুলি সরল ফর্ম ঠিকানা:পোর্টে নির্দিষ্ট করা হয়েছে। একটি নোডে cephfs মাউন্ট করার জন্য, এই ঠিকানাগুলি কার্নেল মডিউলে স্থানান্তরিত হয়, যা এখনও v2 মনিটর প্রোটোকলের সাথে কীভাবে কাজ করতে হয় তা জানে না।
আমরা httpMetrics এর জন্য পোর্ট পরিবর্তন করি (প্রমিথিউস সেখানে মেট্রিক্স পর্যবেক্ষণের জন্য যাবে) যাতে এটি nginx-proxy-এর সাথে বিরোধ না করে, যা Kubespray দ্বারা ইনস্টল করা হয়েছে। আপনি এই প্রয়োজন নাও হতে পারে.

কুবারনেটস ক্লাস্টারে হেলম চার্ট ইনস্টল করুন:

helm upgrade -i ceph-csi-cephfs ceph-csi/ceph-csi-cephfs -f cephfs.yml -n ceph-csi-cephfs --create-namespace

সেখানে একটি পৃথক ব্যবহারকারী তৈরি করতে Ceph ডেটা স্টোরে যাই। ডকুমেন্টেশনে বলা হয়েছে যে CephFS প্রোভিজারের ক্লাস্টার অ্যাডমিনিস্ট্রেটর অ্যাক্সেসের অধিকার প্রয়োজন। তবে আমরা একটি পৃথক ব্যবহারকারী তৈরি করব fs সীমিত অধিকার সহ:

ceph auth get-or-create client.fs mon 'allow r' mgr 'allow rw' mds 'allow rws' osd 'allow rw pool=cephfs_data, allow rw pool=cephfs_metadata'

এবং আসুন অবিলম্বে তার অ্যাক্সেস কীটি দেখি, আমাদের এটি পরে প্রয়োজন হবে:

ceph auth get-key client.fs

আসুন আলাদা সিক্রেট এবং স্টোরেজক্লাস তৈরি করি।
নতুন কিছু নয়, আমরা ইতিমধ্যে RBD এর উদাহরণে এটি দেখেছি:

---
apiVersion: v1
kind: Secret
metadata:
  name: csi-cephfs-secret
  namespace: ceph-csi-cephfs
stringData:
  # Необходимо для динамически создаваемых томов
  adminID: fs
  adminKey: <вывод предыдущей команды>

ম্যানিফেস্ট প্রয়োগ করা:

kubectl apply -f secret.yaml

এবং এখন - একটি পৃথক স্টোরেজক্লাস:

---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: csi-cephfs-sc
provisioner: cephfs.csi.ceph.com
parameters:
  clusterID: <cluster-id>

  # Имя файловой системы CephFS, в которой будет создан том
  fsName: cephfs

  # (необязательно) Пул Ceph, в котором будут храниться данные тома
  # pool: cephfs_data

  # (необязательно) Разделенные запятыми опции монтирования для Ceph-fuse
  # например:
  # fuseMountOptions: debug

  # (необязательно) Разделенные запятыми опции монтирования CephFS для ядра
  # См. man mount.ceph чтобы узнать список этих опций. Например:
  # kernelMountOptions: readdir_max_bytes=1048576,norbytes

  # Секреты должны содержать доступы для админа и/или юзера Ceph.
  csi.storage.k8s.io/provisioner-secret-name: csi-cephfs-secret
  csi.storage.k8s.io/provisioner-secret-namespace: ceph-csi-cephfs
  csi.storage.k8s.io/controller-expand-secret-name: csi-cephfs-secret
  csi.storage.k8s.io/controller-expand-secret-namespace: ceph-csi-cephfs
  csi.storage.k8s.io/node-stage-secret-name: csi-cephfs-secret
  csi.storage.k8s.io/node-stage-secret-namespace: ceph-csi-cephfs

  # (необязательно) Драйвер может использовать либо ceph-fuse (fuse), 
  # либо ceph kernelclient (kernel).
  # Если не указано, будет использоваться монтирование томов по умолчанию,
  # это определяется поиском ceph-fuse и mount.ceph
  # mounter: kernel
reclaimPolicy: Delete
allowVolumeExpansion: true
mountOptions:
  - debug

এর এখানে এটি পূরণ করা যাক ক্লাস্টারআইডি এবং Kubernetes এ প্রযোজ্য:

kubectl apply -f storageclass.yaml

পরিদর্শন

চেক করতে, আগের উদাহরণের মতো, আসুন একটি পিভিসি তৈরি করি:

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: csi-cephfs-pvc
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 5Gi
  storageClassName: csi-cephfs-sc

এবং PVC/PV এর উপস্থিতি পরীক্ষা করুন:

kubectl get pvc
kubectl get pv

আপনি যদি CephFS-এ ফাইল এবং ডিরেক্টরি দেখতে চান, আপনি এই ফাইল সিস্টেমটি কোথাও মাউন্ট করতে পারেন। উদাহরণস্বরূপ নীচে দেখানো হিসাবে.

আসুন Ceph ক্লাস্টার নোডগুলির একটিতে যাই এবং নিম্নলিখিত ক্রিয়াগুলি সম্পাদন করি:

# Точка монтирования
mkdir -p /mnt/cephfs

# Создаём файл с ключом администратора
ceph auth get-key client.admin >/etc/ceph/secret.key

# Добавляем запись в /etc/fstab
# !! Изменяем ip адрес на адрес нашего узла
echo "172.18.8.6:6789:/ /mnt/cephfs ceph name=admin,secretfile=/etc/ceph/secret.key,noatime,_netdev    0       2" >> /etc/fstab

mount /mnt/cephfs

অবশ্যই, এইভাবে একটি Ceph নোডে FS মাউন্ট করা শুধুমাত্র প্রশিক্ষণের উদ্দেশ্যে উপযুক্ত, যা আমরা আমাদের স্লার্ম কোর্স. আমি মনে করি না যে কেউ এটি উত্পাদনে করবে; দুর্ঘটনাক্রমে গুরুত্বপূর্ণ ফাইলগুলি মুছে ফেলার উচ্চ ঝুঁকি রয়েছে।

এবং পরিশেষে, CephFS-এর ক্ষেত্রে ভলিউম রিসাইজ করার সাথে জিনিসগুলি কীভাবে কাজ করে তা পরীক্ষা করা যাক। আসুন Kubernetes-এ ফিরে যাই এবং PVC-এর জন্য আমাদের ম্যানিফেস্ট সম্পাদনা করি - সেখানে আকার বাড়ান, উদাহরণস্বরূপ, 7Gi-তে।

সম্পাদিত ফাইল প্রয়োগ করা যাক:

kubectl apply -f pvc.yaml

কোটা কিভাবে পরিবর্তিত হয়েছে তা দেখতে মাউন্ট করা ডিরেক্টরিটি দেখুন:

getfattr -n ceph.quota.max_bytes <каталог-с-данными>

এই কমান্ডটি কাজ করার জন্য, আপনাকে আপনার সিস্টেমে প্যাকেজটি ইনস্টল করতে হতে পারে attr.

চোখ ভয় পাচ্ছে, কিন্তু হাত করছে

এই সমস্ত বানান এবং দীর্ঘ YAML ম্যানিফেস্টগুলি পৃষ্ঠে জটিল বলে মনে হয়, কিন্তু বাস্তবে, স্লার্ম ছাত্ররা খুব দ্রুত সেগুলিকে আটকে ফেলে।
এই নিবন্ধে আমরা জঙ্গলের গভীরে যাইনি - এর জন্য অফিসিয়াল ডকুমেন্টেশন রয়েছে। আপনি যদি কুবারনেটস ক্লাস্টারের সাথে Ceph স্টোরেজ সেট আপ করার বিশদ বিবরণে আগ্রহী হন তবে এই লিঙ্কগুলি সাহায্য করবে:

কুবারনেটের সাধারণ নীতিগুলি ভলিউম নিয়ে কাজ করে
আরবিডি ডকুমেন্টেশন
Ceph দৃষ্টিকোণ থেকে RBD এবং Kubernetes একীভূত করা
CSI দৃষ্টিকোণ থেকে RBD এবং Kubernetes একীভূত করা
সাধারণ CephFS ডকুমেন্টেশন
CSI দৃষ্টিকোণ থেকে CephFS এবং Kubernetes একীভূত করা

স্লার্ম কোর্সে কুবারনেটস বেস আপনি একটু এগিয়ে যেতে পারেন এবং কুবারনেটসে একটি বাস্তব অ্যাপ্লিকেশন স্থাপন করতে পারেন যা ফাইল স্টোরেজ হিসাবে CephFS ব্যবহার করবে। GET/POST অনুরোধের মাধ্যমে আপনি ফাইলগুলিকে স্থানান্তর করতে এবং Ceph থেকে সেগুলি গ্রহণ করতে সক্ষম হবেন৷

এবং আপনি যদি ডেটা স্টোরেজের বিষয়ে বেশি আগ্রহী হন, তাহলে সাইন আপ করুন Ceph উপর নতুন কোর্স. বিটা পরীক্ষা চলাকালীন, কোর্সটি ছাড়ে পাওয়া যেতে পারে এবং আপনি এর বিষয়বস্তুকে প্রভাবিত করতে পারেন।

নিবন্ধের লেখক: আলেকজান্ডার শ্বালভ, প্র্যাকটিস ইঞ্জিনিয়ার সাউথব্রিজ, সার্টিফাইড কুবারনেটস অ্যাডমিনিস্ট্রেটর, স্লার্ম কোর্সের লেখক এবং বিকাশকারী।

উত্স: www.habr.com