דוגמה מעשית לחיבור אחסון מבוסס Ceph לאשכול Kubernetes

Container Storage Interface (CSI) הוא ממשק מאוחד בין Kubernetes ומערכות אחסון. כבר דיברנו על זה בקצרה סיפר, והיום נסקור מקרוב את השילוב של CSI ו-Ceph: נראה כיצד לחבר אחסון Ceph לאשכול Kubernetes.
המאמר מספק דוגמאות אמיתיות, אם כי מעט מפושטות כדי להקל על התפיסה. איננו שוקלים התקנה והגדרה של אשכולות Ceph ו-Kubernetes.

אתה תוהה איך זה עובד?

אז, יש לך אשכול Kubernetes בהישג ידך, פרוס, למשל, קובספריי. יש אשכול Ceph שעובד בקרבת מקום - אתה יכול גם להתקין אותו, למשל, עם זה סט של ספרי משחק. אני מקווה שאין צורך להזכיר שלצורך ייצור ביניהם חייבת להיות רשת ברוחב פס של לפחות 10 Gbit/s.

אם יש לך את כל זה, בוא נלך!

ראשית, נלך לאחד מצמתי אשכול Ceph ונבדוק שהכל תקין:

ceph health
ceph -s

לאחר מכן, מיד ניצור מאגר עבור דיסקי RBD:

ceph osd pool create kube 32
ceph osd pool application enable kube rbd

בואו נעבור לאשכול Kubernetes. שם, קודם כל, נתקין את מנהל ההתקן של Ceph CSI עבור RBD. נתקין, כצפוי, דרך Helm.
אנו מוסיפים מאגר עם תרשים, נקבל קבוצה של משתנים לתרשים ceph-csi-rbd:

helm repo add ceph-csi https://ceph.github.io/csi-charts
helm inspect values ceph-csi/ceph-csi-rbd > cephrbd.yml

כעת עליך למלא את הקובץ cephrbd.yml. כדי לעשות זאת, גלה את מזהה האשכול וכתובות ה-IP של צגים ב-Ceph:

ceph fsid  # так мы узнаем clusterID
ceph mon dump  # а так увидим IP-адреса мониторов

אנו מכניסים את הערכים שהושגו לקובץ cephrbd.yml. במקביל, אנו מאפשרים יצירת מדיניות PSP (Pod Security Policies). אפשרויות בסעיפים nodeplugin и מספק כבר בקובץ, ניתן לתקן אותם כפי שמוצג להלן:

csiConfig:
  - clusterID: "bcd0d202-fba8-4352-b25d-75c89258d5ab"
    monitors:
      - "v2:172.18.8.5:3300/0,v1:172.18.8.5:6789/0"
      - "v2:172.18.8.6:3300/0,v1:172.18.8.6:6789/0"
      - "v2:172.18.8.7:3300/0,v1:172.18.8.7:6789/0"

nodeplugin:
  podSecurityPolicy:
    enabled: true

provisioner:
  podSecurityPolicy:
    enabled: true

לאחר מכן, כל מה שנותר לנו הוא להתקין את התרשים באשכול Kubernetes.

helm upgrade -i ceph-csi-rbd ceph-csi/ceph-csi-rbd -f cephrbd.yml -n ceph-csi-rbd --create-namespace

נהדר, מנהל התקן RBD עובד!
בואו ניצור StorageClass חדש ב-Kubernetes. זה שוב דורש קצת התעסקות עם Ceph.

אנחנו יוצרים משתמש חדש ב-Ceph ונותנים לו זכויות כתיבה לבריכה קוב:

ceph auth get-or-create client.rbdkube mon 'profile rbd' osd 'profile rbd pool=kube'

עכשיו בואו נראה שמפתח הגישה עדיין שם:

ceph auth get-key client.rbdkube

הפקודה תוציא משהו כזה:

AQCO9NJbhYipKRAAMqZsnqqS/T8OYQX20xIa9A==

בואו נוסיף את הערך הזה ל-Secret באשכול Kubernetes - איפה שאנחנו צריכים אותו UserKey:

---
apiVersion: v1
kind: Secret
metadata:
  name: csi-rbd-secret
  namespace: ceph-csi-rbd
stringData:
  # Значения ключей соответствуют имени пользователя и его ключу, как указано в
  # кластере Ceph. ID юзера должен иметь доступ к пулу,
  # указанному в storage class
  userID: rbdkube
  userKey: <user-key>

ואנחנו יוצרים את הסוד שלנו:

kubectl apply -f secret.yaml

לאחר מכן, אנחנו צריכים מניפסט StorageClass משהו כזה:

---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
   name: csi-rbd-sc
provisioner: rbd.csi.ceph.com
parameters:
   clusterID: <cluster-id>
   pool: kube

   imageFeatures: layering

   # Эти секреты должны содержать данные для авторизации
   # в ваш пул.
   csi.storage.k8s.io/provisioner-secret-name: csi-rbd-secret
   csi.storage.k8s.io/provisioner-secret-namespace: ceph-csi-rbd
   csi.storage.k8s.io/controller-expand-secret-name: csi-rbd-secret
   csi.storage.k8s.io/controller-expand-secret-namespace: ceph-csi-rbd
   csi.storage.k8s.io/node-stage-secret-name: csi-rbd-secret
   csi.storage.k8s.io/node-stage-secret-namespace: ceph-csi-rbd

   csi.storage.k8s.io/fstype: ext4

reclaimPolicy: Delete
allowVolumeExpansion: true
mountOptions:
  - discard

צריך למלא מזהה אשכול, שכבר למדנו על ידי הצוות ceph fsid, והחל את המניפסט הזה על אשכול Kubernetes:

kubectl apply -f storageclass.yaml

כדי לבדוק איך האשכולות עובדים יחד, בואו ניצור את ה-PVC הבא (תביעת נפח מתמשך):

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: rbd-pvc
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
  storageClassName: csi-rbd-sc

בואו נראה מיד איך Kubernetes יצר את הכרך המבוקש ב-Ceph:

kubectl get pvc
kubectl get pv

הכל נראה נהדר! איך זה נראה בצד ה-Cep?
אנו מקבלים רשימה של כרכים בבריכה וצופים במידע על הנפח שלנו:

rbd ls -p kube
rbd -p kube info csi-vol-eb3d257d-8c6c-11ea-bff5-6235e7640653  # тут, конечно же, будет другой ID тома, который выдала предыдущая команда

עכשיו בואו נראה איך שינוי גודל של נפח RBD עובד.
שנה את גודל הנפח במניפסט pvc.yaml ל-2Gi והחל אותו:

kubectl apply -f pvc.yaml

בוא נחכה שהשינויים ייכנסו לתוקף ונסתכל שוב על גודל עוצמת הקול.

rbd -p kube info csi-vol-eb3d257d-8c6c-11ea-bff5-6235e7640653

kubectl get pv
kubectl get pvc

אנו רואים שגודל ה-PVC לא השתנה. כדי לברר מדוע, אתה יכול לשאול Kubernetes עבור תיאור YAML של PVC:

kubectl get pvc rbd-pvc -o yaml

הנה הבעיה:

הודעה: מחכה שהמשתמש יתחיל (מחדש) פוד כדי לסיים את שינוי גודל מערכת הקבצים של אמצעי האחסון בצומת. סוג: FileSystemResizePending

כלומר, הדיסק גדל, אבל מערכת הקבצים בו לא.
כדי להגדיל את מערכת הקבצים, עליך להעלות את עוצמת הקול. בארצנו, ה-PVC/PV שנוצר אינו משמש כיום בשום צורה.

אנו יכולים ליצור Pod בדיקה, למשל כך:

---
apiVersion: v1
kind: Pod
metadata:
  name: csi-rbd-demo-pod
spec:
  containers:
    - name: web-server
      image: nginx:1.17.6
      volumeMounts:
        - name: mypvc
          mountPath: /data
  volumes:
    - name: mypvc
      persistentVolumeClaim:
        claimName: rbd-pvc
        readOnly: false

ועכשיו בואו נסתכל על PVC:

kubectl get pvc

הגודל השתנה, הכל בסדר.

בחלק הראשון, עבדנו עם התקן RBD block (זה מייצג Rados Block Device), אך לא ניתן לעשות זאת אם מיקרו-שירותים שונים צריכים לעבוד עם הדיסק הזה בו זמנית. CephFS מתאים הרבה יותר לעבודה עם קבצים ולא עם תמונות דיסק.
באמצעות הדוגמה של אשכולות Ceph ו-Kubernetes, נגדיר את התצורה של CSI וישויות נחוצות אחרות לעבודה עם CephFS.

בואו נקבל את הערכים מתרשים Helm החדש שאנחנו צריכים:

helm inspect values ceph-csi/ceph-csi-cephfs > cephfs.yml

שוב אתה צריך למלא את הקובץ cephfs.yml. כמו קודם, פקודות Ceph יעזרו:

ceph fsid
ceph mon dump

מלא את הקובץ בערכים כמו זה:

csiConfig:
  - clusterID: "bcd0d202-fba8-4352-b25d-75c89258d5ab"
    monitors:
      - "172.18.8.5:6789"
      - "172.18.8.6:6789"
      - "172.18.8.7:6789"

nodeplugin:
  httpMetrics:
    enabled: true
    containerPort: 8091
  podSecurityPolicy:
    enabled: true

provisioner:
  replicaCount: 1
  podSecurityPolicy:
    enabled: true

שים לב שכתובות הצג מצוינות בטופס הפשוט כתובת:פורט. כדי להעלות cephfs על צומת, הכתובות הללו מועברות למודול הקרנל, שעדיין לא יודע איך לעבוד עם פרוטוקול המוניטור v2.
אנו משנים את היציאה עבור httpMetrics (Prometheus יגיע לשם לניטור מדדים) כך שהיא לא תתנגש עם nginx-proxy, שמותקן על ידי Kubespray. ייתכן שלא תזדקק לזה.

התקן את תרשים ההגה באשכול Kubernetes:

helm upgrade -i ceph-csi-cephfs ceph-csi/ceph-csi-cephfs -f cephfs.yml -n ceph-csi-cephfs --create-namespace

בוא נלך לחנות הנתונים של Ceph כדי ליצור שם משתמש נפרד. התיעוד מציין שהספק CephFS דורש הרשאות גישה למנהלי אשכולות. אבל ניצור משתמש נפרד fs עם זכויות מוגבלות:

ceph auth get-or-create client.fs mon 'allow r' mgr 'allow rw' mds 'allow rws' osd 'allow rw pool=cephfs_data, allow rw pool=cephfs_metadata'

ובואו נסתכל מיד על מפתח הגישה שלו, נזדקק לו מאוחר יותר:

ceph auth get-key client.fs

בואו ניצור סוד ו- StorageClass נפרדים.
שום דבר חדש, כבר ראינו את זה בדוגמה של RBD:

---
apiVersion: v1
kind: Secret
metadata:
  name: csi-cephfs-secret
  namespace: ceph-csi-cephfs
stringData:
  # Необходимо для динамически создаваемых томов
  adminID: fs
  adminKey: <вывод предыдущей команды>

יישום המניפסט:

kubectl apply -f secret.yaml

ועכשיו - StorageClass נפרד:

---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: csi-cephfs-sc
provisioner: cephfs.csi.ceph.com
parameters:
  clusterID: <cluster-id>

  # Имя файловой системы CephFS, в которой будет создан том
  fsName: cephfs

  # (необязательно) Пул Ceph, в котором будут храниться данные тома
  # pool: cephfs_data

  # (необязательно) Разделенные запятыми опции монтирования для Ceph-fuse
  # например:
  # fuseMountOptions: debug

  # (необязательно) Разделенные запятыми опции монтирования CephFS для ядра
  # См. man mount.ceph чтобы узнать список этих опций. Например:
  # kernelMountOptions: readdir_max_bytes=1048576,norbytes

  # Секреты должны содержать доступы для админа и/или юзера Ceph.
  csi.storage.k8s.io/provisioner-secret-name: csi-cephfs-secret
  csi.storage.k8s.io/provisioner-secret-namespace: ceph-csi-cephfs
  csi.storage.k8s.io/controller-expand-secret-name: csi-cephfs-secret
  csi.storage.k8s.io/controller-expand-secret-namespace: ceph-csi-cephfs
  csi.storage.k8s.io/node-stage-secret-name: csi-cephfs-secret
  csi.storage.k8s.io/node-stage-secret-namespace: ceph-csi-cephfs

  # (необязательно) Драйвер может использовать либо ceph-fuse (fuse), 
  # либо ceph kernelclient (kernel).
  # Если не указано, будет использоваться монтирование томов по умолчанию,
  # это определяется поиском ceph-fuse и mount.ceph
  # mounter: kernel
reclaimPolicy: Delete
allowVolumeExpansion: true
mountOptions:
  - debug

בוא נמלא את זה כאן מזהה אשכול וישים ב-Kubernetes:

kubectl apply -f storageclass.yaml

Проверка

כדי לבדוק, כמו בדוגמה הקודמת, בואו ניצור PVC:

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: csi-cephfs-pvc
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 5Gi
  storageClassName: csi-cephfs-sc

ובדוק את הנוכחות של PVC/PV:

kubectl get pvc
kubectl get pv

אם אתה רוצה להסתכל על קבצים וספריות ב-CephFS, אתה יכול לטעון את מערכת הקבצים הזו איפשהו. למשל כפי שמוצג להלן.

בואו נעבור לאחד מצמתי אשכול Ceph ונבצע את הפעולות הבאות:

# Точка монтирования
mkdir -p /mnt/cephfs

# Создаём файл с ключом администратора
ceph auth get-key client.admin >/etc/ceph/secret.key

# Добавляем запись в /etc/fstab
# !! Изменяем ip адрес на адрес нашего узла
echo "172.18.8.6:6789:/ /mnt/cephfs ceph name=admin,secretfile=/etc/ceph/secret.key,noatime,_netdev    0       2" >> /etc/fstab

mount /mnt/cephfs

כמובן, הרכבה של FS על צומת Ceph כזה מתאימה רק למטרות אימון, וזה מה שאנחנו עושים ב- קורסי עילפון. אני לא חושב שמישהו יעשה את זה בהפקה; יש סיכון גבוה למחיקת קבצים חשובים בטעות.

ולבסוף, בואו נבדוק איך דברים עובדים עם שינוי גודל נפחים במקרה של CephFS. נחזור ל-Kubernetes ונערוך את המניפסט שלנו ל-PVC - הגדל את הגודל שם, למשל, ל-7Gi.

הבה נחיל את הקובץ הערוך:

kubectl apply -f pvc.yaml

בואו נסתכל על הספרייה המותקנת כדי לראות כיצד השתנתה המכסה:

getfattr -n ceph.quota.max_bytes <каталог-с-данными>

כדי שהפקודה הזו תעבוד, ייתכן שתצטרך להתקין את החבילה במערכת שלך attr.

העיניים מפחדות, אבל הידיים מסתדרות

כל הלחשים האלה וגילויי YAML הארוכים נראים מסובכים על פני השטח, אבל בפועל, תלמידי Slurm מבינים אותם די מהר.
במאמר זה לא נכנסנו לעומק הג'ונגל - יש תיעוד רשמי לכך. אם אתה מעוניין בפרטים של הגדרת אחסון Ceph עם אשכול Kubernetes, קישורים אלה יעזרו:

עקרונות כלליים של Kubernetes לעבוד עם נפחים
תיעוד RBD
שילוב RBD ו-Kubernetes מנקודת מבט של Ceph
שילוב RBD ו-Kubernetes מנקודת מבט של CSI
תיעוד כללי של CephFS
שילוב CephFS ו-Kubernetes מנקודת מבט של CSI

בקורס Slurm בסיס Kubernetes אתה יכול ללכת קצת יותר רחוק ולפרוס יישום אמיתי ב-Kubernetes שישתמש ב-CephFS כאחסון קבצים. באמצעות בקשות GET/POST תוכל להעביר קבצים ולקבל אותם מ-Ceph.

ואם אתה מתעניין יותר באחסון נתונים, הירשם קורס חדש על Ceph. בזמן שמבחן הבטא נמשך, ניתן לקבל את הקורס בהנחה ולהשפיע על תוכנו.

מחבר המאמר: אלכסנדר שוואלוב, מהנדס בפועל סאות'ברידג ', מנהל Kubernetes מוסמך, מחבר ומפתח קורסי Slurm.

מקור: www.habr.com