CSE: Kubernetes עבור אלה ב-vCloud

שלום לכולם!

כך קרה שהצוות הקטן שלנו, שלא לומר שלאחרונה, ובוודאי לא פתאום, גדל והעביר חלק מהמוצרים (ובעתיד כולם) ל- Kubernetes.

היו לכך סיבות רבות, אבל הסיפור שלנו לא עוסק בהוליבר.

לא הייתה לנו ברירה לגבי בסיס התשתית. vCloud Director ו-vCloud Director. בחרנו בחדש יותר והחלטנו להתחיל.

שוב, בהסתכלות על "הדרך הקשה", הגעתי מהר מאוד למסקנה שנדרש אתמול כלי לאוטומציה של לפחות תהליכים בסיסיים, כמו פריסה וגודל. צלילה עמוקה לגוגל הביאה לידי ביטוי מוצר כמו VMware Container Service Extension (CSE) - מוצר קוד פתוח המאפשר לך להפוך את היצירה והגודל של אשכולות k8s לאוטומטיים עבור אלה שנמצאים ב-vCloud.

כתב ויתור: ל-CSE יש מגבלות, אבל למטרותינו זה היה מושלם. כמו כן, הפתרון חייב להיות נתמך על ידי ספק הענן, אך מכיוון שחלק השרת הוא גם קוד פתוח, בקש מהמנהל הקרוב שלך שיהיה זמין :)

כדי להתחיל להשתמש בו, אתה צריך חשבון מנהל בארגון vCloud ורשת מנותבת שנוצרה בעבר עבור האשכול (במהלך תהליך הפריסה, אתה צריך גישה לאינטרנט מרשת זו, אל תשכח להגדיר חומת אש/NAT). הפנייה לא משנה. בדוגמה זו, ניקח את 10.0.240.0/24

מכיוון שלאחר היצירה, האשכול יצטרך להיות מנוהל איכשהו, מומלץ שיהיה VPN עם ניתוב לרשת שנוצרה. אנו משתמשים ב-SSL VPN סטנדרטי המוגדר ב-Edge Gateway של הארגון שלנו.

לאחר מכן, עליך להתקין את לקוח CSE שבו ינוהלו אשכולות k8s. במקרה שלי, מדובר במחשב נייד עובד וכמה מכולות מוסתרות היטב שמניעות אוטומציה.

הלקוח דורש התקנה של Python גרסה 3.7.3 ומעלה והמודול מותקן vcd-cli, אז בואו נתקין את שניהם.

pip3 install vcd-cli

pip3 install container-service-extension

לאחר ההתקנה, אנו בודקים את גרסת ה-CSE ומקבלים את הדברים הבאים:

# vcd cse version
Error: No such command "cse".

לא צפוי, אבל ניתן לתיקון. כפי שהתברר, CSE צריך להיות מחובר כמודול ל-vcd-cli.
כדי לעשות זאת, תחילה עליך להיכנס ל-vcd-cli לארגון שלנו:

# vcd login MyCloud.provider.com org-dev admin
Password: 
admin logged in, org: 'org-dev', vdc: 'org-dev_vDC01'

לאחר מכן, vcd-cli תיצור קובץ תצורה ~/.vcd-cli/profiles.yaml
בסוף צריך להוסיף את הדברים הבאים:

extensions:
  - container_service_extension.client.cse

ואז נבדוק שוב:

# vcd cse version
CSE, Container Service Extension for VMware vCloud Director, version 2.5.0

שלב התקנת הלקוח הושלם. בואו ננסה לפרוס את האשכול הראשון.
ל-CSE יש כמה קבוצות של פרמטרי שימוש, את כולם ניתן לראות כאן.

ראשית, בואו ניצור מפתחות לגישה ללא סיסמה לאשכול העתידי. נקודה זו חשובה, שכן כברירת מחדל, הכניסה לסיסמא לצמתים תהיה מושבתת, ואם לא תגדיר את המפתחות, אתה יכול לקבל הרבה עבודה דרך קונסולות המכונות הוירטואליות, וזה לא נוח.

# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.

בואו ננסה להתחיל ליצור אשכול:

vcd cse cluster create MyCluster --network k8s_cluster_net --ssh-key ~/.ssh/id_rsa.pub --nodes 3 --enable-nfs

אם נקבל שגיאה שגיאה: פג תוקף ההפעלה או שהמשתמש לא נכנס. אנא התחבר מחדש. - היכנס שוב ל-vcd-cli ל-vCloud כמתואר לעיל ונסה שוב.

הפעם הכל בסדר והמשימה של יצירת אשכול החלה.

cluster operation: Creating cluster vApp 'MyCluster' (38959587-54f4-4a49-8f2e-61c3a3e879e0) from template 'photon-v2_k8-1.12_weave-2.3.0' (revision 1)

זה ייקח בערך 20 דקות כדי להשלים את המשימה; בינתיים, בואו נסתכל על פרמטרי ההשקה הבסיסיים.

—רשת — הרשת שיצרנו קודם לכן.
—ssh-key — המפתחות שיצרנו, שייכתבו לצמתי האשכול
—nodes n — מספר צמתי Worker באשכול. תמיד יהיה מאסטר אחד, זו מגבלה של CSE
—enable-nfs — צור צומת נוסף עבור שיתופי NFS בנפחים קבועים. זו אפשרות קצת דוושה; נחזור לכוון את מה שהיא עושה קצת מאוחר יותר.

בינתיים, ב-vCloud אתה יכול לפקח חזותית על יצירת אשכול


לאחר השלמת המשימה של יצירת אשכול, הוא מוכן לשימוש.

בואו נבדוק את נכונות הפריסה עם הפקודה vcd cse אשכול מידע MyCluster

בשלב הבא עלינו לקבל את תצורת האשכול לשימוש קובקטל

# vcd cse cluster config MyCluster > ./.kube/config

ואתה יכול לבדוק את מצב האשכול באמצעותו:

בשלב זה, האשכול יכול להיחשב כעובד על תנאי, אלמלא הסיפור עם נפחים מתמשכים. מכיוון שאנו ב-vCloud, לא נוכל להשתמש ב-vSphere Provider. אוֹפְּצִיָה --enable-nfs נועד להחליק את המטרד הזה, אבל זה לא הסתדר לגמרי. נדרשת התאמה ידנית.

כדי להתחיל, הצומת שלנו צריך ליצור דיסק עצמאי נפרד ב-vCloud. זה מבטיח שהנתונים שלנו לא ייעלמו יחד עם האשכול אם הם יימחקו. כמו כן, חבר את הדיסק ל-NFS

# vcd disk create nfs-shares-1 100g --description 'Kubernetes NFS shares'
# vcd vapp attach mycluster nfsd-9604 nfs-shares-1

לאחר מכן, אנו עוברים דרך ssh (באמת יצרת את המפתחות?) לצומת ה-NFS שלנו ולבסוף מחברים את הדיסק:

root@nfsd-9604:~# parted /dev/sdb
(parted) mklabel gpt
Warning: The existing disk label on /dev/sdb will be destroyed and all data on
this disk will be lost. Do you want to continue?
Yes/No? yes
(parted) unit GB
(parted) mkpart primary 0 100
(parted) print
Model: VMware Virtual disk (scsi)
Disk /dev/sdb: 100GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End    Size   File system  Name     Flags
 1      0.00GB  100GB  100GB               primary

(parted) quit
root@nfsd-9604:~# mkfs -t ext4 /dev/sdb1
Creating filesystem with 24413696 4k blocks and 6111232 inodes
Filesystem UUID: 8622c0f5-4044-4ebf-95a5-0372256b34f0
Superblock backups stored on blocks:
	32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
	4096000, 7962624, 11239424, 20480000, 23887872

Allocating group tables: done
Writing inode tables: done
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done

צור ספרייה לנתונים והעלה שם מחיצה חדשה:

mkdir /export
echo '/dev/sdb1  /export   ext4  defaults   0 0' >> /etc/fstab
mount -a

בואו ניצור חמש מחיצות בדיקה ונשתף אותן עבור האשכול:

>cd /export
>mkdir vol1 vol2 vol3 vol4 vol5
>vi /etc/exports
#Добавим это в конец файла
/export/vol1 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol2 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol3 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol4 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol5 *(rw,sync,no_root_squash,no_subtree_check)
#:wq! ;)
#Далее - экспортируем разделы
>exportfs -r

אחרי כל הקסם הזה, אנחנו יכולים ליצור PV ו-PVC באשכול שלנו משהו כזה:
כַתָב:

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-vol1
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteMany
  nfs:
    # Same IP as the NFS host we ssh'ed to earlier.
    server: 10.150.200.22
    path: "/export/vol1"
EOF

pvc:

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc
spec:
  accessModes:
    - ReadWriteMany
  storageClassName: ""
  resources:
    requests:
      storage: 10Gi
EOF

כאן מסתיים סיפור יצירתו של אשכול אחד ומתחיל סיפור מחזור חייו. כבונוס, יש עוד שתי פקודות CSE שימושיות המאפשרות לפעמים לחסוך משאבים או לא:

#Увеличиваем размер кластера до 8 воркер нод
>cse cluster resize MyCluster --network k8s_cluster_net --nodes 8

#Выводим ненужные ноды из кластера с их последующим удалением
>vcd cse node delete MyCluster node-1a2v node-6685 --yes

תודה לכולכם על זמנכם, אם יש לכם שאלות, שאל בתגובות.

מקור: www.habr.com