CSE: Kubernetes ສໍາລັບຜູ້ທີ່ຢູ່ໃນ vCloud

ສະບາຍດີທຸກຄົນ!

ມັນເກີດຂຶ້ນດັ່ງນັ້ນທີມງານຂະຫນາດນ້ອຍຂອງພວກເຮົາ, ບໍ່ໄດ້ເວົ້າວ່າບໍ່ດົນມານີ້, ແລະແນ່ນອນວ່າບໍ່ທັນທີທັນໃດ, ໄດ້ເຕີບໃຫຍ່ຂຶ້ນເພື່ອຍ້າຍບາງຜະລິດຕະພັນ (ແລະໃນອະນາຄົດທັງຫມົດ) ໄປ Kubernetes.

ມີຫຼາຍເຫດຜົນສໍາລັບການນີ້, ແຕ່ເລື່ອງຂອງພວກເຮົາບໍ່ແມ່ນກ່ຽວກັບ holivar.

ພວກເຮົາມີທາງເລືອກໜ້ອຍກ່ຽວກັບພື້ນຖານໂຄງລ່າງ. ຜູ້ອໍານວຍການ vCloud ແລະຜູ້ອໍານວຍການ vCloud. ພວກເຮົາເລືອກອັນໃໝ່ກວ່າ ແລະຕັດສິນໃຈເລີ່ມຕົ້ນ.

ອີກເທື່ອຫນຶ່ງ, ຊອກຫາຜ່ານ "ທາງຍາກ," ຂ້າພະເຈົ້າໄດ້ສະຫຼຸບຢ່າງໄວວາວ່າເຄື່ອງມືສໍາລັບການອັດຕະໂນມັດຂະບວນການຂັ້ນພື້ນຖານຢ່າງຫນ້ອຍ, ເຊັ່ນ: ການຕິດຕັ້ງແລະຂະຫນາດ, ແມ່ນຈໍາເປັນໃນມື້ວານນີ້. ການລົງເລິກເຂົ້າໄປໃນ Google ໄດ້ນໍາເອົາຜະລິດຕະພັນດັ່ງກ່າວເປັນ VMware Container Service Extension (CSE) - ຜະລິດຕະພັນແຫຼ່ງເປີດທີ່ຊ່ວຍໃຫ້ທ່ານສາມາດອັດຕະໂນມັດການສ້າງແລະຂະຫນາດຂອງກຸ່ມ k8s ສໍາລັບຜູ້ທີ່ຢູ່ໃນ vCloud.

ການປະຕິເສດຄວາມຮັບຜິດຊອບ: CSE ມີຂໍ້ຈໍາກັດຂອງມັນ, ແຕ່ສໍາລັບຈຸດປະສົງຂອງພວກເຮົາມັນສົມບູນແບບ. ນອກຈາກນີ້, ການແກ້ໄຂຕ້ອງໄດ້ຮັບການສະຫນັບສະຫນູນຈາກຜູ້ໃຫ້ບໍລິການຟັງ, ແຕ່ເນື່ອງຈາກພາກສ່ວນຂອງເຄື່ອງແມ່ຂ່າຍຍັງເປັນແຫຼ່ງເປີດ, ຂໍໃຫ້ຜູ້ຈັດການທີ່ໃກ້ທີ່ສຸດຂອງເຈົ້າມີຢູ່ :)

ເພື່ອເລີ່ມຕົ້ນການນໍາໃຊ້ມັນ, ທ່ານຕ້ອງການບັນຊີຜູ້ເບິ່ງແຍງລະບົບໃນອົງການຈັດຕັ້ງ vCloud ແລະເຄືອຂ່າຍເສັ້ນທາງທີ່ສ້າງຂື້ນກ່ອນຫນ້ານີ້ສໍາລັບກຸ່ມ (ໃນລະຫວ່າງຂະບວນການຕິດຕັ້ງ, ທ່ານຕ້ອງການອິນເຕີເນັດຈາກເຄືອຂ່າຍນີ້, ຢ່າລືມກໍານົດ Firewall / NAT). ທີ່ຢູ່ບໍ່ສໍາຄັນ. ໃນຕົວຢ່າງນີ້, ໃຫ້ເອົາ 10.0.240.0/24

ນັບຕັ້ງແຕ່ການສ້າງ, ກຸ່ມຈະຕ້ອງມີການຈັດການບາງຢ່າງ, ມັນແນະນໍາໃຫ້ມີ VPN ທີ່ມີເສັ້ນທາງໄປຫາເຄືອຂ່າຍທີ່ສ້າງຂື້ນ. ພວກເຮົາໃຊ້ SSL VPN ມາດຕະຖານທີ່ກຳນົດຄ່າຢູ່ໃນ Edge Gateway ຂອງອົງການຂອງພວກເຮົາ.

ຕໍ່ໄປ, ທ່ານຈໍາເປັນຕ້ອງຕິດຕັ້ງລູກຄ້າ CSE ທີ່ກຸ່ມ k8s ຈະຖືກຈັດການ. ໃນກໍລະນີຂອງຂ້ອຍ, ນີ້ແມ່ນແລັບທັອບທີ່ເຮັດວຽກແລະສອງຖັງທີ່ເຊື່ອງໄວ້ທີ່ດີທີ່ຂັບລົດອັດຕະໂນມັດ.

ລູກຄ້າຕ້ອງການ Python ຮຸ່ນ 3.7.3 ແລະສູງກວ່າແລະຕິດຕັ້ງໂມດູນ vcd-cli, ສະນັ້ນໃຫ້ເຮົາຕິດຕັ້ງທັງສອງ.

pip3 install vcd-cli

pip3 install container-service-extension

ຫຼັງຈາກການຕິດຕັ້ງ, ພວກເຮົາກວດເບິ່ງສະບັບ CSE ແລະໄດ້ຮັບດັ່ງຕໍ່ໄປນີ້:

# vcd cse version
Error: No such command "cse".

ບໍ່ຄາດຄິດ, ແຕ່ແກ້ໄຂໄດ້. ຍ້ອນວ່າມັນໄດ້ຫັນອອກ, CSE ຈໍາເປັນຕ້ອງໄດ້ຕິດເປັນໂມດູນກັບ vcd-cli.
ເພື່ອເຮັດສິ່ງນີ້, ທ່ານຕ້ອງເຂົ້າສູ່ລະບົບ vcd-cli ກັບອົງການຈັດຕັ້ງຂອງພວກເຮົາ:

# vcd login MyCloud.provider.com org-dev admin
Password: 
admin logged in, org: 'org-dev', vdc: 'org-dev_vDC01'

ຫຼັງຈາກນີ້, vcd-cli ຈະສ້າງໄຟລ໌ການຕັ້ງຄ່າ ~/.vcd-cli/profiles.yaml
ໃນ​ທີ່​ສຸດ​, ທ່ານ​ຈໍາ​ເປັນ​ຕ້ອງ​ໄດ້​ເພີ່ມ​ການ​ຕໍ່​ໄປ​ນີ້​:

extensions:
  - container_service_extension.client.cse

ຫຼັງຈາກນັ້ນ, ພວກເຮົາກວດເບິ່ງອີກເທື່ອຫນຶ່ງ:

# vcd cse version
CSE, Container Service Extension for VMware vCloud Director, version 2.5.0

ໄລຍະການຕິດຕັ້ງລູກຄ້າສຳເລັດແລ້ວ. ລອງໃຊ້ກຸ່ມທຳອິດ.
CSE ມີຫຼາຍຊຸດຂອງຕົວກໍານົດການການນໍາໃຊ້, ທັງຫມົດຂອງພວກເຂົາສາມາດເບິ່ງໄດ້ ທີ່ນີ້.

ທໍາອິດ, ໃຫ້ສ້າງລະຫັດສໍາລັບການເຂົ້າເຖິງກຸ່ມທີ່ບໍ່ມີລະຫັດຜ່ານໃນອະນາຄົດ. ຈຸດນີ້ແມ່ນສໍາຄັນ, ເພາະວ່າໂດຍຄ່າເລີ່ມຕົ້ນ, ລະຫັດຜ່ານເຂົ້າສູ່ລະບົບ nodes ຈະຖືກປິດການໃຊ້ງານ, ແລະຖ້າທ່ານບໍ່ໄດ້ຕັ້ງກະແຈ, ທ່ານສາມາດເຮັດວຽກໄດ້ຫຼາຍໂດຍຜ່ານ consoles virtual machines, ເຊິ່ງບໍ່ສະດວກ.

# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.

ມາລອງເລີ່ມສ້າງກຸ່ມ:

vcd cse cluster create MyCluster --network k8s_cluster_net --ssh-key ~/.ssh/id_rsa.pub --nodes 3 --enable-nfs

ຖ້າ​ຫາກ​ວ່າ​ພວກ​ເຮົາ​ໄດ້​ຮັບ​ຄວາມ​ຜິດ​ພາດ​ ຜິດພາດ: ເຊດຊັນໝົດອາຍຸ ຫຼືຜູ້ໃຊ້ບໍ່ໄດ້ເຂົ້າສູ່ລະບົບ. ກະລຸນາເຂົ້າສູ່ລະບົບຄືນໃໝ່. — ເຂົ້າສູ່ລະບົບ vcd-cli ອີກຄັ້ງເພື່ອ vCloud ຕາມທີ່ໄດ້ອະທິບາຍໄວ້ຂ້າງເທິງແລ້ວລອງອີກຄັ້ງ.

ເວລານີ້ທຸກສິ່ງທຸກຢ່າງແມ່ນດີແລະວຽກງານຂອງການສ້າງກຸ່ມໄດ້ເລີ່ມຕົ້ນ.

cluster operation: Creating cluster vApp 'MyCluster' (38959587-54f4-4a49-8f2e-61c3a3e879e0) from template 'photon-v2_k8-1.12_weave-2.3.0' (revision 1)

ມັນຈະໃຊ້ເວລາປະມານ 20 ນາທີເພື່ອເຮັດສໍາເລັດຫນ້າວຽກ; ໃນເວລານີ້, ໃຫ້ເບິ່ງຕົວກໍານົດການເປີດຕົວພື້ນຖານ.

—network — ເຄືອ​ຂ່າຍ​ທີ່​ພວກ​ເຮົາ​ສ້າງ​ຂຶ້ນ​ກ່ອນ​ຫນ້າ​ນີ້​.
—ssh-key — ກະ​ແຈ​ທີ່​ພວກ​ເຮົາ​ສ້າງ​ຂຶ້ນ​, ເຊິ່ງ​ຈະ​ໄດ້​ຮັບ​ການ​ຂຽນ​ໃສ່​ຂໍ້​ຂອງ cluster​
—nodes n — ຈໍາ​ນວນ​ຂອງ​ຂໍ້​ຂອງ​ຜູ້​ເຮັດ​ວຽກ​ໃນ​ກຸ່ມ​. ສະເຫມີຈະມີຫນຶ່ງຕົ້ນສະບັບ, ນີ້ແມ່ນຂໍ້ຈໍາກັດ CSE
—enable-nfs — ສ້າງ node ເພີ່ມ​ເຕີມ​ສໍາ​ລັບ​ການ​ແບ່ງ​ປັນ NFS ພາຍ​ໃຕ້​ປະ​ລິ​ມານ​ທີ່​ຍັງ​ຄົງ​ຄ້າງ​. ມັນເປັນທາງເລືອກຂອງ pedal ເລັກນ້ອຍ; ພວກເຮົາຈະກັບໄປປັບສິ່ງທີ່ມັນເຮັດໃນພາຍຫຼັງ.

ໃນຂະນະດຽວກັນ, ໃນ vCloud ທ່ານສາມາດຕິດຕາມເບິ່ງການສ້າງກຸ່ມໄດ້


ເມື່ອວຽກງານຂອງການສ້າງກຸ່ມໄດ້ຖືກສໍາເລັດ, ມັນພ້ອມສໍາລັບການນໍາໃຊ້.

ໃຫ້ກວດເບິ່ງຄວາມຖືກຕ້ອງຂອງການຕິດຕັ້ງດ້ວຍຄໍາສັ່ງ vcd cse ຂໍ້ມູນກຸ່ມ MyCluster

ຕໍ່ໄປພວກເຮົາຈໍາເປັນຕ້ອງໄດ້ຮັບການຕັ້ງຄ່າກຸ່ມເພື່ອໃຊ້ kubectl

# vcd cse cluster config MyCluster > ./.kube/config

ແລະທ່ານສາມາດກວດເບິ່ງສະຖານະຂອງກຸ່ມໂດຍໃຊ້ມັນ:

ໃນຈຸດນີ້, ກຸ່ມສາມາດຖືກພິຈາລະນາເຮັດວຽກຕາມເງື່ອນໄຂ, ຖ້າບໍ່ແມ່ນສໍາລັບເລື່ອງທີ່ມີປະລິມານຢ່າງຕໍ່ເນື່ອງ. ເນື່ອງຈາກພວກເຮົາຢູ່ໃນ vCloud, ພວກເຮົາຈະບໍ່ສາມາດໃຊ້ vSphere Provider ໄດ້. ທາງເລືອກ --enable-nfs ອອກແບບມາເພື່ອແກ້ໄຂຄວາມວຸ້ນວາຍນີ້, ແຕ່ມັນບໍ່ໄດ້ຜົນໝົດ. ຕ້ອງປັບຕົວດ້ວຍມື.

ເພື່ອເລີ່ມຕົ້ນ, node ຂອງພວກເຮົາຕ້ອງການສ້າງ Independent disk ແຍກຕ່າງຫາກໃນ vCloud. ນີ້ຮັບປະກັນວ່າຂໍ້ມູນຂອງພວກເຮົາຈະບໍ່ຫາຍໄປພ້ອມກັບ cluster ຖ້າມັນຖືກລຶບ. ນອກຈາກນັ້ນ, ເຊື່ອມຕໍ່ແຜ່ນກັບ NFS

# vcd disk create nfs-shares-1 100g --description 'Kubernetes NFS shares'
# vcd vapp attach mycluster nfsd-9604 nfs-shares-1

ຫຼັງຈາກນັ້ນ, ພວກເຮົາໄປຜ່ານ ssh (ເຈົ້າສ້າງຄີແທ້ໆບໍ?) ໄປຫາ NFS node ຂອງພວກເຮົາແລະສຸດທ້າຍເຊື່ອມຕໍ່ແຜ່ນ:

root@nfsd-9604:~# parted /dev/sdb
(parted) mklabel gpt
Warning: The existing disk label on /dev/sdb will be destroyed and all data on
this disk will be lost. Do you want to continue?
Yes/No? yes
(parted) unit GB
(parted) mkpart primary 0 100
(parted) print
Model: VMware Virtual disk (scsi)
Disk /dev/sdb: 100GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End    Size   File system  Name     Flags
 1      0.00GB  100GB  100GB               primary

(parted) quit
root@nfsd-9604:~# mkfs -t ext4 /dev/sdb1
Creating filesystem with 24413696 4k blocks and 6111232 inodes
Filesystem UUID: 8622c0f5-4044-4ebf-95a5-0372256b34f0
Superblock backups stored on blocks:
	32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
	4096000, 7962624, 11239424, 20480000, 23887872

Allocating group tables: done
Writing inode tables: done
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done

ສ້າງໄດເລກະທໍລີສໍາລັບຂໍ້ມູນແລະຕິດຕັ້ງພາທິຊັນໃຫມ່ຢູ່ທີ່ນັ້ນ:

mkdir /export
echo '/dev/sdb1  /export   ext4  defaults   0 0' >> /etc/fstab
mount -a

ໃຫ້ພວກເຮົາສ້າງຫ້າພາທິຊັນທົດສອບແລະແບ່ງປັນໃຫ້ເຂົາເຈົ້າສໍາລັບກຸ່ມ:

>cd /export
>mkdir vol1 vol2 vol3 vol4 vol5
>vi /etc/exports
#Добавим это в конец файла
/export/vol1 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol2 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol3 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol4 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol5 *(rw,sync,no_root_squash,no_subtree_check)
#:wq! ;)
#Далее - экспортируем разделы
>exportfs -r

ຫຼັງຈາກ magic ທັງຫມົດນີ້, ພວກເຮົາສາມາດສ້າງ PV ແລະ PVC ໃນກຸ່ມຂອງພວກເຮົາບາງສິ່ງບາງຢ່າງເຊັ່ນນີ້:
ນັກຂ່າວ:

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-vol1
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteMany
  nfs:
    # Same IP as the NFS host we ssh'ed to earlier.
    server: 10.150.200.22
    path: "/export/vol1"
EOF

PVC:

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc
spec:
  accessModes:
    - ReadWriteMany
  storageClassName: ""
  resources:
    requests:
      storage: 10Gi
EOF

ນີ້ແມ່ນບ່ອນທີ່ເລື່ອງຂອງການສ້າງກຸ່ມຫນຶ່ງສິ້ນສຸດລົງແລະເລື່ອງຂອງວົງຈອນຊີວິດຂອງມັນເລີ່ມຕົ້ນ. ເປັນໂບນັດ, ມີສອງຄໍາສັ່ງ CSE ທີ່ເປັນປະໂຫຍດຫຼາຍທີ່ອະນຸຍາດໃຫ້ທ່ານບາງຄັ້ງປະຫຍັດຊັບພະຍາກອນຫຼືບໍ່:

#Увеличиваем размер кластера до 8 воркер нод
>cse cluster resize MyCluster --network k8s_cluster_net --nodes 8

#Выводим ненужные ноды из кластера с их последующим удалением
>vcd cse node delete MyCluster node-1a2v node-6685 --yes

ຂໍຂອບໃຈທ່ານທັງຫມົດທີ່ໃຊ້ເວລາຂອງທ່ານ, ຖ້າທ່ານມີຄໍາຖາມໃດໆ, ຖາມໃນຄໍາເຫັນ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com