CSE: Kubernetes vCloud-ში მყოფთათვის

გაუმარჯოს ყველას!

მოხდა ისე, რომ ჩვენი პატარა გუნდი, რომ აღარაფერი ვთქვათ, რომ ახლახანს და რა თქმა უნდა მოულოდნელად, გაიზარდა იმით, რომ ზოგიერთი (და მომავალში ყველა) პროდუქტი Kubernetes-ში გადაიტანა.

ამას ბევრი მიზეზი ჰქონდა, მაგრამ ჩვენი ამბავი ჰოლივარზე არ არის.

ჩვენ მცირე არჩევანი გვქონდა ინფრასტრუქტურის ბაზასთან დაკავშირებით. vCloud დირექტორი და vCloud დირექტორი. ჩვენ ავირჩიეთ უფრო ახალი და გადავწყვიტეთ დავიწყოთ.

კიდევ ერთხელ, „რთული გზის“ გადახედვით, ძალიან სწრაფად მივედი დასკვნამდე, რომ გუშინ საჭირო იყო მინიმუმ ძირითადი პროცესების ავტომატიზაციის ინსტრუმენტი, როგორიცაა განლაგება და ზომა. Google-ში ღრმა ჩაძირვამ გამოავლინა ისეთი პროდუქტი, როგორიცაა VMware Container Service Extension (CSE) - ღია კოდის პროდუქტი, რომელიც საშუალებას გაძლევთ ავტომატიზირდეთ k8s კლასტერების შექმნა და ზომა vCloud-ში მყოფთათვის.

პასუხისმგებლობის შეზღუდვა: CSE-ს აქვს თავისი შეზღუდვები, მაგრამ ჩვენი მიზნებისთვის ის სრულყოფილი იყო. ასევე, გამოსავალი უნდა იყოს მხარდაჭერილი ღრუბლოვანი პროვაიდერის მიერ, მაგრამ რადგან სერვერის ნაწილი ასევე ღია წყაროა, სთხოვეთ თქვენს უახლოეს მენეჯერს, რომ ის ხელმისაწვდომი იყოს :)

მისი გამოყენების დასაწყებად, გჭირდებათ ადმინისტრატორის ანგარიში vCloud ორგანიზაციაში და კლასტერისთვის ადრე შექმნილი მარშრუტირებული ქსელი (განლაგების პროცესის დროს გჭირდებათ ინტერნეტი ამ ქსელიდან, არ დაგავიწყდეთ Firewall/NAT-ის კონფიგურაცია). მიმართვას არ აქვს მნიშვნელობა. ამ მაგალითში ავიღოთ 10.0.240.0/24

ვინაიდან შექმნის შემდეგ კლასტერს როგორმე მართვა დასჭირდება, რეკომენდირებულია გქონდეთ VPN შექმნილ ქსელში მარშრუტირებით. ჩვენ ვიყენებთ სტანდარტულ SSL VPN-ს, რომელიც კონფიგურირებულია ჩვენი ორგანიზაციის Edge Gateway-ზე.

შემდეგი, თქვენ უნდა დააინსტალიროთ CSE კლიენტი, სადაც k8s კლასტერები იმართება. ჩემს შემთხვევაში, ეს არის სამუშაო ლეპტოპი და რამდენიმე კარგად დამალული კონტეინერი, რომლებიც ავტომატიზირებას მართავენ.

კლიენტს სჭირდება Python 3.7.3 და უფრო მაღალი ვერსიის დაინსტალირება და მოდულის დაინსტალირება vcd-cli, მოდით დავაყენოთ ორივე.

pip3 install vcd-cli

pip3 install container-service-extension

ინსტალაციის შემდეგ, ჩვენ ვამოწმებთ CSE ვერსიას და ვიღებთ შემდეგს:

# vcd cse version
Error: No such command "cse".

მოულოდნელი, მაგრამ გამოსწორებადი. როგორც გაირკვა, CSE მოდულის სახით უნდა დაერთოს vcd-cli-ს.
ამისათვის ჯერ უნდა შეხვიდეთ vcd-cli ჩვენს ორგანიზაციაში:

# vcd login MyCloud.provider.com org-dev admin
Password: 
admin logged in, org: 'org-dev', vdc: 'org-dev_vDC01'

ამის შემდეგ, vcd-cli შექმნის კონფიგურაციის ფაილს ~/.vcd-cli/profiles.yaml
დასასრულს თქვენ უნდა დაამატოთ შემდეგი:

extensions:
  - container_service_extension.client.cse

შემდეგ კვლავ ვამოწმებთ:

# vcd cse version
CSE, Container Service Extension for VMware vCloud Director, version 2.5.0

კლიენტის ინსტალაციის ეტაპი დასრულებულია. შევეცადოთ განვათავსოთ პირველი კლასტერი.
CSE-ს აქვს გამოყენების პარამეტრების რამდენიმე ნაკრები, ყველა მათგანის ნახვა შესაძლებელია აქ.

პირველი, მოდით შევქმნათ გასაღებები მომავალ კლასტერზე პაროლის გარეშე წვდომისთვის. ეს პუნქტი მნიშვნელოვანია, რადგან ნაგულისხმევად, პაროლით შესვლა კვანძებში გამორთული იქნება და თუ კლავიშებს არ დააყენებთ, შეგიძლიათ ბევრი სამუშაო მიიღოთ ვირტუალური მანქანის კონსოლების საშუალებით, რაც არ არის მოსახერხებელი.

# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.

შევეცადოთ დავიწყოთ კლასტერის შექმნა:

vcd cse cluster create MyCluster --network k8s_cluster_net --ssh-key ~/.ssh/id_rsa.pub --nodes 3 --enable-nfs

თუ შეცდომას მივიღებთ შეცდომა: სესიას ვადა გაუვიდა ან მომხმარებელი არ არის შესული. გთხოვთ ხელახლა შეხვიდეთ. — ისევ შედით vcd-cli vCloud-ში, როგორც ზემოთ იყო აღწერილი და სცადეთ ხელახლა.

ამჯერად ყველაფერი კარგადაა და დაწყებულია კლასტერის შექმნის ამოცანა.

cluster operation: Creating cluster vApp 'MyCluster' (38959587-54f4-4a49-8f2e-61c3a3e879e0) from template 'photon-v2_k8-1.12_weave-2.3.0' (revision 1)

დავალების შესრულებას დაახლოებით 20 წუთი დასჭირდება; იმავდროულად, მოდით გადავხედოთ გაშვების ძირითად პარამეტრებს.

— ქსელი — ქსელი, რომელიც ადრე შევქმენით.
—ssh-key — ჩვენ მიერ შექმნილი გასაღებები, რომლებიც ჩაიწერება კლასტერულ კვანძებში
— nodes n — Worker კვანძების რაოდენობა კლასტერში. ყოველთვის იქნება ერთი ოსტატი, ეს არის CSE შეზღუდვა
— enable-nfs — შექმენით დამატებითი კვანძი NFS გაზიარებებისთვის მუდმივი ტომების ქვეშ. ეს არის ცოტა პედლის ვარიანტი; ჩვენ დავუბრუნდებით რეგულირებას, რასაც ის აკეთებს ცოტა მოგვიანებით.

იმავდროულად, vCloud-ში შეგიძლიათ ვიზუალურად აკონტროლოთ კლასტერის შექმნა


კლასტერის შექმნის დავალების დასრულების შემდეგ, ის მზად არის გამოსაყენებლად.

მოდით შევამოწმოთ განლაგების სისწორე ბრძანებით vcd cse კლასტერის ინფორმაცია MyCluster

შემდეგ ჩვენ უნდა მივიღოთ კასეტური კონფიგურაცია გამოსაყენებლად კუბექტლი

# vcd cse cluster config MyCluster > ./.kube/config

და თქვენ შეგიძლიათ შეამოწმოთ კლასტერის სტატუსი მისი გამოყენებით:

ამ ეტაპზე, კლასტერი შეიძლება ჩაითვალოს პირობითად მოქმედად, თუ არა სიუჟეტი მუდმივი მოცულობით. ვინაიდან ჩვენ ვართ vCloud-ში, ვერ შევძლებთ vSphere პროვაიდერის გამოყენებას. ვარიანტი --enable-nfs შექმნილია ამ უსიამოვნების აღმოსაფხვრელად, მაგრამ ეს ბოლომდე არ გამოვიდა. საჭიროა ხელით რეგულირება.

დასაწყისისთვის, ჩვენმა კვანძმა უნდა შექმნას ცალკე დამოუკიდებელი დისკი vCloud-ში. ეს გარანტიას იძლევა, რომ ჩვენი მონაცემები არ გაქრება კლასტერთან ერთად, თუ ის წაიშლება. ასევე, დააკავშირეთ დისკი NFS-თან

# vcd disk create nfs-shares-1 100g --description 'Kubernetes NFS shares'
# vcd vapp attach mycluster nfsd-9604 nfs-shares-1

ამის შემდეგ, ჩვენ გადავდივართ ssh-ის საშუალებით (თქვენ ნამდვილად შექმენით გასაღებები?) ჩვენს NFS კვანძში და ბოლოს ვუკავშირდებით დისკს:

root@nfsd-9604:~# parted /dev/sdb
(parted) mklabel gpt
Warning: The existing disk label on /dev/sdb will be destroyed and all data on
this disk will be lost. Do you want to continue?
Yes/No? yes
(parted) unit GB
(parted) mkpart primary 0 100
(parted) print
Model: VMware Virtual disk (scsi)
Disk /dev/sdb: 100GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End    Size   File system  Name     Flags
 1      0.00GB  100GB  100GB               primary

(parted) quit
root@nfsd-9604:~# mkfs -t ext4 /dev/sdb1
Creating filesystem with 24413696 4k blocks and 6111232 inodes
Filesystem UUID: 8622c0f5-4044-4ebf-95a5-0372256b34f0
Superblock backups stored on blocks:
	32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
	4096000, 7962624, 11239424, 20480000, 23887872

Allocating group tables: done
Writing inode tables: done
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done

შექმენით დირექტორია მონაცემთა და დააინსტალირეთ ახალი დანაყოფი იქ:

mkdir /export
echo '/dev/sdb1  /export   ext4  defaults   0 0' >> /etc/fstab
mount -a

მოდით შევქმნათ ხუთი სატესტო დანაყოფი და გავუზიაროთ ისინი კლასტერს:

>cd /export
>mkdir vol1 vol2 vol3 vol4 vol5
>vi /etc/exports
#Добавим это в конец файла
/export/vol1 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol2 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol3 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol4 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol5 *(rw,sync,no_root_squash,no_subtree_check)
#:wq! ;)
#Далее - экспортируем разделы
>exportfs -r

მთელი ამ მაგიის შემდეგ, ჩვენ შეგვიძლია შევქმნათ PV და PVC ჩვენს კლასტერში დაახლოებით ასეთი:
რეპორტიორი:

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-vol1
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteMany
  nfs:
    # Same IP as the NFS host we ssh'ed to earlier.
    server: 10.150.200.22
    path: "/export/vol1"
EOF

PVC:

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc
spec:
  accessModes:
    - ReadWriteMany
  storageClassName: ""
  resources:
    requests:
      storage: 10Gi
EOF

აქ მთავრდება ერთი კლასტერის შექმნის ისტორია და იწყება მისი სასიცოცხლო ციკლის ისტორია. როგორც ბონუსი, არის კიდევ ორი ​​სასარგებლო CSE ბრძანება, რომელიც საშუალებას გაძლევთ ხანდახან დაზოგოთ რესურსები თუ არა:

#Увеличиваем размер кластера до 8 воркер нод
>cse cluster resize MyCluster --network k8s_cluster_net --nodes 8

#Выводим ненужные ноды из кластера с их последующим удалением
>vcd cse node delete MyCluster node-1a2v node-6685 --yes

გმადლობთ ყველას დათმობილისთვის, თუ თქვენ გაქვთ რაიმე შეკითხვები, დასვით კომენტარებში.

წყარო: www.habr.com