CSE: Kubernetes za one u vCloud-u

CSE: Kubernetes za one u vCloud-u
Pozdrav svima!

Naša mala ekipa je stasala do toga da prebacimo neke (a u budućnosti i sve) proizvode u Kubernetes, i to ne tako davno.

Bilo je mnogo razloga za to, ali naša priča nije o ratovima stavova.

Naša infrastrukturna osnovna ponuda nije bila široka. Imali smo vCloud Director i vCloud Director. Izabrali smo noviji i odlučili smo da krenemo.

Ponovo pregledavajući "The Hard Way", brzo sam shvatio da alat za automatizaciju osnovnih procesa, kao što su implementacija i dimenzionisanje, treba nam još juče. Duboko uranjajući u Google, otkrio sam proizvod kao što je VMware Container Service Extension (CSE) — open-source proizvod koji omogućava automatizaciju kreiranja i dimenzionisanja k8s klastera za one koji su u vCloud-u.

Napomena: CSE ima svoja ograničenja, ali je savršeno odgovarao našim potrebama. Takođe, rešenje treba da podržava oblaku provajdera, ali s obzirom na to da je serverski deo takođe open-source, zahtevajte njegovu dostupnost od najbližeg menadžera 🙂

Za početak korišćenja potreban je administratorski nalog u organizaciji vCloud i unapred kreirana routed-mreža za klaster (u procesu implementacije potreban je pristup internetu iz te mreže, ne zaboravite da podesite Firewall/NAT). Adresacija nije bitna. U ovom primeru uzimamo 10.0.240.0/24

CSE: Kubernetes za one u vCloud-u

Pošto će klaster zahtevati upravljanje nakon kreiranja, preporučuje se postojanje VPN-a sa rutiranjem u stvorenu mrežu. Mi koristimo standardni SSL-VPN, podešen na Edge Gateway naše organizacije.

Nakon toga, potrebno je instalirati CSE klijenta sa kojeg će se upravljati k8s klasterima. U mom slučaju, to je moj radni laptop i nekoliko dobro skrivenih kontejnera koji se bave automatizacijom.

Klijent zahteva instaliran Python verziju 3.7.3 i noviju i instaliran modul vcd-cli, stoga ćemo instalirati oboje.

pip3 install vcd-cli

pip3 install container-service-extension

Nakon instalacije, proveravamo verziju CSE i dobijamo sledeće:

# vcd cse version
Error: No such command "cse".

Neočekivano, ali popravljivo. Kao što se ispostavilo, CSE je potrebno povezati kao modul sa vcd-cli.
Za to prvo treba da se prijavite na vcd-cli u našoj organizaciji:

# vcd login MyCloud.provider.com org-dev admin
Password: 
admin logged in, org: 'org-dev', vdc: 'org-dev_vDC01'

Nakon toga, vcd-cli će kreirati konfiguracioni fajl ~/.vcd-cli/profiles.yaml
Na njegov kraj potrebno je dodati sledeće:

extensions:
  - container_service_extension.client.cse

Nakon toga, ponovo proveravamo:

# vcd cse version
CSE, Container Service Extension for VMware vCloud Director, version 2.5.0

Faza instalacije klijenta je završena. Pokušajmo da pokrenemo prvi klaster.
CSE ima nekoliko setova parametara korišćenja, sve ih možete pogledati. ovde.

Prvo ćemo kreirati ključeve za pristup bez lozinki budućem klasteru. Ovaj trenutak je važan, jer je prema default-u pristup lozinkom na nodove isključen, i ako ne postavimo ključeve, možemo dobiti mnogo posla preko konzole virtuelnih mašina, što nije baš praktično.

# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.

Pokušavamo da pokrenemo kreiranje klastera:

vcd cse cluster create MyCluster --network k8s_cluster_net --ssh-key ~/.ssh/id_rsa.pub --nodes 3 --enable-nfs

Ako dobijemo grešku Error: Session has expired or user not logged in. Please re-login. — ponovo se logujemo u vcd-cli u vCloud kao što je opisano iznad i ponavljamo pokušaj.

Ovaj put je sve prošlo dobro i zadatak kreiranja klastera je pokrenut.

cluster operation: Creating cluster vApp 'MyCluster' (38959587-54f4-4a49-8f2e-61c3a3e879e0) from template 'photon-v2_k8-1.12_weave-2.3.0' (revision 1)

Za završetak zadatka biće potrebno oko 20 minuta, u međuvremenu razmotrićemo osnovne parametre pokretanja.

—network — mreža koju smo ranije kreirali.
—ssh-key — ključevi koje smo kreirali, koji će biti zabeleženi na nodovima klastera
—nodes n — broj Worker nodova klastera. Uvek će biti jedan Master, to je ograničenje CSE.
—enable-nfs — kreirati dodatnu nodu za NFS deljenje pod persistent volumes. Malo komplikovana opcija, povratićemo se na podešavanje onoga što ona radi malo kasnije.

U međuvremenu, u vCloud-u možete vizuelno pratiti kreiranje klastera.
CSE: Kubernetes za one u vCloud-u

Čim je zadatak kreiranja klastera završen, on je spreman za rad.

Proverićemo ispravnost deploy-a komandom vcd cse cluster info MyCluster

CSE: Kubernetes za one u vCloud-u

Zatim trebamo dobiti konfiguraciju klastera za korišćenje. . Obično, cloud provajderi (Azure, Google, AWS itd.) omogućuju dobijanje kredencijala za korišćenje u ovoj alatki.

# vcd cse cluster config MyCluster > ./.kube/config

I možete proveriti stanje klastera već pomoću nje:

CSE: Kubernetes za one u vCloud-u

U ovoj tački se klaster može smatrati uslovno radnim, da nije priče o persistent volumes. Pošto smo u vCloud-u, koristiti vSphere Provider neće biti moguće. Opcija —enable-nfs treba da ublaži ovu neugodnost, ali nije potpuno uspela. Potrebno je ručno podešavanje.

Prvo, našoj nodi je potrebno da kreira poseban Independent disk u vCloud-u. To garantuje da naši podaci neće nestati zajedno sa klasterom, ako bude obrisan. Takođe, povezaćemo disk sa NFS.

# vcd disk create nfs-shares-1 100g --description 'Kubernetes NFS shares'
# vcd vapp attach mycluster nfsd-9604 nfs-shares-1

Nakon toga, idemo putem ssh (zar niste zaista kreirali ključeve?) na našu NFS nodu i konačno povezujemo disk:

root@nfsd-9604:~# parted /dev/sdb
(parted) mklabel gpt
Warning: Existirajuća oznaka diska na /dev/sdb bit će uništena i svi podaci na
ovom disku bit će izgubljeni. Želite li nastaviti?
Da/Ne? da
(parted) unit GB
(parted) mkpart primary 0 100
(parted) print
Model: VMware Virtual disk (scsi)
Disk /dev/sdb: 100GB
Veličina sektora (logički/fizički): 512B/512B
Tabela particija: gpt
Zastavice diska:

Broj  Početak   Kraj    Veličina   Datotečni sustav  Ime     Zastavice
 1      0.00GB  100GB  100GB               primarna

(parted) quit
root@nfsd-9604:~# mkfs -t ext4 /dev/sdb1
Kreiranje datotečnog sustava s 24413696 4k blokova i 6111232 inoda
UUID datotečnog sustava: 8622c0f5-4044-4ebf-95a5-0372256b34f0
Backup superbloka pohranjen na blokovima:
	32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
	4096000, 7962624, 11239424, 20480000, 23887872

Alokacija grupa: gotovo
Pisanje inode tablica: gotovo
Kreiranje dnevnika (32768 blokova): gotovo
Pisanje superblokova i informacija o računovodstvu datotečnih sustava: gotovo

Kreiramo direktorij za podatke i montiramo novi odjeljak:

mkdir /export
echo '/dev/sdb1  /export   ext4  defaults   0 0' >> /etc/fstab
mount -a

Kreirajmo pet testnih odjeljaka i dijelimo ih za klaster:

>cd /export
>mkdir vol1 vol2 vol3 vol4 vol5
>vi /etc/exports
# Dodajte ovo na kraj datoteke
/export/vol1 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol2 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol3 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol4 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol5 *(rw,sync,no_root_squash,no_subtree_check)
#:wq! ;)
# Dalje - izvozimo odjeljke
>exportfs -r

Nakon sve te magije, možete stvoriti PV i PVC u našem klasteru na ovaj način:
PV:

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-vol1
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteMany
  nfs:
    # Ista IP adresa kao onaj NFS host kojem smo se ranije ssh'ali.
    server: 10.150.200.22
    path: "/export/vol1"
EOF

PVC:

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc
spec:
  accessModes:
    - ReadWriteMany
  storageClassName: ""
  resources:
    requests:
      storage: 10Gi
EOF

Na ovom se završava priča o stvaranju jednog klastera i počinje priča o njegovom životnom ciklusu. Kao bonus — još dvije korisne CSE komande koje ponekad mogu značajno uštedjeti resurse:

#Увеличиваем размер кластера до 8 воркер нод
>cse cluster resize MyCluster --network k8s_cluster_net --nodes 8

#Выводим ненужные ноды из кластера с их последующим удалением
>vcd cse node delete MyCluster node-1a2v node-6685 --yes

Hvala svima na vremenu, ako imate pitanja — slobodno ih postavite u komentarima.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster