CSE: Kubernetes för dem som är i vCloud

Hej alla!

Det har blivit så att vårt lilla team, inte särskilt nyligen och definitivt inte plötsligt, har vuxit till sig för att flytta vissa (och i framtiden alla) produkter till Kubernetes.

Det fanns många orsaker till detta, men vår historia handlar inte om kontroverser.

Som infrastruktur hade vi ett begränsat val. vCloud Director och vCloud Director. Vi valde den nyare versionen och bestämde oss för att börja.

När jag återigen bläddrade igenom "The Hard Way" kom jag snabbt fram till att ett verktyg för att automatisera åtminstone grundläggande processer, som deployment och sizing, behövdes igår. En djupdykning i Google visade ett produkt som VMware Container Service Extension (CSE) – en öppen källkodsprodukt som möjliggör automatisering av skapandet och sizing av k8s-kluster för dem som är i vCloud.

Disclaimer: CSE har sina begränsningar, men för våra ändamål passade den perfekt. Lösningen måste också stödjas av molnleverantören, men eftersom serverdelen också är öppen källkod, begär dess existens hos den närmaste managern 🙂

För att börja använda det krävs ett administratörskonto inom vCloud-organisationen och en förhandskonfigurerad routed-nätverk för klustret (under deployment-processen krävs internetåtkomst från detta nätverk, glöm inte att ställa in brandvägg/NAT). Adresseringen är inte viktig. I detta exempel tar vi 10.0.240.0/24.

Eftersom klustret måste hanteras efter skapandet rekommenderas en VPN med routing till det skapade nätverket. Vi använder en standard SSL-VPN, konfigurerad på Edge Gateway i vår organisation.

Därefter måste CSE-klienten installeras därifrån kluster k8s kommer att hanteras. I mitt fall är detta en arbetslaptop och ett par väl gömda containrar som kontrollerar automatiseringen.

Klienten kräver att Python version 3.7.3 eller högre och modulen vcd-climåste vara installerade, så vi installerar båda.

pip3 install vcd-cli

pip3 install container-service-extension

Efter installationen kontrollerar vi versionen av CSE och får följande:

# vcd cse version
Error: No such command "cse".

Överraskande, men fixbart. Det visade sig att CSE måste kopplas som en modul till vcd-cli.
För detta måste vi först logga in på vcd-cli i vår organisation:

# vcd login MyCloud.provider.com org-dev admin
Password: 
admin logged in, org: 'org-dev', vdc: 'org-dev_vDC01'

Efter detta kommer vcd-cli att skapa en konfigurationsfil ~/ .vcd-cli / profiles.yaml
I slutet av denna fil måste följande läggas till:

extensions:
  - container_service_extension.client.cse

Därefter kontrollerar vi igen:

# vcd cse version
CSE, Container Service Extension for VMware vCloud Director, version 2.5.0

Klientinstallationen är avslutad. Låt oss försöka implementera den första klustret.
CSE har flera uppsättningar av användarinställningar, som alla kan ses. här.

Först skapar vi nycklar för lösenordsfri åtkomst till det framtida klustret. Det här är viktigt eftersom lösenordsinloggning till noderna är inaktiverad som standard, och om nycklarna inte anges kan man behöva göra mycket arbete via konsolen för de virtuella maskinerna, vilket inte är särskilt bekvämt.

# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.

Vi försöker starta skapandet av klustret:

vcd cse cluster create MyCluster --network k8s_cluster_net --ssh-key ~/ssh/id_rsa.pub --nodes 3 --enable-nfs

Om vi får ett fel: Fel: Sessionen har löpt ut eller användaren är inte inloggad. Vänligen logga in igen. — logga in vcd-cli i vCloud igen som beskrivs ovan och försök på nytt.

Den här gången gick allt bra och skapandet av klustret startade.

klusteroperation: Skapar kluster vApp 'MyCluster' (38959587-54f4-4a49-8f2e-61c3a3e879e0) från mall 'photon-v2_k8-1.12_weave-2.3.0' (revision 1)

Det tar cirka 20 minuter att slutföra uppgiften, under tiden går vi igenom de grundläggande startparametrarna.

—network — det nätverk vi skapade tidigare.
—ssh-key — de nycklar vi skapade, som kommer att skrivas till nodernas kluster.
—nodes n — Antal Worker-noder i klustret. Det kommer alltid att vara en master, detta är CSE:s begränsning.
—enable-nfs — skapa en extra nod för NFS-delning för beständiga volymer. En lite avancerad alternativ, som vi kommer att återkomma till senare.

Under tiden kan vi visuellt observera skapandet av klustret i vCloud.


Så snart klustrets skapande är klart är det redo för användning.

Låt oss kontrollera korrektheten i distributionen med kommandot: vcd cse cluster info MyCluster

Därefter måste vi få klusterkonfigurationen för användning. kubectl

# vcd cse cluster config MyCluster > ./.kube/config

Och vi kan kontrollera klustrets tillstånd med hjälp av den:

Vid detta tillfälle kan klustret anses vara villkorligt aktivt, om det inte vore för historien om beständiga volymer. Eftersom vi är i vCloud går det inte att använda vSphere-leverantören. Alternativet —enable-nfs är avsedd att mildra detta problem, men det har inte helt lyckats. Manuell efterkonfiguration krävs.

Först måste vår nod skapa en separat oberoende disk i vCloud. Detta garanterar att våra data inte försvinner tillsammans med klustret om det raderas. Vi kopplar också disken till NFS.

# vcd disk create nfs-shares-1 100g --description 'Kubernetes NFS shares'
# vcd vapp attach mycluster nfsd-9604 nfs-shares-1

Efter detta går vi via ssh (du har väl skapat nycklar?) till vår NFS-nod och kopplar slutgiltigt disken:

root@nfsd-9604:~# parted /dev/sdb
(parted) mklabel gpt
Varning: Den befintliga disklabeln på /dev/sdb kommer att raderas och all data på denna disk kommer att gå förlorad. Vill du fortsätta?
Ja/Nej? ja
(parted) unit GB
(parted) mkpart primary 0 100
(parted) print
Modell: VMware Virtual disk (scsi)
Disk /dev/sdb: 100GB
Sektorstorlek (logisk/fysisk): 512B/512B
Partitionstabell: gpt
Diskflaggor:

Nummer  Start   Slut    Storlek   Filtyp  Namn     Flaggor
 1      0.00GB  100GB  100GB               primary

(parted) quit
root@nfsd-9604:~# mkfs -t ext4 /dev/sdb1
Skapar filsystem med 24413696 4k block och 6111232 inoder
Filsystem UUID: 8622c0f5-4044-4ebf-95a5-0372256b34f0
Superblock backups lagrade på block:
	32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
	4096000, 7962624, 11239424, 20480000, 23887872

Allokerar grupptabeller: klart
Skriver inodetabeller: klart
Skapar journal (32768 block): klart
Skriver superblock och filsystemredovisningsinformation: klart

Skapar en katalog för data och monterar den nya partitionen där:

mkdir /export
echo '/dev/sdb1  /export   ext4  defaults   0 0' >> /etc/fstab
mount -a

Låt oss skapa fem testpartitioner och dela dem för klustret:

>cd /export
>mkdir vol1 vol2 vol3 vol4 vol5
>vi /etc/exports
#Lägg till detta i slutet av filen
/export/vol1 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol2 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol3 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol4 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol5 *(rw,sync,no_root_squash,no_subtree_check)
#:wq! ;)
#Därefter - exportera partitionerna
>exportfs -r

Efter all denna magi kan vi skapa PV och PVC i vårt kluster på ungefär detta sätt:
PV:

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-vol1
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteMany
  nfs:
    # Samma IP som NFS-värden vi ssh:ade till tidigare.
    server: 10.150.200.22
    path: "/export/vol1"
EOF

PVC:

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc
spec:
  accessModes:
    - ReadWriteMany
  storageClassName: ""
  resources:
    requests:
      storage: 10Gi
EOF

På detta sätt avslutas historien om skapandet av ett kluster och historien om dess livscykel börjar. Som en bonus - ytterligare två användbara CSE-kommandon som ibland kan spara resurser ganska bra eller inte:

#Увеличиваем размер кластера до 8 воркер нод
>cse cluster resize MyCluster --network k8s_cluster_net --nodes 8

#Выводим ненужные ноды из кластера с их последующим удалением
>vcd cse node delete MyCluster node-1a2v node-6685 --yes

Tack för er tid, om ni har frågor - ställ dem i kommentarerna.

Källa: habr.com