CSE: vCloud 사용자를 위한 Kubernetes

안녕하십니까!

최근에는 말할 것도 없고, 확실히 갑자기는 아니지만 우리의 소규모 팀이 성장하여 일부(그리고 미래에는 모든) 제품을 Kubernetes로 이전하게 되었습니다.

여기에는 여러 가지 이유가 있었지만 우리의 이야기는 홀리바르에 관한 것이 아닙니다.

인프라 기반에 관해서는 선택의 여지가 거의 없었습니다. vCloud Director 및 vCloud Director. 우리는 새로운 것을 선택하고 시작하기로 결정했습니다.

다시 한 번 "The Hard Way"를 살펴보면서 어제 배포 및 크기 조정과 같은 최소한의 기본 프로세스를 자동화하는 도구가 필요하다는 결론에 빠르게 도달했습니다. Google에 대한 심층 분석을 통해 vCloud에 대한 k8s 클러스터 생성 및 크기 조정을 자동화할 수 있는 오픈 소스 제품인 VMware Container Service Extension(CSE)과 같은 제품이 밝혀졌습니다.

면책조항: CSE에는 한계가 있지만 우리의 목적에 있어서는 완벽했습니다. 그리고 솔루션은 반드시 클라우드 제공업체의 지원을 받아야 하는데, 서버 부분도 오픈소스이기 때문에 가까운 관리자에게 문의해 사용 가능하게 해주세요 :)

사용을 시작하려면 vCloud 조직의 관리자 계정과 클러스터에 대해 이전에 생성된 라우팅 네트워크가 필요합니다(배포 프로세스 중에는 이 네트워크에서 인터넷에 액세스해야 하며 방화벽/NAT를 구성하는 것을 잊지 마십시오). 주소 지정은 중요하지 않습니다. 이 예에서는 10.0.240.0/24를 사용하겠습니다.

클러스터를 생성한 후에는 어떻게든 클러스터를 관리해야 하므로 생성된 네트워크로 라우팅하는 VPN을 사용하는 것이 좋습니다. 우리는 조직의 Edge Gateway에 구성된 표준 SSL VPN을 사용합니다.

다음으로 k8s 클러스터를 관리할 CSE 클라이언트를 설치해야 합니다. 제 경우에는 작동하는 노트북과 자동화를 추진하는 잘 숨겨진 컨테이너 두 개입니다.

클라이언트에는 Python 버전 3.7.3 이상이 설치되어 있고 모듈이 설치되어 있어야 합니다. vcd-cli, 둘 다 설치해 보겠습니다.

pip3 install vcd-cli

pip3 install container-service-extension

설치 후 CSE 버전을 확인하고 다음을 얻습니다.

# vcd cse version
Error: No such command "cse".

예상치 못한 일이지만 고칠 수 있습니다. 결과적으로 CSE는 vcd-cli에 모듈로 연결되어야 합니다.
이렇게 하려면 먼저 vcd-cli에 우리 조직에 로그인해야 합니다.

# vcd login MyCloud.provider.com org-dev admin
Password: 
admin logged in, org: 'org-dev', vdc: 'org-dev_vDC01'

그런 다음 vcd-cli는 구성 파일을 생성합니다. ~/.vcd-cli/profiles.yaml
마지막에 다음을 추가해야 합니다.

extensions:
  - container_service_extension.client.cse

그런 다음 다시 확인합니다.

# vcd cse version
CSE, Container Service Extension for VMware vCloud Director, version 2.5.0

클라이언트 설치 단계가 완료되었습니다. 첫 번째 클러스터를 배포해 보겠습니다.
CSE에는 여러 가지 사용 매개변수 세트가 있으며 모두 볼 수 있습니다. 여기에.

먼저, 향후 클러스터에 비밀번호 없이 액세스하기 위한 키를 생성해 보겠습니다. 이 점이 중요합니다. 기본적으로 노드에 대한 비밀번호 로그인이 비활성화되고, 키를 설정하지 않으면 가상 머신의 콘솔을 통해 많은 작업을 수행할 수 있어 불편하기 때문입니다.

# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.

클러스터 생성을 시작해 보겠습니다.

vcd cse cluster create MyCluster --network k8s_cluster_net --ssh-key ~/.ssh/id_rsa.pub --nodes 3 --enable-nfs

오류가 발생하면 오류: 세션이 만료되었거나 사용자가 로그인하지 않았습니다. 다시 로그인해주세요. — 위에서 설명한 대로 vCloud에 vcd-cli에 다시 로그인하고 다시 시도합니다.

이번에는 모든 것이 정상이며 클러스터 생성 작업이 시작되었습니다.

cluster operation: Creating cluster vApp 'MyCluster' (38959587-54f4-4a49-8f2e-61c3a3e879e0) from template 'photon-v2_k8-1.12_weave-2.3.0' (revision 1)

작업을 완료하는 데 약 20분이 소요됩니다. 그동안 기본 시작 매개변수를 살펴보겠습니다.

—network — 앞서 만든 네트워크입니다.
—ssh-key — 우리가 생성한 키로 클러스터 노드에 기록됩니다.
—nodes n — 클러스터의 작업자 노드 수입니다. 항상 하나의 마스터가 있습니다. 이는 CSE 제한 사항입니다.
—enable-nfs — 영구 볼륨 아래에 NFS 공유를 위한 추가 노드를 생성합니다. 이는 약간의 페달 옵션이므로 나중에 이 기능의 튜닝에 대해 다시 설명하겠습니다.

동시에 vCloud에서는 클러스터 생성을 시각적으로 모니터링할 수 있습니다.


클러스터 생성 작업이 완료되면 사용할 수 있습니다.

다음 명령을 사용하여 배포의 정확성을 확인해 보겠습니다. vcd cse 클러스터 정보 MyCluster

다음으로 사용할 클러스터 구성을 가져와야 합니다. 쿠 베틀

# vcd cse cluster config MyCluster > ./.kube/config

그리고 이를 사용하여 클러스터의 상태를 확인할 수 있습니다.

이 시점에서 클러스터는 지속적인 볼륨이 있는 스토리가 아닌 경우 조건부로 작동하는 것으로 간주될 수 있습니다. 우리는 vCloud를 사용하고 있으므로 vSphere Provider를 사용할 수 없습니다. 옵션 --enable-nfs 이러한 불편함을 완화하기 위해 고안되었지만 완전히 작동하지는 않았습니다. 수동 조정이 필요합니다.

시작하려면 노드가 vCloud에 별도의 독립 디스크를 생성해야 합니다. 이는 클러스터가 삭제되더라도 데이터가 클러스터와 함께 사라지지 않도록 보장합니다. 또한 디스크를 NFS에 연결하십시오.

# vcd disk create nfs-shares-1 100g --description 'Kubernetes NFS shares'
# vcd vapp attach mycluster nfsd-9604 nfs-shares-1

그런 다음 SSH(정말로 키를 생성하셨나요?)를 통해 NFS 노드로 이동하고 마지막으로 디스크를 연결합니다.

root@nfsd-9604:~# parted /dev/sdb
(parted) mklabel gpt
Warning: The existing disk label on /dev/sdb will be destroyed and all data on
this disk will be lost. Do you want to continue?
Yes/No? yes
(parted) unit GB
(parted) mkpart primary 0 100
(parted) print
Model: VMware Virtual disk (scsi)
Disk /dev/sdb: 100GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End    Size   File system  Name     Flags
 1      0.00GB  100GB  100GB               primary

(parted) quit
root@nfsd-9604:~# mkfs -t ext4 /dev/sdb1
Creating filesystem with 24413696 4k blocks and 6111232 inodes
Filesystem UUID: 8622c0f5-4044-4ebf-95a5-0372256b34f0
Superblock backups stored on blocks:
	32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
	4096000, 7962624, 11239424, 20480000, 23887872

Allocating group tables: done
Writing inode tables: done
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done

데이터용 디렉터리를 만들고 여기에 새로운 파티션을 마운트합니다.

mkdir /export
echo '/dev/sdb1  /export   ext4  defaults   0 0' >> /etc/fstab
mount -a

XNUMX개의 테스트 파티션을 생성하고 이를 클러스터에 공유해 보겠습니다.

>cd /export
>mkdir vol1 vol2 vol3 vol4 vol5
>vi /etc/exports
#Добавим это в конец файла
/export/vol1 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol2 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol3 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol4 *(rw,sync,no_root_squash,no_subtree_check)
/export/vol5 *(rw,sync,no_root_squash,no_subtree_check)
#:wq! ;)
#Далее - экспортируем разделы
>exportfs -r

이 모든 마법이 끝나면 다음과 같이 클러스터에 PV와 PVC를 생성할 수 있습니다.
보고자:

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-vol1
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteMany
  nfs:
    # Same IP as the NFS host we ssh'ed to earlier.
    server: 10.150.200.22
    path: "/export/vol1"
EOF

PVC :

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc
spec:
  accessModes:
    - ReadWriteMany
  storageClassName: ""
  resources:
    requests:
      storage: 10Gi
EOF

여기서 하나의 클러스터 생성 이야기가 끝나고 수명주기 이야기가 시작됩니다. 보너스로 때로는 리소스를 절약할지 여부를 결정하는 두 가지 유용한 CSE 명령이 더 있습니다.

#Увеличиваем размер кластера до 8 воркер нод
>cse cluster resize MyCluster --network k8s_cluster_net --nodes 8

#Выводим ненужные ноды из кластера с их последующим удалением
>vcd cse node delete MyCluster node-1a2v node-6685 --yes

시간 내주셔서 감사합니다. 궁금한 점이 있으면 댓글로 문의하세요.

출처 : habr.com