แ แ แแงแ แแแ แแแแ - แฅแแแแแ แแฃ แแแแ แชแฎแ? แกแแแแแแ แฃแชแแแฃแ แ แแแกแแฌแงแแกแแ แกแขแแขแแแกแแแแก Infrastructure-as-Code-แแก แจแแกแแฎแแ, แแ แ?
แ แ แแ แแก แแแแ แชแฎแ?
แงแแแแแแ แฎแจแแ แแ, แแแคแ แแกแขแ แฃแฅแขแฃแ แ-แ แแแแ แช แแแแ (IaC) แแ แแก แแแคแ แแกแขแ แฃแฅแขแฃแ แแก แฌแแ แแแแแแแแก แแแแแแ แแชแแฃแแ แแแ. แแแกแจแ แฉแแแ แแฆแแฌแแ แ แแแแแแแ แแแแแก, แ แแแแแก แแแฆแฌแแแแช แแแแแแ, แแแฌแงแแแฃแแ แขแแฅแแแแแก แแแฌแแแแแแ แแ แแแแแแแ แแแฃแแ แแ แแแ แแแฃแแ แฃแแ แฃแแแแแงแแคแแก แแแแคแแแฃแ แแชแแแ. แแแแขแแ IaC แแแแแแงแแแแแ:
- แ แแกแฃแ แกแแแแก แฃแแ แฃแแแแแงแแคแ. แแก แแ แแก VMs, S3, VPC แแ แ.แจ. แแฃแจแแแแแก แซแแ แแแแแ แแแกแขแ แฃแแแแขแแแ:
Terraform ะธCloudFormation . แแ แแแ แแแฃแแ แฃแแ แฃแแแแแงแแคแแก แแแแคแแแฃแ แแชแแ . แซแแ แแแแแ แแแกแขแ แฃแแแแขแแแ:แจแแฃแซแแแแแแแ , แจแแค แแ แ.แจ.
แแแแแกแแแแ แ แแแแ แแ แแก git แกแแชแแแแแจแ. แแ แแแ แ แแฃ แแแแแ แแฃแแแแก แแแแแ แ แแแแแฌแงแแแขแก, แ แแ แแกแแแ แฃแแแ แแแฌแแกแ แแแแแแ. แแ แแก แแแแแแฎแแแแก. แแ แแก แจแแฅแแแแก แแแ แแแแฃแ แกแขแ แฃแฅแขแฃแ แแก. แแ แแก แแแแแแฎแแแก, โโแ แแ แแก แแแ แแแ.
แแกแแแ แแแ แแแ, แ แแ แแก แฃแแแ แแ แกแแแแแก
แกแแแแแ แแแฉแแแ แแแแ แชแฎแ?
แแกแ แ แแ, แฉแแแ แแแแแแแแ แแฃแแฎแแแแแแแแ แแแแแแ แแแแฎแแแก.
แฃแแแ แแแแแก แงแแแแแกแ, แแฅแแแ แฃแแแ แแแแฌแงแแ แกแแชแแแ, แ แแแแแแช แแฆแฌแแ แก แกแฎแแ แกแแชแแแแแแก แกแขแ แฃแฅแขแฃแ แแก, แแแ แจแแ แแก แกแแแฃแแแ แแแแก. แแ แ แ แแฅแแ แฃแแแ, แ แแแแ แช GitOps-แแก แแแฌแแแ, แแฅแแแ แฃแแแ แแแแแแขแแ CI, แ แแแ แชแแแแแแแแแ แแแขแแแแขแฃแ แแ แจแแกแ แฃแแแแก.
แแฃ Git แฏแแ แแ แแ แแก แจแแฅแแแแแ?
- แ แแแแ แจแแแแแแฎแแ แแก Git-แจแ?
- แ แแแแ แแแแแงแแแแ CI?
- แแฃ แฉแแแ แแกแแแ แแแแแแแแแกแแแ Gitlab-แก IaC-แแก แแแแแงแแแแแแ แแ แแฃแแแแช Kubernetes-แจแ?
- แแ GitLab Runner แแกแแแ Kubernetes-แจแ?
- แ แแช แจแแแฎแแแ Kubernetes-แก แฆแ แฃแแแแแแ แแ แแแแแแแ แจแ?
แ แ แแงแ แแแ แแแแ: GitLab, แกแแแแช แแ แแแขแแแ แแแ แฉแแแก แแแแก, แแ แแแแ, แ แแแแแแช แแฆแฌแแ แก, แ แแแแ แ GitLab แแญแแ แแแแ?
แฅแแแแแ แแแแ แชแฎแแแ แแ แแแ
ยซแแแแแแแแแ 3 แแแแแแแแ แแ" [src ]
แจแแแแชแแแแ แแแแแแแแแแ แแแ แซแ แฆแ แฃแแแแก แแ แแแแแแแ แแก แแแแแงแแแแแแ
TL; DR
แจแแกแแซแแแแแแแ แแฃ แแ แ แแ แ แแฃแแแจแ แแ แแแ แแฃแแแ แแแฌแแแ แแแแแแ?
$ export MY_SELECTEL_TOKEN=<token>
$ curl https://gitlab.com/chicken-or-egg/mks/make/-/snippets/2002106/raw | bash
แจแแแแแแแแแแแ:
- แแแแแ แแจแ my.selectel.ru-แแแ;
- แแแแแ แแจแแก แแแขแแแ;
- แแฃแแแ แแแขแแก แฃแแแ แแแ;
- Helm Skills;
- แขแแ แแคแแ แแฃแแ แฃแแแ แแแ;
- แฉแแคแฎแฃแขแแก แกแฅแแแ GitLab;
- Helm chart GitLab Runner.
Recipe:
- แแแแฆแแ MY_SELECTEL_TOKEN แแแแแแแแแ my.selectel.ru.
- แจแแฅแแแแแ Kubernetes แแแแกแขแแ แ แแแกแจแ แแแแแ แแจแแก แขแแแแแแก แแแแแชแแแแ.
- แแแแฆแแ KUBECONFIG แจแแฅแแแแแ แแแแกแขแแ แแแแ.
- แแแแแแกแขแแแแ แแ GitLab Kubernetes-แแ.
- แแแแฆแแ GitLab-token แแแแฎแแแ แแแแแกแแแแก แจแแฅแแแแแ GitLab-แแกแแแ root.
- แจแแฅแแแแแ แแ แแแฅแขแแก แกแขแ แฃแฅแขแฃแ แ GitLab-แจแ GitLab-token-แแก แแแแแงแแแแแแ.
- แแแแแแขแแแแ แแ แกแแแฃแแ แแแแ GitLab-แจแ.
- ?
- แแแแแแ
แแแแแฏแ 1. แแแขแแแแก แแแฆแแแ แจแแกแแซแแแแแแแ แแแแงแแคแแแแแแจแ
แแแแแฏแ 2. แฉแแแ แแแแแแแแแ แฉแแแแก Terraform-แก 2 แแแแแซแแกแแแ แจแแแแแแ แ แแขแแแแแก "แแแแแกแแชแฎแแแแกแแแแก". แแฃ แแแ แฌแแฃแแแแฃแแ แฎแแ แ, แ แแ แกแแแแแ แแกแ แ แแกแฃแ แกแแแ แแแฅแแ แงแแแแแคแ แแกแแแแก, แแแจแแ แจแแแแซแแแแ แฉแแ แแแ แแแขแแแแขแฃแ แ แแแแขแแแ:
provider "selectel" {
token = var.my_selectel_token
}
variable "my_selectel_token" {}
variable "username" {}
variable "region" {}
resource "selectel_vpc_project_v2" "my-k8s" {
name = "my-k8s-cluster"
theme = {
color = "269926"
}
quotas {
resource_name = "compute_cores"
resource_quotas {
region = var.region
zone = "${var.region}a"
value = 16
}
}
quotas {
resource_name = "network_floatingips"
resource_quotas {
region = var.region
value = 1
}
}
quotas {
resource_name = "load_balancers"
resource_quotas {
region = var.region
value = 1
}
}
quotas {
resource_name = "compute_ram"
resource_quotas {
region = var.region
zone = "${var.region}a"
value = 32768
}
}
quotas {
resource_name = "volume_gigabytes_fast"
resource_quotas {
region = var.region
zone = "${var.region}a"
# (20 * 2) + 50 + (8 * 3 + 10)
value = 130
}
}
}
resource "selectel_mks_cluster_v1" "k8s-cluster" {
name = "k8s-cluster"
project_id = selectel_vpc_project_v2.my-k8s.id
region = var.region
kube_version = "1.17.9"
}
resource "selectel_mks_nodegroup_v1" "nodegroup_1" {
cluster_id = selectel_mks_cluster_v1.k8s-cluster.id
project_id = selectel_mks_cluster_v1.k8s-cluster.project_id
region = selectel_mks_cluster_v1.k8s-cluster.region
availability_zone = "${var.region}a"
nodes_count = 2
cpus = 8
ram_mb = 16384
volume_gb = 15
volume_type = "fast.${var.region}a"
labels = {
"project": "my",
}
}
แแแแแแขแแ แแแแฎแแแ แแแแแ แแ แแแฅแขแจแ:
resource "random_password" "my-k8s-user-pass" {
length = 16
special = true
override_special = "_%@"
}
resource "selectel_vpc_user_v2" "my-k8s-user" {
password = random_password.my-k8s-user-pass.result
name = var.username
enabled = true
}
resource "selectel_vpc_keypair_v2" "my-k8s-user-ssh" {
public_key = file("~/.ssh/id_rsa.pub")
user_id = selectel_vpc_user_v2.my-k8s-user.id
name = var.username
}
resource "selectel_vpc_role_v2" "my-k8s-role" {
project_id = selectel_vpc_project_v2.my-k8s.id
user_id = selectel_vpc_user_v2.my-k8s-user.id
}
แแแแแงแแแแ:
output "project_id" {
value = selectel_vpc_project_v2.my-k8s.id
}
output "k8s_id" {
value = selectel_mks_cluster_v1.k8s-cluster.id
}
output "user_name" {
value = selectel_vpc_user_v2.my-k8s-user.name
}
output "user_pass" {
value = selectel_vpc_user_v2.my-k8s-user.password
}
แแแแแฌแงแแ:
$ env
TF_VAR_region=ru-3
TF_VAR_username=diamon
TF_VAR_my_selectel_token=<token>
terraform plan -out planfile
$ terraform apply -input=false -auto-approve planfile
แแแแแฏแ 3. แฉแแแ แแแฆแแแ cubeconfig.
KUBECONFIG แแ แแแ แแแฃแแแ แฉแแแแกแแขแแแ แแแ, แแฅแแแ แฃแแแ แแแแฆแแ แแแขแแแ OpenStack-แแแ:
openstack token issue -c id -f value > token
แแ แแ แแแจแแแ แแแแแ แแแ แแแ แแฃแ Kubernetes Selectel API-แก. k8s_id แแแกแชแแแก terraform:
curl -XGET -H "x-auth-token: $(cat token)" "https://ru-3.mks.selcloud.ru/v1/clusters/$(cat k8s_id)/kubeconfig" -o kubeConfig.yaml
Cupconfig-แแ แฌแแแแแ แแกแแแ แจแแกแแซแแแแแแแ แแแแแแแก แกแแจแฃแแแแแแ.
แแแแแฏแ 4. แแแก แจแแแแแ, แ แแช แแขแแแแแ แแแแแแชแฎแแแ แ แแฅแแแแ แแ แแแกแแ แฌแแแแแ แแแแฅแแแแ, แแแแแแแ แจแแแแแซแแแ แแแแแแแขแแ แแแแแ แแแแแแแแแแ.
แแแ แฉแแแแแ แแแแแแแขแ:
- แกแแฎแแแแ แกแแแ แชแ
- แจแแแแฎแแแก แแแแกแ
- pod แฃแกแแคแ แแฎแแแแแก แแแแแขแแแ แแ แแกแ แจแแแแแ.
แแแก แจแแแแแ, แ แแช แแแแแแแแ แแแแแ แแ แจแแแแ แฉแแ แแแแกแขแแ แ แแแแแจแ ru-3a, แแแจแแ แแ แแญแแ แแแแ แจแแแแฎแแแก แแแแกแ แแ แแแแแแแ.
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: fast.ru-3a
annotations:
storageclass.kubernetes.io/is-default-class: "true"
provisioner: cinder.csi.openstack.org
parameters:
type: fast.ru-3a
availability: ru-3a
allowVolumeExpansion: true
แแแแแฏแ 5. แแแแแแกแขแแแแ แแ แแแขแแแ แแแแก แแแแแแกแแ แ.
แฉแแแ แแแแแแแงแแแแแ แกแขแแแแแ แขแฃแแก แแแแ แแกแแแแก nginx-ingress. แฃแแแ แแ แกแแแแแก แฃแแแ แแแ แแแกแขแ แฃแฅแชแแ แแแกแ แแแกแขแแแแชแแแกแแแแก, แแกแ แ แแ แฉแแแ แแแกแแ แแ แแแกแแฃแแ แแแ.
$ helm repo add nginx-stable https://helm.nginx.com/stable
$ helm upgrade nginx-ingress nginx-stable/nginx-ingress -n ingress --install -f ../internal/K8S-cluster/ingress/values.yml
แฉแแแ แแแแแแแแแ แแแ แ IP-แก แแแฆแแแแก แแแแฎแแแแแแ 3-4 แฌแฃแแแก แแแแแแแแแแแจแ:
แแแฆแแแฃแแ แแแ แ IP:
แแแแแฏแ 6. แแแแแแกแขแแแแ แแ GitLab.
$ helm repo add gitlab https://charts.gitlab.io
$ helm upgrade gitlab gitlab/gitlab -n gitlab --install -f gitlab/values.yml --set "global.hosts.domain=gitlab.$EXTERNAL_IP.nip.io"
แแกแแ แแแแแแแแแ แงแแแแ แฆแแแแแแแก แแแแกแแแแก.
kubectl get po -n gitlab
NAME READY STATUS RESTARTS AGE
gitlab-gitaly-0 0/1 Pending 0 0s
gitlab-gitlab-exporter-88f6cc8c4-fl52d 0/1 Pending 0 0s
gitlab-gitlab-runner-6b6867c5cf-hd9dp 0/1 Pending 0 0s
gitlab-gitlab-shell-55cb6ccdb-h5g8x 0/1 Init:0/2 0 0s
gitlab-migrations.1-2cg6n 0/1 Pending 0 0s
gitlab-minio-6dd7d96ddb-zd9j6 0/1 Pending 0 0s
gitlab-minio-create-buckets.1-bncdp 0/1 Pending 0 0s
gitlab-postgresql-0 0/2 Pending 0 0s
gitlab-prometheus-server-6cfb57f575-v8k6j 0/2 Pending 0 0s
gitlab-redis-master-0 0/2 Pending 0 0s
gitlab-registry-6bd77b4b8c-pb9v9 0/1 Pending 0 0s
gitlab-registry-6bd77b4b8c-zgb6r 0/1 Init:0/2 0 0s
gitlab-shared-secrets.1-pc7-5jgq4 0/1 Completed 0 20s
gitlab-sidekiq-all-in-1-v1-54dbcf7f5f-qbq67 0/1 Pending 0 0s
gitlab-task-runner-6fd6857db7-9x567 0/1 Pending 0 0s
gitlab-webservice-d9d4fcff8-hp8wl 0/2 Pending 0 0s
Waiting gitlab
./wait_gitlab.sh ../internal/gitlab/gitlab/.pods
waiting for pod...
waiting for pod...
waiting for pod...
แฌแแแฌแแแ แแแแแแ แแ:
แแแแแฏแ 7. แฉแแแ แแแฆแแแ GitLab-token-แก.
แแแ แแแ แ แแแจแ, แแแแแแ แจแแกแแแแก แแแ แแแ:
kubectl get secret -n gitlab gitlab-gitlab-initial-root-password -o jsonpath='{.data.password}' | base64 --decode
แแฎแแ แแแแแ แจแแฎแแแแแ แกแแกแขแแแแจแ แแ แแแแแฆแแ แแแขแแแ:
python3 get_gitlab_token.py root $GITLAB_PASSWORD http://gitlab.gitlab.$EXTERNAL_IP.nip.io
แแแแแฏแ 8. Git แกแแชแแแแแแก แกแฌแแ แแแ แแ แฅแแแจแ แแแขแแแ Gitlab แแ แแแแแแแ แแก แแแแแงแแแแแแ.
cd ../internal/gitlab/hierarchy && terraform apply -input=false -auto-approve planfile
แกแแแฌแฃแฎแแ แแ, terraform GitLab แแ แแแแแแแ แก แแฅแแก แแชแฃแ แแแ
แจแแชแแแแ . แจแแแแแ แแฅแแแ แแแแแฌแแแ แฎแแแแ แฌแแจแแแแ แแแแคแแแฅแขแฃแ แ แแ แแแฅแขแแแ, แ แแแ tf.state แแแแแกแฌแแ แแแก. แจแแแแแ แแแแแ แแแฃแจแแแ แแ แซแแแแแ `$make all`
แแแแแฏแ 9. แฉแแแ แแแแแแชแแแ แแแแแแแแ แแ แกแแชแแแแแก แกแแ แแแ แแ.
$ make push
[master (root-commit) b61d977] Initial commit
3 files changed, 46 insertions(+)
create mode 100644 .gitignore
create mode 100644 values.yml
Enumerating objects: 5, done.
Counting objects: 100% (5/5), done.
Delta compression using up to 8 threads
Compressing objects: 100% (5/5), done.
Writing objects: 100% (5/5), 770 bytes | 770.00 KiB/s, done.
Total 5 (delta 0), reused 0 (delta 0)
แจแแกแ แฃแแแแฃแแแ:
แแแกแแแแ
แฉแแแ แแแแแฆแฌแแแ แแแแก, แ แแ แฉแแแ แจแแแแแซแแแ แงแแแแแคแ แแก แแแแแแ แแชแแฃแแแ แแแ แแแ แฉแแแแ แแแแแแแแ แแแ แแแแฅแแแแแแ. แแฎแแ แแแแแ แแแแแแแขแแแ แงแแแแ แแก แแแแแแแแ CI-แแ แแ แฃแแ แแแแ แแแแญแแ แแ แฆแแแแแแแก. แแแแกแแแแแก แฉแแแ แฃแแแ แแแแแแแขแแแแ แฉแแแแ แแแแแแแแ แแแ แจแขแแขแแแ (Terraform State) CI-แจแ. แ แแแแ แแแแแแแแแ แแก แจแแแแแ แแแฌแแแจแ.
แแแแแแฌแแ แแ แฉแแแแ
แฌแแแแแฎแแ แ แแแ แแ แแแแแขแแแแ แแฎแแแ แกแขแแขแแแแแก แแแแแจแแแแ!
แฌแงแแ แ: www.habr.com