K8s keskkondade juurutamise korraldamine helmfile'i abil

Helmfile — mähiselement helm, mis võimaldab ühes kohas kirjeldada mitmeid helmväljalasid, parametriseerida neid tabeleid mitme keskkonna jaoks ning määrata nende juurutamise järjekorda.

Helmfile'i ja selle kasutamise näidete kohta saab lugeda readme ja parimate praktikate juhendist.

Me tutvume mitte-ilmselgete viisidega, kuidas kirjeldada väljalasid helmfile'is

Oletame, et meil on hulk helm-tabeleid (näiteks postgres ja mingi tagaukse rakendus) ja mitu keskkonda (mitu Kubernetes klastrit, mitu namespace'i või mõlemat). Võtame helmfile'i, loeme dokumentatsiooni ja hakkame kirjeldama meie keskkondi ja väljalasid:

    .
    ├── envs
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

keskkonnad:
  devel:
  production:

väljalad:
  - nimi: postgres
    sildid:
      rakendus: postgres
    oota: true
    tabel: stable/postgresql
    versioon: 8.4.0
    väärtused:
      - envs/{{ .Environment.Name }}/values/postgres.yaml
  - nimi: backend
    sildid:
      rakendus: backend
    oota: true
    tabel: private-helm-repo/backend
    versioon: 1.0.5
    vajab:
      - postgres
    väärtused:
      - envs/{{ .Environment.Name }}/values/backend.yaml

Meil on kaks keskkonda: devel, tootmisse — igas on oma väärtused helm chartide väljaannetes. Me deponeerime neid nii:

helmfile -n  -e  apply

Erinevad helm chartide versioonid erinevates keskkondades

Mida teha, kui peame erinevate versioonide backend'i erinevatesse keskkondadesse rakendama? Kuidas parameetriseerida väljaande versioon? Siin tulevad appi keskkonna väärtused, mis on saadaval kaudu {{ .Values }}

helmfile.yaml

environments:
  devel:
+   values:
+   - charts:
+       versions:
+         backend: 1.1.0
  production:
+   values:
+   - charts:
+       versions:
+         backend: 1.0.5
...
  - name: backend
    labels:
      app: backend
    wait: true
    chart: private-helm-repo/backend
-   version: 1.0.5
+   version: {{ .Values.charts.versions.backend }}
...

Erinev rakenduste komplekt erinevates keskkondades

Suurepärane, aga mis siis, kui me ei pea tootmisse rakendama postgres'i, sest teame, et andmebaasi ei pea k8s-sse pannama ja meil on müügis imeline eraldi postgres klasster? Selle probleemi lahendamiseks on meil etiketid (labels)

helmfile -n  -e devel apply
helmfile -n  -e production -l app=backend apply

See on suurepärane, kuid isiklikult eelistan ma kirjeldada, milliseid rakendusi keskkonnas juurutada mitte käivitamisargumentide, vaid keskkondade enda kirjeldustes. Mida teha? Siin on võimalik paigutada versioonide kirjeldused eraldi kausta, keskkonna kirjelduse alla luua vajalike versioonide nimekiri ja "siduda" ainult vajalikud versioonid, jättes ülejäänud tähelepanuta.

    .
    ├── envs
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
+   ├── releases
+   │   ├── backend.yaml
+   │   └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

  environments:
    devel:
      values:
      - charts:
          versions:
            backend: 1.1.0
      - apps:
        - postgres
        - backend

    production:
      values:
      - charts:
          versions:
            backend: 1.0.5
      - apps:
        - backend

- releases:
-    - name: postgres
-      labels:
-        app: postgres
-      wait: true
-      chart: stable/postgresql
-      version: 8.4.0
-      values:
-        - envs/{{ .Environment.Name }}/values/postgres.yaml
-    - name: backend
-      labels:
-        app: backend
-      wait: true
-      chart: private-helm-repo/backend
-     version: {{ .Values.charts.versions.backend }}
-     needs:
-       - postgres
-     values:
-       - envs/{{ .Environment.Name }}/values/backend.yaml
+ ---
+ bases:
+ {{- range .Values.apps }}
+   - releases/{{ . }}.yaml
+ {{- end }}

releases/postgres.yaml

väljaanded:
  - nimi: postgres
    sildid:
      rakendus: postgres
    oota: true
    kaart: stable/postgresql
    versioon: 8.4.0
    väärtused:
      - envs/{{ .Environment.Name }}/values/postgres.yaml

releases/backend.yaml

väljaanded:
  - nimi: backend
    sildid:
      rakendus: backend
    oota: true
    kaart: private-helm-repo/backend
    versioon: {{ .Values.charts.versions.backend }}
    vajadused:
      - postgres
    väärtused:
      - envs/{{ .Environment.Name }}/values/backend.yaml

Märkus

При использовании baasid: on kohustuslik kasutada yaml eraldajat ---, et oleks võimalik väljaandeid (ja muid osi, nagu helmDefaults) mallida väärtustega keskkondadest

Sel juhul ei pääse postgres väljaanne isegi tootmisest kirjeldusse. Väga mugav!

Üledefineeritavad globaalne väärtused väljaannete jaoks

Loomulikult on tore, et iga keskkonna jaoks saab seada helm kaardile väärtusi, kuid mis juhtub, kui meil on mitu keskkonda ja me tahame näiteks seada need kõikidele sama affinity, kuid ei taha seadistada seda vaikimisi endi kaardides, mis on salvestatud hoidlates.

Sel juhul võiksime iga väljaande jaoks seada 2 väärtuste faili: esimene vaikimisi väärtustega, mis määravad kaardi väärtused, ja teine väärtustega keskkonnale, mis omakorda ületab vaikimisi.

    .
    ├── envs
+   │   ├── default
+   │   │   └── values
+   │   │       ├── backend.yaml
+   │   │       └── postgres.yaml
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
    ├── releases
    │   ├── backend.yaml
    │   └── postgres.yaml
    └── helmfile.yaml

releases/backend.yaml

väljaanded:
  - nimi: backend
    sildid:
      app: backend
    oota: true
    chart: private-helm-repo/backend
    version: {{ .Values.charts.versions.backend }}
    vajab:
      - postgres
    value-d:
+     - envs/default/values/backend.yaml
      - envs/{{ .Environment.Name }}/values/backend.yaml

envs/default/values/backend.yaml

afiniteet:
  podAntiAffinity:
    eelistatudPlaneerimiselIgnoreerituTäitmisel:
    - kaal: 1
      podAffinityTerm:
        labelSelector:
          matchExpressions:
          - key: app.kubernetes.io/name
            operator: In
            values:
            - backend
        topologyKey: "kubernetes.io/hostname"

Helmi chartide globaalsete väärtuste määratlemine kõigi väljaannete keskkonna tasemel

Oletame, et meil on mitmes väljaandes mitu ingress'i — saaksime igas chartis käsitsi määratleda hosts:, aga meie puhul on domeen üks ja sama, miks ei saaks seda üldiseks muutujaks teha ja lihtsalt selle väärtust graafikutesse sisestada? Sel eesmärgil peavad need väärtuste failid, mida soovime parameetriseerida, olema laiendusega .gotmpl, et helmfile teaks, et neid tuleb töödelda šabloonimise kaudu.

    .
    ├── envs
    │   ├── default
    │   │   └── values
-   │   │       ├── backend.yaml
-   │   │       ├── postgres.yaml
+   │   │       ├── backend.yaml.gotmpl
+   │   │       └── postgres.yaml.gotmpl
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
    ├── releases
    │   ├── backend.yaml
    │   └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

  keskkonnad:
    devel:
      väärtused:
      - graafikud:
          versioonid:
            backend: 1.1.0
      - rakendused:
        - postgres
        - backend
+     - globaalne:
+         ingressDomain: k8s.devel.domain

    production:
      väärtused:
      - graafikud:
          versioonid:
            backend: 1.0.5
      - rakendused:
        - backend
+     - globaalne:
+         ingressDomain: production.domain
  ---
  baasi:
  {{- range .Values.apps }}
    - releases/{{ . }}.yaml
  {{- end }}

envs/default/values/backend.yaml.gotmpl

ingress:
  lubatud: true
  teed:
    - /api
  külalised:
    - {{ .Values.global.ingressDomain }}

envs/default/values/postgres.yaml.gotmpl

ingress:
  enabled: true
  paths:
    - / 
  hosts:
    - postgres.{{ .Values.global.ingressDomain }}

Märkus

On selge, et postgres chart’i ingress on midagi väga kahtlast, mistõttu on see artiklis toodud lihtsalt kui sfääriline näide tühjas õhus ja selleks, et mitte artiklisse tuua mingit uut väljaandmist lihtsalt ingressi kirjeldamiseks.

Saladuste (secrets) asendamine keskkonna väärtustest

Sarnaselt eelpool toodud näitele saab asendada ka krüpteeritud väärtusi helm secrets väärtuste. Selle asemel, et iga väljaande jaoks luua oma secrets fail, milles määratakse šifreeritud väärtused chart’i jaoks, saame lihtsalt määratleda väljaande default.yaml.gotmpl failis väärtused, mis võetakse keskkonnatasemel määratud muutujatest. Ja väärtused, mida me ei pea kedagi varjama, saab rahulikult ümber määrata väljaande väärtustes konkreetse keskkonna jaoks.

    .
    ├── envs
    │   ├── default
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   ├── devel
    │   │   ├── values
    │   │   │   ├── backend.yaml
    │   │   │   └── postgres.yaml
+   │   │   └── secrets.yaml
    │   └── production
    │       ├── values
    │       │   ├── backend.yaml
    │       │   └── postgres.yaml
+   │       └── secrets.yaml
    ├── releases
    │   ├── backend.yaml
    │   └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

  keskkonnad:
    devel:
      väärtused:
      - kaardid:
          versioonid:
            backend: 1.1.0
      - rakendused:
        - postgres
        - backend
      - globaalne:
          ingressDomain: k8s.devel.domain
+     saladused:
+       - envs/devel/secrets.yaml

    tootmis:
      väärtused:
      - kaardid:
          versioonid:
            backend: 1.0.5
      - rakendused:
        - backend
      - globaalne:
          ingressDomain: production.domain
+     saladused:
+       - envs/production/secrets.yaml
  ---
  baasid:
  {{- range .Values.apps }}
    - releases/{{ . }}.yaml
  {{- end }}

envs/devel/secrets.yaml

saladused:
    elastic:
        parool: ENC[AES256_GCM,data:hjCB,iv:Z1P6/6xBJgJoKLJ0UUVfqZ80o4L84jvZfM+uH9gBelc=,tag:dGqQlCZnLdRAGoJSj63rBQ==,type:int]
...

envs/production/secrets.yaml

saladused:
    elastic:
        parool: ENC[AES256_GCM,data:ZB/VpTFk8f0=,iv:EA//oT1Cb5wNFigTDOz3nA80qD9UwTjK5cpUwLnEXjs=,tag:hMdIUaqLRA8zuFBd82bz6A==,type:str]
...

envs/default/values/backend.yaml.gotmpl

elasticsearch:
  host: elasticsearch
  port: 9200
  parool: {{ .Values | getOrNil "saladused.elastic.parool" | default "parool" }}

envs/devel/values/backend.yaml

elasticsearch:
  host: elastic-0.devel.domain

envs/production/values/backend.yaml

elasticsearch:
  host: elastic-0.production.domain

Märkus

Muide, getOrNil — spetsiaalne funktsioon go mallide jaoks helmfile'is, mis isegi kui .Values.secrets ei eksisteeri, ei tekitaks viga, vaid võimaldaks tulemuseks kasutada funktsiooni default sisestada vaikimisi väärtus

Kokkuvõte

Kirjeldatud asjad tunduvad üsna ilmsed, kuid mugava kirjelduse leidmine mitme keskkonna juurutamiseks helmfile'i abil on väga napp, ja mulle meeldib IaC (Infrastructure-as-Code) ning tahan omada selget juurutuse oleku kirjeldust.

Lõpetuseks tahan lisada, et vaikimisi keskkonna muutujad saab omakorda parametriseerida teatud jooksja operatsioonisüsteemi keskkonnamuutujate kaudu, millelt juurutamine käivitatakse, ja seega saavutada dünaamilised keskkonnad

helmfile.yaml

environments:
  default:
    values:
    - global:
        clusterDomain: {{ env "CLUSTER_DOMAIN" | default "cluster.local" }}
        ingressDomain: {{ env "INGRESS_DOMAIN" }}

Allikas: habr.com