Organizace nasazení do mnoha k8s prostředí pomocí helmfile

Helmfile — obal pro helm, který umožňuje na jednom místě popisovat více helm releasů, parametrizovat jejich chartery pro několik prostředí a také určovat pořadí jejich nasazení.

O samotném helmfile a příkladech jeho použití si můžete přečíst v readme a příručce nejlepších postupů.

My se seznámíme s méně zřejmými způsoby, jak popsat releasy v helmfile

Představme si, že máme sadu helm-chartů (pro příklad použijeme postgres a nějakou backend aplikaci) a několik prostředí (několik kubernetes clustera, několik namespace’ů nebo obojí). vezmeme helmfile, přečteme dokumentaci a začneme popisovat naše prostředí a releasy:

    .
    ├── envs
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

environments:
  devel:
  production:

releases:
  - name: postgres
    labels:
      app: postgres
    wait: true
    chart: stable/postgresql
    version: 8.4.0
    values:
      - envs/{{ .Environment.Name }}/values/postgres.yaml
  - name: backend
    labels:
      app: backend
    wait: true
    chart: private-helm-repo/backend
    version: 1.0.5
    needs:
      - postgres
    values:
      - envs/{{ .Environment.Name }}/values/backend.yaml

Máme 2 prostředí: devel, production — v každém se nacházejí svá vlastní nastavení pro helm chartery releasů. Budeme je nasazovat takto:

helmfile -n  -e  apply

Různé verze helm chartů v různých prostředích

Co dělat, pokud chceme nasazovat různé verze backendu do různých prostředí? Jak parametrizovat verzi releasu? K tomu nám slouží hodnoty prostředí dostupné přes {{ .Values }}

helmfile.yaml

environments:
  devel:
+   values:
+   - charts:
+       versions:
+         backend: 1.1.0
  production:
+   values:
+   - charts:
+       versions:
+         backend: 1.0.5
...
  - name: backend
    labels:
      app: backend
    wait: true
    chart: private-helm-repo/backend
-   version: 1.0.5
+   version: {{ .Values.charts.versions.backend }}
...

Různé sady aplikací v různých prostředích

Skvělé, ale co když nechceme production nasazovat postgres, protože víme, že není potřeba databázi nasazovat do k8s a pro produkci máme skvělý samostatný cluster postgres? Pro řešení tohoto problému máme štítky (labels)

helmfile -n  -e devel apply
helmfile -n  -e production -l app=backend apply

To je skvělé, ale osobně preferuji popisovat, které aplikace se nasazují v prostředí, nikoli pomocí spouštěcích argumentů, ale v popisu samotných prostředí. Co s tím? Můžeme umístit popis verzí do samostatné složky, v popisu prostředí vytvořit seznam potřebných verzí a "připojit" pouze požadované verze, zatímco ostatní ignorujeme.

    .
    ├── envs
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
+   ├── releases
+   │   ├── backend.yaml
+   │   └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

  environments:
    devel:
      values:
      - charts:
          versions:
            backend: 1.1.0
      - apps:
        - postgres
        - backend

    production:
      values:
      - charts:
          versions:
            backend: 1.0.5
      - apps:
        - backend

- releases:
-    - name: postgres
-      labels:
-        app: postgres
-      wait: true
-      chart: stable/postgresql
-      version: 8.4.0
-      values:
-        - envs/{{ .Environment.Name }}/values/postgres.yaml
-    - name: backend
-      labels:
-        app: backend
-      wait: true
-      chart: private-helm-repo/backend
-     version: {{ .Values.charts.versions.backend }}
-     needs:
-       - postgres
-     values:
-       - envs/{{ .Environment.Name }}/values/backend.yaml
+ ---
+ bases:
+ {{- range .Values.apps }}
+   - releases/{{ . }}.yaml
+ {{- end }}

releases/postgres.yaml

releases:
  - name: postgres
    labels:
      app: postgres
    wait: true
    chart: stable/postgresql
    version: 8.4.0
    values:
      - envs/{{ .Environment.Name }}/values/postgres.yaml

releases/backend.yaml

releases:
  - name: backend
    labels:
      app: backend
    wait: true
    chart: private-helm-repo/backend
    version: {{ .Values.charts.versions.backend }}
    needs:
      - postgres
    values:
      - envs/{{ .Environment.Name }}/values/backend.yaml

Poznámka

Při používání bases: je nutné použít yaml oddělovač ---, aby bylo možné šablonizovat releases (a další části, jako helmDefaults) hodnotami z environments

V takovém případě se release postgres ani nedostane do popisu pro produkci. Velmi pohodlné!

Přepisovatelné globální hodnoty pro releases

Určitě je skvělé, že můžeme pro každé prostředí nastavit hodnoty pro helm chart, ale co když máme popsáno několik prostředí a chceme například nastavit stejnou hodnotu pro všechny affinity, ale nechceme ji nastavovat jako výchozí v samotných chartech, které se nacházejí v repozitářích.

V takovém případě bychom mohli pro každý release nastavit 2 soubory s values: první s výchozími hodnotami, které určují hodnoty samotného chartu, a druhý se hodnotami pro prostředí, který následně přepíše defaulty.

    .
    ├── envs
+   │   ├── default
+   │   │   └── values
+   │   │       ├── backend.yaml
+   │   │       └── postgres.yaml
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
    ├── releases
    │   ├── backend.yaml
    │   └── postgres.yaml
    └── helmfile.yaml

releases/backend.yaml

releases:
  - name: backend
    labels:
      app: backend
    wait: true
    chart: private-helm-repo/backend
    version: {{ .Values.charts.versions.backend }}
    needs:
      - postgres
    values:
+     - envs/default/values/backend.yaml
      - envs/{{ .Environment.Name }}/values/backend.yaml

envs/default/values/backend.yaml

affinity:
  podAntiAffinity:
    preferredDuringSchedulingIgnoredDuringExecution:
    - weight: 1
      podAffinityTerm:
        labelSelector:
          matchExpressions:
          - key: app.kubernetes.io/name
            operator: In
            values:
            - backend
        topologyKey: "kubernetes.io/hostname"

Definice globálních hodnot pro helm grafy všech vydání na úrovni prostředí

Představme si, že máme v několika vydáních vytvořen několik ingress — mohli bychom pro každý graf ručně definovat hosts:, ale v našem případě je doména stejná, tak proč ji nevytáhnout do globální proměnné a jednoduše ji použít v grafech? K tomu by měly mít soubory s hodnotami, které chceme parametrizovat, příponu .gotmpl, aby helmfile věděl, že je třeba je projít šablonizátorem.

    .
    ├── envs
    │   ├── default
    │   │   └── values
-   │   │       ├── backend.yaml
-   │   │       ├── postgres.yaml
+   │   │       ├── backend.yaml.gotmpl
+   │   │       └── postgres.yaml.gotmpl
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
    ├── releases
    │   ├── backend.yaml
    │   └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

  environments:
    devel:
      values:
      - charts:
          versions:
            backend: 1.1.0
      - apps:
        - postgres
        - backend
+     - global:
+         ingressDomain: k8s.devel.domain

    production:
      values:
      - charts:
          versions:
            backend: 1.0.5
      - apps:
        - backend
+     - global:
+         ingressDomain: production.domain
  ---
  bases:
  {{- range .Values.apps }}
    - releases/{{ . }}.yaml
  {{- end }}

envs/default/values/backend.yaml.gotmpl

ingress:
  enabled: true
  paths:
    - /api
  hosts:
    - {{ .Values.global.ingressDomain }}

envs/default/values/postgres.yaml.gotmpl

ingress:
  enabled: true
  paths:
    - /
  hosts:
    - postgres.{{ .Values.global.ingressDomain }}

Poznámka

Je zřejmé, že ingress v chartě postgres je něco velmi problematického, a proto je v článku uvedeno jen jako hypotetický příklad v prázdném prostoru, aby se do textu nezaváděla nějaká nová verze pouze kvůli popisu ingress.

Vkládání tajemství (secrets) z proměnných prostředí.

Analogicky k výše uvedenému příkladu lze také vkládat zašifrované pomocí helm secrets hodnoty. Místo toho, abychom pro každé vydání vytvářeli svůj soubor secrets, ve kterém bychom definovali zašifrované hodnoty pro chart, můžeme jednoduše definovat v souboru default.yaml.gotmpl hodnoty, které budou brány z proměnných nastavených na úrovni prostředí. A hodnoty, které nechceme skrývat, můžeme již pohodlně předefinovat ve specifických hodnotách vydání pro dané prostředí.

    .
    ├── envs
    │   ├── default
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   ├── devel
    │   │   ├── values
    │   │   │   ├── backend.yaml
    │   │   │   └── postgres.yaml
+   │   │   └── secrets.yaml
    │   └── production
    │       ├── values
    │       │   ├── backend.yaml
    │       │   └── postgres.yaml
+   │       └── secrets.yaml
    ├── releases
    │   ├── backend.yaml
    │   └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

  environments:
    devel:
      values:
      - charts:
          versions:
            backend: 1.1.0
      - apps:
        - postgres
        - backend
      - global:
          ingressDomain: k8s.devel.domain
+     secrets:
+       - envs/devel/secrets.yaml

    production:
      values:
      - charts:
          versions:
            backend: 1.0.5
      - apps:
        - backend
      - global:
          ingressDomain: production.domain
+     secrets:
+       - envs/production/secrets.yaml
  ---
  bases:
  {{- range .Values.apps }}
    - releases/{{ . }}.yaml
  {{- end }}

envs/devel/secrets.yaml

secrets:
    elastic:
        password: ENC[AES256_GCM,data:hjCB,iv:Z1P6/6xBJgJoKLJ0UUVfqZ80o4L84jvZfM+uH9gBelc=,tag:dGqQlCZnLdRAGoJSj63rBQ==,type:int]
...

envs/production/secrets.yaml

secrets:
    elastic:
        password: ENC[AES256_GCM,data:ZB/VpTFk8f0=,iv:EA//oT1Cb5wNFigTDOz3nA80qD9UwTjK5cpUwLnEXjs=,tag:hMdIUaqLRA8zuFBd82bz6A==,type:str]
...

envs/default/values/backend.yaml.gotmpl

elasticsearch:
  host: elasticsearch
  port: 9200
  password: {{ .Values | getOrNil "secrets.elastic.password" | default "password" }}

envs/devel/values/backend.yaml

elasticsearch:
  host: elastic-0.devel.domain

envs/production/values/backend.yaml

elasticsearch:
  host: elastic-0.production.domain

Poznámka

Mimochodem, getOrNil — speciální funkce pro go šablony v helmfile, která, i když .Values.secrets nebude existovat, nevygeneruje chybu, a umožní tak pomocí funkce default vložení výchozí hodnoty.

Závěr

Popisované věci se zdají být docela zřejmé, ale informace o pohodlném popisu nasazení do několika prostředí pomocí helmfile jsou velmi skromné, a já miluji IaC (Infrastructure-as-Code) a chci mít jasný popis stavu nasazení.

Na závěr chci dodat, že proměnné pro výchozí prostředí lze naopak parametrizovat proměnnými prostředí OS nějakého runnera, ze kterého bude nasazení spuštěno, a tímto způsobem získat dynamická prostředí.

helmfile.yaml

environments:
  default:
    values:
    - global:
        clusterDomain: {{ env "CLUSTER_DOMAIN" | default "cluster.local" }}
        ingressDomain: {{ env "INGRESS_DOMAIN" }}

Zdroj: habr.com