A telepítés szervezése több k8s környezetben helmfile segítségével

Helmfile — egy burkoló a helm, amely lehetővé teszi, hogy egy helyen írjuk le a sok helm kiadást, paraméterezve a chartokat több környezethez, és megadva a telepítésük sorrendjét.

A helmfile-ról és annak használatának példáiról itt olvashat: readme és legjobb gyakorlatok útmutató.

Most a helmfile-ben a kiadások leírásának nem nyilvánvaló módszereit ismerjük meg

Tegyük fel, hogy van egy csomag helm chartunk (például postgres és egy backend alkalmazás), és több környezet (több kubernetes klaszter, több namespace vagy mindkettő). Elővesszük a helmfile-t, elolvassuk a dokumentációt, és elkezdjük leírni a környezeteinket és kiadásainkat:

    .
    ├── envs
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

environments:
  devel:
  production:

releases:
  - name: postgres
    labels:
      app: postgres
    wait: true
    chart: stable/postgresql
    version: 8.4.0
    values:
      - envs/{{ .Environment.Name }}/values/postgres.yaml
  - name: backend
    labels:
      app: backend
    wait: true
    chart: private-helm-repo/backend
    version: 1.0.5
    needs:
      - postgres
    values:
      - envs/{{ .Environment.Name }}/values/backend.yaml

Két környezetünk lett: devel, production — mindegyikben saját értékek vannak a helm chartok kiadásaihoz. Telepíteni az alábbiak szerint fogunk:

helmfile -n  -e  apply

Különböző helm chart verziók különböző környezetekben

Mi a teendő, ha különböző backend verziókat kell kiadnunk különböző környezetekben? Hogyan paraméterezhetjük a kiadás verzióját? A környezeti értékek segítenek, amelyeket elérhetünk a {{ .Values }}

helmfile.yaml

environments:
  devel:
+   values:
+   - charts:
+       versions:
+         backend: 1.1.0
  production:
+   values:
+   - charts:
+       versions:
+         backend: 1.0.5
...
  - name: backend
    labels:
      app: backend
    wait: true
    chart: private-helm-repo/backend
-   version: 1.0.5
+   version: {{ .Values.charts.versions.backend }}
...

Különböző alkalmazások készlete különböző környezetekben

Remek, de mi van, ha nem kívánjuk production a postgREST kiadását, mert tudjuk, hogy nem kell adatbázist tennünk a k8s-be, és a termeléshez van egy csodás külön postgres klaszterünk? Erre a problémára a címkék (labels) jelentik a megoldást.

helmfile -n  -e devel apply
helmfile -n  -e production -l app=backend apply

Ez nagyszerű, de személy szerint úgy preferálnám, hogy az alkalmazások környezeten belüli telepítését ne futtatási argumentumokkal, hanem maguknak a környezeteknek a leírásával határozzuk meg. Mi a teendő? A kiadások leírását egy külön mappába tehetjük, a környezet leírásában létrehozhatunk egy szükséges kiadások listáját, és csak a szükséges kiadásokat "cselezhetjük be", figyelmen kívül hagyva a többit.

    .
    ├── környezetek
    │   ├── fejlesztés
    │   │   └── értékek
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── termelés
    │       └── értékek
    │           ├── backend.yaml
    │           └── postgres.yaml
+   ├── kiadások
+   │   ├── backend.yaml
+   │   └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

  környezetek:
    fejlesztés:
      értékek:
      - chartok:
          verziók:
            backend: 1.1.0
      - alkalmazások:
        - postgres
        - backend

    termelés:
      értékek:
      - chartok:
          verziók:
            backend: 1.0.5
      - alkalmazások:
        - backend

- kiadások:
-    - név: postgres
-      címkék:
-        alkalmazás: postgres
-      várakozás: igaz
-      chart: stabil/postgresql
-      verzió: 8.4.0
-      értékek:
-        - környezetek/{{ .Environment.Name }}/értékek/postgres.yaml
-    - név: backend
-      címkék:
-        alkalmazás: backend
-      várakozás: igaz
-      chart: privát-helm-repo/backend
-     verzió: {{ .Values.chartok.verziók.backend }}
-     szükségek:
-       - postgres
-     értékek:
-       - környezetek/{{ .Environment.Name }}/értékek/backend.yaml
+ ---
+ alapok:
+ {{- range .Values.alapok }}
+   - kiadások/{{ . }}.yaml
+ {{- end }}

kiadások/postgres.yaml

kiadások:
  - név: postgres
    címkék:
      alkalmazás: postgres
    várakozás: igaz
    chart: stabil/postgresql
    verzió: 8.4.0
    értékek:
      - környezetek/{{ .Environment.Name }}/értékek/postgres.yaml

kiadások/backend.yaml

kiadások:
  - név: backend
    címkék:
      alkalmazás: backend
    várakozás: igaz
    chart: privát-helm-repo/backend
    verzió: {{ .Values.chartok.verziók.backend }}
    szükségek:
      - postgres
    értékek:
      - környezetek/{{ .Environment.Name }}/értékek/backend.yaml

Megjegyzés

Használat közben alapok: szükséges a yaml elválasztó kötelező használata ---, hogy a kiadások (és a többi rész, mint például a helmDefaults) sablonosíthatók legyenek az környezetekből származó értékekkel

Ebben az esetben a postgres kiadás még a termelési leírásba sem kerül bele. Nagyon kényelmes!

Felüldefiniálható globális értékek a kiadásokhoz

Természetesen nagyszerű, hogy minden környezethez megadhatjuk a helm chartok értékeit, de mi van, ha több környezet van leírva, és például ugyanazt szeretnénk beállítani mindegyikhez affinity, de nem akarjuk alapértelmezetten beállítani magukban a chartokban, amelyek a repókban vannak tárolva.

Ebben az esetben minden kiadásnál megadhatnánk 2 fájlt az értékekkel: az elsőt az alapértelmezett értékekkel, amelyek a chart értékeit határozzák meg, a második pedig a környezeti értékekkel, ami viszont felül fogja írni az alapértelmezetteket.

    .
    ├── envs
+   │   ├── default
+   │   │   └── values
+   │   │       ├── backend.yaml
+   │   │       └── postgres.yaml
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
    ├── releases
    │   ├── backend.yaml
    │   └── postgres.yaml
    └── helmfile.yaml

kiadások/backend.yaml

releases:
  - name: backend
    labels:
      app: backend
    wait: true
    chart: private-helm-repo/backend
    version: {{ .Values.charts.versions.backend }}
    needs:
      - postgres
    values:
+     - envs/default/values/backend.yaml
      - envs/{{ .Environment.Name }}/values/backend.yaml

envs/default/values/backend.yaml

affinity:
  podAntiAffinity:
    preferredDuringSchedulingIgnoredDuringExecution:
    - weight: 1
      podAffinityTerm:
        labelSelector:
          matchExpressions:
          - key: app.kubernetes.io/name
            operator: In
            values:
            - backend
        topologyKey: "kubernetes.io/hostname"

Globális értékek definiálása a helm chartok számára minden kiadás környezet szintjén

Tegyük fel, hogy több kiadásnál több ingress-t hozunk létre - minden chart esetében manuálisan definiálhatnánk hosts:, de mivel az esetünkben a domain ugyanaz, miért ne tehetnénk ezt egy globális változóba, és egyszerűen behelyettesíthetnénk az értékét a chartokba? Ehhez azoknak a values fájloknak, amelyeket paraméterezni szeretnénk, .gotmpl kiterjesztésűeknek kell lenniük .gotmpl, hogy a helmfile tudja, hogy le kell futtatnia a sablonkezelőt.

    .
    ├── envs
    │   ├── default
    │   │   └── values
-   │   │       ├── backend.yaml
-   │   │       ├── postgres.yaml
+   │   │       ├── backend.yaml.gotmpl
+   │   │       └── postgres.yaml.gotmpl
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
    ├── releases
    │   ├── backend.yaml
    │   └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

  environments:
    devel:
      values:
      - charts:
          versions:
            backend: 1.1.0
      - apps:
        - postgres
        - backend
+     - global:
+         ingressDomain: k8s.devel.domain

    production:
      values:
      - charts:
          versions:
            backend: 1.0.5
      - apps:
        - backend
+     - global:
+         ingressDomain: production.domain
  ---
  bases:
  {{- range .Values.apps }}
    - releases/{{ . }}.yaml
  {{- end }}

envs/default/values/backend.yaml.gotmpl

ingress:
  enabled: true
  paths:
    - /api
  hosts:
    - {{ .Values.global.ingressDomain }}

envs/default/values/postgres.yaml.gotmpl

ingress:
  enabled: true
  paths:
    - /
  hosts:
    - postgres.{{ .Values.global.ingressDomain }}

Megjegyzés

Nyilvánvaló, hogy a postgres chartban található ingress egy rendkívül kétséges dolog, ezért ezt az írásban csupán egy szférikus példaként említjük meg a vákuumban, és nem azért, hogy új kiadást vezessünk be a cikkbe, csupán az ingress leírása végett.

Titkos értékek (secrets) behelyettesítése környezeti értékekből.

A fent említett példa alapján titkosított értékeket is be lehet helyettesíteni. helm secrets értékekkel. Ahelyett, hogy minden egyes kiadáshoz létrehoznánk egy külön secrets fájlt, amelyben a chart titkosított értékeit definiáljuk, egyszerűen megadhatjuk a release default.yaml.gotmpl fájljában azokat az értékeket, amelyek környezeti szinten definiált változókból származnak. A nem titkos értékeket nyugodtan felülírhatjuk a konkrét környezetben lévő release értékeiben.

    .
    ├── envs
    │   ├── default
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   ├── devel
    │   │   ├── values
    │   │   │   ├── backend.yaml
    │   │   │   └── postgres.yaml
+   │   │   └── secrets.yaml
    │   └── production
    │       ├── values
    │       │   ├── backend.yaml
    │       │   └── postgres.yaml
+   │       └── secrets.yaml
    ├── releases
    │   ├── backend.yaml
    │   └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

  environments:
    devel:
      values:
      - charts:
          versions:
            backend: 1.1.0
      - apps:
        - postgres
        - backend
      - global:
          ingressDomain: k8s.devel.domain
+     secrets:
+       - envs/devel/secrets.yaml

    production:
      values:
      - charts:
          versions:
            backend: 1.0.5
      - apps:
        - backend
      - global:
          ingressDomain: production.domain
+     secrets:
+       - envs/production/secrets.yaml
  ---
  bases:
  {{- range .Values.apps }}
    - releases/{{ . }}.yaml
  {{- end }}

envs/devel/secrets.yaml

secrets:
    elastic:
        password: ENC[AES256_GCM,data:hjCB,iv:Z1P6/6xBJgJoKLJ0UUVfqZ80o4L84jvZfM+uH9gBelc=,tag:dGqQlCZnLdRAGoJSj63rBQ==,type:int]
...

envs/production/secrets.yaml

secrets:
    elastic:
        password: ENC[AES256_GCM,data:ZB/VpTFk8f0=,iv:EA//oT1Cb5wNFigTDOz3nA80qD9UwTjK5cpUwLnEXjs=,tag:hMdIUaqLRA8zuFBd82bz6A==,type:str]
...

envs/default/values/backend.yaml.gotmpl

elasticsearch:
  host: elasticsearch
  port: 9200
  password: {{ .Values | getOrNil "secrets.elastic.password" | default "password" }}

envs/devel/values/backend.yaml

elasticsearch:
  host: elastic-0.devel.domain

envs/production/values/backend.yaml

elasticsearch:
  host: elastic-0.production.domain

Megjegyzés

Egyébként, getOrNil — egy speciális függvény a go sablonokhoz helmfile-ben, amely, még ha .Values.secrets nem létezne, nem dob hibát, hanem lehetővé teszi, hogy a függvénnyel alapértelmezett egy alapértelmezett értéket adjunk meg.

Zárás

A leírt dolgok meglehetősen nyilvánvalónak tűnnek, de az információk a helmfile segítségével történő több környezetbe történő telepítés kényelmes leírásához nagyon szűkösek, és én szeretem az IaC (Infrastructure-as-Code) megoldásokat, ezért szeretném, ha világos leírás lenne a telepítési állapotról.

Összegzésként szeretném hozzátenni, hogy a default környezeti változók paraméterezhetőek az operációs rendszer környezeti változóival, amelyről a telepítés indítása történik, így dinamikus környezeteket hozhatunk létre.

helmfile.yaml

environments:
  default:
    values:
    - global:
        clusterDomain: {{ env "CLUSTER_DOMAIN" | default "cluster.local" }}
        ingressDomain: {{ env "INGRESS_DOMAIN" }}

Forrás: habr.com