Izvietošanas organizēšana vairākās k8s vidēs, izmantojot helmfile

Helmfile - iesaiņojums priekš stūre, kas ļauj vienuviet aprakstīt daudzus stūres izlaidumus, parametrizēt to diagrammas vairākām vidēm un arī iestatīt to izvietošanas secību.

Jūs varat lasīt par pašu helmfile un tās izmantošanas piemēriem Lasi и paraugprakses ceļvedis.

Mēs iepazīsimies ar nepārprotamiem veidiem, kā aprakstīt izlaidumus helmfile

Pieņemsim, ka mums ir stūres diagrammu pakotne (piemēram, Postgres un dažas aizmugursistēmas lietojumprogrammas) un vairākas vides (vairākas kubernetes kopas, vairākas nosaukumvietas vai vairākas abas). Mēs paņemam helmfile, izlasām dokumentāciju un sākam aprakstīt mūsu vidi un izlaidumus:

    .
    ├── envs
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

environments:
  devel:
  production:

releases:
  - name: postgres
    labels:
      app: postgres
    wait: true
    chart: stable/postgresql
    version: 8.4.0
    values:
      - envs/{{ .Environment.Name }}/values/postgres.yaml
  - name: backend
    labels:
      app: backend
    wait: true
    chart: private-helm-repo/backend
    version: 1.0.5
    needs:
      - postgres
    values:
      - envs/{{ .Environment.Name }}/values/backend.yaml

Mēs nonācām pie 2 vides: attīstīt, ražošana — katrs satur savas vērtības stūres atbrīvošanas diagrammām. Mēs viņiem izvietosim šādi:

helmfile -n <namespace> -e <env> apply

Dažādas stūres diagrammu versijas dažādās vidēs

Ko darīt, ja mums ir jāizlaiž dažādas aizmugursistēmas versijas dažādās vidēs? Kā parametrizēt izlaiduma versiju? Vides vērtības, kas pieejamas caur {{ .Values }}

helmfile.yaml

environments:
  devel:
+   values:
+   - charts:
+       versions:
+         backend: 1.1.0
  production:
+   values:
+   - charts:
+       versions:
+         backend: 1.0.5
...
  - name: backend
    labels:
      app: backend
    wait: true
    chart: private-helm-repo/backend
-   version: 1.0.5
+   version: {{ .Values.charts.versions.backend }}
...

Dažādas lietojumprogrammas dažādās vidēs

Lieliski, bet ja nu mums tas nav vajadzīgs production izvērst postgres, jo mēs zinām, ka mums nav jāiespiež datubāze k8s, un mums ir pārdošanai brīnišķīgs atsevišķs postgres klasteris? Lai atrisinātu šo problēmu, mums ir etiķetes

helmfile -n <namespace> -e devel apply
helmfile -n <namespace> -e production -l app=backend apply

Tas ir lieliski, bet man personīgi labāk patīk aprakstīt, kuras lietojumprogrammas izvietot vidē, nevis izmantojot palaišanas argumentus, bet gan pašu vidi aprakstā. Ko darīt? Izlaidumu aprakstus var ievietot atsevišķā mapē, vides aprakstā izveidot nepieciešamo izlaidumu sarakstu un “paņemt” tikai nepieciešamos laidienus, pārējos ignorējot

    .
    ├── envs
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
+   ├── releases
+   │   ├── backend.yaml
+   │   └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

  environments:
    devel:
      values:
      - charts:
          versions:
            backend: 1.1.0
      - apps:
        - postgres
        - backend

    production:
      values:
      - charts:
          versions:
            backend: 1.0.5
      - apps:
        - backend

- releases:
-    - name: postgres
-      labels:
-        app: postgres
-      wait: true
-      chart: stable/postgresql
-      version: 8.4.0
-      values:
-        - envs/{{ .Environment.Name }}/values/postgres.yaml
-    - name: backend
-      labels:
-        app: backend
-      wait: true
-      chart: private-helm-repo/backend
-     version: {{ .Values.charts.versions.backend }}
-     needs:
-       - postgres
-     values:
-       - envs/{{ .Environment.Name }}/values/backend.yaml
+ ---
+ bases:
+ {{- range .Values.apps }}
+   - releases/{{ . }}.yaml
+ {{- end }}

releases/postgres.yaml

releases:
  - name: postgres
    labels:
      app: postgres
    wait: true
    chart: stable/postgresql
    version: 8.4.0
    values:
      - envs/{{ .Environment.Name }}/values/postgres.yaml

releases/backend.yaml

releases:
  - name: backend
    labels:
      app: backend
    wait: true
    chart: private-helm-repo/backend
    version: {{ .Values.charts.versions.backend }}
    needs:
      - postgres
    values:
      - envs/{{ .Environment.Name }}/values/backend.yaml

Piezīme

Lietojot bases: ir nepieciešams izmantot yaml atdalītāju ---, lai jūs varētu veidot laidienus (un citas daļas, piemēram, helmDefaults) ar vērtībām no vides

Šajā gadījumā postgres izlaidums pat netiks iekļauts ražošanas aprakstā. Ļoti ērti!

Ignorējamas globālās vērtības laidieniem

Protams, ir lieliski, ka varat iestatīt vērtības stūres diagrammām katrai videi, bet ja mums ir aprakstītas vairākas vides un mēs vēlamies, piemēram, iestatīt vienādas visas affinity, taču mēs nevēlamies to pēc noklusējuma konfigurēt pašās diagrammās, kas tiek glabātas rāceņos.

Šajā gadījumā katram laidienam mēs varētu norādīt 2 failus ar vērtībām: pirmais ar noklusējuma vērtībām, kas noteiks pašas diagrammas vērtības, un otrais ar vērtībām videi, kas savukārt ignorēs noklusējuma.

    .
    ├── envs
+   │   ├── default
+   │   │   └── values
+   │   │       ├── backend.yaml
+   │   │       └── postgres.yaml
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
    ├── releases
    │   ├── backend.yaml
    │   └── postgres.yaml
    └── helmfile.yaml

releases/backend.yaml

releases:
  - name: backend
    labels:
      app: backend
    wait: true
    chart: private-helm-repo/backend
    version: {{ .Values.charts.versions.backend }}
    needs:
      - postgres
    values:
+     - envs/default/values/backend.yaml
      - envs/{{ .Environment.Name }}/values/backend.yaml

envs/default/values/backend.yaml

affinity:
  podAntiAffinity:
    preferredDuringSchedulingIgnoredDuringExecution:
    - weight: 1
      podAffinityTerm:
        labelSelector:
          matchExpressions:
          - key: app.kubernetes.io/name
            operator: In
            values:
            - backend
        topologyKey: "kubernetes.io/hostname"

Visu izlaidumu globālo vērtību noteikšana vadības diagrammām vides līmenī

Pieņemsim, ka mēs izveidojam vairākas ieejas vairākos laidienos — mēs varētu manuāli definēt katrai diagrammai hosts:, bet mūsu gadījumā domēns ir tas pats, tad kāpēc gan neievietot to kādā globālā mainīgajā un vienkārši aizstāt tā vērtību diagrammās? Lai to izdarītu, tiem failiem ar vērtībām, kuras mēs vēlamies parametrizēt, ir jābūt paplašinājumam .gotmpl, lai helmfile zinātu, ka tas ir jāpalaiž caur veidnes dzinēju.

    .
    ├── envs
    │   ├── default
    │   │   └── values
-   │   │       ├── backend.yaml
-   │   │       ├── postgres.yaml
+   │   │       ├── backend.yaml.gotmpl
+   │   │       └── postgres.yaml.gotmpl
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
    ├── releases
    │   ├── backend.yaml
    │   └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

  environments:
    devel:
      values:
      - charts:
          versions:
            backend: 1.1.0
      - apps:
        - postgres
        - backend
+     - global:
+         ingressDomain: k8s.devel.domain

    production:
      values:
      - charts:
          versions:
            backend: 1.0.5
      - apps:
        - backend
+     - global:
+         ingressDomain: production.domain
  ---
  bases:
  {{- range .Values.apps }}
    - releases/{{ . }}.yaml
  {{- end }}

envs/default/values/backend.yaml.gotmpl

ingress:
  enabled: true
  paths:
    - /api
  hosts:
    - {{ .Values.global.ingressDomain }}

envs/default/values/postgres.yaml.gotmpl

ingress:
  enabled: true
  paths:
    - /
  hosts:
    - postgres.{{ .Values.global.ingressDomain }}

Piezīme

Acīmredzot ingress postgres diagrammā ir kaut kas ārkārtīgi apšaubāms, tāpēc šis raksts ir dots vienkārši kā sfērisks piemērs vakuumā un lai neieviestu rakstā kādu jaunu izlaidumu tikai ingresa apraksta dēļ

Noslēpumu aizstāšana ar vides vērtībām

Pēc analoģijas ar iepriekš minēto piemēru, jūs varat aizstāt šifrētus, izmantojot stūres noslēpumi nozīmes. Tā vietā, lai katram laidienam izveidotu savu noslēpumu failu, kurā mēs varam definēt diagrammas šifrētas vērtības, mēs varam vienkārši definēt laidienā default.yaml.gotmpl vērtības, kas tiks ņemtas no mainīgajiem, kas definēti vides līmenī. Un vērtības, kuras mums nav jāslēpj no neviena, var viegli definēt izlaiduma vērtībās noteiktā vidē.

    .
    ├── envs
    │   ├── default
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   ├── devel
    │   │   ├── values
    │   │   │   ├── backend.yaml
    │   │   │   └── postgres.yaml
+   │   │   └── secrets.yaml
    │   └── production
    │       ├── values
    │       │   ├── backend.yaml
    │       │   └── postgres.yaml
+   │       └── secrets.yaml
    ├── releases
    │   ├── backend.yaml
    │   └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

  environments:
    devel:
      values:
      - charts:
          versions:
            backend: 1.1.0
      - apps:
        - postgres
        - backend
      - global:
          ingressDomain: k8s.devel.domain
+     secrets:
+       - envs/devel/secrets.yaml

    production:
      values:
      - charts:
          versions:
            backend: 1.0.5
      - apps:
        - backend
      - global:
          ingressDomain: production.domain
+     secrets:
+       - envs/production/secrets.yaml
  ---
  bases:
  {{- range .Values.apps }}
    - releases/{{ . }}.yaml
  {{- end }}

envs/devel/secrets.yaml

secrets:
    elastic:
        password: ENC[AES256_GCM,data:hjCB,iv:Z1P6/6xBJgJoKLJ0UUVfqZ80o4L84jvZfM+uH9gBelc=,tag:dGqQlCZnLdRAGoJSj63rBQ==,type:int]
...

envs/production/secrets.yaml

secrets:
    elastic:
        password: ENC[AES256_GCM,data:ZB/VpTFk8f0=,iv:EA//oT1Cb5wNFigTDOz3nA80qD9UwTjK5cpUwLnEXjs=,tag:hMdIUaqLRA8zuFBd82bz6A==,type:str]
...

envs/default/values/backend.yaml.gotmpl

elasticsearch:
  host: elasticsearch
  port: 9200
  password: {{ .Values | getOrNil "secrets.elastic.password" | default "password" }}

envs/devel/values/backend.yaml

elasticsearch:
  host: elastic-0.devel.domain

envs/production/values/backend.yaml

elasticsearch:
  host: elastic-0.production.domain

Piezīme

Starp citu, getOrNil - īpaša funkcija go veidnēm helmfile, kas, pat ja .Values.secrets nepastāvēs, neizmetīs kļūdu, bet atļaus rezultātu, izmantojot funkciju default aizstāt noklusējuma vērtību

Secinājums

Aprakstītās lietas šķiet diezgan acīmredzamas, taču informācijas par ērtu izvietošanas aprakstu vairākās vidēs, izmantojot helmfile, ir ļoti maz, un man patīk IaC (Infrastructure-as-Code) un vēlos iegūt skaidru izvietošanas stāvokļa aprakstu.

Nobeigumā vēlos piebilst, ka noklusējuma vides mainīgos savukārt var parametrizēt ar noteikta skrējēja OS vides mainīgajiem, no kura tiks palaista izvietošana, un tādējādi iegūt dinamiskas vides.

helmfile.yaml

environments:
  default:
    values:
    - global:
        clusterDomain: {{ env "CLUSTER_DOMAIN" | default "cluster.local" }}
        ingressDomain: {{ env "INGRESS_DOMAIN" }}

Avots: www.habr.com