ארגון פריסה לסביבות K8s מרובות באמצעות helmfile

Helmfile - עטיפה עבור הֶגֶה, המאפשר לך לתאר שחרורים רבים של הגה במקום אחד, להגדיר פרמטרים של התרשימים שלהם עבור מספר סביבות, וגם לקבוע את סדר הפריסה שלהם.

אתה יכול לקרוא על helfile עצמו ודוגמאות לשימוש בו ב readme и מדריך לשיטות עבודה מומלצות.

נכיר דרכים לא ברורות לתיאור מהדורות ב-helmfile

נניח שיש לנו חבילה של תרשימי הגה (לדוגמה, נניח postgres ויישום אחורי כלשהו) ומספר סביבות (מספר אשכולות kubernetes, מספר מרחבי שמות, או כמה משניהם). אנחנו לוקחים את קובץ ההגה, קוראים את התיעוד ומתחילים לתאר את הסביבות והשחרורים שלנו:

    .
    ├── envs
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

environments:
  devel:
  production:

releases:
  - name: postgres
    labels:
      app: postgres
    wait: true
    chart: stable/postgresql
    version: 8.4.0
    values:
      - envs/{{ .Environment.Name }}/values/postgres.yaml
  - name: backend
    labels:
      app: backend
    wait: true
    chart: private-helm-repo/backend
    version: 1.0.5
    needs:
      - postgres
    values:
      - envs/{{ .Environment.Name }}/values/backend.yaml

סיימנו עם 2 סביבות: להתפתח, הפקה - כל אחד מכיל ערכים משלו עבור טבלאות שחרור ההגה. אנו נפרוס להם כך:

helmfile -n <namespace> -e <env> apply

גרסאות שונות של תרשימי הגה בסביבות שונות

מה אם נצטרך להוציא גרסאות שונות של ה-backend לסביבות שונות? כיצד להגדיר פרמטרים לגרסת השחרור? הערכים הסביבתיים הזמינים דרך {{ .Values }}

helmfile.yaml

environments:
  devel:
+   values:
+   - charts:
+       versions:
+         backend: 1.1.0
  production:
+   values:
+   - charts:
+       versions:
+         backend: 1.0.5
...
  - name: backend
    labels:
      app: backend
    wait: true
    chart: private-helm-repo/backend
-   version: 1.0.5
+   version: {{ .Values.charts.versions.backend }}
...

סט שונה של יישומים בסביבות שונות

נהדר, אבל מה אם אנחנו לא צריכים production לגלגל את postgres, כי אנחנו יודעים שאנחנו לא צריכים לדחוף את מסד הנתונים ל-k8s ולמכירה יש לנו אשכול postgres נפרד נפלא? כדי לפתור בעיה זו יש לנו תוויות

helmfile -n <namespace> -e devel apply
helmfile -n <namespace> -e production -l app=backend apply

זה נהדר, אבל באופן אישי אני מעדיף לתאר אילו אפליקציות לפרוס בסביבה לא באמצעות ארגומנטים של השקה, אלא בתיאור הסביבות עצמן. מה לעשות? אתה יכול למקם את תיאורי השחרור בתיקייה נפרדת, ליצור רשימה של המהדורות הנחוצות בתיאור הסביבה ו"לאסוף" רק את המהדורות הנדרשות, תוך התעלמות מהשאר

    .
    ├── envs
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
+   ├── releases
+   │   ├── backend.yaml
+   │   └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

  environments:
    devel:
      values:
      - charts:
          versions:
            backend: 1.1.0
      - apps:
        - postgres
        - backend

    production:
      values:
      - charts:
          versions:
            backend: 1.0.5
      - apps:
        - backend

- releases:
-    - name: postgres
-      labels:
-        app: postgres
-      wait: true
-      chart: stable/postgresql
-      version: 8.4.0
-      values:
-        - envs/{{ .Environment.Name }}/values/postgres.yaml
-    - name: backend
-      labels:
-        app: backend
-      wait: true
-      chart: private-helm-repo/backend
-     version: {{ .Values.charts.versions.backend }}
-     needs:
-       - postgres
-     values:
-       - envs/{{ .Environment.Name }}/values/backend.yaml
+ ---
+ bases:
+ {{- range .Values.apps }}
+   - releases/{{ . }}.yaml
+ {{- end }}

releases/postgres.yaml

releases:
  - name: postgres
    labels:
      app: postgres
    wait: true
    chart: stable/postgresql
    version: 8.4.0
    values:
      - envs/{{ .Environment.Name }}/values/postgres.yaml

releases/backend.yaml

releases:
  - name: backend
    labels:
      app: backend
    wait: true
    chart: private-helm-repo/backend
    version: {{ .Values.charts.versions.backend }}
    needs:
      - postgres
    values:
      - envs/{{ .Environment.Name }}/values/backend.yaml

הפתק

בעת שימוש bases: יש צורך להשתמש במפריד yaml ---, כדי שתוכלו לשחרר תבנית (וחלקים אחרים, כגון helmDefaults) עם ערכים מסביבות

במקרה זה, שחרור postgres אפילו לא ייכלל בתיאור להפקה. בנוחות רבה!

ערכים גלובליים שניתנים לביטול עבור מהדורות

כמובן, זה נהדר שאתה יכול להגדיר ערכים עבור תרשימי הגה עבור כל סביבה, אבל מה אם יש לנו כמה סביבות מתוארות, ואנחנו רוצים, למשל, להגדיר את אותו הדבר עבור כולם affinity, אבל אנחנו לא רוצים להגדיר אותו כברירת מחדל בתרשימים עצמם, המאוחסנים בלפת.

במקרה זה, עבור כל מהדורה נוכל לציין 2 קבצים עם ערכים: הראשון עם ערכי ברירת מחדל, שיקבעו את ערכי התרשים עצמו, והשני עם ערכים עבור הסביבה, אשר בתורם יעקפו את ברירת המחדל.

    .
    ├── envs
+   │   ├── default
+   │   │   └── values
+   │   │       ├── backend.yaml
+   │   │       └── postgres.yaml
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
    ├── releases
    │   ├── backend.yaml
    │   └── postgres.yaml
    └── helmfile.yaml

releases/backend.yaml

releases:
  - name: backend
    labels:
      app: backend
    wait: true
    chart: private-helm-repo/backend
    version: {{ .Values.charts.versions.backend }}
    needs:
      - postgres
    values:
+     - envs/default/values/backend.yaml
      - envs/{{ .Environment.Name }}/values/backend.yaml

envs/default/values/backend.yaml

affinity:
  podAntiAffinity:
    preferredDuringSchedulingIgnoredDuringExecution:
    - weight: 1
      podAffinityTerm:
        labelSelector:
          matchExpressions:
          - key: app.kubernetes.io/name
            operator: In
            values:
            - backend
        topologyKey: "kubernetes.io/hostname"

הגדרת ערכים גלובליים עבור תרשימי ההגה של כל המהדורות ברמת הסביבה

נניח שאנו יוצרים מספר כניסה במספר מהדורות - נוכל להגדיר ידנית עבור כל תרשים hosts:, אבל במקרה שלנו התחום זהה, אז למה לא לשים אותו באיזה משתנה גלובלי ופשוט להחליף את הערך שלו בתרשימים? כדי לעשות זאת, קבצים עם ערכים שאנו רוצים להגדיר פרמטרים יצטרכו לקבל את הסיומת .gotmpl, כך שה-helmfile יודע שצריך להריץ אותו דרך מנוע התבנית.

    .
    ├── envs
    │   ├── default
    │   │   └── values
-   │   │       ├── backend.yaml
-   │   │       ├── postgres.yaml
+   │   │       ├── backend.yaml.gotmpl
+   │   │       └── postgres.yaml.gotmpl
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
    ├── releases
    │   ├── backend.yaml
    │   └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

  environments:
    devel:
      values:
      - charts:
          versions:
            backend: 1.1.0
      - apps:
        - postgres
        - backend
+     - global:
+         ingressDomain: k8s.devel.domain

    production:
      values:
      - charts:
          versions:
            backend: 1.0.5
      - apps:
        - backend
+     - global:
+         ingressDomain: production.domain
  ---
  bases:
  {{- range .Values.apps }}
    - releases/{{ . }}.yaml
  {{- end }}

envs/default/values/backend.yaml.gotmpl

ingress:
  enabled: true
  paths:
    - /api
  hosts:
    - {{ .Values.global.ingressDomain }}

envs/default/values/postgres.yaml.gotmpl

ingress:
  enabled: true
  paths:
    - /
  hosts:
    - postgres.{{ .Values.global.ingressDomain }}

הפתק

ברור שהכניסה לתרשים הפוסט-גרס היא משהו מפוקפק ביותר, אז מאמר זה ניתן פשוט כדוגמה כדורית בחלל ריק וכדי לא להכניס איזה מהדורה חדשה למאמר רק בשביל לתאר את הכניסה.

החלפת סודות מערכי הסביבה

באנלוגיה לדוגמא לעיל, אתה יכול להחליף מוצפנים באמצעות סודות ההגה משמעויות. במקום ליצור קובץ סודות משלנו עבור כל מהדורה, שבו נוכל להגדיר ערכים מוצפנים לתרשים, אנחנו יכולים פשוט להגדיר בגרסה default.yaml.gotmpl את הערכים שייקחו מהמשתנים המוגדרים ב- רמת הסביבה. ואת הערכים שאנחנו לא צריכים להסתיר מאף אחד ניתן להגדיר מחדש בקלות בערכי השחרור בסביבה ספציפית.

    .
    ├── envs
    │   ├── default
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   ├── devel
    │   │   ├── values
    │   │   │   ├── backend.yaml
    │   │   │   └── postgres.yaml
+   │   │   └── secrets.yaml
    │   └── production
    │       ├── values
    │       │   ├── backend.yaml
    │       │   └── postgres.yaml
+   │       └── secrets.yaml
    ├── releases
    │   ├── backend.yaml
    │   └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

  environments:
    devel:
      values:
      - charts:
          versions:
            backend: 1.1.0
      - apps:
        - postgres
        - backend
      - global:
          ingressDomain: k8s.devel.domain
+     secrets:
+       - envs/devel/secrets.yaml

    production:
      values:
      - charts:
          versions:
            backend: 1.0.5
      - apps:
        - backend
      - global:
          ingressDomain: production.domain
+     secrets:
+       - envs/production/secrets.yaml
  ---
  bases:
  {{- range .Values.apps }}
    - releases/{{ . }}.yaml
  {{- end }}

envs/devel/secrets.yaml

secrets:
    elastic:
        password: ENC[AES256_GCM,data:hjCB,iv:Z1P6/6xBJgJoKLJ0UUVfqZ80o4L84jvZfM+uH9gBelc=,tag:dGqQlCZnLdRAGoJSj63rBQ==,type:int]
...

envs/production/secrets.yaml

secrets:
    elastic:
        password: ENC[AES256_GCM,data:ZB/VpTFk8f0=,iv:EA//oT1Cb5wNFigTDOz3nA80qD9UwTjK5cpUwLnEXjs=,tag:hMdIUaqLRA8zuFBd82bz6A==,type:str]
...

envs/default/values/backend.yaml.gotmpl

elasticsearch:
  host: elasticsearch
  port: 9200
  password: {{ .Values | getOrNil "secrets.elastic.password" | default "password" }}

envs/devel/values/backend.yaml

elasticsearch:
  host: elastic-0.devel.domain

envs/production/values/backend.yaml

elasticsearch:
  host: elastic-0.production.domain

הפתק

אגב, getOrNil - פונקציה מיוחדת עבור תבניות go ב-helmfile, אשר, גם אם .Values.secrets לא יהיה קיים, לא יזרוק שגיאה, אבל יאפשר את התוצאה באמצעות הפונקציה default תחליף לערך ברירת המחדל

מסקנה

הדברים המתוארים נראים די ברורים, אבל מידע על תיאור נוח של פריסה למספר סביבות באמצעות helmfile הוא דל מאוד, ואני אוהב את IaC (תשתית כקוד) ורוצה לקבל תיאור ברור של מצב הפריסה.

לסיכום, אני רוצה להוסיף שאת המשתנים של סביבת ברירת המחדל אפשר, בתורם, להיות ניתנים לפרמטרים עם משתני הסביבה של מערכת ההפעלה של רץ מסוים שממנו תושק הפריסה, וכך לקבל סביבות דינמיות

helmfile.yaml

environments:
  default:
    values:
    - global:
        clusterDomain: {{ env "CLUSTER_DOMAIN" | default "cluster.local" }}
        ingressDomain: {{ env "INGRESS_DOMAIN" }}

מקור: www.habr.com