helmfile을 사용하여 여러 k8s 환경에 배포 구성

헬름파일 - 래퍼 지배를 사용하면 한 곳에서 많은 Helm 릴리스를 설명하고, 여러 환경에 대한 차트를 매개변수화하고, 배포 순서를 설정할 수도 있습니다.

helmfile 자체와 그 사용 예에 ​​대해 읽을 수 있습니다. 추가 정보 и 모범 사례 가이드.

helmfile의 릴리스를 설명하는 명확하지 않은 방법에 대해 알아 보겠습니다.

Helm 차트 팩(예: postgres 및 일부 백엔드 애플리케이션)과 여러 환경(여러 kubernetes 클러스터, 여러 네임스페이스 또는 둘 다)이 있다고 가정해 보겠습니다. helmfile을 가져와 문서를 읽고 환경과 릴리스에 대해 설명하기 시작합니다.

    .
    ├── envs
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

environments:
  devel:
  production:

releases:
  - name: postgres
    labels:
      app: postgres
    wait: true
    chart: stable/postgresql
    version: 8.4.0
    values:
      - envs/{{ .Environment.Name }}/values/postgres.yaml
  - name: backend
    labels:
      app: backend
    wait: true
    chart: private-helm-repo/backend
    version: 1.0.5
    needs:
      - postgres
    values:
      - envs/{{ .Environment.Name }}/values/backend.yaml

우리는 2가지 환경으로 끝났습니다. DEVEL, 생산 — 각각에는 조타 릴리스 차트에 대한 자체 값이 포함되어 있습니다. 우리는 다음과 같이 배포할 것입니다:

helmfile -n <namespace> -e <env> apply

다양한 환경의 다양한 버전의 조타 차트

다양한 버전의 백엔드를 다양한 환경에 출시해야 하는 경우 어떻게 해야 합니까? 릴리스 버전을 매개변수화하는 방법은 무엇입니까? 통해 얻을 수 있는 환경적 가치 {{ .Values }}

helmfile.yaml

environments:
  devel:
+   values:
+   - charts:
+       versions:
+         backend: 1.1.0
  production:
+   values:
+   - charts:
+       versions:
+         backend: 1.0.5
...
  - name: backend
    labels:
      app: backend
    wait: true
    chart: private-helm-repo/backend
-   version: 1.0.5
+   version: {{ .Values.charts.versions.backend }}
...

다양한 환경의 다양한 애플리케이션 세트

좋습니다. 하지만 그럴 필요가 없다면 어떨까요? production 데이터베이스를 k8s로 푸시할 필요가 없고 판매용으로 멋진 별도의 postgres 클러스터가 있다는 것을 알고 있기 때문에 postgres를 출시하시겠습니까? 이 문제를 해결하기 위해 라벨이 있습니다.

helmfile -n <namespace> -e devel apply
helmfile -n <namespace> -e production -l app=backend apply

이것은 훌륭하지만 개인적으로 저는 시작 인수를 사용하지 않고 환경 자체에 대한 설명을 통해 환경에 배포할 애플리케이션을 설명하는 것을 선호합니다. 무엇을 해야 할까요? 릴리스 설명을 별도의 폴더에 배치하고, 환경 설명에 필요한 릴리스 목록을 생성하고, 나머지는 무시하고 필요한 릴리스만 "선택"할 수 있습니다.

    .
    ├── envs
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
+   ├── releases
+   │   ├── backend.yaml
+   │   └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

  environments:
    devel:
      values:
      - charts:
          versions:
            backend: 1.1.0
      - apps:
        - postgres
        - backend

    production:
      values:
      - charts:
          versions:
            backend: 1.0.5
      - apps:
        - backend

- releases:
-    - name: postgres
-      labels:
-        app: postgres
-      wait: true
-      chart: stable/postgresql
-      version: 8.4.0
-      values:
-        - envs/{{ .Environment.Name }}/values/postgres.yaml
-    - name: backend
-      labels:
-        app: backend
-      wait: true
-      chart: private-helm-repo/backend
-     version: {{ .Values.charts.versions.backend }}
-     needs:
-       - postgres
-     values:
-       - envs/{{ .Environment.Name }}/values/backend.yaml
+ ---
+ bases:
+ {{- range .Values.apps }}
+   - releases/{{ . }}.yaml
+ {{- end }}

releases/postgres.yaml

releases:
  - name: postgres
    labels:
      app: postgres
    wait: true
    chart: stable/postgresql
    version: 8.4.0
    values:
      - envs/{{ .Environment.Name }}/values/postgres.yaml

releases/backend.yaml

releases:
  - name: backend
    labels:
      app: backend
    wait: true
    chart: private-helm-repo/backend
    version: {{ .Values.charts.versions.backend }}
    needs:
      - postgres
    values:
      - envs/{{ .Environment.Name }}/values/backend.yaml

참고 :

를 사용할 때 bases: yaml 구분 기호를 사용해야 합니다. ---, 환경의 값을 사용하여 릴리스(및 helmDefaults와 같은 기타 부분)를 템플릿화할 수 있습니다.

이 경우 postgres 릴리스는 프로덕션 설명에도 포함되지 않습니다. 아주 편안하게!

릴리스에 대해 재정의 가능한 전역 값

물론 각 환경마다 헬름 차트의 값을 설정할 수 있다는 점은 좋지만, 여러 환경을 설명했는데 예를 들어 모든 환경에 대해 동일하게 설정하고 싶다면 어떻게 해야 할까요? affinity, 그러나 순무에 저장되는 차트 자체에서는 기본적으로 구성하고 싶지 않습니다.

이 경우 각 릴리스에 대해 값이 있는 2개의 파일을 지정할 수 있습니다. 첫 번째 파일에는 차트 자체의 값을 결정하는 기본값이 있고 두 번째 파일에는 환경에 대한 값이 있으며 이 값은 차례로 재정의됩니다. 기본 것.

    .
    ├── envs
+   │   ├── default
+   │   │   └── values
+   │   │       ├── backend.yaml
+   │   │       └── postgres.yaml
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
    ├── releases
    │   ├── backend.yaml
    │   └── postgres.yaml
    └── helmfile.yaml

releases/backend.yaml

releases:
  - name: backend
    labels:
      app: backend
    wait: true
    chart: private-helm-repo/backend
    version: {{ .Values.charts.versions.backend }}
    needs:
      - postgres
    values:
+     - envs/default/values/backend.yaml
      - envs/{{ .Environment.Name }}/values/backend.yaml

envs/default/values/backend.yaml

affinity:
  podAntiAffinity:
    preferredDuringSchedulingIgnoredDuringExecution:
    - weight: 1
      podAffinityTerm:
        labelSelector:
          matchExpressions:
          - key: app.kubernetes.io/name
            operator: In
            values:
            - backend
        topologyKey: "kubernetes.io/hostname"

환경 수준에서 모든 릴리스의 Helm 차트에 대한 전역 값 정의

여러 릴리스에서 여러 수신을 생성한다고 가정해 보겠습니다. 각 차트에 대해 수동으로 정의할 수 있습니다. hosts:, 그러나 우리의 경우 도메인은 동일하므로 이를 전역 변수에 넣고 해당 값을 차트로 대체하는 것은 어떨까요? 이렇게 하려면 매개변수화하려는 값이 있는 파일의 확장자를 가져야 합니다. .gotmpl, helmfile이 템플릿 엔진을 통해 실행되어야 함을 알 수 있도록 합니다.

    .
    ├── envs
    │   ├── default
    │   │   └── values
-   │   │       ├── backend.yaml
-   │   │       ├── postgres.yaml
+   │   │       ├── backend.yaml.gotmpl
+   │   │       └── postgres.yaml.gotmpl
    │   ├── devel
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   └── production
    │       └── values
    │           ├── backend.yaml
    │           └── postgres.yaml
    ├── releases
    │   ├── backend.yaml
    │   └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

  environments:
    devel:
      values:
      - charts:
          versions:
            backend: 1.1.0
      - apps:
        - postgres
        - backend
+     - global:
+         ingressDomain: k8s.devel.domain

    production:
      values:
      - charts:
          versions:
            backend: 1.0.5
      - apps:
        - backend
+     - global:
+         ingressDomain: production.domain
  ---
  bases:
  {{- range .Values.apps }}
    - releases/{{ . }}.yaml
  {{- end }}

envs/default/values/backend.yaml.gotmpl

ingress:
  enabled: true
  paths:
    - /api
  hosts:
    - {{ .Values.global.ingressDomain }}

envs/default/values/postgres.yaml.gotmpl

ingress:
  enabled: true
  paths:
    - /
  hosts:
    - postgres.{{ .Values.global.ingressDomain }}

참고 :

분명히 포스트그레스 차트의 수신은 매우 모호하므로 이 기사는 단순히 수신을 설명하기 위해 기사에 새로운 릴리스를 소개하지 않기 위해 진공 상태의 구형 예제로만 제공됩니다.

환경 값에서 비밀 대체

위의 예와 유사하게 다음을 사용하여 암호화된 것을 대체할 수 있습니다. 조타 비밀 의미. 차트에 대한 암호화된 값을 정의할 수 있는 각 릴리스에 대한 자체 비밀 파일을 생성하는 대신에 정의된 변수에서 가져올 값을 default.yaml.gotmpl 릴리스에서 간단히 정의할 수 있습니다. 환경 수준. 그리고 누구에게도 숨길 필요가 없는 값은 특정 환경의 릴리스 값에서 쉽게 재정의될 수 있습니다.

    .
    ├── envs
    │   ├── default
    │   │   └── values
    │   │       ├── backend.yaml
    │   │       └── postgres.yaml
    │   ├── devel
    │   │   ├── values
    │   │   │   ├── backend.yaml
    │   │   │   └── postgres.yaml
+   │   │   └── secrets.yaml
    │   └── production
    │       ├── values
    │       │   ├── backend.yaml
    │       │   └── postgres.yaml
+   │       └── secrets.yaml
    ├── releases
    │   ├── backend.yaml
    │   └── postgres.yaml
    └── helmfile.yaml

helmfile.yaml

  environments:
    devel:
      values:
      - charts:
          versions:
            backend: 1.1.0
      - apps:
        - postgres
        - backend
      - global:
          ingressDomain: k8s.devel.domain
+     secrets:
+       - envs/devel/secrets.yaml

    production:
      values:
      - charts:
          versions:
            backend: 1.0.5
      - apps:
        - backend
      - global:
          ingressDomain: production.domain
+     secrets:
+       - envs/production/secrets.yaml
  ---
  bases:
  {{- range .Values.apps }}
    - releases/{{ . }}.yaml
  {{- end }}

envs/devel/secrets.yaml

secrets:
    elastic:
        password: ENC[AES256_GCM,data:hjCB,iv:Z1P6/6xBJgJoKLJ0UUVfqZ80o4L84jvZfM+uH9gBelc=,tag:dGqQlCZnLdRAGoJSj63rBQ==,type:int]
...

envs/production/secrets.yaml

secrets:
    elastic:
        password: ENC[AES256_GCM,data:ZB/VpTFk8f0=,iv:EA//oT1Cb5wNFigTDOz3nA80qD9UwTjK5cpUwLnEXjs=,tag:hMdIUaqLRA8zuFBd82bz6A==,type:str]
...

envs/default/values/backend.yaml.gotmpl

elasticsearch:
  host: elasticsearch
  port: 9200
  password: {{ .Values | getOrNil "secrets.elastic.password" | default "password" }}

envs/devel/values/backend.yaml

elasticsearch:
  host: elastic-0.devel.domain

envs/production/values/backend.yaml

elasticsearch:
  host: elastic-0.production.domain

참고 :

또한, getOrNil - helmfile의 go 템플릿을 위한 특수 기능입니다. .Values.secrets 존재하지 않으며 오류가 발생하지 않지만 함수를 사용하여 결과를 허용합니다. default 대체 기본값

결론

설명된 내용은 매우 분명해 보이지만 helmfile을 사용하여 여러 환경에 배포하는 편리한 설명에 대한 정보는 매우 부족하며 저는 IaC(Infrastructure-as-Code)를 좋아하고 배포 상태에 대한 명확한 설명을 원합니다.

결론적으로 기본 환경에 대한 변수는 배포가 시작될 특정 실행기의 OS 환경 변수로 매개변수화되어 동적 환경을 얻을 수 있다는 점을 추가하고 싶습니다.

helmfile.yaml

environments:
  default:
    values:
    - global:
        clusterDomain: {{ env "CLUSTER_DOMAIN" | default "cluster.local" }}
        ingressDomain: {{ env "INGRESS_DOMAIN" }}

출처 : habr.com