JUnit v GitLab CI s Kubernetes

Aj keď všetci dobre vedia, že testovanie svojho softvéru je dôležité a potrebné, a mnohí to už robia automaticky, na Habr sa nenašiel ani jeden recept na nastavenie kombinácie takých populárnych produktov v tejto oblasti, ako sú (naši obľúbení) GitLab a JUnit. Vyplníme tento prázdny priestor!

JUnit v GitLab CI s Kubernetes

Úvodné

Na začiatok vyznačím kontext:

  • Keďže všetky naše aplikácie bežia v Kubernetes, bude sa zvažovať spustenie testov v príslušnej infraštruktúre.
  • Na zostavenie a nasadenie používame werf (v zmysle infraštruktúrnych komponentov to automaticky znamená, že je nasadený aj Helm).
  • Do detailov priameho vytvárania testov sa nebudem púšťať: v našom prípade klient píše testy sám, a my len zabezpečujeme ich spustenie (a prítomnosť príslušnej správy v merge requeste).


Ako bude vyzerať celková postupnosť akcií?

  1. Zostavenie aplikácie — popis tejto fázy vynecháme.
  2. Nasadenie aplikácie do samostatného namespace klastru Kubernetes a spustenie testovania.
  3. Hľadanie artefaktov a parsovanie JUnit správy pomocou GitLab-u.
  4. Odstránenie predtým vytvoreného namespace.

Teraz — k realizácii!

Nastavenie

GitLab CI

Začneme s fragmentom .gitlab-ci.yaml, ktorý popisuje nasadenie aplikácie a spustenie testov. Výpis sa črtal dosť obsiahlo, preto je dôkladne doplnený komentármi:

variables:
# deklarujeme verziu werf, ktorú plánujeme použiť
  WERF_VERSION: "1.0 beta"

.base_deploy: &base_deploy
  script:
# vytvoríme namespace v K8s, ak ešte neexistuje
    - kubectl --context="${WERF_KUBE_CONTEXT}" get ns ${CI_ENVIRONMENT_SLUG} || kubectl create ns ${CI_ENVIRONMENT_SLUG}
# nahráme werf a deployneme — podrobnosti o tom nájdete v dokumentácii
# (https://werf.io/how_to/gitlab_ci_cd_integration.html#deploy-stage)
    - type multiwerf && source <(multiwerf use ${WERF_VERSION})
    - werf version
    - type werf && source <(werf ci-env gitlab --tagging-strategy tag-or-branch --verbose)
    - werf deploy --stages-storage :local
      --namespace ${CI_ENVIRONMENT_SLUG}
      --set "global.commit_ref_slug=${CI_COMMIT_REF_SLUG:-''}"
# predáme premennú `run_tests`
# tá sa použije pri rendrovaní Helm-rejleasu
      --set "global.run_tests=${RUN_TESTS:-no}"
      --set "global.env=${CI_ENVIRONMENT_SLUG}"
# zmeníme timeout (môžu byť dlhé testy) a odovzdáme ho do releasu
      --set "global.ci_timeout=${CI_TIMEOUT:-900}"
     --timeout ${CI_TIMEOUT:-900}
  dependencies:
    - Build

.test-base: &test-base
  extends: .base_deploy
  before_script:
# vytvoríme adresár pre budúcu správu, vychádzajúc z $CI_COMMIT_REF_SLUG
    - mkdir /mnt/tests/${CI_COMMIT_REF_SLUG} || true
# nútený workaround, pretože GitLab chce získať artefakty vo svojom build-dir
    - mkdir ./tests || true
    - ln -s /mnt/tests/${CI_COMMIT_REF_SLUG} ./tests/${CI_COMMIT_REF_SLUG}
  after_script:
# po ukončení testov odstránime release spolu s Jobom
# (a možno aj jeho infraštruktúrou)
    - type multiwerf && source <(multiwerf use ${WERF_VERSION})
    - werf version
    - type werf && source <(werf ci-env gitlab --tagging-strategy tag-or-branch --verbose)
    - werf dismiss --namespace ${CI_ENVIRONMENT_SLUG} --with-namespace
# povolujeme zlyhania, ale môžete to spraviť inak
  allow_failure: true
  variables:
    RUN_TESTS: 'yes'
# nastavujeme kontext v werf
# (https://werf.io/how_to/gitlab_ci_cd_integration.html#infrastructure)
    WERF_KUBE_CONTEXT: 'admin@stage-cluster'
  tags:
# používame runner s tagom `werf-runner`
    - werf-runner
  artifacts:
# je potrebné zostaviť artefakt, aby ho bolo možné vidieť
# v pipeline a stiahnuť — napríklad pre podrobnejšie preskúmanie
    paths:
      - ./tests/${CI_COMMIT_REF_SLUG}/*
# artefakty staršie ako týždeň budú odstránené
    expire_in: 7 day
# dôležité: tieto riadky zodpovedajú za parsovanie správy GitLabom
    reports:
      junit: ./tests/${CI_COMMIT_REF_SLUG}/report.xml

# pre zjednodušenie sú tu zobrazené iba dve fázy
# v skutočnosti ich bude viac — minimálne kvôli deploy
stages:
  - build
  - tests

build:
  stage: build
  script:
# zostavenie — opäť podľa dokumentácie werf
# (https://werf.io/how_to/gitlab_ci_cd_integration.html#build-stage)
    - type multiwerf && source <(multiwerf use ${WERF_VERSION})
    - werf version
    - type werf && source <(werf ci-env gitlab --tagging-strategy tag-or-branch --verbose)
    - werf build-and-publish --stages-storage :local
  tags:
    - werf-runner
  except:
    - schedules

run tests:
  <<: *test-base
  environment:
# "sama soľ" pomenovania namespace
# (https://docs.gitlab.com/ce/ci/variables/predefined_variables.html)
    name: tests-${CI_COMMIT_REF_SLUG}
  stage: tests
  except:
    - schedules

Kubernetes

Teraz v adresári .helm/templatés vytvoríme YAML s Job’om — tests-job.yaml — na spustenie testov a potrebnými zdrojmi Kubernetes. Vysvetlenia sú nižšie:

{{- if eq .Values.global.run_tests "yes" }}
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: tests-script
data:
  tests.sh: |
    echo "======================"
    echo "${APP_NAME} TESTS"
    echo "======================"

    cd /app
    npm run test:ci
    cp report.xml /app/test_results/${CI_COMMIT_REF_SLUG}/

    echo ""
    echo ""
    echo ""

    chown -R 999:999 /app/test_results/${CI_COMMIT_REF_SLUG}
---
apiVersion: batch/v1
kind: Job
metadata:
  name: {{ .Chart.Name }}-test
  annotations:
    "helm.sh/hook": post-install,post-upgrade
    "helm.sh/hook-weight": "2"
    "werf/watch-logs": "true"
spec:
  activeDeadlineSeconds: {{ .Values.global.ci_timeout }}
  backoffLimit: 1
  template:
    metadata:
      name: {{ .Chart.Name }}-test
    spec:
      containers:
      - name: test
        command: ['bash', '-c', '/app/tests.sh']
{{ tuple "application" . | include "werf_container_image" | indent 8 }}
        env:
        - name: env
          value: {{ .Values.global.env }}
        - name: CI_COMMIT_REF_SLUG
          value: {{ .Values.global.commit_ref_slug }}
       - name: APP_NAME
          value: {{ .Chart.Name }}
{{ tuple "application" . | include "werf_container_env" | indent 8 }}
        volumeMounts:
        - mountPath: /app/test_results/
          name: data
        - mountPath: /app/tests.sh
          name: tests-script
          subPath: tests.sh
      tolerations:
      - key: dedicated
        operator: Exists
      - key: node-role.kubernetes.io/master
        operator: Exists
      restartPolicy: OnFailure
      volumes:
      - name: data
        persistentVolumeClaim:
          claimName: {{ .Chart.Name }}-pvc
      - name: tests-script
        configMap:
          name: tests-script
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: {{ .Chart.Name }}-pvc
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 10Mi
  storageClassName: {{ .Chart.Name }}-{{ .Values.global.commit_ref_slug }}
  volumeName: {{ .Values.global.commit_ref_slug }}

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: {{ .Values.global.commit_ref_slug }}
spec:
  accessModes:
  - ReadWriteOnce
  capacity:
    storage: 10Mi
  local:
    path: /mnt/tests/
  nodeAffinity:
   required:
     nodeSelectorTerms:
     - matchExpressions:
       - key: kubernetes.io/hostname
         operator: In
         values:
         - kube-master
  persistentVolumeReclaimPolicy: Delete
  storageClassName: {{ .Chart.Name }}-{{ .Values.global.commit_ref_slug }}
{{- end }}

Aké zdroje sú opísané v tejto konfigurácii? Pri nasadzovaní vytvárame jedinečný namespace pre projekt (to je uvedené ešte v .gitlab-ci.yaml — tests-${CI_COMMIT_REF_SLUG}) a doň nasadzujeme:

  1. ConfigMap so skriptom testu;
  2. Práca s popisom podu a uvedenou direktívou command, ktorá práve spúšťa testy;
  3. PV a PVC, ktoré umožňujú uchovávať údaje testov.

Všimnite si úvodnú podmienku s ak na začiatku manifestu — zodpovedajúcim spôsobom, iné YAML súbory Helm chartu s aplikáciou musia byť obalené v opačnej konštrukcii, aby sa nenasadzovali počas testovania. Teda:

{{- if ne .Values.global.run_tests "yes" }}
---
ja iný yaml
{{- end }}

Navyše, ak testy vyžadujú určitú infraštruktúru (napríklad, Redis, RabbitMQ, Mongo, PostgreSQL…) — ich YAML môžu byť nie vypnúť. Rozbaľte a ich v testovacej prostredí… samozrejme, upravte podľa svojho uváženia.

Finálny dotyk

Pretože zostava a nasadenie pomocou werf zatiaľ funguje iba na build-serveri (s gitlab-runner), a pod s testami sa spúšťa na master, bude potrebné vytvoriť adresár /mnt/tests na masteri a poskytnúť ho runneru, napríklad, cez NFS. Rozbalený príklad s vysvetleniami nájdete v dokumentácii K8s.

Výsledkom bude:

user@kube-master:~$ cat /etc/exports | grep tests
/mnt/tests    IP_gitlab-builder/32(rw,nohide,insecure,no_subtree_check,sync,all_squash,anonuid=999,anongid=998)

user@gitlab-runner:~$ cat /etc/fstab | grep tests
IP_kube-master:/mnt/tests    /mnt/tests   nfs4    _netdev,auto  0       0

Nikto nezakazuje vytvoriť NFS zdieľanie priamo na gitlab-runneri, potom ho pripojiť do podov.

Poznámka

Možno sa pýtate, prečo vôbec komplikovať proces vytvorením Jobu, keď môžeme jednoducho spustiť skript s testami priamo na shell-runnere? Odpoveď je dosť triviálna…

Niektoré testy vyžadujú prístup k infraštruktúre (MongoDB, RabbitMQ, PostgreSQL atď.) na overenie správnosti práce s nimi. Robíme testovanie unifikované – s týmto prístupom je zahrnutie takýchto dodatočných entít jednoduché. Navyše, získavame štandardnú prístup v nasadení (nech je to aj s použitím NFS, ďalším montovaním adresárov).

Výsledok

Čo uvidíme, keď aplikujeme pripravenú konfiguráciu?

V merge requeste sa zobrazí súhrnná štatistika testov, ktoré boli spustené v jeho poslednom pipeline:

JUnit v GitLab CI s Kubernetes

Na každú chybu tu môžete kliknúť, aby ste dostali podrobnosti:

JUnit v GitLab CI s Kubernetes

Poznámka: Pozorný čitateľ si všimne, že testujeme aplikáciu NodeJS, a na snímkach obrazovky je .NET… Nezúfajte: jednoducho v rámci prípravy článku sa nenašli chyby v testovaní prvej aplikácie, ale našli sa v inej.

Záver

Ako vidíte, nič zložité!

V podstate, ak už máte shell-zostavovač a funguje, a Kubernetes nepotrebujete – pripojenie testovania k nemu bude ešte jednoduchšou úlohou, než je popísané tu. A v dokumentácii GitLab CI nájdete príklady pre Ruby, Go, Gradle, Maven a niektoré ďalšie.

P.S.

Prečítajte si tiež na našom blogu:

Zdroj: habr.com

Kúpte si spoľahlivý hosting pre webové stránky s ochranou proti DDoS, VPS VDS servery 🔥 Kúpte si spoľahlivý hosting pre webové stránky s ochranou proti DDoS, VPS VDS servery | ProHoster