JUnit u GitLab CI sa Kubernetes-om

Iako svi znaju koliko je važno testirati svoj softver, a mnogi to već dugo rade automatski, na prostranstvima Habra nije bilo ni jednog recepta za postavljanje integracije tako popularnih alata u ovoj niši kao što su (naš omiljeni) GitLab i JUnit. Popunićemo ovu prazninu!

JUnit u GitLab CI sa Kubernetes-om

Uvodni

Prvo, definišem kontekst:

  • Budući da sve naše aplikacije rade u Kubernetesu, razmotrićemo pokretanje testova u odgovarajućoj infrastrukturi.
  • Za izgradnju i distribuciju koristimo werf (u smislu infrastrukturnih komponenti, to automatski znači da je uključen i Helm).
  • Neću se zadržavati na detaljima neposrednog kreiranja testova: u našem slučaju klijent piše testove sam, a mi samo obezbeđujemo njihovo pokretanje (i prisustvo odgovarajućeg izveštaja u merge request-u).


Kako će izgledati opšti redosled radnji?

  1. Izgradnja aplikacije — opis ovog koraka ćemo izostaviti.
  2. Distribucija aplikacije u poseban namespace klastera Kubernetes i pokretanje testiranja.
  3. Pretraga artefakata i parsiranje JUnit izveštaja od strane GitLab-a.
  4. Brisanje prethodno kreiranog namespace-a.

Sada — k realizaciji!

Podešavanje

GitLab CI

Počnimo s fragmentom .gitlab-ci.yaml, koji opisuje distribuciju aplikacije i pokretanje testova. Listing je prilično obiman, pa je značajno dopunjen komentarima:

varijable:
# deklariramo verziju werf-a koju planiramo koristiti
  WERF_VERSION: "1.0 beta"

.base_deploy: &base_deploy
  skripta:
# kreiramo namespace u K8s, ako ne postoji
    - kubectl --context="${WERF_KUBE_CONTEXT}" get ns ${CI_ENVIRONMENT_SLUG} || kubectl create ns ${CI_ENVIRONMENT_SLUG}
# preuzimamo werf i deploy-ujemo — više o tome u dokumentaciji
# (https://werf.io/how_to/gitlab_ci_cd_integration.html#deploy-stage)
    - type multiwerf && source <(multiwerf use ${WERF_VERSION})
    - werf version
    - type werf && source <(werf ci-env gitlab --tagging-strategy tag-or-branch --verbose)
    - werf deploy --stages-storage :local
      --namespace ${CI_ENVIRONMENT_SLUG}
      --set "global.commit_ref_slug=${CI_COMMIT_REF_SLUG:-''}"
# šaljemo varijablu `run_tests`
# ona će se koristiti u renderovanju Helm-releasa
      --set "global.run_tests=${RUN_TESTS:-no}"
      --set "global.env=${CI_ENVIRONMENT_SLUG}"
# menjamo timeout (ponekad su testovi dugotrajni) i šaljemo ga u release
      --set "global.ci_timeout=${CI_TIMEOUT:-900}"
     --timeout ${CI_TIMEOUT:-900}
  zavisnosti:
    - Build

.test-base: &test-base
  nasleđuje: .base_deploy
  before_script:
# kreiramo direktorijum za budući izveštaj, u zavisnosti od $CI_COMMIT_REF_SLUG
    - mkdir /mnt/tests/${CI_COMMIT_REF_SLUG} || true
# nužna prečica, jer GitLab želi da dobije artefakte u svom build-dir-u
    - mkdir ./tests || true
    - ln -s /mnt/tests/${CI_COMMIT_REF_SLUG} ./tests/${CI_COMMIT_REF_SLUG}
  after_script:
# nakon završetka testova brišemo release zajedno sa Job-om
# (i, možda, njegovom infrastrukturom)
    - type multiwerf && source <(multiwerf use ${WERF_VERSION})
    - werf version
    - type werf && source <(werf ci-env gitlab --tagging-strategy tag-or-branch --verbose)
    - werf dismiss --namespace ${CI_ENVIRONMENT_SLUG} --with-namespace
# dozvoljavamo greške, ali možete to postaviti drugačije
  allow_failure: true
  varijable:
    RUN_TESTS: 'yes'
# postavljamo kontekst u werf
# (https://werf.io/how_to/gitlab_ci_cd_integration.html#infrastructure)
    WERF_KUBE_CONTEXT: 'admin@stage-cluster'
  tagovi:
# koristimo runner s tagom `werf-runner`
    - werf-runner
  artefakti:
# potrebno je prikupiti artefakt kako bi bio vidljiv
# u pipeline-u i mogao se preuzeti — na primer, za dublje istraživanje
    putanje:
      - ./tests/${CI_COMMIT_REF_SLUG}/*
# artefakti stariji od nedelje će biti obrisani
    expire_in: 7 days
# važno: ovi redovi odgovaraju za parsiranje izveštaja od strane GitLaba
    izveštaji:
      junit: ./tests/${CI_COMMIT_REF_SLUG}/report.xml

# za pojednostavljenje ovde su prikazane samo dve faze
# u stvarnosti ih imate više — barem zbog deploy-a
staze:
  - build
  - tests

build:
  faza: build
  skripta:
# izgradnja — ponovo prema dokumentaciji o werf-u
# (https://werf.io/how_to/gitlab_ci_cd_integration.html#build-stage)
    - type multiwerf && source <(multiwerf use ${WERF_VERSION})
    - werf version
    - type werf && source <(werf ci-env gitlab --tagging-strategy tag-or-branch --verbose)
    - werf build-and-publish --stages-storage :local
  tagovi:
    - werf-runner
  osim:
    - schedules

pokreni testove:
  <<: *test-base
  okruženje:
# "sam vrhunac" imenovanja namespace-a
# (https://docs.gitlab.com/ce/ci/variables/predefined_variables.html)
    ime: tests-${CI_COMMIT_REF_SLUG}
  faza: tests
  osim:
    - schedules

Kubernetes

Sada u direktoriju .helm/templates napravimo YAML s Job'om — tests-job.yaml — za pokretanje testova i potrebnim resursima Kubernetes. Objašnjenja su nakon listinga:

{{- if eq .Values.global.run_tests "yes" }}
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: tests-script
data:
  tests.sh: |
    echo "======================"
    echo "${APP_NAME} TESTS"
    echo "======================"

    cd \/app
    npm run test:ci
    cp report.xml \/app\/test_results\/${CI_COMMIT_REF_SLUG}\/\n
    echo ""
    echo ""
    echo ""

    chown -R 999:999 \/app\/test_results\/${CI_COMMIT_REF_SLUG}
---
apiVersion: batch\/v1
kind: Job
metadata:
  name: {{ .Chart.Name }}-test
  annotations:
    "helm.sh\/hook": post-install,post-upgrade
    "helm.sh\/hook-weight": "2"
    "werf\/watch-logs": "true"
spec:
  activeDeadlineSeconds: {{ .Values.global.ci_timeout }}
  backoffLimit: 1
  template:
    metadata:
      name: {{ .Chart.Name }}-test
    spec:
      containers:
      - name: test
        command: ['bash', '-c', '\/app\/tests.sh']
{{ tuple "application" . | include "werf_container_image" | indent 8 }}
        env:
        - name: env
          value: {{ .Values.global.env }}
        - name: CI_COMMIT_REF_SLUG
          value: {{ .Values.global.commit_ref_slug }}
       - name: APP_NAME
          value: {{ .Chart.Name }}
{{ tuple "application" . | include "werf_container_env" | indent 8 }}
        volumeMounts:
        - mountPath: \/app\/test_results\/\n          name: data
        - mountPath: \/app\/tests.sh
          name: tests-script
          subPath: tests.sh
      tolerations:
      - key: dedicated
        operator: Exists
      - key: node-role.kubernetes.io\/master
        operator: Exists
      restartPolicy: OnFailure
      volumes:
      - name: data
        persistentVolumeClaim:
          claimName: {{ .Chart.Name }}-pvc
      - name: tests-script
        configMap:
          name: tests-script
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: {{ .Chart.Name }}-pvc
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 10Mi
  storageClassName: {{ .Chart.Name }}-{{ .Values.global.commit_ref_slug }}
  volumeName: {{ .Values.global.commit_ref_slug }}

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: {{ .Values.global.commit_ref_slug }}
spec:
  accessModes:
  - ReadWriteOnce
  capacity:
    storage: 10Mi
  local:
    path: \/mnt\/tests\/\n  nodeAffinity:
   required:
     nodeSelectorTerms:
     - matchExpressions:
       - key: kubernetes.io\/hostname
         operator: In
         values:
         - kube-master
  persistentVolumeReclaimPolicy: Delete
  storageClassName: {{ .Chart.Name }}-{{ .Values.global.commit_ref_slug }}
{{- end }}

Koji su resursi opisani u ovoj konfiguraciji? Pri deploy-u kreiramo jedinstveni namespace za projekat (to je navedeno još u .gitlab-ci.yaml — tests-${CI_COMMIT_REF_SLUG}) i u njega se instalira:

  1. ConfigMap sa skriptom testova;
  2. Posao s opisom pod-a i navedenom direktivom command, koja pokreće testove;
  3. PV i PVC, koji omogućavaju skladištenje podataka testova.

Obratite pažnju na uvodno stanje s if na početku manifesta — shodno tome, ostali YAML-fajlovi Helm-čarta sa aplikacijom treba obaviti u suprotnoj konstructsiji, kako se ne bi instalirali pri testiranju. To jest:

{{- if ne .Values.global.run_tests "yes" }}
---
ja drugi yamk
{{- end }}

Ipak, ako testovi traže neku infrastrukturu (na primer, Redis, RabbitMQ, Mongo, PostgreSQL…) — njihovi YAML-ovi mogu biti nije Isključite. Proširite ih u testnom okruženju... naravno, prilagodite ih prema vlastitim potrebama.

Finalni dodir

Budući da izrada i implementacija putem werf trenutno funkcioniše samo na build serveru (sa gitlab-runner), a pod sa testovima se pokreće na masteru, potrebno je kreirati direktorij /mnt/tests na masteru i predati ga na runner, na primer, putem NFS. Razrađen primer sa objašnjenjima može se naći u K8s dokumentaciji.

Rezultat će biti:

user@kube-master:~$ cat /etc/exports | grep tests
/mnt/tests    IP_gitlab-builder/32(rw,nohide,insecure,no_subtree_check,sync,all_squash,anonuid=999,anongid=998)

user@gitlab-runner:~$ cat /etc/fstab | grep tests
IP_kube-master:/mnt/tests    /mnt/tests   nfs4    _netdev,auto  0       0

Niko ne zabranjuje da se napravi NFS share direktno na gitlab-runneru, nakon čega je montirate u podove.

Napomena

Možda se pitate, zašto komplikovati sa kreiranjem Job-a, kada možete jednostavno pokrenuti skript sa testovima direktno na shell-runneru? Odgovor je prilično trivijalan...

Neki testovi zahtevaju pristup infrastrukturi (MongoDB, RabbitMQ, PostgreSQL itd.) kako bi proverili ispravnost rada sa njima. Mi testiranje činimo jedinstvenim — ovim pristupom lako je uključiti slične dodatne entitete. Pored toga, dobijamo standardni pristup u implementaciji (čak i uz korišćenje NFS, dodatno montiranje direktorijuma).

Rezultat

Šta ćemo videti kada primenimo pripremljenu konfiguraciju?

U merge request-u će biti prikazana sažeta statistika o testovima pokrenutim u njegovom poslednjem pipeline-u:

JUnit u GitLab CI sa Kubernetes-om

Na svaku grešku ovde možete kliknuti da dobijete detalje:

JUnit u GitLab CI sa Kubernetes-om

NB: Pažljiv čitalac primetiće da testiramo NodeJS aplikaciju, a na snimcima je .NET... Ne iznenađujte se: jednostavno tokom pripreme članka nije bilo grešaka u testiranju prve aplikacije, ali smo ih pronašli u drugoj.

Zaključak

Kao što se može videti, ništa složeno!

U principu, ako već imate shell builder i on radi, a Kubernetes vam nije potreban — povezati ga sa testiranjem biće još jednostavniji zadatak od onoga što je ovde opisano. A u GitLab CI dokumentaciji naći ćete primere za Ruby, Go, Gradle, Maven i još neke.

P.S.

Takođe pročitajte na našem blogu:

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster