Iako svi dobro znaju da je važno testirati svoj softver, a mnogi to već odavno čine automatski, na prostorima Habr-a nije pronađen niti jedan recept za postavljanje povezivanja popularnih proizvoda poput (omiljenog) GitLab-a i JUnit-a. Popunit ćemo tu prazninu!

Uvod
Za početak, naznačit ću kontekst:
- Budući da sve naše aplikacije rade u Kubernetesu, razmotrit ćemo pokretanje testova u odgovarajućoj infrastrukturi.
- Za izgradnju i implementaciju koristimo (u smislu infrastrukturnih komponenti, to također automatski znači da se koristi Helm).
- Neću ulaziti u detalje neposrednog stvaranja testova: u našem slučaju klijent sam piše testove, a mi samo osiguravamo njihovo pokretanje (i postojanje odgovarajućeg izvještaja u merge request-u).
Kako će izgledati opća sekvenca radnji?
- Izgradnja aplikacije — opis ove faze izostavit ćemo.
- Implementacija aplikacije u zasebnom namespace-u klastera Kubernetes i pokretanje testiranja.
- Pretraživanje artefakata i parsiranje JUnit izvještaja od strane GitLab-a.
- Brisanje prethodno stvorenog namespace-a.
Sada — prelazimo na implementaciju!
Podešavanje
GitLab CI
Započet ćemo s fragmentom .gitlab-ci.yaml, koji opisuje implementaciju aplikacije i pokretanje testova. Listing je ispao prilično obiman, stoga je temeljito dopunjen komentarima:
varijable:
# definiramo verziju werf-a koju ćemo koristiti
WERF_VERSION: "1.0 beta"
.base_deploy: &base_deploy
skripta:
# kreiramo namespace u K8s, ako ne postoji
- kubectl --context="${WERF_KUBE_CONTEXT}" get ns ${CI_ENVIRONMENT_SLUG} || kubectl create ns ${CI_ENVIRONMENT_SLUG}
# preuzimamo werf i deploy-amo — više o tome u dokumentaciji
# (https://werf.io/how_to/gitlab_ci_cd_integration.html#deploy-stage)
- type multiwerf && source <(multiwerf use ${WERF_VERSION})
- werf version
- type werf && source <(werf ci-env gitlab --tagging-strategy tag-or-branch --verbose)
- werf deploy --stages-storage :local
--namespace ${CI_ENVIRONMENT_SLUG}
--set "global.commit_ref_slug=${CI_COMMIT_REF_SLUG:-''}"
# proslijedjujemo varijablu `run_tests`
# koja će se koristiti u renderiranju Helm-izdanja
--set "global.run_tests=${RUN_TESTS:-no}"
--set "global.env=${CI_ENVIRONMENT_SLUG}"
# mijenjamo timeout (mogu biti dugi testovi) i proslijedimo ga u izdanje
--set "global.ci_timeout=${CI_TIMEOUT:-900}"
--timeout ${CI_TIMEOUT:-900}
zavisnosti:
- Build
.test-base: &test-base
produžava: .base_deploy
before_script:
# kreiramo direktorij za budući izvještaj, zavisno od $CI_COMMIT_REF_SLUG
- mkdir /mnt/tests/${CI_COMMIT_REF_SLUG} || true
# privremeno rešenje, pošto GitLab želi da dobije artefakte u svom build-dir’u
- mkdir ./tests || true
- ln -s /mnt/tests/${CI_COMMIT_REF_SLUG} ./tests/${CI_COMMIT_REF_SLUG}
after_script:
# nakon završetka testova brišemo izdanje zajedno sa Job-om
# (i, možda, njegovom infrastrukturom)
- type multiwerf && source <(multiwerf use ${WERF_VERSION})
- werf version
- type werf && source <(werf ci-env gitlab --tagging-strategy tag-or-branch --verbose)
- werf dismiss --namespace ${CI_ENVIRONMENT_SLUG} --with-namespace
# dopuštamo padove, ali možete učiniti drugačije
allow_failure: true
varijable:
RUN_TESTS: 'yes'
# postavljamo kontekst u werf
# (https://werf.io/how_to/gitlab_ci_cd_integration.html#infrastructure)
WERF_KUBE_CONTEXT: 'admin@stage-cluster'
oznake:
# koristimo runner s oznakom `werf-runner`
- werf-runner
artefakti:
# potrebno je prikupiti artefakt da bi ga bilo moguće vidjeti
# u pipeline-u i preuzeti — na primjer, za detaljniju analizu
putanje:
- ./tests/${CI_COMMIT_REF_SLUG}/*
# artefakti stariji od tjedan dana će biti obrisani
expire_in: 7 day
# važno: ove linije su odgovorne za parsiranje izvještaja od strane GitLaba
izvještaji:
junit: ./tests/${CI_COMMIT_REF_SLUG}/report.xml
# ovdje su prikazane samo dvije faze radi pojednostavljenja
# u stvarnosti će ih biti više — barem zbog deploy-a
fazama:
- build
- tests
build:
faza: build
skripta:
# izgradnja — opet po dokumentaciji za werf
# (https://werf.io/how_to/gitlab_ci_cd_integration.html#build-stage)
- type multiwerf && source <(multiwerf use ${WERF_VERSION})
- werf version
- type werf && source <(werf ci-env gitlab --tagging-strategy tag-or-branch --verbose)
- werf build-and-publish --stages-storage :local
oznake:
- werf-runner
osim:
- schedules
pokreni testove:
<<: *test-base
okruženje:
# "sam naziv" namespace-a
# (https://docs.gitlab.com/ce/ci/variables/predefined_variables.html)
name: tests-${CI_COMMIT_REF_SLUG}
faza: tests
osim:
- schedulesKubernetes
Sada u direktoriju .helm/templates stvaramo YAML s Job-om — tests-job.yaml — za pokretanje testova i potrebnim resursima Kubernetes-a. Objašnjenja se nalaze nakon popisa:
{{- if eq .Values.global.run_tests "yes" }}
---
apiVersion: v1
kind: ConfigMap
metadata:
name: tests-script
data:
tests.sh: |
echo "======================"
echo "${APP_NAME} TESTS"
echo "======================"
cd /app
npm run test:ci
cp report.xml /app/test_results/${CI_COMMIT_REF_SLUG}/
echo ""
echo ""
echo ""
chown -R 999:999 /app/test_results/${CI_COMMIT_REF_SLUG}
---
apiVersion: batch/v1
kind: Job
metadata:
name: {{ .Chart.Name }}-test
annotations:
"helm.sh/hook": post-install,post-upgrade
"helm.sh/hook-weight": "2"
"werf/watch-logs": "true"
spec:
activeDeadlineSeconds: {{ .Values.global.ci_timeout }}
backoffLimit: 1
template:
metadata:
name: {{ .Chart.Name }}-test
spec:
containers:
- name: test
command: ['bash', '-c', '/app/tests.sh']
{{ tuple "application" . | include "werf_container_image" | indent 8 }}
env:
- name: env
value: {{ .Values.global.env }}
- name: CI_COMMIT_REF_SLUG
value: {{ .Values.global.commit_ref_slug }}
- name: APP_NAME
value: {{ .Chart.Name }}
{{ tuple "application" . | include "werf_container_env" | indent 8 }}
volumeMounts:
- mountPath: /app/test_results/
name: data
- mountPath: /app/tests.sh
name: tests-script
subPath: tests.sh
tolerations:
- key: dedicated
operator: Exists
- key: node-role.kubernetes.io/master
operator: Exists
restartPolicy: OnFailure
volumes:
- name: data
persistentVolumeClaim:
claimName: {{ .Chart.Name }}-pvc
- name: tests-script
configMap:
name: tests-script
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: {{ .Chart.Name }}-pvc
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 10Mi
storageClassName: {{ .Chart.Name }}-{{ .Values.global.commit_ref_slug }}
volumeName: {{ .Values.global.commit_ref_slug }}
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: {{ .Values.global.commit_ref_slug }}
spec:
accessModes:
- ReadWriteOnce
capacity:
storage: 10Mi
local:
path: /mnt/tests/
nodeAffinity:
required:
nodeSelectorTerms:
- matchExpressions:
- key: kubernetes.io/hostname
operator: In
values:
- kube-master
persistentVolumeReclaimPolicy: Delete
storageClassName: {{ .Chart.Name }}-{{ .Values.global.commit_ref_slug }}
{{- end }} Koji su to resursi opisani u ovoj konfiguraciji? Prilikom implementacije kreiramo jedinstveni namespace za projekt (to je navedeno još u .gitlab-ci.yaml — tests-${CI_COMMIT_REF_SLUG}) i u njega postavljamo:
- ConfigMap sa skriptom za testiranje;
- Job s opisom pod-a i određenom direktivom
naredba, koja upravo pokreće testove; - PV i PVC, što omogućava pohranu podataka testova.
Obratite pažnju na uvjet s if na početku manifesta — odnosno, druge YAML datoteke Helm charta s aplikacijom treba obaviti u suprotnu konstruction, kako se ne bi implementirali prilikom testiranja. To jest:
{{- if ne .Values.global.run_tests "yes" }}
---
ja drugi yaml
{{- end }}Ipak, ako testovi traže određenu infrastrukturu (npr. Redis, RabbitMQ, Mongo, PostgreSQL…) — njihovi YAML-i se mogu ne isključenje. Proširite i njih u testnom okruženju... naravno, prilagodite prema vlastitim potrebama.
Završni dodir
Budući da izgradnja i deploy uz pomoć werf za sada radi samo na build-serveru (s gitlab-runner), dok se pod s testovima pokreće na masteru, potrebno je stvoriti direktorij /mnt/tests na masteru i predati ga runneru, na primjer, putem NFS-a. Razvijeni primjer s objašnjenjima može se naći u .
Rezultat će biti:
user@kube-master:~$ cat /etc/exports | grep tests
/mnt/tests IP_gitlab-builder/32(rw,nohide,insecure,no_subtree_check,sync,all_squash,anonuid=999,anongid=998)
user@gitlab-runner:~$ cat /etc/fstab | grep tests
IP_kube-master:/mnt/tests /mnt/tests nfs4 _netdev,auto 0 0Nitko ne zabrani napraviti NFS-sharu direktno na gitlab-runneru, nakon čega se ona montira u podove.
Napomena
Možda se pitate, zašto uopće komplicirati stvaranje Job-a, kada se skripta s testovima može jednostavno pokrenuti iz shell-runnera? Odgovor je prilično trivijalan...
Neki testovi zahtijevaju pristup infrastrukturi (MongoDB, RabbitMQ, PostgreSQL itd.) za provjeru ispravnosti rada s njima. Testiranje radimo unificirano — s ovim pristupom uključivanje sličnih dodatnih entiteta postaje jednostavno. Uz to, dobivamo standardnu pristup u deployu (čak i uz korištenje NFS-a, dodatnim montiranjem direktorija).
Rezultat
Što ćemo vidjeti kada primijenimo pripremljenu konfiguraciju?
U merge requestu će se prikazati sažeta statistika o testovima pokrenutim u njegovom posljednjem pipelinu:

Na svaku grešku ovdje možete kliknuti kako biste dobili detalje:

NB: Pažljivom čitatelju će biti jasno da testiramo NodeJS aplikaciju, dok se na snimkama ekrana vidi .NET... Nemojte se iznenaditi: jednostavno u okviru pripreme članka nije bilo grešaka u testiranju prve aplikacije, ali su pronađene u drugoj.
Zaključak
Kao što se vidi, ništa komplicirano!
U principu, ako već imate shell-builder i radi, a Kubernetes vam nije potreban — pridruživanje testiranju bit će još jednostavniji zadatak nego opisani ovdje. A u naći ćete primjere za Ruby, Go, Gradle, Maven i neke druge.
P.S.
Pročitajte i na našem blogu:
- «»;
- «»;
- «».
Izvor: habr.com
