Ovaj članak će biti zanimljiv i testera zaduženima za testiranje i programerima, ali je pretežno usmjeren na automate koje su se suočile s problemom postavljanja GitLab CI/CD za provođenje integracijskog testiranja u uvjetima nedostatka infrastrukturalnih resursa i/ili odsutnosti platforme za orkestraciju kontejnera. Objasnit ću kako postaviti implementaciju testnih okruženja pomoću docker compose na jednom jedinom GitLab shell runneru, tako da se prilikom implementacije više okruženja pokrenuti servisi međusobno ne ometaju.
Sadržaj
Preduslovi
U svojoj praksi često sam ‘popravljao’ integracijsko testiranje na projektima. I često je prvi i najznačajniji problem CI pipeline, u kojem se integracijsko testiranje razvijanih servisa(va) provodi u dev/stage okruženju. To je izazivalo brojne probleme:
- Zbog grešaka u nekom od servisa tokom integracijskog testiranja, testna okolina može biti oštećena pokvarenim podacima. Bilo je slučajeva kada slanje zahtjeva s pokvarenim JSON formatom je rušilo servis, što je dovodilo cijeli stand u stanje neispravnosti.
- Usporavanjem rada testne okoline s rastom testnih podataka. Mislim da nema potrebe opisivati primjer s čišćenjem/vraćanjem Baze podataka. U svojoj praksi nisam sreo projekt gdje je ova procedura prolazila glatko.
- Rizik od narušavanja funkcionalnosti testne okoline prilikom testiranja zajedničkih postavki sistema. Na primjer, korisnik/grupa/lozinka/policies aplikacije.
- Testni podaci od automatiziranih testova ometaju rad ručnim testerima.
Neki će reći da bi kvalitetni automatizirani testovi trebali čistiti podatke nakon sebe. Imam argumente protiv:
- Dinamička okruženja su veoma zgodna za korištenje.
- Nije svaki objekat moguće izbrisati iz sistema putem API-ja. Na primjer, poziv za brisanje objekta nije implementiran jer se protivi poslovnoj logici.
- Prilikom kreiranja objekta putem API-ja može se stvoriti velika količina metapodataka koje je teško izbrisati.
- Ako testovi imaju međusobne zavisnosti, proces čišćenja podataka nakon izvršavanja testova postaje prava glavobolja.
- Dodatni (i, po mom mišljenju, neprihvatljivi) pozivi ka API-u.
- I glavni argument: kada testni podaci počnu da se brišu direktno iz Baze Podataka. To se pretvara u pravi PK/FK cirkus! Od developera se čuje: „Samo sam tabelu dodao/izbrisao/preimenovao, zašto je 100500 integracionih testova propalo?“
Po mom mišljenju, najoptimalnije rešenje je dinamičko okruženje.
- Mnogi koriste docker-compose za pokretanje testnog okruženja, ali malo ko koristi docker-compose prilikom sprovođenja integracionog testiranja u CI/CD. I tu ne uzimam u obzir kubernetes, swarm i druge platforme za orkestraciju kontejnera. Nisu sve kompanije ih imaju. Bilo bi dobro da docker-compose.yml bude univerzalan.
- Ako čak imamo svoj QA runner, kako da učinimo da servisi pokrenuti putem docker-compose ne ometaju jedni druge?
- Kako prikupljati logove testiranih servisa?
- Kako očistiti runner?
Imam svoj GitLab runner za svoje projekte i sa ovim pitanjima sam se suočio prilikom razvoja za . Preciznije prilikom pokretanja integracionih testova. Ovde ćemo rešavati ova pitanja sa primerima iz ovog projekta.
GitLab Shell Runner
Za runner preporučujem linux virtualnu mašinu sa 4 vCPU, 4 GB RAM, 50 GB HDD.
Na internetu ima mnogo informacija o konfiguraciji gitlab-runner, pa ukratko:
- Prijavite se na mašinu putem SSH
Ako imate manje od 8 GB RAM, preporučujem , kako OOM killer ne bi ubijao zadatke zbog nedostatka RAM. To se može desiti kada se simultano pokrene više od 5 zadataka. Zadatci će prolaziti sporije, ali stabilno.
Primer sa OOM killerom
Ako u logovima zadatka vidite
bash: line 82: 26474 Ubijen, samo izvršite na runnerusudo dmesg | grep 26474[26474] 1002 26474 1061935 123806 339 0 0 java Nema memorije: Ubiti proces 26474 (java) rezultat 127 ili žrtvovati dete Ubio proces 26474 (java) ukupno-vm:4247740kB, anon-rss:495224kB, file-rss:0kB, shmem-rss:0kBI ako slika izgleda otprilike ovako, dodajte swap ili povećajte RAM.
- Instaliramo , , , napraviti.
- Dodajemo korisnika
gitlab-runneru grupudockersudo groupadd docker sudo usermod -aG docker gitlab-runner - gitlab-runner.
Otvaramo za uređivanje
/etc/gitlab-runner/config.tomli dodajemoconcurrent=20 [[runners]] request_concurrency = 10To će omogućiti pokretanje paralelnih zadataka na jednom runneru. Detaljnije pročitajte .
Ako imate jaču mašinu, na primjer 8 vCPU, 16 GB RAM, tada se ovi brojevi mogu povećati najmanje dvostruko. Međutim, sve zavisi od toga šta konkretno će biti pokrenuto na ovom runneru i u kojem broju.
To je dovoljno.
Priprema docker-compose.yml
Glavna zadaća je univerzalni docker-compose.yml koji programeri/testeri mogu koristiti i lokalno i u CI pipeline-u.
Prvo, kreiramo jedinstvene nazive servisa za CI. Jedna od jedinstvenih varijabli u GitLab CI je varijabla CI_JOB_ID. Ako navedete container_name sa vrijednošću "service-${CI_JOB_ID:-local}", onda u slučaju:
- ako
CI_JOB_IDnije definisana u varijablama okruženja,
ime servisa će bitiservice-local - ako
CI_JOB_IDdefinisana u varijablama okruženja (na primjer 123),
ime servisa će bitiservice-123
U drugom redu, kreiramo zajedničku mrežu za pokrenute servise. To nam daje izolaciju na mrežnom nivou prilikom pokretanja više testnih okruženja.
networks:
default:
external:
name: service-network-${CI_JOB_ID:-local}U suštini, ovo je prvi korak ka uspjehu =)
Primjer mog docker-compose.yml sa komentarima
version: "3"
# Za ispravno funkcionisanje web (php) i fmt potrebno je,
# da kontejneri imaju zajednički izvršni sadržaj.
# U našem slučaju, to je direktorijum /var/www/testrail
volumes:
static-content:
# Izolujemo okruženje na mrežnom nivou
networks:
default:
external:
name: testrail-network-${CI_JOB_ID:-local}
services:
db:
image: mysql:5.7.22
# Svaki container_name sadrži ${CI_JOB_ID:-local}
container_name: "testrail-mysql-${CI_JOB_ID:-local}"
environment:
MYSQL_HOST: db
MYSQL_DATABASE: mydb
MYSQL_ROOT_PASSWORD: 1234
SKIP_GRANT_TABLES: 1
SKIP_NETWORKING: 1
SERVICE_TAGS: dev
SERVICE_NAME: mysql
networks:
- default
migration:
image: registry.gitlab.com/touchbit/image/testrail/migration:latest
container_name: "testrail-migration-${CI_JOB_ID:-local}"
links:
- db
depends_on:
- db
networks:
- default
fpm:
image: registry.gitlab.com/touchbit/image/testrail/fpm:latest
container_name: "testrail-fpm-${CI_JOB_ID:-local}"
volumes:
- static-content:/var/www/testrail
links:
- db
networks:
- default
web:
image: registry.gitlab.com/touchbit/image/testrail/web:latest
container_name: "testrail-web-${CI_JOB_ID:-local}"
# Ako varijable TR_HTTP_PORT ili TR_HTTPS_PORTS nisu definisane,
# servis se pokreće na 80 i 443 portu odgovarajuće.
ports:
- ${TR_HTTP_PORT:-80}:80
- ${TR_HTTPS_PORT:-443}:443
volumes:
- static-content:/var/www/testrail
links:
- db
- fpm
networks:
- defaultPrimjer lokalnog pokretanja
docker-compose -f docker-compose.yml up -d
Starting testrail-mysql-local ... done
Starting testrail-migration-local ... done
Starting testrail-fpm-local ... done
Recreating testrail-web-local ... doneAli nije sve tako jednostavno sa pokretanjem u CI.
Priprema Makefile
Koristim Makefile jer je vrlo praktičan za lokalno upravljanje okruženjem i u CI. Slede komentari u liniji.
# У меня в проектах все вспомогательные вещи лежат в директории `.indirect`,
# в том числе и `docker-compose.yml`
# Использовать bash с опцией pipefail
# pipefail - фейлит выполнение пайпа, если команда выполнилась с ошибкой
SHELL=/bin/bash -o pipefail
# Останавливаем контейнеры и удаляем сеть
docker-kill:
docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm network-$${CI_JOB_ID:-testrail} || true
# Предварительно выполняем docker-kill
docker-up: docker-kill
# Создаем сеть для окружения
docker network create network-$${CI_JOB_ID:-testrail}
# Забираем последние образы из docker-registry
docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml pull
# Запускаем окружение
# force-recreate - принудительное пересоздание контейнеров
# renew-anon-volumes - не использовать volumes предыдущих контейнеров
docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
# Ну и, на всякий случай, вывести что там у нас в принципе запущено на машинке
docker ps
# Коллектим логи сервисов
docker-logs:
mkdir ./logs || true
docker logs testrail-web-$${CI_JOB_ID:-local} >& logs/testrail-web.log
docker logs testrail-fpm-$${CI_JOB_ID:-local} >& logs/testrail-fpm.log
docker logs testrail-migration-$${CI_JOB_ID:-local} >& logs/testrail-migration.log
docker logs testrail-mysql-$${CI_JOB_ID:-local} >& logs/testrail-mysql.log
# Очистка раннера
docker-clean:
@echo Останавливаем все testrail-контейнеры
docker kill $$(docker ps --filter=name=testrail -q) || true
@echo Очистка докер контейнеров
docker rm -f $$(docker ps -a -f --filter=name=testrail status=exited -q) || true
@echo Очистка dangling образов
docker rmi -f $$(docker images -f "dangling=true" -q) || true
@echo Очистка testrail образов
docker rmi -f $$(docker images --filter=reference='registry.gitlab.com/touchbit/image/testrail/*' -q) || true
@echo Очистка всех неиспользуемых volume
docker volume rm -f $$(docker volume ls -q) || true
@echo Очистка всех testrail сетей
docker network rm $(docker network ls --filter=name=testrail -q) || true
docker ps
Proveravamo
make docker-up
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
Ubija testrail-web-local ... gotovo
Ubija testrail-fpm-local ... gotovo
Ubija testrail-mysql-local ... gotovo
docker network rm network-${CI_JOB_ID:-testrail} || true
network-testrail
docker network create network-${CI_JOB_ID:-testrail}
d2ec063324081c8bbc1b08fd92242c2ea59d70cf4025fab8efcbc5c6360f083f
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Preuzima db ... gotovo
Preuzima migration ... gotovo
Preuzima fpm ... gotovo
Preuzima web ... gotovo
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Ponovno kreira testrail-mysql-local ... gotovo
Ponovno kreira testrail-fpm-local ... gotovo
Ponovno kreira testrail-migration-local ... gotovo
Ponovno kreira testrail-web-local ... gotovo
docker ps
ID KONTEJNERA PORTOVI IMENA
a845d3cb0e5a 0.0.0.0:80->80/tcp, 0.0.0.0:443->443/tcp testrail-web-local
19d8ef001398 9000/tcp testrail-fpm-local
e28840a2369c 3306/tcp, 33060/tcp testrail-migration-local
0e7900c23f37 3306/tcp testrail-mysql-local
make docker-logs
$ make docker-logs
mkdir ./logs || true
mkdir: ne može se kreirati direktorij ‘./logs’: Direktorij već postoji
docker logs testrail-web-${CI_JOB_ID:-local} >& logs/testrail-web.log
docker logs testrail-fpm-${CI_JOB_ID:-local} >& logs/testrail-fpm.log
docker logs testrail-migration-${CI_JOB_ID:-local} >& logs/testrail-migration.log
docker logs testrail-mysql-${CI_JOB_ID:-local} >& logs/testrail-mysql.log
Priprema .gitlab-ci.yml
Pokretanje integracijskih testova
Integracija:
stage: test
tags:
- my-shell-runner
before_script:
# Prijava u registry
- docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
# Generišemo pseudo jedinstvene TR_HTTP_PORT i TR_HTTPS_PORT
- export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
- export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
# pravimo direktorij sa ID-jem zadatka
- mkdir ${CI_JOB_ID}
# kopiramo naš docker-compose.yml u kreirani direktorij
# kako bi kontekst bio različit za svaki zadatak
- cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
script:
# podižemo naše okruženje
- make docker-up
# pokrećemo testove izvršnom jar (tako mi je)
- java -jar itest.jar --http-port ${TR_HTTP_PORT} --https-port ${TR_HTTPS_PORT}
# ili u kontejneru
- docker run --network=testrail-network-${CI_JOB_ID:-local} --rm itest
after_script:
# prikupljamo logove
- make docker-logs
# zaustavljamo okruženje
- make docker-kill
artifacts:
# čuvamo logove
when: always
paths:
- logs
expire_in: 30 daysKao rezultat pokretanja tako zadatka, direktorij logs u artefaktima će sadržavati logove servisa i testova. Što je veoma korisno u slučaju grešaka. Svaki moj test u paraleli piše svoj log, ali o tome ću govoriti posebno.

Čišćenje runniera
Zadatak će se pokretati samo prema rasporedu.
stages:
- clean
- build
- test
Clean runner:
stage: clean
only:
- schedules
tags:
- my-shell-runner
script:
- make docker-cleanZatim idemo u naš GitLab projekt -> CI/CD -> Rasporedi -> Novi raspored i dodajemo novi raspored
Rezultat
Pokrećemo 4 zadatka u GitLab CI
U logovima posljednjeg zadatka s integracijskim testovima vidimo kontejnere iz različitih zadataka
ID KONTEJNERA IMENI
c6b76f9135ed testrail-web-204645172
01d303262d8e testrail-fpm-204645172
2cdab1edbf6a testrail-migration-204645172
826aaf7c0a29 testrail-mysql-204645172
6dbb3fae0322 testrail-web-204645084
3540f8d448ce testrail-fpm-204645084
70fea72aa10d testrail-mysql-204645084
d8aa24b2892d testrail-web-204644881
6d4ccd910fad testrail-fpm-204644881
685d8023a3ec testrail-mysql-204644881
1cdfc692003a testrail-web-204644793
6f26dfb2683e testrail-fpm-204644793
029e16b26201 testrail-mysql-204644793
c10443222ac6 testrail-web-204567103
04339229397e testrail-fpm-204567103
6ae0accab28d testrail-mysql-204567103
b66b60d79e43 testrail-web-204553690
033b1f46afa9 testrail-fpm-204553690
a8879c5ef941 testrail-mysql-204553690
069954ba6010 testrail-web-204553539
ed6b17d911a5 testrail-fpm-204553539
1a1eed057ea0 testrail-mysql-204553539Detaljniji log
$ docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
UPWARNING! Korištenje --password putem CLI-a nije sigurno. Koristite --password-stdin.
UPWARNING! Vaša lozinka će biti pohranjena nešifrirano u /home/gitlab-runner/.docker/config.json.
Konfigurirajte pomoćnika za vjerodajnice kako biste uklonili ovu upozorenje. Vidite
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Ulogovanje uspješno
$ export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
$ export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
$ mkdir ${CI_JOB_ID}
$ cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm testrail-network-${CI_JOB_ID:-local} || true
Greška: Mreža ne postoji: testrail-network-204645172
docker network create testrail-network-${CI_JOB_ID:-local}
0a59552b4464b8ab484de6ae5054f3d5752902910bacb0a7b5eca698766d0331
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Preuzimanje web ... završeno
Preuzimanje fpm ... završeno
Preuzimanje migracije ... završeno
Preuzimanje db ... završeno
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Kreiranje volumena "204645172_static-content" s zadanim upravljačem
Kreiranje testrail-mysql-204645172 ...
Kreiranje testrail-mysql-204645172 ... završeno
Kreiranje testrail-migration-204645172 ... završeno
Kreiranje testrail-fpm-204645172 ... završeno
Kreiranje testrail-web-204645172 ... završeno
docker ps
ID KONTEJNERA SLIKA KOMANDA KREIRANO STATUS PORTOVI IMENA
c6b76f9135ed registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 13 sekundi prošlo Aktivno 1 sekunda 0.0.0.0:51148->80/tcp, 0.0.0.0:25426->443/tcp testrail-web-204645172
01d303262d8e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 16 sekundi prošlo Aktivno 13 sekundi 9000/tcp testrail-fpm-204645172
2cdab1edbf6a registry.gitlab.com/touchbit/image/testrail/migration:latest "docker-entrypoint.s…" 16 sekundi prošlo Aktivno 13 sekundi 3306/tcp, 33060/tcp testrail-migration-204645172
826aaf7c0a29 mysql:5.7.22 "docker-entrypoint.s…" 18 sekundi prošlo Aktivno 16 sekundi 3306/tcp testrail-mysql-204645172
6dbb3fae0322 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 36 sekundi prošlo Aktivno 22 sekunde 0.0.0.0:44202->80/tcp, 0.0.0.0:20151->443/tcp testrail-web-204645084
3540f8d448ce registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 38 sekundi prošlo Aktivno 35 sekundi 9000/tcp testrail-fpm-204645084
70fea72aa10d mysql:5.7.22 "docker-entrypoint.s…" 40 sekundi prošlo Aktivno 37 sekundi 3306/tcp testrail-mysql-204645084
d8aa24b2892d registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" Prije minute Aktivno 53 sekundi 0.0.0.0:31103->80/tcp, 0.0.0.0:43872->443/tcp testrail-web-204644881
6d4ccd910fad registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" Prije minute Aktivno Prije minute 9000/tcp testrail-fpm-204644881
685d8023a3ec mysql:5.7.22 "docker-entrypoint.s…" Prije minute Aktivno Prije minute 3306/tcp testrail-mysql-204644881
1cdfc692003a registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" Prije minute Aktivno Prije minute 0.0.0.0:44752->80/tcp, 0.0.0.0:23540->443/tcp testrail-web-204644793
6f26dfb2683e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" Prije minute Aktivno Prije minute 9000/tcp testrail-fpm-204644793
029e16b26201 mysql:5.7.22 "docker-entrypoint.s…" Prije minute Aktivno Prije minute 3306/tcp testrail-mysql-204644793
c10443222ac6 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" Prije 5 sati Aktivno 5 sati 0.0.0.0:57123->80/tcp, 0.0.0.0:31657->443/tcp testrail-web-204567103
04339229397e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" Prije 5 sati Aktivno 5 sati 9000/tcp testrail-fpm-204567103
6ae0accab28d mysql:5.7.22 "docker-entrypoint.s…" Prije 5 sati Aktivno 5 sati 3306/tcp testrail-mysql-204567103
b66b60d79e43 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" Prije 5 sati Aktivno 5 sati 0.0.0.0:56321->80/tcp, 0.0.0.0:58749->443/tcp testrail-web-204553690
033b1f46afa9 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" Prije 5 sati Aktivno 5 sati 9000/tcp testrail-fpm-204553690
a8879c5ef941 mysql:5.7.22 "docker-entrypoint.s…" Prije 5 sati Aktivno 5 sati 3306/tcp testrail-mysql-204553690
069954ba6010 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" Prije 5 sati Aktivno 5 sati 0.0.0.0:32869->80/tcp, 0.0.0.0:16066->443/tcp testrail-web-204553539
ed6b17d911a5 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" Prije 5 sati Aktivno 5 sati 9000/tcp testrail-fpm-204553539
1a1eed057ea0 mysql:5.7.22 "docker-entrypoint.s…" Prije 5 sati Aktivno 5 sati 3306/tcp testrail-mysql-204553539Sve su zadaće uspješno završene
Artifacts of the task contain service and test logs
Izgleda da je sve u redu, ali postoji jedan problem. Pipeline može biti prisilno otkazan tijekom izvršenja integracijskih testova, i u tom slučaju pokrenuti kontejneri neće biti zaustavljeni. S vremena na vrijeme potrebno je očistiti runner. Nažalost, zadatak za doradu u GitLab CE još uvijek je u statusu
Ali mi smo dodali pokretanje zadatka prema rasporedu, i nitko nam ne zabranjuje da ga pokrenemo ručno.
Idemo u naš projekt -> CI/CD -> Rasporedi i pokrećemo zadatak Clean runner
Ukratko:
- Imamo jedan shell runner.
- Nema sukoba između zadataka i okruženja.
- Imamo paralelno pokretanje zadataka s integracijskim testovima.
- Integracijske testove možemo pokretati i lokalno i u kontejneru.
- Zapisi usluga i testova se prikupljaju i prilažu zadatku pipeline-a.
- Postoji mogućnost čišćenja runner-a od starih docker slika.
Vrijeme postavljanja — ~2 sata.
To je to. Radujem se povratnim informacijama.
Izvor: habr.com
