Tento článok bude zaujímavý pre testovačov aj vývojárov, avšak je primárne určený pre automatizátorov, ktorí sa stretli s problémom nastavenia GitLab CI/CD na vykonávanie integračných testov za podmienok nedostatočnosti infraštrukturálnych zdrojov a/alebo absencie platformy na orchestráciu kontajnerov. Podelím sa o to, ako nastaviť nasadenie testovacích prostredí pomocou docker compose na jednom jediným GitLab shell runneri, tak, aby sa pri nasadení viacerých prostredí spúšťané služby navzájom neinterferovali.
Obsah
Predpoklady
V mojej praxi sa často stávalo, že som "liečil" integračné testovanie v projektoch. A často prvým a najvýznamnejším problémom bol CI pipeline, v ktorom sa integračné testovanie vyvíjaného služby(v) vykonáva v dev/stage prostredí. To spôsobovalo nemalé problémy:
- Kvôli chybám v tom či onom službe môže byť v procese integračného testovania testovací obvod poškodený poškodenými dátami. Boli prípady, keď odoslanie požiadavky s poškodeným JSON formátom zablokovalo službu, čo viedlo k úplnému nefunkčnému stavu prostredia.
- Spomalením činnosti testovacieho obvodu so zvyšovaním testovacích dát. Myslím, že nemá zmysel opisovať príklad s čistením/rollbackom databázy. Vo svojej praxi som sa nestretol s projektom, kde by tento proces prebiehal hladko.
- Riziko narušenia funkčnosti testovacieho obvodu pri testovaní spoločných nastavení systému. Napríklad, používateľ/skupina/heslo/politika aplikácie.
- Testovacie údaje z automatických testov prekážajú ručným testovačom.
Niekto môže povedať, že dobré automatické testy by mali čistiť údaje po sebe. Mám protiargumenty:
- Dynamické prostredia sú veľmi pohodlné na používanie.
- Nie každý objekt je možné odstrániť zo systému cez API. Napríklad, volanie na odstránenie objektu nie je implementované, pretože to odporuje biznis logike.
- Pri vytváraní objektu prostredníctvom API môže vzniknúť obrovské množstvo metadát, ktoré je problematické odstrániť.
- Ak majú testy medzi sebou závislosti, proces čistenia dát po vykonaní testov sa mení na bolesť hlavy.
- Ďalšie (a, podľa môjho názoru, neopodstatnené) výzvy na API.
- A hlavný argument: keď sa testovacie údaje začnú čistiť priamo z databázy. To sa premení na skutočný PK/FK cirkus! Od vývojárov počuť: „Len som pridal/odstránil/prezmenoval tabuľku, prečo sa 100500 integračných testov zlyhalo?“
Podľa mňa je najoptimálnejším riešením dynamické prostredie.
- Mnohí používajú docker-compose na spustenie testovacieho prostredia, ale málo kto používa docker-compose pri vykonávaní integračného testovania v CI/CD. A tu nezohľadňujem kubernetes, swarm a iné platformy na orchestráciu kontajnerov. Nie v každej firme sú. Bolo by dobré, keby bol docker-compose.yml univerzálny.
- Ak máme svoj QA runner, ako zabezpečiť, aby služby spúšťané cez docker-compose si navzájom neprekážali?
- Ako zbierať logy testovaných služieb?
- Ako čistiť runner?
Mám vlastný GitLab runner pre svoje projekty a s týmito otázkami som sa stretol pri vývoji pre . A presnejšie pri spúšťaní integračných testov. Tu budeme riešiť tieto otázky s príkladmi z tohto projektu.
GitLab Shell Runner
Pre runner odporúčam linuxovú virtuálku s 4 vCPU, 4 GB RAM, 50 GB HDD.
Na internete je veľmi veľa informácií o nastavení gitlab-runner, preto stručne:
- Prihláste sa na stroj cez SSH
Ak máte menej ako 8 GB RAM, odporúčam , aby OOM killer neprichádzal a nezabíjal úlohy z dôvodu nedostatku RAM. To sa môže stať, keď sa spúšťa súčasne viac ako 5 úloh. Úlohy budú prechádzať pomalšie, ale stabilne.
Príklad s OOM killerom
Ak v logoch úlohy uvidíte
bash: line 82: 26474 Killed, jednoducho vykonajte na runneresudo dmesg | grep 26474[26474] 1002 26474 1061935 123806 339 0 0 java Out of memory: Kill process 26474 (java) score 127 or sacrifice child Killed process 26474 (java) total-vm:4247740kB, anon-rss:495224kB, file-rss:0kB, shmem-rss:0kBA ak obraz vyzerá približne takto, pridajte swap alebo zvýšte RAM.
- Inštalujeme , , , make.
- Pridáme používateľa
gitlab-runnerdo skupinydockersudo groupadd docker sudo usermod -aG docker gitlab-runner - gitlab-runner.
Otvoríme na úpravu
/etc/gitlab-runner/config.tomla pridámeconcurrent=20 [[runners]] request_concurrency = 10To umožní spúšťať paralelné úlohy na jednom runnere. Podrobnejšie čítajte .
Ak máte výkonnejší stroj, napríklad 8 vCPU, 16 GB RAM, tieto čísla je možné minimálne zdvojnásobiť. Všetko však závisí od toho, čo konkrétne bude spustené na tomto runneri a v akom množstve.
To je dostatočné.
Príprava docker-compose.yml
Hlavná úloha je univerzálny docker-compose.yml, ktorý môžu vývojári/testeri používať ako lokálne, tak aj v CI pipeline.
Na prvom mieste robíme jedinečné názvy služieb pre CI. Jedna z jedinečných premenných v GitLab CI je premenná CI_JOB_ID. Ak uvediete container_name s hodnotou "service-${CI_JOB_ID:-local}", tak v prípade:
- ak
CI_JOB_IDnie je definovaná v premenných prostredia,
tak názov služby budeservice-local - ak
CI_JOB_IDdefinovaná v premenných prostredia (napríklad 123),
tak názov služby budeservice-123
Na druhom mieste robíme spoločnú sieť pre spúšťané služby. To nám poskytuje izoláciu na úrovni siete pri spúšťaní viacerých testovacích prostredí.
networks:
default:
external:
name: service-network-${CI_JOB_ID:-local}To je vlastne prvý krok k úspechu =)
Príklad môjho docker-compose.yml s komentármi
version: "3"
# Pre správnu funkciu web (php) a fmt je potrebné,
# aby mali kontajnery spoločný vykonateľný obsah.
# V našom prípade je to adresár /var/www/testrail
volumes:
static-content:
# Izolujeme prostredie na sieťovej úrovni
networks:
default:
external:
name: testrail-network-${CI_JOB_ID:-local}
services:
db:
image: mysql:5.7.22
# Každý container_name obsahuje ${CI_JOB_ID:-local}
container_name: "testrail-mysql-${CI_JOB_ID:-local}"
environment:
MYSQL_HOST: db
MYSQL_DATABASE: mydb
MYSQL_ROOT_PASSWORD: 1234
SKIP_GRANT_TABLES: 1
SKIP_NETWORKING: 1
SERVICE_TAGS: dev
SERVICE_NAME: mysql
networks:
- default
migration:
image: registry.gitlab.com/touchbit/image/testrail/migration:latest
container_name: "testrail-migration-${CI_JOB_ID:-local}"
links:
- db
depends_on:
- db
networks:
- default
fpm:
image: registry.gitlab.com/touchbit/image/testrail/fpm:latest
container_name: "testrail-fpm-${CI_JOB_ID:-local}"
volumes:
- static-content:/var/www/testrail
links:
- db
networks:
- default
web:
image: registry.gitlab.com/touchbit/image/testrail/web:latest
container_name: "testrail-web-${CI_JOB_ID:-local}"
# Ak nie sú premenné TR_HTTP_PORT alebo TR_HTTPS_PORTS definované,
# tak sa služba spúšťa na 80 a 443 porte.
ports:
- ${TR_HTTP_PORT:-80}:80
- ${TR_HTTPS_PORT:-443}:443
volumes:
- static-content:/var/www/testrail
links:
- db
- fpm
networks:
- defaultPríklad lokálneho spustenia
docker-compose -f docker-compose.yml up -d
Spúšťam testrail-mysql-local ... hotovo
Spúšťam testrail-migration-local ... hotovo
Spúšťam testrail-fpm-local ... hotovo
Obnovujem testrail-web-local ... hotovoAle nie je to tak jednoduché so spustením v CI.
Príprava Makefile
Používam Makefile, pretože je to veľmi pohodlné ako pre miestne spravovanie prostredia, tak aj v CI. Ďalej sú inline komentáre
# У меня в проектах все вспомогательные вещи лежат в директории `.indirect`,
# в том числе и `docker-compose.yml`
# Использовать bash с опцией pipefail
# pipefail - фейлит выполнение пайпа, если команда выполнилась с ошибкой
SHELL=/bin/bash -o pipefail
# Останавливаем контейнеры и удаляем сеть
docker-kill:
docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm network-$${CI_JOB_ID:-testrail} || true
# Предварительно выполняем docker-kill
docker-up: docker-kill
# Создаем сеть для окружения
docker network create network-$${CI_JOB_ID:-testrail}
# Забираем последние образы из docker-registry
docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml pull
# Запускаем окружение
# force-recreate - принудительное пересоздание контейнеров
# renew-anon-volumes - не использовать volumes предыдущих контейнеров
docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
# Ну и, на всякий случай, вывести что там у нас в принципе запущено на машинке
docker ps
# Коллектим логи сервисов
docker-logs:
mkdir ./logs || true
docker logs testrail-web-$${CI_JOB_ID:-local} >& logs/testrail-web.log
docker logs testrail-fpm-$${CI_JOB_ID:-local} >& logs/testrail-fpm.log
docker logs testrail-migration-$${CI_JOB_ID:-local} >& logs/testrail-migration.log
docker logs testrail-mysql-$${CI_JOB_ID:-local} >& logs/testrail-mysql.log
# Очистка раннера
docker-clean:
@echo Останавливаем все testrail-контейнеры
docker kill $$(docker ps --filter=name=testrail -q) || true
@echo Очистка докер контейнеров
docker rm -f $$(docker ps -a -f --filter=name=testrail status=exited -q) || true
@echo Очистка dangling образов
docker rmi -f $$(docker images -f "dangling=true" -q) || true
@echo Очистка testrail образов
docker rmi -f $$(docker images --filter=reference='registry.gitlab.com/touchbit/image/testrail/*' -q) || true
@echo Очистка всех неиспользуемых volume
docker volume rm -f $$(docker volume ls -q) || true
@echo Очистка всех testrail сетей
docker network rm $(docker network ls --filter=name=testrail -q) || true
docker ps
Overujeme
make docker-up
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
Zabíjam testrail-web-local ... hotovo
Zabíjam testrail-fpm-local ... hotovo
Zabíjam testrail-mysql-local ... hotovo
docker network rm network-${CI_JOB_ID:-testrail} || true
network-testrail
docker network create network-${CI_JOB_ID:-testrail}
d2ec063324081c8bbc1b08fd92242c2ea59d70cf4025fab8efcbc5c6360f083f
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Sťahovanie db ... hotovo
Sťahovanie migration ... hotovo
Sťahovanie fpm ... hotovo
Sťahovanie web ... hotovo
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Znovu vytváram testrail-mysql-local ... hotovo
Znovu vytváram testrail-fpm-local ... hotovo
Znovu vytváram testrail-migration-local ... hotovo
Znovu vytváram testrail-web-local ... hotovo
docker ps
ID KONTAYNERA PORTY NÁZOVY
a845d3cb0e5a 0.0.0.0:80->80/tcp, 0.0.0.0:443->443/tcp testrail-web-local
19d8ef001398 9000/tcp testrail-fpm-local
e28840a2369c 3306/tcp, 33060/tcp testrail-migration-local
0e7900c23f37 3306/tcp testrail-mysql-local
make docker-logs
$ make docker-logs
mkdir ./logs || true
mkdir: nemôžem vytvoriť adresár ‘./logs’: Adresár existuje
docker logs testrail-web-${CI_JOB_ID:-local} >& logs/testrail-web.log
docker logs testrail-fpm-${CI_JOB_ID:-local} >& logs/testrail-fpm.log
docker logs testrail-migration-${CI_JOB_ID:-local} >& logs/testrail-migration.log
docker logs testrail-mysql-${CI_JOB_ID:-local} >& logs/testrail-mysql.log
Príprava .gitlab-ci.yml
Spustenie integračných testov
Integrácia:
etapa: test
tagy:
- my-shell-runner
predskrypt:
# Prihlasujeme sa do registry
- docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
# Generujeme pseudounikátne TR_HTTP_PORT a TR_HTTPS_PORT
- export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
- export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
# vytvárame adresár s identifikátorom úlohy
- mkdir ${CI_JOB_ID}
# kopírujeme do vytvoreného adresára náš docker-compose.yml
# aby mal každý úloha iný kontext
- cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
skript:
# spúšťame naše prostredie
- make docker-up
# spúšťame testy vykonateľným jar (správam sa tak)
- java -jar itest.jar --http-port ${TR_HTTP_PORT} --https-port ${TR_HTTPS_PORT}
# alebo v kontajneri
- docker run --network=testrail-network-${CI_JOB_ID:-local} --rm itest
po skripte:
# zhromažďujeme logy
- make docker-logs
# zastavujeme prostredie
- make docker-kill
artefakty:
# uchovávame logy
when: always
paths:
- logs
expire_in: 30 dníPo spustení takejto úlohy v artefakty adresár logs bude obsahovať logy služieb a testov. Čo je veľmi pohodlné v prípade vzniku chýb. Každý môj test píše svoj vlastný log paralelne, ale o tom poviem osobitne.

Čistenie runnera
Úloha sa bude spúšťať iba podľa rozvrhu.
stages:
- clean
- build
- test
Clean runner:
etapa: clean
only:
- schedules
tagy:
- my-shell-runner
skript:
- make docker-cleanĎalej ideme do nášho projektu GitLab -> CI/CD -> Rozvrhy -> Nový rozvrh a pridáme nový rozvrh
Výsledok
Spúšťame 4 úlohy v GitLab CI
V logoch poslednej úlohy s integračnými testami vidíme kontajnery z rôznych úloh
ID KONTAJNERA NÁZVY
c6b76f9135ed testrail-web-204645172
01d303262d8e testrail-fpm-204645172
2cdab1edbf6a testrail-migration-204645172
826aaf7c0a29 testrail-mysql-204645172
6dbb3fae0322 testrail-web-204645084
3540f8d448ce testrail-fpm-204645084
70fea72aa10d testrail-mysql-204645084
d8aa24b2892d testrail-web-204644881
6d4ccd910fad testrail-fpm-204644881
685d8023a3ec testrail-mysql-204644881
1cdfc692003a testrail-web-204644793
6f26dfb2683e testrail-fpm-204644793
029e16b26201 testrail-mysql-204644793
c10443222ac6 testrail-web-204567103
04339229397e testrail-fpm-204567103
6ae0accab28d testrail-mysql-204567103
b66b60d79e43 testrail-web-204553690
033b1f46afa9 testrail-fpm-204553690
a8879c5ef941 testrail-mysql-204553690
069954ba6010 testrail-web-204553539
ed6b17d911a5 testrail-fpm-204553539
1a1eed057ea0 testrail-mysql-204553539Podrobnejší log
$ docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
UPOZORNENIE! Používanie --password prostredníctvom CLI je neisté. Použite --password-stdin.
UPOZORNENIE! Vaše heslo bude uložené nešifrované v /home/gitlab-runner/.docker/config.json.
Nakonfigurujte pomocníka na ukladanie povcrediel, aby ste odstránili toto upozornenie. Pozrite sa na
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Prihlásenie sa podarilo
$ export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
$ export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
$ mkdir ${CI_JOB_ID}
$ cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm testrail-network-${CI_JOB_ID:-local} || true
Chyba: Žiadna taká sieť: testrail-network-204645172
docker network create testrail-network-${CI_JOB_ID:-local}
0a59552b4464b8ab484de6ae5054f3d5752902910bacb0a7b5eca698766d0331
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Sťahovanie web ... hotovo
Sťahovanie fpm ... hotovo
Sťahovanie migrácia ... hotovo
Sťahovanie db ... hotovo
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Vytváranie objemu "204645172_static-content" s predvoleným ovládačom
Vytváranie testrail-mysql-204645172 ...
Vytváranie testrail-mysql-204645172 ... hotovo
Vytváranie testrail-migration-204645172 ... hotovo
Vytváranie testrail-fpm-204645172 ... hotovo
Vytváranie testrail-web-204645172 ... hotovo
docker ps
ID KONTÉNERA OBRAZ PRíkaz VYTVORENÉ STAV PORTY NÁZVY
c6b76f9135ed registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" pred 13 sekundami Beží 1 sekundu 0.0.0.0:51148->80/tcp, 0.0.0.0:25426->443/tcp testrail-web-204645172
01d303262d8e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" pred 16 sekundami Beží 13 sekúnd 9000/tcp testrail-fpm-204645172
2cdab1edbf6a registry.gitlab.com/touchbit/image/testrail/migration:latest "docker-entrypoint.s…" pred 16 sekundami Beží 13 sekúnd 3306/tcp, 33060/tcp testrail-migration-204645172
826aaf7c0a29 mysql:5.7.22 "docker-entrypoint.s…" pred 18 sekundami Beží 16 sekúnd 3306/tcp testrail-mysql-204645172
6dbb3fae0322 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" pred 36 sekundami Beží 22 sekundy 0.0.0.0:44202->80/tcp, 0.0.0.0:20151->443/tcp testrail-web-204645084
3540f8d448ce registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" pred 38 sekundami Beží 35 sekúnd 9000/tcp testrail-fpm-204645084
70fea72aa10d mysql:5.7.22 "docker-entrypoint.s…" pred 40 sekundami Beží 37 sekúnd 3306/tcp testrail-mysql-204645084
d8aa24b2892d registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" pred minútou Beží 53 sekúnd 0.0.0.0:31103->80/tcp, 0.0.0.0:43872->443/tcp testrail-web-204644881
6d4ccd910fad registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" pred minútou Beží minútu 9000/tcp testrail-fpm-204644881
685d8023a3ec mysql:5.7.22 "docker-entrypoint.s…" pred minútou Beží minútu 3306/tcp testrail-mysql-204644881
1cdfc692003a registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" pred minútou Beží minútu 0.0.0.0:44752->80/tcp, 0.0.0.0:23540->443/tcp testrail-web-204644793
6f26dfb2683e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" pred minútou Beží minútu 9000/tcp testrail-fpm-204644793
029e16b26201 mysql:5.7.22 "docker-entrypoint.s…" pred minútou Beží minútu 3306/tcp testrail-mysql-204644793
c10443222ac6 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" pred 5 hodinami Beží 5 hodín 0.0.0.0:57123->80/tcp, 0.0.0.0:31657->443/tcp testrail-web-204567103
04339229397e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" pred 5 hodinami Beží 5 hodín 9000/tcp testrail-fpm-204567103
6ae0accab28d mysql:5.7.22 "docker-entrypoint.s…" pred 5 hodinami Beží 5 hodín 3306/tcp testrail-mysql-204567103
b66b60d79e43 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" pred 5 hodinami Beží 5 hodín 0.0.0.0:56321->80/tcp, 0.0.0.0:58749->443/tcp testrail-web-204553690
033b1f46afa9 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" pred 5 hodinami Beží 5 hodín 9000/tcp testrail-fpm-204553690
a8879c5ef941 mysql:5.7.22 "docker-entrypoint.s…" pred 5 hodinami Beží 5 hodín 3306/tcp testrail-mysql-204553690
069954ba6010 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" pred 5 hodinami Beží 5 hodín 0.0.0.0:32869->80/tcp, 0.0.0.0:16066->443/tcp testrail-web-204553539
ed6b17d911a5 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" pred 5 hodinami Beží 5 hodín 9000/tcp testrail-fpm-204553539
1a1eed057ea0 mysql:5.7.22 "docker-entrypoint.s…" pred 5 hodinami Beží 5 hodín 3306/tcp testrail-mysql-204553539Všetky úlohy boli úspešne dokončené
Artefakty úlohy obsahujú logy služieb a testov
Vyzerá to v poriadku, ale je tu nuansa. Pipeline môže byť zrušená počas vykonávania integračných testov, a v takom prípade spustené kontajnery nebudú zastavené. Občas je potrebné vyčistiť runner. Bohužiaľ, úloha na zlepšenie v GitLab CE je stále v stave
Ale pridali sme spúšťanie úlohy podľa plánu a nikto nám nezakazuje spustiť ju ručne.
Prejdeme do nášho projektu -> CI/CD -> Rozvrhy a spustíme úlohu Vyčistiť runner
Celkovo:
- Máme jeden shell runner.
- Medzi úlohami a prostredím nie sú žiadne konflikty.
- Máme paralelné spúšťanie úloh s integračnými testami.
- Integračné testy je možné spúšťať buď lokálne, alebo v kontajneri.
- Logy služieb a testov sa zhromažďujú a pripojujú k pipeline-úlohe.
- Existuje možnosť vyčistenia runnera od starých docker obrazov.
Čas nastavenia — ~2 hodiny.
A to je vlastne všetko. Budem rád za spätnú väzbu.
Zdroj: habr.com
