ProHoster > Blog > Administrácia > GitLab Shell Runner. Konkurenčné spustenie testovaných služieb pomocou Docker Compose
GitLab Shell Runner. Konkurenčné spustenie testovaných služieb pomocou Docker Compose
Tento článok bude zaujímavý pre testerov aj vývojárov, ale je určený hlavne pre špecialistov na automatizáciu, ktorí sa stretávajú s problémom nastavenia GitLab CI/CD na integračné testovanie v podmienkach nedostatočných zdrojov infraštruktúry a/alebo absencie kontajnera orchestračná platforma. Poviem vám, ako nastaviť nasadenie testovacích prostredí pomocou docker compose na jednom jedinom shell runner GitLab a tak, aby sa pri nasadení viacerých prostredí spustené služby navzájom nerušili.
V mojej praxi sa často stávalo, že integračné testovanie bolo „ošetrené“ na projektoch. A často prvým a najvýznamnejším problémom je CI pipeline, v ktorej integračné testovanie sa vyvíja služba (služby) sa vykonáva v prostredí vývoja/etapy. Spôsobilo to niekoľko problémov:
V dôsledku chýb v konkrétnej službe počas testovania integrácie môže dôjsť k poškodeniu testovacieho obvodu v dôsledku poškodených údajov. Vyskytli sa prípady, keď odoslanie požiadavky s poškodeným formátom JSON zlyhalo v službe, čo spôsobilo úplnú nefunkčnosť stojana.
Spomalenie testovacieho okruhu pri zvyšovaní testovacích údajov. Myslím, že nemá zmysel popisovať príklad s čistením/vrátením databázy. Vo svojej praxi som sa nestretol s projektom, kde by tento postup prebehol bez problémov.
Riziko narušenia funkčnosti testovacieho okruhu pri testovaní všeobecných nastavení systému. Napríklad politika používateľa/skupiny/hesla/aplikácie.
Testovacie údaje z automatizovaných testov sťažujú život manuálnym testerom.
Niektorí povedia, že dobré autotesty by po sebe mali vyčistiť dáta. Mám argumenty proti:
Dynamické stojany sú veľmi pohodlné na použitie.
Nie každý objekt je možné odstrániť zo systému cez API. Napríklad volanie na odstránenie objektu nebolo implementované, pretože je v rozpore s obchodnou logikou.
Pri vytváraní objektu cez API môže vzniknúť obrovské množstvo metadát, ktoré je problematické vymazať.
Ak majú testy medzi sebou závislosti, proces čistenia údajov po spustení testov sa zmení na bolesť hlavy.
Dodatočné (a podľa môjho názoru neopodstatnené) volania API.
A hlavný argument: keď sa testovacie údaje začnú vymazávať priamo z databázy. Toto sa mení na skutočný PK/FK cirkus! Od vývojárov počúvame: „Práve som pridal/odstránil/premenoval znamenie, prečo bolo zachytených 100500 XNUMX integračných testov?“
Najoptimálnejším riešením je podľa mňa dynamické prostredie.
Mnoho ľudí používa docker-compose na spustenie testovacieho prostredia, ale len málo ľudí používa docker-compose pri vykonávaní testovania integrácie v CI/CD. A tu neberiem do úvahy kubernetes, swarm a iné platformy na orchestráciu kontajnerov. Nie každá firma ich má. Bolo by pekné, keby docker-compose.yml bol univerzálny.
Aj keď máme vlastného správcu kontroly kvality, ako môžeme zabezpečiť, aby sa služby spustené prostredníctvom docker-compose navzájom nerušili?
Ako zbierať denníky testovaných služieb?
Ako vyčistiť bežec?
Pre svoje projekty mám vlastný GitLab runner a pri vývoji som sa stretol s týmito otázkami Java klient pre TestRail. Presnejšie pri spustení integračných testov. Nižšie tieto problémy vyriešime pomocou príkladov z tohto projektu.
Pre bežca odporúčam virtuálny stroj Linux so 4 vCPU, 4 GB RAM, 50 GB HDD.
Na internete je veľa informácií o nastavení gitlab-runnera, takže stručne:
Prihláste sa do stroja cez SSH
Ak máte menej ako 8 GB RAM, potom odporúčam vykonajte swap 10 GBaby neprišiel zabijak OOM a nezabil naše úlohy kvôli nedostatku pamäte RAM. To sa môže stať, keď je súčasne spustených viac ako 5 úloh. Úlohy budú postupovať pomalšie, ale stabilne.
Príklad s OOM killerom
Ak vidíte v protokoloch úloh bash: line 82: 26474 Killed, potom stačí vykonať na bežci sudo dmesg | grep 26474
[26474] 1002 26474 1061935 123806 339 0 0 java
Out of memory: Kill process 26474 (java) score 127 or sacrifice child
Killed process 26474 (java) total-vm:4247740kB, anon-rss:495224kB, file-rss:0kB, shmem-rss:0kB
A ak obrázok vyzerá nejako takto, potom buď pridajte swap alebo pridajte RAM.
To vám umožní spúšťať paralelné úlohy na jednom bežci. Čítaj viac tu.
Ak máte výkonnejší stroj, napríklad 8 vCPU, 16 GB RAM, potom tieto čísla môžu byť aspoň 2-krát väčšie. Všetko ale závisí od toho, čo presne sa na tomto bežci spustí a v akom množstve.
Hlavnou úlohou je univerzálny docker-compose.yml, ktorý môžu vývojári/testeri používať lokálne aj v CI pipeline.
V prvom rade vytvárame jedinečné názvy služieb pre CI. Jednou z jedinečných premenných v GitLab CI je premenná CI_JOB_ID. Ak určíte container_name so zmyslom "service-${CI_JOB_ID:-local}", potom v prípade:
ak CI_JOB_ID nie sú definované v premenných prostredia,
potom bude názov služby service-local
ak CI_JOB_ID definované v premenných prostredia (napríklad 123),
potom bude názov služby service-123
Po druhé, vytvárame spoločnú sieť pre spustené služby. To nám poskytuje izoláciu na úrovni siete pri spustení viacerých testovacích prostredí.
version: "3"
# Для корректной работы web (php) и fmt нужно,
# чтобы контейнеры имели общий исполняемый контент.
# В нашем случае, это директория /var/www/testrail
volumes:
static-content:
# Изолируем окружение на сетевом уровне
networks:
default:
external:
name: testrail-network-${CI_JOB_ID:-local}
services:
db:
image: mysql:5.7.22
# Каждый container_name содержит ${CI_JOB_ID:-local}
container_name: "testrail-mysql-${CI_JOB_ID:-local}"
environment:
MYSQL_HOST: db
MYSQL_DATABASE: mydb
MYSQL_ROOT_PASSWORD: 1234
SKIP_GRANT_TABLES: 1
SKIP_NETWORKING: 1
SERVICE_TAGS: dev
SERVICE_NAME: mysql
networks:
- default
migration:
image: registry.gitlab.com/touchbit/image/testrail/migration:latest
container_name: "testrail-migration-${CI_JOB_ID:-local}"
links:
- db
depends_on:
- db
networks:
- default
fpm:
image: registry.gitlab.com/touchbit/image/testrail/fpm:latest
container_name: "testrail-fpm-${CI_JOB_ID:-local}"
volumes:
- static-content:/var/www/testrail
links:
- db
networks:
- default
web:
image: registry.gitlab.com/touchbit/image/testrail/web:latest
container_name: "testrail-web-${CI_JOB_ID:-local}"
# Если переменные TR_HTTP_PORT или TR_HTTPS_PORTS не определены,
# то сервис поднимается на 80 и 443 порту соответственно.
ports:
- ${TR_HTTP_PORT:-80}:80
- ${TR_HTTPS_PORT:-443}:443
volumes:
- static-content:/var/www/testrail
links:
- db
- fpm
networks:
- default
Integration:
stage: test
tags:
- my-shell-runner
before_script:
# Аутентифицируемся в registry
- docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
# Генерируем псевдоуникальные TR_HTTP_PORT и TR_HTTPS_PORT
- export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
- export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
# создаем директорию с идентификатором задачи
- mkdir ${CI_JOB_ID}
# копируем в созданную директорию наш docker-compose.yml
# чтобы контекст был разный для каждой задачи
- cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
script:
# поднимаем наше окружение
- make docker-up
# запускаем тесты исполняемым jar (у меня так)
- java -jar itest.jar --http-port ${TR_HTTP_PORT} --https-port ${TR_HTTPS_PORT}
# или в контейнере
- docker run --network=testrail-network-${CI_JOB_ID:-local} --rm itest
after_script:
# собираем логи
- make docker-logs
# останавливаем окружение
- make docker-kill
artifacts:
# сохраняем логи
when: always
paths:
- logs
expire_in: 30 days
V dôsledku spustenia takejto úlohy bude adresár logs v artefaktoch obsahovať servisné a testovacie protokoly. Čo je veľmi výhodné v prípade chýb. Každý test paralelne zapisuje svoj vlastný denník, ale o tom budem hovoriť samostatne.
$ docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /home/gitlab-runner/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
$ export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
$ export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
$ mkdir ${CI_JOB_ID}
$ cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm testrail-network-${CI_JOB_ID:-local} || true
Error: No such network: testrail-network-204645172
docker network create testrail-network-${CI_JOB_ID:-local}
0a59552b4464b8ab484de6ae5054f3d5752902910bacb0a7b5eca698766d0331
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Pulling web ... done
Pulling fpm ... done
Pulling migration ... done
Pulling db ... done
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Creating volume "204645172_static-content" with default driver
Creating testrail-mysql-204645172 ...
Creating testrail-mysql-204645172 ... done
Creating testrail-migration-204645172 ... done
Creating testrail-fpm-204645172 ... done
Creating testrail-web-204645172 ... done
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
c6b76f9135ed registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 13 seconds ago Up 1 second 0.0.0.0:51148->80/tcp, 0.0.0.0:25426->443/tcp testrail-web-204645172
01d303262d8e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 16 seconds ago Up 13 seconds 9000/tcp testrail-fpm-204645172
2cdab1edbf6a registry.gitlab.com/touchbit/image/testrail/migration:latest "docker-entrypoint.s…" 16 seconds ago Up 13 seconds 3306/tcp, 33060/tcp testrail-migration-204645172
826aaf7c0a29 mysql:5.7.22 "docker-entrypoint.s…" 18 seconds ago Up 16 seconds 3306/tcp testrail-mysql-204645172
6dbb3fae0322 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 36 seconds ago Up 22 seconds 0.0.0.0:44202->80/tcp, 0.0.0.0:20151->443/tcp testrail-web-204645084
3540f8d448ce registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 38 seconds ago Up 35 seconds 9000/tcp testrail-fpm-204645084
70fea72aa10d mysql:5.7.22 "docker-entrypoint.s…" 40 seconds ago Up 37 seconds 3306/tcp testrail-mysql-204645084
d8aa24b2892d registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up 53 seconds 0.0.0.0:31103->80/tcp, 0.0.0.0:43872->443/tcp testrail-web-204644881
6d4ccd910fad registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644881
685d8023a3ec mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644881
1cdfc692003a registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up About a minute 0.0.0.0:44752->80/tcp, 0.0.0.0:23540->443/tcp testrail-web-204644793
6f26dfb2683e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644793
029e16b26201 mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644793
c10443222ac6 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:57123->80/tcp, 0.0.0.0:31657->443/tcp testrail-web-204567103
04339229397e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204567103
6ae0accab28d mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204567103
b66b60d79e43 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:56321->80/tcp, 0.0.0.0:58749->443/tcp testrail-web-204553690
033b1f46afa9 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553690
a8879c5ef941 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553690
069954ba6010 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:32869->80/tcp, 0.0.0.0:16066->443/tcp testrail-web-204553539
ed6b17d911a5 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553539
1a1eed057ea0 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553539
Všetky úlohy boli úspešne dokončené
Artefakty úloh obsahujú denníky služieb a testov
Všetko sa zdá byť krásne, ale existuje nuansa. Pipeline je možné vynútene zrušiť, kým sú spustené integračné testy, v takom prípade sa bežiace kontajnery nezastavia. Z času na čas je potrebné vyčistiť bežec. Bohužiaľ, úloha na zlepšenie v GitLab CE je stále v stave Otvorený
Ale pridali sme spustenie úlohy podľa plánu a nikto nám nezakazuje spustiť ju manuálne.
Prejdite do nášho projektu -> CI/CD -> Plány a spustite úlohu Clean runner
Celkom:
Máme jeden škrupinový bežec.
Neexistujú žiadne konflikty medzi úlohami a prostredím.
Paralelne spúšťame úlohy s integračnými testami.
Integračné testy môžete spustiť buď lokálne, alebo v kontajneri.
Servisné a testovacie protokoly sa zhromažďujú a pripájajú k úlohe potrubia.
Je možné vyčistiť runner od starých obrázkov Docker.
Čas nastavenia je ~ 2 hodiny.
To je vlastne všetko. Budem rád ak dostanem spätnú väzbu.