Дадзены артыкул будзе цікавая як тэсціроўшчыкам, так і распрацоўшчыкам, але разлічана ў большай ступені на аўтаматызатараў, якія сутыкнуліся з праблемай налады GitLab CI / CD для правядзення інтэграцыйнага тэсціравання ва ўмовах недастатковасці інфраструктурных рэсурсаў і / або адсутнасці платформы аркестрацыі кантэйнераў. Я раскажу, як наладзіць разгортванне тэстоўваных асяроддзяў пры дапамозе docker compose на адным адзіным GitLab shell раннеры і так, каб пры разгортванні некалькіх акружэнняў якія запускаюцца сэрвісы адзін аднаму не мяшалі.
Змест
перадумовы
-
У маёй практыцы часцяком здаралася "лячыць" інтэграцыйнае тэставанне на праектах. І часцяком першай і самай значнай праблемай з'яўляецца CI pipeline, у якім інтэграцыйнае тэставанне распрацоўванага сэрвісу(ов) праводзіцца ў dev/stage асяроддзі. Гэта выклікала не мала праблем:
- З-за дэфектаў у тым ці іншым сэрвісе падчас інтэграцыйнага тэставання тэставы контур можа быць сапсаваны бітымі дадзенымі. Бывалі выпадкі, калі адпраўка запыту з бітым JSON-фарматам вешаў сэрвіс, што прыводзіла стэнд цалкам у непрацоўны стан.
- Запаволеннем працы тэставага контуру з ростам тэставых дадзеных. Думаю, апісваць прыклад з ачысткай/адкатам БД не мае сэнсу. У сваёй практыцы я не сустракаў праекту, дзе гэтая працэдура праходзіла б гладка.
- Рызыка парушыць працаздольнасць тэставага контуру пры тэсціраванні агульных налад сістэмы. Напрыклад, user/group/password/application policy.
- Тэставыя дадзеныя ад аўтатэстаў перашкаджаюць жыць ручным тэсціроўшчыкам.
Хтосьці скажа, што добрыя аўтатэсты павінны чысціць дадзеныя пасля сябе. У мяне ёсць аргументы супраць:
- Дынамічныя стэнды вельмі зручныя ў выкарыстанні.
- Не кожны аб'ект можна выдаліць з сістэмы праз API. Напрыклад выклік на выдаленне аб'екта не рэалізаваны, бо супярэчыць бізнэс логіцы.
- Пры стварэнні аб'екта праз API можа стварацца велізарная колькасць метададзеных, якія выдаліць праблематычна.
- Калі тэсты маюць залежнасць паміж сабой, то працэс ачысткі дадзеных пасля выканання тэстаў ператвараецца ў галаўны боль.
- Дадатковыя (і, на мой погляд, не апраўданыя) выклікі да API.
- І галоўны аргумент: калі тэставыя дадзеныя пачынаюць чысціць проста з БД. Гэта ператвараецца ў сапраўдны PK/FK цырк! Ад распрацоўшчыкаў чуваць: "Я толькі таблічку дадаў/выдаліў/перайменаваў, чаму 100500 інтэграцыйных тэстаў трапляла?"
На маю думку, самае аптымальнае рашэнне - гэта дынамічнае асяроддзе.
- Шмат хто выкарыстоўвае docker-compose для запуску тэставага асяроддзя, але мала хто выкарыстоўвае docker-compose пры правядзенні інтэграцыйнага тэсціравання ў CI/CD. І тут я не бяру ў разлік kubernetes, swarm і іншыя платформы аркестрацыі кантэйнераў. Не ў кожнай кампаніі яны ёсць. Добра было б, калі б docker-compose.yml быў універсальны.
- Калі нават у нас ёсць свой QA раннер, як нам зрабіць так, каб сэрвісы якія запускаюцца праз docker-compose не заміналі адзін-аднаму?
- Як збіраць логі тэсціруемых сэрвісаў?
- Як чысціць раннер?
У мяне ёсць уласны GitLab раннэр для сваіх праектаў і з гэтымі пытаннямі я сутыкнуўся пры распрацоўцы для . А дакладней пры запуску інтэграцыйных тэстаў. Вось далей і будзем вырашаць гэтыя пытанні з прыкладамі з дадзенага праекту.
GitLab Shell Runner
Для раннера рэкамендую лінуксавую віртуалку з 4 vCPU, 4 GB RAM, 50 GB HDD.
На прасторах інтэрнэту вельмі шмат інфармацыі па наладзе gitlab-runner, таму коратка:
- Заходзім на машынку па SSH
-
Калі ў вас менш за 8 GB RAM, то рэкамендую , Каб не прыходзіў OOM killer і не забіваў нам задачы з-за недахопу RAM. Такое можа здарыцца, калі запускаецца адначасова больш за 5 задач. Задачы будуць праходзіць павольней, затое стабільна.
Прыклад з OOM killer
Калі ў логах задачы вы ўбачыце
bash: line 82: 26474 Killed, то проста выканайце на раннерыsudo dmesg | grep 26474[26474] 1002 26474 1061935 123806 339 0 0 java Out of memory: Kill process 26474 (java) score 127 or sacrifice child Killed process 26474 (java) total-vm:4247740kB, anon-rss:495224kB, file-rss:0kB, shmem-rss:0kBІ калі карціна выглядае прыкладна так, то ці дадавайце swap, ці дакідвайце RAM.
- Усталёўваны , , , зрабіць.
- Дадаем карыстальніка
gitlab-runnerу групуdockersudo groupadd docker sudo usermod -aG docker gitlab-runner - gitlab-runner.
-
Адкрываем на рэдагаванне
/etc/gitlab-runner/config.tomlі дадаемconcurrent=20 [[runners]] request_concurrency = 10Гэта дазволіць запускаць паралельныя задачы на адным раннеры. Больш падрабязна чытаць .
Калі ў вас машынка помощнее, напрыклад 8 vCPU, 16 GB RAM, то гэтыя лічбы можна зрабіць як мінімум у 2 разы больш. Але ўсё залежыць ад таго, што менавіта будзе запускацца на дадзеным раннеры і ў якой колькасці.
Гэтага дастаткова.
Падрыхтоўка docker-compose.yml
Асноўная задача – гэта ўніверсальны docker-compose.yml, які распрацоўшчыкі/тэсціроўшчыкі могуць выкарыстоўваць як лакальна, так і ў CI pipeline.
У першую чаргу мы робім унікальныя назвы сэрвісаў для CI. Адной з унікальных зменных у GitLab CI з'яўляецца пераменная CI_JOB_ID. Калі пазначыць container_name са значэннем "service-${CI_JOB_ID:-local}", то ў выпадку:
- калі
CI_JOB_IDне вызначана ў зменных асяроддзя,
тое імя сэрвісу будзеservice-local - калі
CI_JOB_IDвызначана ў зменных акружэння (напрыклад 123),
тое імя сэрвісу будзеservice-123
У другую чаргу мы робім агульную сетку для сэрвісаў, якія запускаюцца. Гэта дае нам ізаляцыю на ўзроўні сеткі пры запуску некалькіх тэставых акружэнняў.
networks:
default:
external:
name: service-network-${CI_JOB_ID:-local}Уласна, гэта першы крок да поспеху =)
Прыклад майго docker-compose.yml з каментарамі
version: "3"
# Для корректной работы web (php) и fmt нужно,
# чтобы контейнеры имели общий исполняемый контент.
# В нашем случае, это директория /var/www/testrail
volumes:
static-content:
# Изолируем окружение на сетевом уровне
networks:
default:
external:
name: testrail-network-${CI_JOB_ID:-local}
services:
db:
image: mysql:5.7.22
# Каждый container_name содержит ${CI_JOB_ID:-local}
container_name: "testrail-mysql-${CI_JOB_ID:-local}"
environment:
MYSQL_HOST: db
MYSQL_DATABASE: mydb
MYSQL_ROOT_PASSWORD: 1234
SKIP_GRANT_TABLES: 1
SKIP_NETWORKING: 1
SERVICE_TAGS: dev
SERVICE_NAME: mysql
networks:
- default
migration:
image: registry.gitlab.com/touchbit/image/testrail/migration:latest
container_name: "testrail-migration-${CI_JOB_ID:-local}"
links:
- db
depends_on:
- db
networks:
- default
fpm:
image: registry.gitlab.com/touchbit/image/testrail/fpm:latest
container_name: "testrail-fpm-${CI_JOB_ID:-local}"
volumes:
- static-content:/var/www/testrail
links:
- db
networks:
- default
web:
image: registry.gitlab.com/touchbit/image/testrail/web:latest
container_name: "testrail-web-${CI_JOB_ID:-local}"
# Если переменные TR_HTTP_PORT или TR_HTTPS_PORTS не определены,
# то сервис поднимается на 80 и 443 порту соответственно.
ports:
- ${TR_HTTP_PORT:-80}:80
- ${TR_HTTPS_PORT:-443}:443
volumes:
- static-content:/var/www/testrail
links:
- db
- fpm
networks:
- defaultПрыклад лакальнага запуску
docker-compose -f docker-compose.yml up -d
Starting testrail-mysql-local ... done
Starting testrail-migration-local ... done
Starting testrail-fpm-local ... done
Recreating testrail-web-local ... doneАле не ўсё так проста з запускам у CI.
Падрыхтоўка Makefile
Я выкарыстоўваю Makefile, бо гэта вельмі зручна як для лакальнага кіравання асяроддзем, так і ў CI. Далей каментары інлайн
# У меня в проектах все вспомогательные вещи лежат в директории `.indirect`,
# в том числе и `docker-compose.yml`
# Использовать bash с опцией pipefail
# pipefail - фейлит выполнение пайпа, если команда выполнилась с ошибкой
SHELL=/bin/bash -o pipefail
# Останавливаем контейнеры и удаляем сеть
docker-kill:
docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm network-$${CI_JOB_ID:-testrail} || true
# Предварительно выполняем docker-kill
docker-up: docker-kill
# Создаем сеть для окружения
docker network create network-$${CI_JOB_ID:-testrail}
# Забираем последние образы из docker-registry
docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml pull
# Запускаем окружение
# force-recreate - принудительное пересоздание контейнеров
# renew-anon-volumes - не использовать volumes предыдущих контейнеров
docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
# Ну и, на всякий случай, вывести что там у нас в принципе запущено на машинке
docker ps
# Коллектим логи сервисов
docker-logs:
mkdir ./logs || true
docker logs testrail-web-$${CI_JOB_ID:-local} >& logs/testrail-web.log
docker logs testrail-fpm-$${CI_JOB_ID:-local} >& logs/testrail-fpm.log
docker logs testrail-migration-$${CI_JOB_ID:-local} >& logs/testrail-migration.log
docker logs testrail-mysql-$${CI_JOB_ID:-local} >& logs/testrail-mysql.log
# Очистка раннера
docker-clean:
@echo Останавливаем все testrail-контейнеры
docker kill $$(docker ps --filter=name=testrail -q) || true
@echo Очистка докер контейнеров
docker rm -f $$(docker ps -a -f --filter=name=testrail status=exited -q) || true
@echo Очистка dangling образов
docker rmi -f $$(docker images -f "dangling=true" -q) || true
@echo Очистка testrail образов
docker rmi -f $$(docker images --filter=reference='registry.gitlab.com/touchbit/image/testrail/*' -q) || true
@echo Очистка всех неиспользуемых volume
docker volume rm -f $$(docker volume ls -q) || true
@echo Очистка всех testrail сетей
docker network rm $(docker network ls --filter=name=testrail -q) || true
docker ps
правяраем
make docker-up
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
Killing testrail-web-local ... done
Killing testrail-fpm-local ... done
Killing testrail-mysql-local ... done
docker network rm network-${CI_JOB_ID:-testrail} || true
network-testrail
docker network create network-${CI_JOB_ID:-testrail}
d2ec063324081c8bbc1b08fd92242c2ea59d70cf4025fab8efcbc5c6360f083f
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Pulling db ... done
Pulling migration ... done
Pulling fpm ... done
Pulling web ... done
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Recreating testrail-mysql-local ... done
Recreating testrail-fpm-local ... done
Recreating testrail-migration-local ... done
Recreating testrail-web-local ... done
docker ps
CONTAINER ID PORTS NAMES
a845d3cb0e5a 0.0.0.0:80->80/tcp, 0.0.0.0:443->443/tcp testrail-web-local
19d8ef001398 9000/tcp testrail-fpm-local
e28840a2369c 3306/tcp, 33060/tcp testrail-migration-local
0e7900c23f37 3306/tcp testrail-mysql-local
make docker-logs
$ make docker-logs
mkdir ./logs || true
mkdir: cannot create directory ‘./logs’: File exists
docker logs testrail-web-${CI_JOB_ID:-local} >& logs/testrail-web.log
docker logs testrail-fpm-${CI_JOB_ID:-local} >& logs/testrail-fpm.log
docker logs testrail-migration-${CI_JOB_ID:-local} >& logs/testrail-migration.log
docker logs testrail-mysql-${CI_JOB_ID:-local} >& logs/testrail-mysql.log
Падрыхтоўка .gitlab-ci.yml
Запуск інтэграцыйных тэстаў
Integration:
stage: test
tags:
- my-shell-runner
before_script:
# Аутентифицируемся в registry
- docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
# Генерируем псевдоуникальные TR_HTTP_PORT и TR_HTTPS_PORT
- export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
- export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
# создаем директорию с идентификатором задачи
- mkdir ${CI_JOB_ID}
# копируем в созданную директорию наш docker-compose.yml
# чтобы контекст был разный для каждой задачи
- cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
script:
# поднимаем наше окружение
- make docker-up
# запускаем тесты исполняемым jar (у меня так)
- java -jar itest.jar --http-port ${TR_HTTP_PORT} --https-port ${TR_HTTPS_PORT}
# или в контейнере
- docker run --network=testrail-network-${CI_JOB_ID:-local} --rm itest
after_script:
# собираем логи
- make docker-logs
# останавливаем окружение
- make docker-kill
artifacts:
# сохраняем логи
when: always
paths:
- logs
expire_in: 30 daysУ выніку запуску такой задачы ў артэфактах дырэкторыя logs будзе змяшчаць логі сэрвісаў і тэстаў. Што вельмі зручна ў выпадку ўзнікнення памылак. У мяне кожны тэст у паралелі піша свой лог, але пра гэта я раскажу асобна.
Ачыстка раннера
Задача будзе запускацца толькі па раскладзе.
stages:
- clean
- build
- test
Clean runner:
stage: clean
only:
- schedules
tags:
- my-shell-runner
script:
- make docker-cleanДалей ідзем у наш GitLab праект -> CI/CD -> Schedules -> New Schedule і дадаем новы расклад
Вынік
Запускаем 4 задачы ў GitLab CI
У логах апошняй задачы з інтэграцыйнымі тэстамі бачым кантэйнеры ад розных задач
CONTAINER ID NAMES
c6b76f9135ed testrail-web-204645172
01d303262d8e testrail-fpm-204645172
2cdab1edbf6a testrail-migration-204645172
826aaf7c0a29 testrail-mysql-204645172
6dbb3fae0322 testrail-web-204645084
3540f8d448ce testrail-fpm-204645084
70fea72aa10d testrail-mysql-204645084
d8aa24b2892d testrail-web-204644881
6d4ccd910fad testrail-fpm-204644881
685d8023a3ec testrail-mysql-204644881
1cdfc692003a testrail-web-204644793
6f26dfb2683e testrail-fpm-204644793
029e16b26201 testrail-mysql-204644793
c10443222ac6 testrail-web-204567103
04339229397e testrail-fpm-204567103
6ae0accab28d testrail-mysql-204567103
b66b60d79e43 testrail-web-204553690
033b1f46afa9 testrail-fpm-204553690
a8879c5ef941 testrail-mysql-204553690
069954ba6010 testrail-web-204553539
ed6b17d911a5 testrail-fpm-204553539
1a1eed057ea0 testrail-mysql-204553539Больш дэталёвы лог
$ docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /home/gitlab-runner/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
$ export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
$ export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
$ mkdir ${CI_JOB_ID}
$ cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm testrail-network-${CI_JOB_ID:-local} || true
Error: No such network: testrail-network-204645172
docker network create testrail-network-${CI_JOB_ID:-local}
0a59552b4464b8ab484de6ae5054f3d5752902910bacb0a7b5eca698766d0331
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Pulling web ... done
Pulling fpm ... done
Pulling migration ... done
Pulling db ... done
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Creating volume "204645172_static-content" with default driver
Creating testrail-mysql-204645172 ...
Creating testrail-mysql-204645172 ... done
Creating testrail-migration-204645172 ... done
Creating testrail-fpm-204645172 ... done
Creating testrail-web-204645172 ... done
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
c6b76f9135ed registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 13 seconds ago Up 1 second 0.0.0.0:51148->80/tcp, 0.0.0.0:25426->443/tcp testrail-web-204645172
01d303262d8e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 16 seconds ago Up 13 seconds 9000/tcp testrail-fpm-204645172
2cdab1edbf6a registry.gitlab.com/touchbit/image/testrail/migration:latest "docker-entrypoint.s…" 16 seconds ago Up 13 seconds 3306/tcp, 33060/tcp testrail-migration-204645172
826aaf7c0a29 mysql:5.7.22 "docker-entrypoint.s…" 18 seconds ago Up 16 seconds 3306/tcp testrail-mysql-204645172
6dbb3fae0322 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 36 seconds ago Up 22 seconds 0.0.0.0:44202->80/tcp, 0.0.0.0:20151->443/tcp testrail-web-204645084
3540f8d448ce registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 38 seconds ago Up 35 seconds 9000/tcp testrail-fpm-204645084
70fea72aa10d mysql:5.7.22 "docker-entrypoint.s…" 40 seconds ago Up 37 seconds 3306/tcp testrail-mysql-204645084
d8aa24b2892d registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up 53 seconds 0.0.0.0:31103->80/tcp, 0.0.0.0:43872->443/tcp testrail-web-204644881
6d4ccd910fad registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644881
685d8023a3ec mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644881
1cdfc692003a registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up About a minute 0.0.0.0:44752->80/tcp, 0.0.0.0:23540->443/tcp testrail-web-204644793
6f26dfb2683e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644793
029e16b26201 mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644793
c10443222ac6 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:57123->80/tcp, 0.0.0.0:31657->443/tcp testrail-web-204567103
04339229397e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204567103
6ae0accab28d mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204567103
b66b60d79e43 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:56321->80/tcp, 0.0.0.0:58749->443/tcp testrail-web-204553690
033b1f46afa9 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553690
a8879c5ef941 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553690
069954ba6010 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:32869->80/tcp, 0.0.0.0:16066->443/tcp testrail-web-204553539
ed6b17d911a5 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553539
1a1eed057ea0 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553539Усе задачы паспяхова завершаны
Артэфакты задачы змяшчаюць логі сэрвісаў і тэстаў
Накшталт усё па прыгажосці, але ёсць нюанс. Pipeline можа быць прымусова адменены падчас выканання інтэграцыйных тэстаў, і ў гэтым выпадку запушчаныя кантэйнеры не будуць спынены. Часам трэба чысціць раннер. Нажаль, задача на дапрацоўку ў GitLab CE усё яшчэ ў статуце
Але ў нас дададзены запуск задачы па раскладзе, і ніхто нам не забараняе яе запусціць уручную.
Пераходзім у наш праект -> CI/CD -> Schedules і запускаем задачу Clean runner
Разам:
- У нас XNUMX shell runner.
- Канфліктаў паміж задачамі і асяроддзем няма.
- У нас раўналежны запуск задач з інтэграцыйнымі тэстамі.
- Можна запускаць інтэграцыйныя тэсты як лакальна, так і ў кантэйнеры.
- Логі сэрвісаў і тэстаў збіраюцца і прымацоўваюцца да pipeline-задачы.
- Ёсць магчымасць ачысткі раннера ад старых docker-вобразаў.
Час налады - ~2 гадзіны.
Вось, уласна, і ўсё. Буду рады фідбэку.
Крыніца: habr.com