Ky kjo artikull do të jetë interesante për testerët, por gjithashtu për zhvilluesit, megjithatë është më shumë e fokusuar për automatizuesit që kanë hasur në problemin e konfigurimit të GitLab CI/CD për kryerjen e testimeve të integrimit në kushte të mungesës së burimeve infrastrukturore dhe/ose mungesës së një platforme orkestrimi për kontejnerët. Unë do të tregoj se si të konfiguroj shpërndarjen e ambientëve të testimit duke përdorur docker compose në një runner të vetëm GitLab shell, në mënyrë që gjatë shpërndarjes së disa ambientëve, shërbimet që startojnë të mos pengojnë njëra-tjetrën.
Përmbajtja
Premisat
Në praktikën time shpesh ka ndodhur që të "shëroj" testimin e integrimit në projekte. Një nga problemet e para dhe më të rëndësishme është pipeline i CI, në të cilin testimi i integrimit shërbimi(ve) të zhvilluar bëhet në ambientin dev/stage. Kjo shkakton shumë probleme: Për shkak të defekteve në një shërbim të caktuar gjatë procesit të testimit të integrimit, skema e testimit mund të prishët nga të dhëna të dëmtuara. Ka pasur raste kur dërgimi i një kërkese me format JSON të dëmtuar ka çuar në bllokimin e shërbimit, duke e bërë që ambienti të mos funksionojë fare.
- Ngadalësimi i funksionimit të kontekstit të testimit me rritjen e të dhënave të testeve. Mendoj se nuk ka sens të përshkruaj një shembull për pastrimin/rivendosjen e DB-së. Në praktikën time nuk kam takuar asnjë projekt ku kjo procedurë kalonte pa pengesa.
- Rreziku për të prishur funksionalitetin e kontekstit të testimit gjatë testimit të konfigurimeve të zakonshme të sistemit. Për shembull, politikat e përdoruesve/grupeve/fjalëkalimeve.
- Të dhënat testuese nga testet automatike pengojnë jetën e testerëve manualë.
- Disa do të thonë se testet e mira automatike duhet të pastrojnë të dhënat pas vetes. Kam argumente kundër:
Ambientet dinamike janë shumë të lehta për t’u përdorur.
- Nuk është çdo objekt që mund të hiqet nga sistemi përmes API-së. Për shembull, thirrja për të fshirë një objekt nuk është realizuar, pasi shkel ligjin e biznesit.
- Kur krijohet një objekt përmes API-së, mund të krijohet një sasi e madhe e metadata-s, e cila është problematike për t'u fshirë.
- Nëse testet kanë varësi midis tyre, procesi i pastrimit të të dhënave pas ekzekutimit të testeve kthehet në një dhimbje koke.
- Thirrje të tjera (dhe, sipas mendimit tim, të paarsyetuara) për në API.
- Dhe argumenti kryesor: kur të dhënat testuese fillojnë të pastrohen direkt nga DB. Kjo kthehet në një cirk të vërtetë PK/FK! Nga zhvilluesit dëgjohet: "Unë vetëm shtova/fshiva/rindeza një tabelë, pse 100500 teste integrimi u thyen?"
- Sipas mendimit tim, zgjidhja më optimale është një ambient dinamik.
Shumë përdorin docker-compose për të nisur ambientin e testeve, por pak kush e përdor docker-compose gjatë kryerjes së testimeve të integrimit në CI/CD. Dhe këtu nuk po marr parasysh kubernetes, swarm dhe platforma të tjera të orkestrimit të kontejnerëve. Jo çdo kompani i ka ato. Do të ishte mirë nëse docker-compose.yml do të ishte universale.
- Edhe nëse kemi një QA runner tonin, si mund ta bëjmë që shërbimet që startojnë përmes docker-compose të mos pengojnë njëra-tjetrën?
- Si të mblidhen log-et e shërbimeve të testuara?
- Si të pastroni runner-in?
- Kam një GitLab runner tim për projektet e mia dhe me këto pyetje kam hasur gjatë zhvillimit
klientit Java për Për runner-in rekomandoj një makinë virtuale Linux me 4 vCPU, 4 GB RAM, 50 GB HDD.
GitLab Shell Runner
Në hapësirat e internetit ka shumë informacion mbi konfigurimin e gitlab-runner, kështu që shkurt:
Hyni në makinë përmes SSH
- Nëse keni më pak se 8 GB RAM, rekomandoj
të bëni swap 10 GB Shembulli me OOM killer
Nëse në log-et e detyrës shihni
bash: line 82: 26474 Killed
, thjesht kryeni në runnersudo dmesg | grep 26474[26474] 1002 26474 1061935 123806 339 0 0 java Doli nga memorja: Vrite procesin 26474 (java) shpërblimi 127 ose sakrifiko fëmijën U vra procesi 26474 (java) total-vm:4247740kB, anon-rss:495224kB, file-rss:0kB, shmem-rss:0kBDhe nëse pamja duket përafërsisht kështu, atëherë ose shtoni swap, ose rrisni RAM-in., make.
- Instalojmë , , Shtojmë përdoruesin
- në grupin
gitlab-runnersudo groupadd docker sudo usermod -aG docker gitlab-runnerdockerRegjistrojmë - Hapim për redaktim
dhe shtojmë
/etc/gitlab-runner/config.tomlconcurrent=20 [[runners]] request_concurrency = 10Kjo do të lejojë ekzekutimin e detyrave paralele në një runner të vetëm. Më shumë detaje për të lexuarKjo do të lejojë ekzekutimin e detyrave paralele në një runner të vetëm. Lexoni më shumë në lidhje me këtë. .
Nëse keni një makinë më të fuqishme, për shembull 8 vCPU, 16 GB RAM, këto numra mund të bëhen të paktën dy herë më të mëdha. Por gjithçka varet nga ajo që do të ekzekutohet në këtë runner dhe në cfarë sasie.
Kjo është e mjaftueshme.
Përgatitja e docker-compose.yml
Detyra kryesore është një docker-compose.yml universale, që zhvilluesit/testuesit mund ta përdorin si lokal ashtu dhe në CI pipeline.
Në radhë të parë, ne krijojmë emra unikë për shërbimet për CI. Një nga variablat unikë në GitLab CI është variabli CI_JOB_ID. Nëse e caktuam emri_enkontrues me vlerë "service-${CI_JOB_ID:-local}", atëherë në rastin:
- nëse
CI_JOB_IDnuk është e përcaktuar në variablat e mjedisit,
emri i shërbimit do të jetëservice-local - nëse
CI_JOB_IDe përcaktuar në variablat e mjedisit (për shembull 123),
emri i shërbimit do të jetëservice-123
Në radhë të dytë, ne krijojmë një rrjet të përbashkët për shërbimet e ekzekutuara. Kjo na ofron izolim në nivel rrjeti gjatë ekzekutimit të disa ambientëve të testimit.
networks:
default:
external:
name: service-network-${CI_JOB_ID:-local}Në të vërtetë, ky është hapi i parë drejt suksesit =)
Shembulli im i docker-compose.yml me komente
version: "3"
# Për funksionimin e saktë të web (php) dhe fmt, duhet që
# konteinerët të kenë përmbajtje ekzekutivë të përbashkët.
# Në rastin tonë, kjo është direktoria /var/www/testrail
volumes:
static-content:
# Izolojmë ambientin në nivelin e rrjetit
networks:
default:
external:
name: testrail-network-${CI_JOB_ID:-local}
services:
db:
image: mysql:5.7.22
# Çdo container_name përmban ${CI_JOB_ID:-local}
container_name: "testrail-mysql-${CI_JOB_ID:-local}"
environment:
MYSQL_HOST: db
MYSQL_DATABASE: mydb
MYSQL_ROOT_PASSWORD: 1234
SKIP_GRANT_TABLES: 1
SKIP_NETWORKING: 1
SERVICE_TAGS: dev
SERVICE_NAME: mysql
networks:
- default
migration:
image: registry.gitlab.com/touchbit/image/testrail/migration:latest
container_name: "testrail-migration-${CI_JOB_ID:-local}"
links:
- db
depends_on:
- db
networks:
- default
fpm:
image: registry.gitlab.com/touchbit/image/testrail/fpm:latest
container_name: "testrail-fpm-${CI_JOB_ID:-local}"
volumes:
- static-content:/var/www/testrail
links:
- db
networks:
- default
web:
image: registry.gitlab.com/touchbit/image/testrail/web:latest
container_name: "testrail-web-${CI_JOB_ID:-local}"
# Nëse variablat TR_HTTP_PORT ose TR_HTTPS_PORT nuk janë të përcaktuar,
# atëherë shërbimi ngrihet në portin 80 dhe 443 përkatësisht.
ports:
- ${TR_HTTP_PORT:-80}:80
- ${TR_HTTPS_PORT:-443}:443
volumes:
- static-content:/var/www/testrail
links:
- db
- fpm
networks:
- defaultShembulli i ekzekutimit lokal
docker-compose -f docker-compose.yml up -d
Fillimi testrail-mysql-local ... përfunduar
Fillimi testrail-migration-local ... përfunduar
Fillimi testrail-fpm-local ... përfunduar
Rikrijimi testrail-web-local ... përfunduarPor, nuk është gjithçka kaq e thjeshtë me ekzekutimin në CI.
Përgatitja e Makefile
Unë përdor Makefile, sepse është shumë e përshtatshme si për menaxhimin lokal të ambientit ashtu dhe në CI. Më pas komentet inline
# У меня в проектах все вспомогательные вещи лежат в директории `.indirect`,
# в том числе и `docker-compose.yml`
# Использовать bash с опцией pipefail
# pipefail - фейлит выполнение пайпа, если команда выполнилась с ошибкой
SHELL=/bin/bash -o pipefail
# Останавливаем контейнеры и удаляем сеть
docker-kill:
docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm network-$${CI_JOB_ID:-testrail} || true
# Предварительно выполняем docker-kill
docker-up: docker-kill
# Создаем сеть для окружения
docker network create network-$${CI_JOB_ID:-testrail}
# Забираем последние образы из docker-registry
docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml pull
# Запускаем окружение
# force-recreate - принудительное пересоздание контейнеров
# renew-anon-volumes - не использовать volumes предыдущих контейнеров
docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
# Ну и, на всякий случай, вывести что там у нас в принципе запущено на машинке
docker ps
# Коллектим логи сервисов
docker-logs:
mkdir ./logs || true
docker logs testrail-web-$${CI_JOB_ID:-local} >& logs/testrail-web.log
docker logs testrail-fpm-$${CI_JOB_ID:-local} >& logs/testrail-fpm.log
docker logs testrail-migration-$${CI_JOB_ID:-local} >& logs/testrail-migration.log
docker logs testrail-mysql-$${CI_JOB_ID:-local} >& logs/testrail-mysql.log
# Очистка раннера
docker-clean:
@echo Останавливаем все testrail-контейнеры
docker kill $$(docker ps --filter=name=testrail -q) || true
@echo Очистка докер контейнеров
docker rm -f $$(docker ps -a -f --filter=name=testrail status=exited -q) || true
@echo Очистка dangling образов
docker rmi -f $$(docker images -f "dangling=true" -q) || true
@echo Очистка testrail образов
docker rmi -f $$(docker images --filter=reference='registry.gitlab.com/touchbit/image/testrail/*' -q) || true
@echo Очистка всех неиспользуемых volume
docker volume rm -f $$(docker volume ls -q) || true
@echo Очистка всех testrail сетей
docker network rm $(docker network ls --filter=name=testrail -q) || true
docker ps
Kontrollojmë
make docker-up
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
Vrasja testrail-web-local ... përfunduar
Vrasja testrail-fpm-local ... përfunduar
Vrasja testrail-mysql-local ... përfunduar
docker network rm network-${CI_JOB_ID:-testrail} || true
network-testrail
docker network create network-${CI_JOB_ID:-testrail}
d2ec063324081c8bbc1b08fd92242c2ea59d70cf4025fab8efcbc5c6360f083f
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Tërheqja db ... përfunduar
Tërheqja migration ... përfunduar
Tërheqja fpm ... përfunduar
Tërheqja web ... përfunduar
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Rikrijimi testrail-mysql-local ... përfunduar
Rikrijimi testrail-fpm-local ... përfunduar
Rikrijimi testrail-migration-local ... përfunduar
Rikrijimi testrail-web-local ... përfunduar
docker ps
ID KONTENIERI PORTET EMRA
a845d3cb0e5a 0.0.0.0:80->80/tcp, 0.0.0.0:443->443/tcp testrail-web-local
19d8ef001398 9000/tcp testrail-fpm-local
e28840a2369c 3306/tcp, 33060/tcp testrail-migration-local
0e7900c23f37 3306/tcp testrail-mysql-local
make docker-logs
$ make docker-logs
mkdir ./logs || true
mkdir: nuk mund të krijohet direktoria ‘./logs’: Directoria ekziston
docker logs testrail-web-${CI_JOB_ID:-local} >& logs/testrail-web.log
docker logs testrail-fpm-${CI_JOB_ID:-local} >& logs/testrail-fpm.log
docker logs testrail-migration-${CI_JOB_ID:-local} >& logs/testrail-migration.log
docker logs testrail-mysql-${CI_JOB_ID:-local} >& logs/testrail-mysql.log
Përgatitja e .gitlab-ci.yml
Ekzekutimi i testeve të integrimit
Integrimi:
stage: test
tags:
- my-shell-runner
before_script:
# Autentikimi në registry
- docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
# Gjenerimi i TR_HTTP_PORT dhe TR_HTTPS_PORT pseudo-unik
- export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
- export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
# krijojmë direktorinë me ID-në e detyrës
- mkdir ${CI_JOB_ID}
# kopjojmë në direktorinë e krijuar docker-compose.yml tonë
# që konteksti të jetë i ndryshëm për çdo detyrë
- cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
script:
# ngremë ambientin tonë
- make docker-up
# ekzekutojmë testet me jar të ekzekutueshme (në mënyrën time)
- java -jar itest.jar --http-port ${TR_HTTP_PORT} --https-port ${TR_HTTPS_PORT}
# ose në kontenier
- docker run --network=testrail-network-${CI_JOB_ID:-local} --rm itest
after_script:
# mbledhim loget
- make docker-logs
# ndalim ambientin
- make docker-kill
artifacts:
# ruajmë loget
when: always
paths:
- logs
expire_in: 30 daysSi rezultat i ekzekutimit të një detyre të tillë, në artefakte direktoria logs do të përmbajë loget e shërbimeve dhe testeve. Çka është shumë e dobishme në rast se ndodhin gabime. Unë kam çdo test në paralel që shkruan logun e tij, por për këtë do të flas më vonë.
Pastrimi i runner-it
Detyra do të ekzekutohet vetëm sipas kalendarit.
stages:
- clean
- build
- test
Pastrimi i runnerit:
stage: clean
only:
- schedules
tags:
- my-shell-runner
script:
- make docker-cleanMë pas shkojmë në projektin tonë GitLab -> CI/CD -> Schedules -> New Schedule dhe shtojmë një program të ri
Rezultati
Ngremë 4 detyra në GitLab CI
Në log-et e detyrës së fundit me testet integruese, shohim kontejnerët nga detyra të ndryshme.
ID KONTEJNERI EMRAT
c6b76f9135ed testrail-web-204645172
01d303262d8e testrail-fpm-204645172
2cdab1edbf6a testrail-migration-204645172
826aaf7c0a29 testrail-mysql-204645172
6dbb3fae0322 testrail-web-204645084
3540f8d448ce testrail-fpm-204645084
70fea72aa10d testrail-mysql-204645084
d8aa24b2892d testrail-web-204644881
6d4ccd910fad testrail-fpm-204644881
685d8023a3ec testrail-mysql-204644881
1cdfc692003a testrail-web-204644793
6f26dfb2683e testrail-fpm-204644793
029e16b26201 testrail-mysql-204644793
c10443222ac6 testrail-web-204567103
04339229397e testrail-fpm-204567103
6ae0accab28d testrail-mysql-204567103
b66b60d79e43 testrail-web-204553690
033b1f46afa9 testrail-fpm-204553690
a8879c5ef941 testrail-mysql-204553690
069954ba6010 testrail-web-204553539
ed6b17d911a5 testrail-fpm-204553539
1a1eed057ea0 testrail-mysql-204553539Log më i detajuar
$ docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /home/gitlab-runner/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
$ export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
$ export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
$ mkdir ${CI_JOB_ID}
$ cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm testrail-network-${CI_JOB_ID:-local} || true
Error: No such network: testrail-network-204645172
docker network create testrail-network-${CI_JOB_ID:-local}
0a59552b4464b8ab484de6ae5054f3d5752902910bacb0a7b5eca698766d0331
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Pulling web ... done
Pulling fpm ... done
Pulling migration ... done
Pulling db ... done
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Creating volume "204645172_static-content" with default driver
Creating testrail-mysql-204645172 ...
Creating testrail-mysql-204645172 ... done
Creating testrail-migration-204645172 ... done
Creating testrail-fpm-204645172 ... done
Creating testrail-web-204645172 ... done
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
c6b76f9135ed registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 13 seconds ago Up 1 second 0.0.0.0:51148->80/tcp, 0.0.0.0:25426->443/tcp testrail-web-204645172
01d303262d8e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 16 seconds ago Up 13 seconds 9000/tcp testrail-fpm-204645172
2cdab1edbf6a registry.gitlab.com/touchbit/image/testrail/migration:latest "docker-entrypoint.s…" 16 seconds ago Up 13 seconds 3306/tcp, 33060/tcp testrail-migration-204645172
826aaf7c0a29 mysql:5.7.22 "docker-entrypoint.s…" 18 seconds ago Up 16 seconds 3306/tcp testrail-mysql-204645172
6dbb3fae0322 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 36 seconds ago Up 22 seconds 0.0.0.0:44202->80/tcp, 0.0.0.0:20151->443/tcp testrail-web-204645084
3540f8d448ce registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 38 seconds ago Up 35 seconds 9000/tcp testrail-fpm-204645084
70fea72aa10d mysql:5.7.22 "docker-entrypoint.s…" 40 seconds ago Up 37 seconds 3306/tcp testrail-mysql-204645084
d8aa24b2892d registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up 53 seconds 0.0.0.0:31103->80/tcp, 0.0.0.0:43872->443/tcp testrail-web-204644881
6d4ccd910fad registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644881
685d8023a3ec mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644881
1cdfc692003a registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up About a minute 0.0.0.0:44752->80/tcp, 0.0.0.0:23540->443/tcp testrail-web-204644793
6f26dfb2683e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644793
029e16b26201 mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644793
c10443222ac6 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:57123->80/tcp, 0.0.0.0:31657->443/tcp testrail-web-204567103
04339229397e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204567103
6ae0accab28d mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204567103
b66b60d79e43 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:56321->80/tcp, 0.0.0.0:58749->443/tcp testrail-web-204553690
033b1f46afa9 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553690
a8879c5ef941 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553690
069954ba6010 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:32869->80/tcp, 0.0.0.0:16066->443/tcp testrail-web-204553539
ed6b17d911a5 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553539
1a1eed057ea0 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553539Të gjitha detyrat u përfunduan me sukses.
Artefaktet e detyrës përmbajnë loget e shërbimeve dhe testeve.
Duket gjithçka në rregull, por ka një çështje. Pipeline mund të anulohet me forcë gjatë ekzekutimit të testeve integruese, dhe në këtë rast, konteinerët e nisur nuk do të ndalohen. Nga herë në herë është e nevojshme të pastrohet runner-i. Fatkeqësisht, detyra për përmirësim në GitLab CE është ende në statusin
Por ne kemi shtuar një nisje të detyrës sipas një grafik, dhe askush nuk na ndalon ta nisnin atë manualisht.
Shkëmbejmë në projektin tonë -> CI/CD -> Schedules dhe nisni detyrën Pastro runner-in
Në përmbledhje:
- Ne kemi një shell runner.
- Nuk ka konflikte ndërmjet detyrave dhe ambientit.
- Ne kemi një ekzekutim paralel të detyrave me testet integruese.
- Mund të ekzekutohen testet integruese si lokal, ashtu edhe në konteiner.
- Log-et e shërbimeve dhe testeve mblidhen dhe bashkëlidhen me detyrën e pipeline-it.
- Ka mundësi për pastrimin e runner-it nga imazhet e vjetra docker.
Koha e konfigurimit — ~2 orë.
Këtu e kemi, dhe do të më pëlqente feedback-u.
Burimi: habr.com
