ProHoster > blog > administratie > GitLab Shell Runner. Competitieve lancering van geteste services met Docker Compose
GitLab Shell Runner. Competitieve lancering van geteste services met Docker Compose
Dit artikel zal interessant zijn voor zowel testers als ontwikkelaars, maar is vooral bedoeld voor automatiseringsspecialisten die worden geconfronteerd met het probleem van het opzetten van GitLab CI/CD voor integratietesten in omstandigheden van onvoldoende infrastructuurbronnen en/of de afwezigheid van een container orkestratie platform. Ik zal je vertellen hoe je de implementatie van testomgevingen kunt opzetten met behulp van docker compose op één enkele GitLab shell runner en zodat bij het inzetten van meerdere omgevingen de gelanceerde services elkaar niet hinderen.
In mijn praktijk kwam het vaak voor dat integratietesten op projecten ‘behandeld’ werden. En vaak is het eerste en belangrijkste probleem de CI-pijplijn, waarin integratietesten plaatsvinden wordt ontwikkeld dienst(en) wordt(en) uitgevoerd in een dev/stage-omgeving. Dit zorgde voor nogal wat problemen:
Als gevolg van defecten in een bepaalde dienst tijdens het testen van de integratie, kan het testcircuit beschadigd raken door kapotte gegevens. Er waren gevallen waarin het verzenden van een verzoek met een kapot JSON-formaat de service crashte, waardoor de stand volledig onbruikbaar werd.
Vertraging van het testcircuit naarmate de testgegevens toenemen. Ik denk dat het geen zin heeft om een voorbeeld te beschrijven met het opschonen/terugdraaien van de database. In mijn praktijk ben ik nog geen project tegengekomen waarbij deze procedure soepel verliep.
Risico op verstoring van de functionaliteit van het testcircuit bij het testen van algemene systeeminstellingen. Bijvoorbeeld gebruiker/groep/wachtwoord/toepassingsbeleid.
Testgegevens uit geautomatiseerde tests maken het leven van handmatige testers moeilijk.
Sommigen zullen zeggen dat goede autotests de gegevens zelf moeten opruimen. Ik heb argumenten tegen:
Dynamische stands zijn erg handig in gebruik.
Niet ieder object kan via de API uit het systeem worden verwijderd. Een oproep om een object te verwijderen is bijvoorbeeld niet geïmplementeerd omdat dit in tegenspraak is met de bedrijfslogica.
Bij het aanmaken van een object via de API kan een enorme hoeveelheid metadata worden aangemaakt, die lastig te verwijderen is.
Als tests onderlinge afhankelijkheden hebben, verandert het proces van het opschonen van gegevens na het uitvoeren van tests in hoofdpijn.
Extra (en naar mijn mening niet gerechtvaardigde) oproepen naar de API.
En het belangrijkste argument: wanneer testgegevens rechtstreeks uit de database worden verwijderd. Dit wordt een echt PK/FK-circus! We horen van ontwikkelaars: “Ik heb zojuist een bord toegevoegd/verwijderd/hernoemd, waarom zijn er 100500 integratietests betrapt?”
Naar mijn mening is de meest optimale oplossing een dynamische omgeving.
Veel mensen gebruiken docker-compose om een testomgeving uit te voeren, maar weinig mensen gebruiken docker-compose bij het uitvoeren van integratietests in CI/CD. En hier houd ik geen rekening met kubernetes, zwerm- en andere containerorkestratieplatforms. Niet elk bedrijf heeft ze. Het zou leuk zijn als docker-compose.yml universeel was.
Zelfs als we onze eigen QA-runner hebben, hoe kunnen we ervoor zorgen dat services die via docker-compose worden gelanceerd, elkaar niet hinderen?
Hoe logs van geteste services verzamelen?
Hoe maak je de loper schoon?
Ik heb mijn eigen GitLab-runner voor mijn projecten en ik kwam deze vragen tegen tijdens de ontwikkeling Java-client voor Testrail. Om precies te zijn, bij het uitvoeren van integratietests. Hieronder zullen we deze problemen oplossen aan de hand van voorbeelden uit dit project.
Voor een hardloper raad ik een virtuele Linux-machine aan met 4 vCPU, 4 GB RAM, 50 GB HDD.
Er is veel informatie over het opzetten van gitlab-runner op internet, dus kort:
Log in op de machine via SSH
Als je minder dan 8 GB RAM hebt, raad ik je aan maak swap 10 GBzodat de OOM-moordenaar onze taken niet komt vernietigen vanwege een gebrek aan RAM. Dit kan gebeuren wanneer er meer dan 5 taken tegelijkertijd worden gestart. De taken zullen langzamer, maar gestaag vorderen.
Voorbeeld met OOM-killer
Als u in de taaklogboeken ziet bash: line 82: 26474 Killeden voer dan gewoon uit op de loper sudo dmesg | grep 26474
[26474] 1002 26474 1061935 123806 339 0 0 java
Out of memory: Kill process 26474 (java) score 127 or sacrifice child
Killed process 26474 (java) total-vm:4247740kB, anon-rss:495224kB, file-rss:0kB, shmem-rss:0kB
En als de afbeelding er ongeveer zo uitziet, voeg dan swap toe of voeg RAM toe.
Hierdoor kunt u parallelle taken op één hardloper uitvoeren. Lees verder hier.
Als je een krachtigere machine hebt, bijvoorbeeld 8 vCPU, 16 GB RAM, dan kunnen deze cijfers minstens 2 keer groter worden gemaakt. Maar het hangt allemaal af van wat er precies op deze hardloper wordt gelanceerd en in welke hoeveelheid.
De hoofdtaak is een universele docker-compose.yml, die ontwikkelaars/testers zowel lokaal als in de CI-pijplijn kunnen gebruiken.
Allereerst maken we unieke servicenamen voor CI. Een van de unieke variabelen in GitLab CI is de variabele CI_JOB_ID. Als u specificeert container_name met betekenis "service-${CI_JOB_ID:-local}", dan in het geval:
indien CI_JOB_ID niet gedefinieerd in omgevingsvariabelen,
dan zal de servicenaam zijn service-local
indien CI_JOB_ID gedefinieerd in omgevingsvariabelen (bijvoorbeeld 123),
dan zal de servicenaam zijn service-123
Ten tweede creëren we een gemeenschappelijk netwerk voor gelanceerde diensten. Dit geeft ons isolatie op netwerkniveau bij het uitvoeren van meerdere testomgevingen.
Voorbeeld van mijn docker-compose.yml met commentaar
version: "3"
# Для корректной работы web (php) и fmt нужно,
# чтобы контейнеры имели общий исполняемый контент.
# В нашем случае, это директория /var/www/testrail
volumes:
static-content:
# Изолируем окружение на сетевом уровне
networks:
default:
external:
name: testrail-network-${CI_JOB_ID:-local}
services:
db:
image: mysql:5.7.22
# Каждый container_name содержит ${CI_JOB_ID:-local}
container_name: "testrail-mysql-${CI_JOB_ID:-local}"
environment:
MYSQL_HOST: db
MYSQL_DATABASE: mydb
MYSQL_ROOT_PASSWORD: 1234
SKIP_GRANT_TABLES: 1
SKIP_NETWORKING: 1
SERVICE_TAGS: dev
SERVICE_NAME: mysql
networks:
- default
migration:
image: registry.gitlab.com/touchbit/image/testrail/migration:latest
container_name: "testrail-migration-${CI_JOB_ID:-local}"
links:
- db
depends_on:
- db
networks:
- default
fpm:
image: registry.gitlab.com/touchbit/image/testrail/fpm:latest
container_name: "testrail-fpm-${CI_JOB_ID:-local}"
volumes:
- static-content:/var/www/testrail
links:
- db
networks:
- default
web:
image: registry.gitlab.com/touchbit/image/testrail/web:latest
container_name: "testrail-web-${CI_JOB_ID:-local}"
# Если переменные TR_HTTP_PORT или TR_HTTPS_PORTS не определены,
# то сервис поднимается на 80 и 443 порту соответственно.
ports:
- ${TR_HTTP_PORT:-80}:80
- ${TR_HTTPS_PORT:-443}:443
volumes:
- static-content:/var/www/testrail
links:
- db
- fpm
networks:
- default
Integration:
stage: test
tags:
- my-shell-runner
before_script:
# Аутентифицируемся в registry
- docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
# Генерируем псевдоуникальные TR_HTTP_PORT и TR_HTTPS_PORT
- export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
- export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
# создаем директорию с идентификатором задачи
- mkdir ${CI_JOB_ID}
# копируем в созданную директорию наш docker-compose.yml
# чтобы контекст был разный для каждой задачи
- cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
script:
# поднимаем наше окружение
- make docker-up
# запускаем тесты исполняемым jar (у меня так)
- java -jar itest.jar --http-port ${TR_HTTP_PORT} --https-port ${TR_HTTPS_PORT}
# или в контейнере
- docker run --network=testrail-network-${CI_JOB_ID:-local} --rm itest
after_script:
# собираем логи
- make docker-logs
# останавливаем окружение
- make docker-kill
artifacts:
# сохраняем логи
when: always
paths:
- logs
expire_in: 30 days
Als gevolg van het uitvoeren van een dergelijke taak zal de logmap in de artefacten service- en testlogboeken bevatten. Dat is erg handig als er fouten optreden. Elke test schrijft parallel zijn eigen log, maar ik zal hier afzonderlijk over praten.
$ docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /home/gitlab-runner/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
$ export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
$ export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
$ mkdir ${CI_JOB_ID}
$ cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm testrail-network-${CI_JOB_ID:-local} || true
Error: No such network: testrail-network-204645172
docker network create testrail-network-${CI_JOB_ID:-local}
0a59552b4464b8ab484de6ae5054f3d5752902910bacb0a7b5eca698766d0331
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Pulling web ... done
Pulling fpm ... done
Pulling migration ... done
Pulling db ... done
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Creating volume "204645172_static-content" with default driver
Creating testrail-mysql-204645172 ...
Creating testrail-mysql-204645172 ... done
Creating testrail-migration-204645172 ... done
Creating testrail-fpm-204645172 ... done
Creating testrail-web-204645172 ... done
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
c6b76f9135ed registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 13 seconds ago Up 1 second 0.0.0.0:51148->80/tcp, 0.0.0.0:25426->443/tcp testrail-web-204645172
01d303262d8e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 16 seconds ago Up 13 seconds 9000/tcp testrail-fpm-204645172
2cdab1edbf6a registry.gitlab.com/touchbit/image/testrail/migration:latest "docker-entrypoint.s…" 16 seconds ago Up 13 seconds 3306/tcp, 33060/tcp testrail-migration-204645172
826aaf7c0a29 mysql:5.7.22 "docker-entrypoint.s…" 18 seconds ago Up 16 seconds 3306/tcp testrail-mysql-204645172
6dbb3fae0322 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 36 seconds ago Up 22 seconds 0.0.0.0:44202->80/tcp, 0.0.0.0:20151->443/tcp testrail-web-204645084
3540f8d448ce registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 38 seconds ago Up 35 seconds 9000/tcp testrail-fpm-204645084
70fea72aa10d mysql:5.7.22 "docker-entrypoint.s…" 40 seconds ago Up 37 seconds 3306/tcp testrail-mysql-204645084
d8aa24b2892d registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up 53 seconds 0.0.0.0:31103->80/tcp, 0.0.0.0:43872->443/tcp testrail-web-204644881
6d4ccd910fad registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644881
685d8023a3ec mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644881
1cdfc692003a registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up About a minute 0.0.0.0:44752->80/tcp, 0.0.0.0:23540->443/tcp testrail-web-204644793
6f26dfb2683e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644793
029e16b26201 mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644793
c10443222ac6 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:57123->80/tcp, 0.0.0.0:31657->443/tcp testrail-web-204567103
04339229397e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204567103
6ae0accab28d mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204567103
b66b60d79e43 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:56321->80/tcp, 0.0.0.0:58749->443/tcp testrail-web-204553690
033b1f46afa9 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553690
a8879c5ef941 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553690
069954ba6010 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:32869->80/tcp, 0.0.0.0:16066->443/tcp testrail-web-204553539
ed6b17d911a5 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553539
1a1eed057ea0 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553539
Alle taken zijn met succes voltooid
Taakartefacten bevatten service- en testlogboeken
Alles lijkt mooi, maar er is een nuance. Pipeline kan geforceerd worden geannuleerd terwijl integratietests worden uitgevoerd. In dat geval worden de actieve containers niet gestopt. Van tijd tot tijd moet u de loper schoonmaken. Helaas bevindt de taak voor verbetering in GitLab CE zich nog steeds in de status Openen
Maar we hebben de lancering van een taak volgens een schema toegevoegd, en niemand verbiedt ons om deze handmatig uit te voeren.
Ga naar ons project -> CI/CD -> Schema's en voer de taak uit Clean runner
Totaal:
We hebben één granaatloper.
Er zijn geen conflicten tussen taken en de omgeving.
We voeren taken met integratietests parallel uit.
U kunt integratietests lokaal of in een container uitvoeren.
Service- en testlogboeken worden verzameld en aan de pijplijntaak gekoppeld.
Het is mogelijk om de runner van oude Docker-images op te schonen.
De insteltijd bedraagt ~2 uur.
Dat is eigenlijk alles. Ik ontvang graag feedback.