ProHoster > Blog > Verwaltung > GitLab Shell Runner. Starten Sie wettbewerbsfähig testbare Dienste mit Docker Compose
GitLab Shell Runner. Starten Sie wettbewerbsfähig testbare Dienste mit Docker Compose
Dieser Artikel wird sowohl für Tester als auch für Entwickler von Interesse sein, richtet sich aber eher an Automatisierer, die angesichts unzureichender Infrastrukturressourcen und/oder fehlender Container-Orchestrierung vor dem Problem stehen, GitLab CI/CD für Integrationstests einzurichten Plattform. Ich erkläre Ihnen, wie Sie die Bereitstellung von Testumgebungen mithilfe von Docker Compose auf einem einzigen GitLab-Shell-Runner konfigurieren, damit sich die gestarteten Dienste bei der Bereitstellung mehrerer Umgebungen nicht gegenseitig stören.
In meiner Praxis kommt es häufig vor, dass Integrationstests in Projekten „behandelt“ werden. Und oft ist das erste und größte Problem die CI-Pipeline, in der Integrationstests durchgeführt werden entwickelt Die Dienste werden in der Entwicklungs-/Stufenumgebung gehostet. Dies verursachte einige Probleme:
Aufgrund von Fehlern in dem einen oder anderen Dienst während des Integrationstests kann die Testschaltung durch fehlerhafte Daten beschädigt werden. Es gab Fälle, in denen das Senden einer Anfrage mit einem fehlerhaften JSON-Format den Dienst aufhängte, was dazu führte, dass der Stand völlig außer Betrieb war.
Die Verlangsamung der Testschaltung mit der Zunahme der Testdaten. Ich denke, es macht keinen Sinn, ein Beispiel mit dem Bereinigen / Zurücksetzen der Datenbank zu beschreiben. In meiner Praxis habe ich kein Projekt kennengelernt, bei dem dieser Vorgang reibungslos verlaufen wäre.
Das Risiko einer Leistungsbeeinträchtigung der Testschaltung beim Testen allgemeiner Systemeinstellungen. Zum Beispiel Benutzer-/Gruppen-/Passwort-/Anwendungsrichtlinie.
Testdaten aus Autotests machen manuellen Testern das Leben schwer.
Jemand wird sagen, dass gute Autotests die Daten selbst bereinigen sollten. Ich habe Argumente dagegen:
Dynamische Ständer sind sehr bequem zu verwenden.
Nicht jedes Objekt kann über die API aus dem System entfernt werden. Beispielsweise wird ein Aufruf zum Löschen eines Objekts nicht implementiert, da er der Geschäftslogik widerspricht.
Beim Erstellen eines Objekts über die API kann eine große Menge an Metadaten entstehen, deren Entfernung problematisch ist.
Wenn die Tests voneinander abhängig sind, kann die Bereinigung der Daten nach der Durchführung der Tests zu Kopfschmerzen führen.
Zusätzliche (und meiner Meinung nach nicht gerechtfertigte) Aufrufe der API.
Und das Hauptargument: Wenn die Testdaten direkt aus der Datenbank bereinigt werden. Das wird ein echter PK/FK-Zirkus! Wir hören von den Entwicklern: „Ich habe gerade das Zeichen hinzugefügt/gelöscht/umbenannt, warum sind 100500 Integrationstests durchgefallen?“
Meiner Meinung nach ist eine dynamische Umgebung die optimalste Lösung.
Viele Leute verwenden Docker-Compose, um eine Testumgebung auszuführen, aber nur wenige Leute verwenden Docker-Compose, wenn sie Integrationstests in CI/CD durchführen. Und hier berücksichtige ich nicht Kubernetes, Swarm und andere Container-Orchestrierungsplattformen. Nicht jedes Unternehmen hat sie. Es wäre schön, wenn docker-compose.yml universell wäre.
Selbst wenn wir über einen eigenen QA-Runner verfügen, wie können wir sicherstellen, dass sich über Docker-Compose gestartete Dienste nicht gegenseitig stören?
Wie sammle ich Protokolle getesteter Dienste?
Wie reinige ich den Läufer?
Ich habe meinen eigenen GitLab-Runner für meine Projekte und bin während der Entwicklung auf diese Probleme gestoßen Java-Client für Testschiene. Genauer gesagt, wenn Integrationstests ausgeführt werden. Hier werden wir diese Probleme weiterhin anhand von Beispielen aus diesem Projekt lösen.
Für einen Läufer empfehle ich eine virtuelle Linux-Maschine mit 4 vCPU, 4 GB RAM, 50 GB HDD.
Es gibt viele Informationen zum Einrichten von Gitlab-Runner im Internet, also kurz gesagt:
Wir gehen über SSH auf die Maschine
Wenn Sie weniger als 8 GB RAM haben, empfehle ich Machen Sie 10 GB Swapdamit der OOM-Killer nicht kommt und uns Aufgaben aufgrund von RAM-Mangel tötet. Dies kann passieren, wenn mehr als 5 Aufgaben gleichzeitig ausgeführt werden. Aufgaben werden langsamer, aber stabil sein.
Beispiel mit OOM-Killer
Wenn Sie in den Aufgabenprotokollen sehen bash: line 82: 26474 Killed, dann einfach auf dem Läufer ausführen sudo dmesg | grep 26474
[26474] 1002 26474 1061935 123806 339 0 0 java
Out of memory: Kill process 26474 (java) score 127 or sacrifice child
Killed process 26474 (java) total-vm:4247740kB, anon-rss:495224kB, file-rss:0kB, shmem-rss:0kB
Und wenn das Bild in etwa so aussieht, dann fügen Sie entweder Swap hinzu oder fügen Sie RAM hinzu.
Dadurch können Sie parallele Aufgaben auf demselben Läufer ausführen. Weiterlesen hier.
Wenn Sie über eine leistungsstärkere Maschine verfügen, zum Beispiel 8 vCPU, 16 GB RAM, dann können diese Zahlen mindestens um das Zweifache erhöht werden. Aber es hängt alles davon ab, was genau auf diesem Läufer in welcher Menge gestartet wird.
Die Hauptaufgabe ist eine universelle docker-compose.yml, die Entwickler/Tester sowohl lokal als auch in der CI-Pipeline nutzen können.
Zunächst erstellen wir eindeutige Servicenamen für CI. Eine der einzigartigen Variablen in GitLab CI ist die Variable CI_JOB_ID. Wenn Sie angeben container_name mit Bedeutung "service-${CI_JOB_ID:-local}", dann im Fall:
wenn CI_JOB_ID nicht in Umgebungsvariablen definiert,
dann lautet der Dienstname service-local
wenn CI_JOB_ID definiert in Umgebungsvariablen (z. B. 123),
dann lautet der Dienstname service-123
Zweitens schaffen wir ein gemeinsames Netzwerk für die Ausführung von Diensten. Dadurch erhalten wir eine Isolierung auf Netzwerkebene, wenn wir mehrere Testumgebungen ausführen.
Eigentlich ist das der erste Schritt zum Erfolg =)
Ein Beispiel meiner docker-compose.yml mit Kommentaren
version: "3"
# Для корректной работы web (php) и fmt нужно,
# чтобы контейнеры имели общий исполняемый контент.
# В нашем случае, это директория /var/www/testrail
volumes:
static-content:
# Изолируем окружение на сетевом уровне
networks:
default:
external:
name: testrail-network-${CI_JOB_ID:-local}
services:
db:
image: mysql:5.7.22
# Каждый container_name содержит ${CI_JOB_ID:-local}
container_name: "testrail-mysql-${CI_JOB_ID:-local}"
environment:
MYSQL_HOST: db
MYSQL_DATABASE: mydb
MYSQL_ROOT_PASSWORD: 1234
SKIP_GRANT_TABLES: 1
SKIP_NETWORKING: 1
SERVICE_TAGS: dev
SERVICE_NAME: mysql
networks:
- default
migration:
image: registry.gitlab.com/touchbit/image/testrail/migration:latest
container_name: "testrail-migration-${CI_JOB_ID:-local}"
links:
- db
depends_on:
- db
networks:
- default
fpm:
image: registry.gitlab.com/touchbit/image/testrail/fpm:latest
container_name: "testrail-fpm-${CI_JOB_ID:-local}"
volumes:
- static-content:/var/www/testrail
links:
- db
networks:
- default
web:
image: registry.gitlab.com/touchbit/image/testrail/web:latest
container_name: "testrail-web-${CI_JOB_ID:-local}"
# Если переменные TR_HTTP_PORT или TR_HTTPS_PORTS не определены,
# то сервис поднимается на 80 и 443 порту соответственно.
ports:
- ${TR_HTTP_PORT:-80}:80
- ${TR_HTTPS_PORT:-443}:443
volumes:
- static-content:/var/www/testrail
links:
- db
- fpm
networks:
- default
Integration:
stage: test
tags:
- my-shell-runner
before_script:
# Аутентифицируемся в registry
- docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
# Генерируем псевдоуникальные TR_HTTP_PORT и TR_HTTPS_PORT
- export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
- export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
# создаем директорию с идентификатором задачи
- mkdir ${CI_JOB_ID}
# копируем в созданную директорию наш docker-compose.yml
# чтобы контекст был разный для каждой задачи
- cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
script:
# поднимаем наше окружение
- make docker-up
# запускаем тесты исполняемым jar (у меня так)
- java -jar itest.jar --http-port ${TR_HTTP_PORT} --https-port ${TR_HTTPS_PORT}
# или в контейнере
- docker run --network=testrail-network-${CI_JOB_ID:-local} --rm itest
after_script:
# собираем логи
- make docker-logs
# останавливаем окружение
- make docker-kill
artifacts:
# сохраняем логи
when: always
paths:
- logs
expire_in: 30 days
Als Ergebnis der Ausführung einer solchen Aufgabe enthält das Protokollverzeichnis in Artefakten Protokolle von Diensten und Tests. Was im Fehlerfall sehr praktisch ist. Jeder Test schreibt parallel sein eigenes Protokoll, aber ich werde separat darauf eingehen.
$ docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /home/gitlab-runner/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
$ export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
$ export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
$ mkdir ${CI_JOB_ID}
$ cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm testrail-network-${CI_JOB_ID:-local} || true
Error: No such network: testrail-network-204645172
docker network create testrail-network-${CI_JOB_ID:-local}
0a59552b4464b8ab484de6ae5054f3d5752902910bacb0a7b5eca698766d0331
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Pulling web ... done
Pulling fpm ... done
Pulling migration ... done
Pulling db ... done
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Creating volume "204645172_static-content" with default driver
Creating testrail-mysql-204645172 ...
Creating testrail-mysql-204645172 ... done
Creating testrail-migration-204645172 ... done
Creating testrail-fpm-204645172 ... done
Creating testrail-web-204645172 ... done
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
c6b76f9135ed registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 13 seconds ago Up 1 second 0.0.0.0:51148->80/tcp, 0.0.0.0:25426->443/tcp testrail-web-204645172
01d303262d8e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 16 seconds ago Up 13 seconds 9000/tcp testrail-fpm-204645172
2cdab1edbf6a registry.gitlab.com/touchbit/image/testrail/migration:latest "docker-entrypoint.s…" 16 seconds ago Up 13 seconds 3306/tcp, 33060/tcp testrail-migration-204645172
826aaf7c0a29 mysql:5.7.22 "docker-entrypoint.s…" 18 seconds ago Up 16 seconds 3306/tcp testrail-mysql-204645172
6dbb3fae0322 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 36 seconds ago Up 22 seconds 0.0.0.0:44202->80/tcp, 0.0.0.0:20151->443/tcp testrail-web-204645084
3540f8d448ce registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 38 seconds ago Up 35 seconds 9000/tcp testrail-fpm-204645084
70fea72aa10d mysql:5.7.22 "docker-entrypoint.s…" 40 seconds ago Up 37 seconds 3306/tcp testrail-mysql-204645084
d8aa24b2892d registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up 53 seconds 0.0.0.0:31103->80/tcp, 0.0.0.0:43872->443/tcp testrail-web-204644881
6d4ccd910fad registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644881
685d8023a3ec mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644881
1cdfc692003a registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up About a minute 0.0.0.0:44752->80/tcp, 0.0.0.0:23540->443/tcp testrail-web-204644793
6f26dfb2683e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644793
029e16b26201 mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644793
c10443222ac6 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:57123->80/tcp, 0.0.0.0:31657->443/tcp testrail-web-204567103
04339229397e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204567103
6ae0accab28d mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204567103
b66b60d79e43 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:56321->80/tcp, 0.0.0.0:58749->443/tcp testrail-web-204553690
033b1f46afa9 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553690
a8879c5ef941 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553690
069954ba6010 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:32869->80/tcp, 0.0.0.0:16066->443/tcp testrail-web-204553539
ed6b17d911a5 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553539
1a1eed057ea0 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553539
Alle Aufgaben erfolgreich abgeschlossen
Aufgabenartefakte enthalten Protokolle von Diensten und Tests
Alles scheint schön zu sein, aber es gibt eine Nuance. Eine Pipeline kann während der Ausführung von Integrationstests zwangsweise abgebrochen werden. In diesem Fall werden laufende Container nicht gestoppt. Von Zeit zu Zeit müssen Sie den Läufer reinigen. Leider befindet sich die Aufgabe zur Überarbeitung in GitLab CE noch im Status Offen
Aber wir haben einen geplanten Aufgabenstart hinzugefügt, und niemand verbietet uns, ihn manuell zu starten.
Gehen Sie zu unserem Projekt -> CI/CD -> Zeitpläne und führen Sie die Aufgabe aus Clean runner
Total:
Wir haben einen Shellrunner.
Es gibt keine Konflikte zwischen Aufgaben und der Umgebung.
Wir haben einen parallelen Start von Aufgaben mit Integrationstests.
Sie können Integrationstests sowohl lokal als auch in einem Container ausführen.
Service- und Testprotokolle werden gesammelt und an die Pipeline-Aufgabe angehängt.
Es ist möglich, den Runner von alten Docker-Images zu bereinigen.
Die Einrichtungszeit beträgt ~2 Stunden.
Das ist eigentlich alles. Über Feedback freue ich mich.