ProHoster > Blog > башкаруу > GitLab Shell Runner. Docker Compose аркылуу сыналган кызматтарды атаандаштыкка чыгаруу
GitLab Shell Runner. Docker Compose аркылуу сыналган кызматтарды атаандаштыкка чыгаруу
Бул макала тестерлерди да, иштеп чыгуучуларды да кызыктырат, бирок негизинен инфраструктуралык ресурстардын жетишсиздигинде жана/же контейнердик оркестрдин жоктугунда интеграциялык тестирлөө үчүн GitLab CI/CD орнотуу көйгөйүнө туш болгон автоматташтыруу боюнча адистер үчүн арналган. платформа. Мен сизге бир GitLab кабыкчасынын жүгүргүчүндө докер түзүүнү колдонуу менен тесттик чөйрөлөрдү кантип орнотууну жана бир нече чөйрөнү жайылтууда ишке киргизилген кызматтар бири-бирине тоскоол болбошу үчүн айтып берем.
Менин практикамда көп учурда интеграциялык тестирлөө долбоорлордо “дарыланып” калган. Жана көбүнчө биринчи жана эң маанилүү көйгөй - бул интеграциялык тестирлөөдөн өткөн CI түтүк иштелип жатат Кызмат(лар) иштеп чыгуу/этап чөйрөсүндө ишке ашырылат. Бул бир топ көйгөйлөрдү жаратты:
Интегралдык тестирлөө учурунда белгилүү бир кызматтагы кемчиликтерден улам, сынамык схемасы бузулган маалыматтар менен бузулушу мүмкүн. Бузулган JSON форматы менен суроо-талапты жөнөтүү кызматты бузуп, стендди толук иштебей койгон учурлар болгон.
Сыноо маалыматы көбөйгөн сайын сыноо схемасынын жайлашы. Менимче, маалымат базасын тазалоо/кайра жылдыруу менен мисалды сүрөттөөнүн мааниси жок. Мен өзүмдүн практикамда бул жол-жобо бир калыпта өткөн долбоорду кезиктире элекмин.
Жалпы тутум орнотууларын тестирлөөдө тестирлөө схемасынын иштешин бузуу коркунучу. Мисалы, колдонуучу/топ/сырсөз/колдонмо саясаты.
Автоматташтырылган тесттерден алынган тест маалыматтары кол менен тестирлөөчүлөрдүн жашоосун кыйындатат.
Айрымдар жакшы автотесттер маалыматтарды өздөрүнөн кийин тазалаш керек деп айтышат. Менин каршы аргументтерим бар:
Динамикалык стенддерди колдонуу абдан ыңгайлуу.
Ар бир объектти API аркылуу системадан алып салуу мүмкүн эмес. Мисалы, объектти жок кылууга чакыруу ишке ашырылган жок, анткени ал бизнес логикасына карама-каршы келет.
API аркылуу объект түзүп жатканда, жок кылуу кыйынга турган көп сандагы метаберилиштер түзүлүшү мүмкүн.
Эгерде тесттердин өз ара көз карандылыгы болсо, анда тесттерди өткөргөндөн кийин маалыматтарды тазалоо процесси баш ооруга айланат.
API'ге кошумча (жана менин оюмча, негиздүү эмес) чалуулар.
Жана негизги аргумент: тесттик маалыматтар базадан түздөн-түз тазалана баштаганда. Бул чыныгы PK/FK циркине айланып баратат! Иштеп чыгуучулардан: "Мен жаңы эле белгини коштум/алып салдым/атын өзгөртүп койдум, эмне үчүн 100500 XNUMX интеграциялык тест кармалып калды?"
Менимче, эң оптималдуу чечим – бул динамикалык чөйрө.
Көп адамдар сыноо чөйрөсүн иштетүү үчүн docker-compose колдонушат, бирок CI/CDде интеграциялык тестирлөө жүргүзүүдө аз эле адамдар docker-compose колдонушат. Бул жерде мен кубернеттерди, үйүрлөрдү жана башка контейнердик оркестрдик платформаларды эске албайм. Алар ар бир компанияда жок. docker-compose.yml универсалдуу болсо жакшы болмок.
Өзүбүздүн QA жүгүргүчүбүз болсо дагы, докер-композит аркылуу ишке киргизилген кызматтар бири-бирине тоскоол болбошуна кантип ынансак болот?
Сыналган кызматтардын журналдарын кантип чогултуу керек?
Жөө күлүктү кантип тазалоо керек?
Менин долбоорлорум үчүн өзүмдүн GitLab жөө күлүгүм бар жана мен иштеп чыгуу учурунда бул суроолорго туш болдум Java кардары үчүн TestRail. Тагыраак айтканда, интеграциялык тесттерди жүргүзүүдө. Төмөндө биз бул долбоордун мисалдарын колдонуу менен бул маселелерди чечебиз.
Жөө күлүк үчүн мен 4 vCPU, 4 ГБ оперативдүү эстутум, 50 ГБ HDD менен Linux виртуалдык машинасын сунуштайм.
Интернетте gitlab-runner орнотуу боюнча көп маалымат бар, ошондуктан кыскача:
SSH аркылуу машинага кирүү
Эгер сизде 8 ГБ RAM аз болсо, анда мен сунуштайм алмашуу 10 ГБ жасооОшентип, ООМ өлтүргүч келип, оперативдүү эс тутумдун жетишсиздигинен биздин милдеттерибизди өлтүрүп албашы үчүн. Бул бир эле учурда 5тен ашык тапшырманы ишке киргизгенде болушу мүмкүн. Милдеттер жайыраак, бирок ырааттуулук менен ишке ашат.
OOM өлтүргүч менен мисал
Эгер сиз тапшырма журналдарында көрсөңүз bash: line 82: 26474 Killed, анда жөн гана жөө күлүк боюнча аткаруу sudo dmesg | grep 26474
[26474] 1002 26474 1061935 123806 339 0 0 java
Out of memory: Kill process 26474 (java) score 127 or sacrifice child
Killed process 26474 (java) total-vm:4247740kB, anon-rss:495224kB, file-rss:0kB, shmem-rss:0kB
Ал эми сүрөт ушуга окшош болсо, анда алмаштырууну кошуңуз же RAM кошуңуз.
Бул бир жөө күлүктө параллелдүү тапшырмаларды аткарууга мүмкүндүк берет. Кененирээк окуу бул жерде.
Эгер сизде күчтүүрөөк машина бар болсо, мисалы 8 vCPU, 16 ГБ оперативдүү эс тутум, анда бул сандарды жок дегенде 2 эсеге көбөйтүүгө болот. Бирок мунун баары бул жөө күлүктө эмнени жана канча көлөмдө учура турганынан көз каранды.
Негизги милдет универсалдуу docker-compose.yml болуп саналат, аны иштеп чыгуучулар/сыноочулар жергиликтүү жана CI түтүкчөсүндө колдоно алышат.
Биринчиден, биз CI үчүн уникалдуу кызмат аталыштарын жасайбыз. GitLab CI уникалдуу өзгөрмөлөрдүн бири өзгөрмө болуп саналат CI_JOB_ID. Эгер белгилесеңиз container_name мааниси менен "service-${CI_JOB_ID:-local}", анда учурда:
эгер CI_JOB_ID чөйрө өзгөрмөлөрүндө аныкталбаган,
анда кызматтын аталышы болот service-local
эгер CI_JOB_ID чөйрө өзгөрмөлөрүндө аныкталган (мисалы, 123),
анда кызматтын аталышы болот service-123
Экинчиден, биз ишке киргизилген кызматтар үчүн жалпы тармакты түзөбүз. Бул бир нече сыноо чөйрөсүн иштетүүдө бизге тармак деңгээлиндеги изоляцияны берет.
Комментарийлер менен менин docker-compose.yml мисалы
version: "3"
# Для корректной работы web (php) и fmt нужно,
# чтобы контейнеры имели общий исполняемый контент.
# В нашем случае, это директория /var/www/testrail
volumes:
static-content:
# Изолируем окружение на сетевом уровне
networks:
default:
external:
name: testrail-network-${CI_JOB_ID:-local}
services:
db:
image: mysql:5.7.22
# Каждый container_name содержит ${CI_JOB_ID:-local}
container_name: "testrail-mysql-${CI_JOB_ID:-local}"
environment:
MYSQL_HOST: db
MYSQL_DATABASE: mydb
MYSQL_ROOT_PASSWORD: 1234
SKIP_GRANT_TABLES: 1
SKIP_NETWORKING: 1
SERVICE_TAGS: dev
SERVICE_NAME: mysql
networks:
- default
migration:
image: registry.gitlab.com/touchbit/image/testrail/migration:latest
container_name: "testrail-migration-${CI_JOB_ID:-local}"
links:
- db
depends_on:
- db
networks:
- default
fpm:
image: registry.gitlab.com/touchbit/image/testrail/fpm:latest
container_name: "testrail-fpm-${CI_JOB_ID:-local}"
volumes:
- static-content:/var/www/testrail
links:
- db
networks:
- default
web:
image: registry.gitlab.com/touchbit/image/testrail/web:latest
container_name: "testrail-web-${CI_JOB_ID:-local}"
# Если переменные TR_HTTP_PORT или TR_HTTPS_PORTS не определены,
# то сервис поднимается на 80 и 443 порту соответственно.
ports:
- ${TR_HTTP_PORT:-80}:80
- ${TR_HTTPS_PORT:-443}:443
volumes:
- static-content:/var/www/testrail
links:
- db
- fpm
networks:
- default
Integration:
stage: test
tags:
- my-shell-runner
before_script:
# Аутентифицируемся в registry
- docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
# Генерируем псевдоуникальные TR_HTTP_PORT и TR_HTTPS_PORT
- export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
- export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
# создаем директорию с идентификатором задачи
- mkdir ${CI_JOB_ID}
# копируем в созданную директорию наш docker-compose.yml
# чтобы контекст был разный для каждой задачи
- cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
script:
# поднимаем наше окружение
- make docker-up
# запускаем тесты исполняемым jar (у меня так)
- java -jar itest.jar --http-port ${TR_HTTP_PORT} --https-port ${TR_HTTPS_PORT}
# или в контейнере
- docker run --network=testrail-network-${CI_JOB_ID:-local} --rm itest
after_script:
# собираем логи
- make docker-logs
# останавливаем окружение
- make docker-kill
artifacts:
# сохраняем логи
when: always
paths:
- logs
expire_in: 30 days
Мындай тапшырманы аткаруунун натыйжасында, артефакттардагы журналдар каталогу тейлөө жана сыноо журналдарын камтыйт. Бул ката болгон учурда абдан ыңгайлуу. Ар бир тест параллелдүү өз журналын жазат, бирок мен бул жөнүндө өзүнчө сүйлөшөм.
$ docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /home/gitlab-runner/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
$ export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
$ export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
$ mkdir ${CI_JOB_ID}
$ cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm testrail-network-${CI_JOB_ID:-local} || true
Error: No such network: testrail-network-204645172
docker network create testrail-network-${CI_JOB_ID:-local}
0a59552b4464b8ab484de6ae5054f3d5752902910bacb0a7b5eca698766d0331
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Pulling web ... done
Pulling fpm ... done
Pulling migration ... done
Pulling db ... done
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Creating volume "204645172_static-content" with default driver
Creating testrail-mysql-204645172 ...
Creating testrail-mysql-204645172 ... done
Creating testrail-migration-204645172 ... done
Creating testrail-fpm-204645172 ... done
Creating testrail-web-204645172 ... done
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
c6b76f9135ed registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 13 seconds ago Up 1 second 0.0.0.0:51148->80/tcp, 0.0.0.0:25426->443/tcp testrail-web-204645172
01d303262d8e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 16 seconds ago Up 13 seconds 9000/tcp testrail-fpm-204645172
2cdab1edbf6a registry.gitlab.com/touchbit/image/testrail/migration:latest "docker-entrypoint.s…" 16 seconds ago Up 13 seconds 3306/tcp, 33060/tcp testrail-migration-204645172
826aaf7c0a29 mysql:5.7.22 "docker-entrypoint.s…" 18 seconds ago Up 16 seconds 3306/tcp testrail-mysql-204645172
6dbb3fae0322 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 36 seconds ago Up 22 seconds 0.0.0.0:44202->80/tcp, 0.0.0.0:20151->443/tcp testrail-web-204645084
3540f8d448ce registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 38 seconds ago Up 35 seconds 9000/tcp testrail-fpm-204645084
70fea72aa10d mysql:5.7.22 "docker-entrypoint.s…" 40 seconds ago Up 37 seconds 3306/tcp testrail-mysql-204645084
d8aa24b2892d registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up 53 seconds 0.0.0.0:31103->80/tcp, 0.0.0.0:43872->443/tcp testrail-web-204644881
6d4ccd910fad registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644881
685d8023a3ec mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644881
1cdfc692003a registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up About a minute 0.0.0.0:44752->80/tcp, 0.0.0.0:23540->443/tcp testrail-web-204644793
6f26dfb2683e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644793
029e16b26201 mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644793
c10443222ac6 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:57123->80/tcp, 0.0.0.0:31657->443/tcp testrail-web-204567103
04339229397e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204567103
6ae0accab28d mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204567103
b66b60d79e43 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:56321->80/tcp, 0.0.0.0:58749->443/tcp testrail-web-204553690
033b1f46afa9 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553690
a8879c5ef941 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553690
069954ba6010 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:32869->80/tcp, 0.0.0.0:16066->443/tcp testrail-web-204553539
ed6b17d911a5 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553539
1a1eed057ea0 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553539
Бардык тапшырмалар ийгиликтүү аяктады
Тапшырма артефакттарында тейлөө жана сыноо журналдары бар
Баары кооз көрүнөт, бирок бир нюанс бар. Интеграция тесттери жүрүп жатканда түтүктү күч менен жокко чыгарууга болот, мындай учурда иштеп жаткан контейнерлер токтотулбайт. Мезгил-мезгили менен күлүктү тазалоо керек. Тилекке каршы, GitLab CEде өркүндөтүү тапшырмасы дагы эле статуста ачык
Бирок биз тапшырманы ишке киргизүүнү графикке ылайык коштук, аны кол менен иштетүүгө эч ким тыюу салбайт.
Биздин долбоорго өтүңүз -> CI/CD -> Графиктер жана тапшырманы аткарыңыз Clean runner
Бардыгы:
Бизде бир снаряд бар.
Милдеттер менен айлана-чөйрөнүн ортосунда эч кандай карама-каршылыктар жок.
Биз параллелдүү интеграция тесттери менен тапшырмаларды аткарабыз.
Сиз интеграциялык тесттерди жергиликтүү же контейнерде иштете аласыз.
Тейлөө жана сыноо журналдары чогултулуп, куур тапшырмасына тиркелет.
Жөө күлүктү эски Docker сүрөттөрүнөн тазалоого болот.
Орнотуу убактысы ~2 саат.
Чындыгында, баары ушул. Мен пикир алууга кубанычта болом.