ProHoster > Блог > басқарма > GitLab Shell Runner. Docker Compose көмегімен сыналған қызметтерді бәсекеге қабілетті іске қосу
GitLab Shell Runner. Docker Compose көмегімен сыналған қызметтерді бәсекеге қабілетті іске қосу
Бұл мақала тестерлерді де, әзірлеушілерді де қызықтырады, бірақ негізінен инфрақұрылым ресурстарының жеткіліксіздігі және/немесе контейнердің жоқтығы жағдайында интеграциялық тестілеу үшін GitLab CI/CD орнату мәселесіне тап болған автоматтандыру мамандарына арналған. оркестрлік платформа. Мен сізге бір GitLab қабықша жүгіргішінде docker compose көмегімен сынақ орталарын орналастыруды қалай орнату керектігін айтып беремін және бірнеше орталарды орналастыру кезінде іске қосылған қызметтер бір-біріне кедергі жасамайды.
Менің тәжірибемде жобаларда интеграциялық тестілеуді «емдеу» жиі болатын. Көбінесе бірінші және ең маңызды мәселе - интеграциялық тестілеу жүргізілетін CI құбыры әзірленуде қызмет(тер) әзірлеу/кезең ортасында орындалады. Бұл біршама қиындықтар туғызды:
Интеграциялық тестілеу кезінде белгілі бір қызметтегі ақауларға байланысты сынақ тізбегі бұзылған деректермен зақымдалуы мүмкін. Бұзылған JSON пішімі бар сұрауды жіберу қызметтің бұзылуына әкеліп соқтырған, бұл стендті толығымен жұмыс істемейтін жағдайлар болды.
Сынақ деректері артқан сайын сынақ тізбегінің баяулауы. Дерекқорды тазалау/қайтару арқылы мысалды сипаттаудың мағынасы жоқ деп ойлаймын. Менің тәжірибемде мен бұл процедура біркелкі өткен жобаны кездестірген жоқпын.
Жалпы жүйе параметрлерін сынау кезінде сынақ тізбегінің функционалдығын бұзу қаупі. Мысалы, пайдаланушы/топ/құпия сөз/қолданба саясаты.
Автоматтандырылған сынақтардан алынған сынақ деректері қолмен тестілеушілердің өмірін қиындатады.
Кейбіреулер жақсы автотесттер деректерді өздерінен кейін тазалауы керек дейді. Менің қарсы дәлелдерім бар:
Динамикалық стендтерді пайдалану өте ыңғайлы.
Әрбір нысанды API арқылы жүйеден жою мүмкін емес. Мысалы, нысанды жоюға шақыру іске асырылмады, себебі ол бизнес логикасына қайшы келеді.
API арқылы нысанды жасау кезінде метадеректердің үлкен көлемін жасауға болады, оларды жою қиын.
Егер сынақтардың бір-біріне тәуелділігі болса, сынақтарды орындағаннан кейін деректерді тазалау процесі бас ауруына айналады.
API-ге қосымша (және, менің ойымша, ақталмаған) қоңыраулар.
Ал негізгі аргумент: сынақ деректері тікелей дерекқордан тазартыла бастағанда. Бұл нағыз PK/FK циркіне айналады! Әзірлеушілерден: «Мен жаңа ғана белгіні қостым/өшірдім/атын өзгерттім, неге 100500 XNUMX интеграциялық сынақ ұсталды?»
Менің ойымша, ең оңтайлы шешім - динамикалық орта.
Көптеген адамдар сынақ ортасын іске қосу үшін docker-compose пайдаланады, бірақ CI/CD жүйесінде интеграциялық тестілеуді жүргізу кезінде аз адамдар docker-compose пайдаланады. Бұл жерде мен кубернеттерді, үйірлерді және басқа контейнерлік оркестрлік платформаларды есепке алмаймын. Әрбір компанияда олар жоқ. docker-compose.yml әмбебап болса жақсы болар еді.
Біздің жеке QA жүгірушісі болса да, docker-compose арқылы іске қосылған қызметтер бір-біріне кедергі келтірмейтініне қалай көз жеткізе аламыз?
Тексерілген қызметтердің журналдарын қалай жинауға болады?
Жүгіргішті қалай тазалау керек?
Менің жобаларым үшін өзімнің GitLab жүгірушісім бар және мен әзірлеу кезінде осы сұрақтарға тап болдым Java клиенті үшін TestRail. Дәлірек айтқанда, интеграциялық сынақтарды орындау кезінде. Төменде біз осы жобадағы мысалдар арқылы осы мәселелерді шешеміз.
Жүгіруші үшін 4 vCPU, 4 ГБ жедел жады, 50 ГБ HDD бар Linux виртуалды машинасын ұсынамын.
Интернетте gitlab-runner орнату туралы көптеген ақпарат бар, сондықтан қысқаша:
SSH арқылы құрылғыға кіріңіз
Егер сізде 8 ГБ-тан аз жедел жады болса, мен ұсынамын 10 ГБ своп жасаңызOOM өлтіруші келіп, жедел жадтың жетіспеушілігіне байланысты біздің тапсырмаларды өлтірмеуі үшін. Бұл 5-тен астам тапсырма бір уақытта іске қосылғанда орын алуы мүмкін. Тапсырмалар баяу, бірақ тұрақты түрде орындалады.
OOM өлтірушісі бар мысал
Тапсырма журналдарында көрсеңіз bash: line 82: 26474 Killed, содан кейін жүгірушіде орындаңыз sudo dmesg | grep 26474
[26474] 1002 26474 1061935 123806 339 0 0 java
Out of memory: Kill process 26474 (java) score 127 or sacrifice child
Killed process 26474 (java) total-vm:4247740kB, anon-rss:495224kB, file-rss:0kB, shmem-rss:0kB
Ал егер сурет осындай болса, не своп қосыңыз немесе RAM қосыңыз.
Бұл бір жүгірушіде параллель тапсырмаларды орындауға мүмкіндік береді. Ары қарай оқу осында.
Егер сізде неғұрлым қуатты машина болса, мысалы, 8 vCPU, 16 ГБ жедел жады, онда бұл сандарды кем дегенде 2 есе көбейтуге болады. Бірақ бәрі осы жүгірушіде нақты не және қандай мөлшерде іске қосылатынына байланысты.
Негізгі тапсырма әмбебап docker-compose.yml болып табылады, оны әзірлеушілер/тестшілер жергілікті түрде де, CI құбырында да пайдалана алады.
Ең алдымен, біз CI үшін бірегей қызмет атауларын жасаймыз. GitLab CI жүйесіндегі бірегей айнымалылардың бірі айнымалы болып табылады CI_JOB_ID. Егер сіз анықтасаңыз container_name мәнімен бірге "service-${CI_JOB_ID:-local}", содан кейін жағдайда:
егер болса CI_JOB_ID орта айнымалыларында анықталмаған,
содан кейін қызмет атауы болады service-local
егер болса CI_JOB_ID ортаның айнымалы мәндерінде анықталған (мысалы, 123),
содан кейін қызмет атауы болады service-123
Екіншіден, біз іске қосылған қызметтердің ортақ желісін жасаймыз. Бұл бірнеше сынақ орталарын іске қосқан кезде бізге желі деңгейіндегі оқшаулауды береді.
Шын мәнінде, бұл табысқа жетудің алғашқы қадамы =)
Түсініктемелері бар docker-compose.yml мысалы
version: "3"
# Для корректной работы web (php) и fmt нужно,
# чтобы контейнеры имели общий исполняемый контент.
# В нашем случае, это директория /var/www/testrail
volumes:
static-content:
# Изолируем окружение на сетевом уровне
networks:
default:
external:
name: testrail-network-${CI_JOB_ID:-local}
services:
db:
image: mysql:5.7.22
# Каждый container_name содержит ${CI_JOB_ID:-local}
container_name: "testrail-mysql-${CI_JOB_ID:-local}"
environment:
MYSQL_HOST: db
MYSQL_DATABASE: mydb
MYSQL_ROOT_PASSWORD: 1234
SKIP_GRANT_TABLES: 1
SKIP_NETWORKING: 1
SERVICE_TAGS: dev
SERVICE_NAME: mysql
networks:
- default
migration:
image: registry.gitlab.com/touchbit/image/testrail/migration:latest
container_name: "testrail-migration-${CI_JOB_ID:-local}"
links:
- db
depends_on:
- db
networks:
- default
fpm:
image: registry.gitlab.com/touchbit/image/testrail/fpm:latest
container_name: "testrail-fpm-${CI_JOB_ID:-local}"
volumes:
- static-content:/var/www/testrail
links:
- db
networks:
- default
web:
image: registry.gitlab.com/touchbit/image/testrail/web:latest
container_name: "testrail-web-${CI_JOB_ID:-local}"
# Если переменные TR_HTTP_PORT или TR_HTTPS_PORTS не определены,
# то сервис поднимается на 80 и 443 порту соответственно.
ports:
- ${TR_HTTP_PORT:-80}:80
- ${TR_HTTPS_PORT:-443}:443
volumes:
- static-content:/var/www/testrail
links:
- db
- fpm
networks:
- default
Integration:
stage: test
tags:
- my-shell-runner
before_script:
# Аутентифицируемся в registry
- docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
# Генерируем псевдоуникальные TR_HTTP_PORT и TR_HTTPS_PORT
- export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
- export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
# создаем директорию с идентификатором задачи
- mkdir ${CI_JOB_ID}
# копируем в созданную директорию наш docker-compose.yml
# чтобы контекст был разный для каждой задачи
- cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
script:
# поднимаем наше окружение
- make docker-up
# запускаем тесты исполняемым jar (у меня так)
- java -jar itest.jar --http-port ${TR_HTTP_PORT} --https-port ${TR_HTTPS_PORT}
# или в контейнере
- docker run --network=testrail-network-${CI_JOB_ID:-local} --rm itest
after_script:
# собираем логи
- make docker-logs
# останавливаем окружение
- make docker-kill
artifacts:
# сохраняем логи
when: always
paths:
- logs
expire_in: 30 days
Осындай тапсырманы орындау нәтижесінде артефактілердегі журналдар каталогында қызмет және сынақ журналдары болады. Бұл қателер болған жағдайда өте ыңғайлы. Әр тест параллельді түрде өз журналын жазады, бірақ мен бұл туралы бөлек айтамын.
$ docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /home/gitlab-runner/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
$ export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
$ export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
$ mkdir ${CI_JOB_ID}
$ cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm testrail-network-${CI_JOB_ID:-local} || true
Error: No such network: testrail-network-204645172
docker network create testrail-network-${CI_JOB_ID:-local}
0a59552b4464b8ab484de6ae5054f3d5752902910bacb0a7b5eca698766d0331
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Pulling web ... done
Pulling fpm ... done
Pulling migration ... done
Pulling db ... done
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Creating volume "204645172_static-content" with default driver
Creating testrail-mysql-204645172 ...
Creating testrail-mysql-204645172 ... done
Creating testrail-migration-204645172 ... done
Creating testrail-fpm-204645172 ... done
Creating testrail-web-204645172 ... done
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
c6b76f9135ed registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 13 seconds ago Up 1 second 0.0.0.0:51148->80/tcp, 0.0.0.0:25426->443/tcp testrail-web-204645172
01d303262d8e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 16 seconds ago Up 13 seconds 9000/tcp testrail-fpm-204645172
2cdab1edbf6a registry.gitlab.com/touchbit/image/testrail/migration:latest "docker-entrypoint.s…" 16 seconds ago Up 13 seconds 3306/tcp, 33060/tcp testrail-migration-204645172
826aaf7c0a29 mysql:5.7.22 "docker-entrypoint.s…" 18 seconds ago Up 16 seconds 3306/tcp testrail-mysql-204645172
6dbb3fae0322 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 36 seconds ago Up 22 seconds 0.0.0.0:44202->80/tcp, 0.0.0.0:20151->443/tcp testrail-web-204645084
3540f8d448ce registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 38 seconds ago Up 35 seconds 9000/tcp testrail-fpm-204645084
70fea72aa10d mysql:5.7.22 "docker-entrypoint.s…" 40 seconds ago Up 37 seconds 3306/tcp testrail-mysql-204645084
d8aa24b2892d registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up 53 seconds 0.0.0.0:31103->80/tcp, 0.0.0.0:43872->443/tcp testrail-web-204644881
6d4ccd910fad registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644881
685d8023a3ec mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644881
1cdfc692003a registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up About a minute 0.0.0.0:44752->80/tcp, 0.0.0.0:23540->443/tcp testrail-web-204644793
6f26dfb2683e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644793
029e16b26201 mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644793
c10443222ac6 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:57123->80/tcp, 0.0.0.0:31657->443/tcp testrail-web-204567103
04339229397e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204567103
6ae0accab28d mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204567103
b66b60d79e43 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:56321->80/tcp, 0.0.0.0:58749->443/tcp testrail-web-204553690
033b1f46afa9 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553690
a8879c5ef941 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553690
069954ba6010 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:32869->80/tcp, 0.0.0.0:16066->443/tcp testrail-web-204553539
ed6b17d911a5 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553539
1a1eed057ea0 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553539
Барлық тапсырмалар сәтті орындалды
Тапсырма артефактілері қызмет және сынақ журналдарын қамтиды
Барлығы әдемі сияқты, бірақ бір нюанс бар. Интеграциялық сынақтар орындалып жатқанда құбырды мәжбүрлеп тоқтатуға болады, бұл жағдайда жұмыс істейтін контейнерлер тоқтатылмайды. Уақыт өте келе жүгіргішті тазалау керек. Өкінішке орай, GitLab CE жүйесін жетілдіру міндеті әлі де күйінде ашық
Бірақ біз кестеге сәйкес тапсырманы іске қосуды қостық және оны қолмен орындауға ешкім тыйым салмайды.
Біздің жобаға өтіңіз -> CI/CD -> Кестелер және тапсырманы іске қосыңыз Clean runner
Барлығы:
Бізде бір снаряд бар.
Тапсырмалар мен қоршаған орта арасында қайшылықтар жоқ.
Біз біріктіру сынақтары бар тапсырмаларды параллель орындаймыз.
Біріктіру сынақтарын жергілікті немесе контейнерде іске қосуға болады.
Қызметтік және сынақ журналдары жиналады және құбыр тапсырмасына бекітіледі.
Жүгіргішті ескі Docker кескіндерінен тазалауға болады.
Орнату уақыты ~2 сағат.
Мұның бәрі, шын мәнінде. Мен кері байланыс алуға қуаныштымын.