ProHoster > Blog > Rêveberî > GitLab Shell Runner. Destpêka pêşbaziyê ya karûbarên ceribandin bi karanîna Docker Compose
GitLab Shell Runner. Destpêka pêşbaziyê ya karûbarên ceribandin bi karanîna Docker Compose
Ev gotar dê hem ji ceribandin û hem jî ji pêşdebiran re eleqedar be, lê bi giranî ji bo pisporên otomasyonê yên ku bi pirsgirêka sazkirina GitLab CI/CD re ji bo ceribandina entegrasyonê di şert û mercên kêm çavkaniyên binesaziyê û / an tunebûna orkestrasyona konteynerê de rû bi rû ne. rawesta axaftevan. Ez ê ji we re vebêjim ka meriv çawa bi karanîna docker compose-ê li ser yek gerîdeya GitLab-ê şêlê yekane sazkirina hawîrdorên ceribandinê saz dike û ji ber vê yekê dema ku çend hawîrdor têne bicîh kirin, karûbarên dest pêkirî bi hevûdu re mudaxele nekin.
Di pratîka min de, pir caran diqewime ku ceribandina entegrasyonê li ser projeyan "tedawî" bû. Û bi gelemperî pirsgirêka yekem û ya herî girîng xeta CI ye, ku tê de ceribandina entegrasyonê ye tê pêşxistin karûbar(ên) di hawîrdora dev/qonaxê de tê kirin. Ev bû sedema gelek pirsgirêkan:
Ji ber kêmasiyên di karûbarek taybetî de di dema ceribandina entegrasyonê de, dibe ku dora ceribandinê ji hêla daneyên şikestî ve were xera kirin. Bûyerên ku şandina daxwazek bi formatek JSON şikestî karûbar têk çû, ku stand bi tevahî bêxebat kir.
Her ku daneyên testê zêde dibin hêdîbûna dora ceribandinê. Ez difikirim ku bê wate ye ku meriv mînakek bi paqijkirina/vegerandina databasê vebêje. Di pratîka xwe de, min projeyek ku ev prosedur bi rêkûpêk derbas bû, nedît.
Metirsiya têkbirina fonksiyona çerxa ceribandinê dema ceribandina mîhengên pergalê yên gelemperî. Mînakî, bikarhêner / kom / şîfre / polîtîkaya serîlêdanê.
Daneyên ceribandinê yên ji ceribandinên otomatîkî jiyanê ji bo ceribandinên destan dijwar dike.
Hin dê bibêjin ku ototestên baş divê daneyên piştî xwe paqij bikin. Li dijî min argûman hene:
Standên dînamîk ji bo karanîna pir hêsan in.
Ne ku her tişt bi riya API-ê ji pergalê were rakirin. Mînakî, bangek jêbirina tiştekê nehat bicîh kirin ji ber ku ew bi mantiqa karsaziyê berevajî dike.
Dema ku bi navgîniya API-ê ve tiştek diafirîne, dikare hejmareke mezin ji metadata were afirandin, ku jêbirina wê pirsgirêk e.
Ger ceribandin di nav xwe de girêdayî bin, wê hingê pêvajoya paqijkirina daneyan piştî ceribandinên xebitandinê vediguhere serêş.
Bangên zêde (û, bi dîtina min, ne rastdar) ji API re.
Û argumana sereke: gava ku daneyên testê rasterast ji databasê têne paqij kirin. Ev vediguhere sîrkek rastîn a PK/FK! Em ji pêşdebiran dibihîzin: "Min tenê nîşanek lê zêde kir / jêkir / guhezand, çima 100500 ceribandinên entegrasyonê hatin girtin?"
Bi dîtina min, çareseriya herî çêtirîn jîngehek dînamîkî ye.
Pir kes docker-compose bikar tînin da ku hawîrdorek ceribandinê bimeşînin, lê hindik kes dema ku ceribandina entegrasyonê di CI/CD de pêk tînin docker-compose bikar tînin. Û li vir ez kubernetes, swarm û platformên din ên orkestrasyona konteyneran hesab nakim. Ne her pargîdaniyek wan heye. Ger docker-compose.yml gerdûnî bûya dê xweş be.
Tewra ger ku me rêça xweya QA-yê hebe, em çawa dikarin pê ewle bin ku karûbarên ku bi rêya docker-compose hatine destpêkirin bi hevûdu re destwerdanê nakin?
Meriv çawa têketinên karûbarên ceribandinê berhev dike?
Meriv çawa bezê paqij dike?
Min ji bo projeyên xwe gerîdeya xweya GitLab heye û min di dema pêşkeftinê de rastî van pirsan hat muwekîlê Java bo TestRail. Bi rastî, dema ku ceribandinên entegrasyonê dimeşînin. Li jêr em ê van pirsgirêkan bi nimûneyên vê projeyê çareser bikin.
Ji bo bezê, ez makîneyek virtual Linux ya bi 4 vCPU, 4 GB RAM, 50 GB HDD pêşniyar dikim.
Li ser sazkirina gitlab-runner li ser Înternetê gelek agahdarî hene, ji ber vê yekê bi kurtî:
Têkeve makîneyê bi rêya SSH
Ger we kêmtir ji 8 GB RAM heye, wê hingê ez pêşniyar dikim 10 GB biguherîninda ku kujerê OOM ji ber nebûna RAMê neyê û karên me nekuje. Dema ku zêdetirî 5 karan bi hevdemî werin destpêkirin ev dikare bibe. Kar dê hêdîtir, lê bi domdarî pêşde biçin.
Mînak bi kujerê OOM
Ger hûn di têketinên peywirê de bibînin bash: line 82: 26474 Killed, paşê tenê li ser runner îdam bikin sudo dmesg | grep 26474
[26474] 1002 26474 1061935 123806 339 0 0 java
Out of memory: Kill process 26474 (java) score 127 or sacrifice child
Killed process 26474 (java) total-vm:4247740kB, anon-rss:495224kB, file-rss:0kB, shmem-rss:0kB
Û heke wêne tiştek bi vî rengî xuya dike, wê hingê guheztin an RAM lê zêde bikin.
Ev ê bihêle ku hûn li ser yek bezê karên paralel bimeşînin. Read more vir.
Ger we makîneyek bihêztir heye, mînakî 8 vCPU, 16 GB RAM, wê hingê ev hejmar dikarin bi kêmî ve 2 carî mezintir bibin. Lê ew hemî bi wê ve girêdayî ye ku bi rastî dê li ser vê bazdanê çi û bi çi rêjeyê were destpêkirin.
Karê sereke docker-compose.yml gerdûnî ye, ku pêşdebiran/ceribandin dikarin hem herêmî û hem jî di xeta CI de bikar bînin.
Berî her tiştî, em ji bo CI navên karûbarê bêhempa çêdikin. Yek ji guhêrbarên bêhempa yên di GitLab CI de guhêrbar e CI_JOB_ID. Ger hûn diyar bikin container_name bi wate "service-${CI_JOB_ID:-local}", paşê di rewşê de:
heke CI_JOB_ID di guherbarên jîngehê de nayên diyarkirin,
paşê navê xizmetê dê bibe service-local
heke CI_JOB_ID di guhêrbarên hawirdorê de hatine diyarkirin (mînak 123),
paşê navê xizmetê dê bibe service-123
Ya duyemîn, em torgilokek hevpar ji bo karûbarên destpêkirinê diafirînin. Ev gava ku gelek hawîrdorên ceribandinê dimeşîne îzolasyona asta torê dide me.
version: "3"
# Для корректной работы web (php) и fmt нужно,
# чтобы контейнеры имели общий исполняемый контент.
# В нашем случае, это директория /var/www/testrail
volumes:
static-content:
# Изолируем окружение на сетевом уровне
networks:
default:
external:
name: testrail-network-${CI_JOB_ID:-local}
services:
db:
image: mysql:5.7.22
# Каждый container_name содержит ${CI_JOB_ID:-local}
container_name: "testrail-mysql-${CI_JOB_ID:-local}"
environment:
MYSQL_HOST: db
MYSQL_DATABASE: mydb
MYSQL_ROOT_PASSWORD: 1234
SKIP_GRANT_TABLES: 1
SKIP_NETWORKING: 1
SERVICE_TAGS: dev
SERVICE_NAME: mysql
networks:
- default
migration:
image: registry.gitlab.com/touchbit/image/testrail/migration:latest
container_name: "testrail-migration-${CI_JOB_ID:-local}"
links:
- db
depends_on:
- db
networks:
- default
fpm:
image: registry.gitlab.com/touchbit/image/testrail/fpm:latest
container_name: "testrail-fpm-${CI_JOB_ID:-local}"
volumes:
- static-content:/var/www/testrail
links:
- db
networks:
- default
web:
image: registry.gitlab.com/touchbit/image/testrail/web:latest
container_name: "testrail-web-${CI_JOB_ID:-local}"
# Если переменные TR_HTTP_PORT или TR_HTTPS_PORTS не определены,
# то сервис поднимается на 80 и 443 порту соответственно.
ports:
- ${TR_HTTP_PORT:-80}:80
- ${TR_HTTPS_PORT:-443}:443
volumes:
- static-content:/var/www/testrail
links:
- db
- fpm
networks:
- default
Integration:
stage: test
tags:
- my-shell-runner
before_script:
# Аутентифицируемся в registry
- docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
# Генерируем псевдоуникальные TR_HTTP_PORT и TR_HTTPS_PORT
- export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
- export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
# создаем директорию с идентификатором задачи
- mkdir ${CI_JOB_ID}
# копируем в созданную директорию наш docker-compose.yml
# чтобы контекст был разный для каждой задачи
- cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
script:
# поднимаем наше окружение
- make docker-up
# запускаем тесты исполняемым jar (у меня так)
- java -jar itest.jar --http-port ${TR_HTTP_PORT} --https-port ${TR_HTTPS_PORT}
# или в контейнере
- docker run --network=testrail-network-${CI_JOB_ID:-local} --rm itest
after_script:
# собираем логи
- make docker-logs
# останавливаем окружение
- make docker-kill
artifacts:
# сохраняем логи
when: always
paths:
- logs
expire_in: 30 days
Di encama xebitandina peywirek weha de, pelrêça têketinên di huneran de dê têketinên karûbar û ceribandinê hebe. Ku di doza xeletiyan de pir hêsan e. Her ceribandinek paralel têketina xwe dinivîse, lê ez ê li ser vê yekê cuda biaxivim.
$ docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /home/gitlab-runner/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
$ export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
$ export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
$ mkdir ${CI_JOB_ID}
$ cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm testrail-network-${CI_JOB_ID:-local} || true
Error: No such network: testrail-network-204645172
docker network create testrail-network-${CI_JOB_ID:-local}
0a59552b4464b8ab484de6ae5054f3d5752902910bacb0a7b5eca698766d0331
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Pulling web ... done
Pulling fpm ... done
Pulling migration ... done
Pulling db ... done
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Creating volume "204645172_static-content" with default driver
Creating testrail-mysql-204645172 ...
Creating testrail-mysql-204645172 ... done
Creating testrail-migration-204645172 ... done
Creating testrail-fpm-204645172 ... done
Creating testrail-web-204645172 ... done
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
c6b76f9135ed registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 13 seconds ago Up 1 second 0.0.0.0:51148->80/tcp, 0.0.0.0:25426->443/tcp testrail-web-204645172
01d303262d8e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 16 seconds ago Up 13 seconds 9000/tcp testrail-fpm-204645172
2cdab1edbf6a registry.gitlab.com/touchbit/image/testrail/migration:latest "docker-entrypoint.s…" 16 seconds ago Up 13 seconds 3306/tcp, 33060/tcp testrail-migration-204645172
826aaf7c0a29 mysql:5.7.22 "docker-entrypoint.s…" 18 seconds ago Up 16 seconds 3306/tcp testrail-mysql-204645172
6dbb3fae0322 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 36 seconds ago Up 22 seconds 0.0.0.0:44202->80/tcp, 0.0.0.0:20151->443/tcp testrail-web-204645084
3540f8d448ce registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 38 seconds ago Up 35 seconds 9000/tcp testrail-fpm-204645084
70fea72aa10d mysql:5.7.22 "docker-entrypoint.s…" 40 seconds ago Up 37 seconds 3306/tcp testrail-mysql-204645084
d8aa24b2892d registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up 53 seconds 0.0.0.0:31103->80/tcp, 0.0.0.0:43872->443/tcp testrail-web-204644881
6d4ccd910fad registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644881
685d8023a3ec mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644881
1cdfc692003a registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up About a minute 0.0.0.0:44752->80/tcp, 0.0.0.0:23540->443/tcp testrail-web-204644793
6f26dfb2683e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644793
029e16b26201 mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644793
c10443222ac6 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:57123->80/tcp, 0.0.0.0:31657->443/tcp testrail-web-204567103
04339229397e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204567103
6ae0accab28d mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204567103
b66b60d79e43 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:56321->80/tcp, 0.0.0.0:58749->443/tcp testrail-web-204553690
033b1f46afa9 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553690
a8879c5ef941 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553690
069954ba6010 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:32869->80/tcp, 0.0.0.0:16066->443/tcp testrail-web-204553539
ed6b17d911a5 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553539
1a1eed057ea0 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553539
Hemî peywir bi serfirazî qediyan
Karûbarên karûbar têketinên karûbar û ceribandinê hene
Her tişt xweş xuya dike, lê nuansek heye. Dema ku ceribandinên entegrasyonê dimeşînin, xeta boriyê dikare bi zorê were betal kirin, di vê rewşê de konteynerên xebitandinê nayên sekinandin. Dem bi dem hûn hewce ne ku rûkê paqij bikin. Mixabin, peywira çêtirkirina GitLab CE hîn jî di statûyê de ye Vekirî
Lê me destpêkirina karekî li gorî bernameyek zêde kiriye, û kes me qedexe nake ku em bi destan bimeşînin.
Herin projeya me -> CI/CD -> Bername û peywirê bimeşînin Clean runner
Total:
Yek bezê me heye.
Di navbera kar û hawîrdorê de nakokî tune.
Em peywirên bi testên entegrasyonê re paralel dimeşînin.
Hûn dikarin ceribandinên entegrasyonê an herêmî an jî di konteynerek de bimeşînin.
Têketinên karûbar û ceribandinê têne berhev kirin û bi peywira boriyê ve têne girêdan.
Mimkûn e ku meriv bezê ji wêneyên kevn ên Docker paqij bike.
Dema sazkirinê ~ 2 saet e.
Bi rastî ev hemû ye. Ez ê kêfxweş bibim ku bersivê werbigirim.