ProHoster > Blog > Ma'muriyat > GitLab Shell Runner. Docker Compose yordamida sinovdan o'tgan xizmatlarni raqobatbardosh ishga tushirish
GitLab Shell Runner. Docker Compose yordamida sinovdan o'tgan xizmatlarni raqobatbardosh ishga tushirish
Ushbu maqola ham testerlar, ham ishlab chiquvchilar uchun qiziqarli bo'ladi, lekin asosan infratuzilma resurslari yetarli bo'lmagan va/yoki konteyner orkestratsiyasi yo'qligi sharoitida integratsiya sinovlari uchun GitLab CI/CD-ni o'rnatish muammosiga duch kelgan avtomatlashtirish bo'yicha mutaxassislar uchun mo'ljallangan. platforma. Men sizga bitta GitLab shell runnerida docker compose yordamida sinov muhitini qanday o'rnatishni va bir nechta muhitlarni o'rnatishda ishga tushirilgan xizmatlar bir-biriga xalaqit bermasligini aytib beraman.
Mening amaliyotimda ko'pincha integratsiya testlari loyihalarda "muomala qilingan". Va ko'pincha birinchi va eng muhim muammo - bu integratsiya sinovlari o'tkaziladigan CI quvur liniyasi ishlab chiqilmoqda xizmat(lar) ishlab chiquvchi/bosqich muhitida amalga oshiriladi. Bu juda ko'p muammolarni keltirib chiqardi:
Integratsiya sinovi paytida ma'lum bir xizmatdagi nuqsonlar tufayli sinov sxemasi buzilgan ma'lumotlardan zarar ko'rishi mumkin. Buzilgan JSON formati bilan so'rov yuborilganda xizmat ishlamay qolgan, bu esa stendni to'liq ishlamay qolgan holga keltirgan.
Sinov ma'lumotlari ortib borishi bilan sinov sxemasining sekinlashishi. O'ylaymanki, ma'lumotlar bazasini tozalash/orqaga qaytarish bilan misolni tasvirlashning ma'nosi yo'q. Amaliyotimda men ushbu protsedura muammosiz o'tgan loyihani uchratmadim.
Umumiy tizim sozlamalarini sinab ko'rishda sinov sxemasining funksionalligini buzish xavfi. Masalan, foydalanuvchi/guruh/parol/ilova siyosati.
Avtomatlashtirilgan testlardan olingan test ma'lumotlari qo'lda sinovchilarning hayotini qiyinlashtiradi.
Ba'zilar yaxshi avtotestlar ma'lumotlarni o'zlaridan keyin tozalashlari kerakligini aytadilar. Menga qarshi dalillarim bor:
Dinamik stendlardan foydalanish juda qulay.
API orqali har bir ob'ektni tizimdan olib tashlash mumkin emas. Misol uchun, ob'ektni o'chirish uchun qo'ng'iroq amalga oshirilmadi, chunki u biznes mantig'iga zid keladi.
API orqali ob'ekt yaratishda katta miqdordagi metama'lumotlar yaratilishi mumkin, ularni o'chirish muammoli.
Agar testlar o'zaro bog'liqliklarga ega bo'lsa, testlardan so'ng ma'lumotlarni tozalash jarayoni bosh og'rig'iga aylanadi.
APIga qo'shimcha (va, mening fikrimcha, oqlanmagan) qo'ng'iroqlar.
Va asosiy dalil: test ma'lumotlari to'g'ridan-to'g'ri ma'lumotlar bazasidan tozalana boshlaganda. Bu haqiqiy PK/FK sirkiga aylanmoqda! Biz ishlab chiquvchilardan eshitamiz: "Men hozirgina belgi qo'shdim/o'chirdim/nomini o'zgartirdim, nega 100500 integratsiya testlari qo'lga tushdi?"
Menimcha, eng maqbul yechim - bu dinamik muhit.
Ko'pchilik sinov muhitini ishga tushirish uchun docker-compose-dan foydalanadi, ammo CI/CD-da integratsiya testini o'tkazishda kam odam docker-compose-dan foydalanadi. Va bu erda men kubernetlar, to'da va boshqa konteyner orkestr platformalarini hisobga olmayapman. Har bir kompaniyada ular mavjud emas. Agar docker-compose.yml universal bo'lsa yaxshi bo'lardi.
Bizning shaxsiy QA runnerimiz bo'lsa ham, docker-compose orqali ishga tushirilgan xizmatlar bir-biriga xalaqit bermasligiga qanday ishonch hosil qilishimiz mumkin?
Sinovdan o'tgan xizmatlar jurnallarini qanday yig'ish mumkin?
Yuguruvchini qanday tozalash kerak?
Mening loyihalarim uchun o'zimning GitLab yuguruvchim bor va men ishlab chiqish jarayonida bu savollarga duch keldim Java mijozi uchun TestRail. Aniqroq aytganda, integratsiya testlarini o'tkazishda. Quyida biz ushbu loyihadan misollar yordamida ushbu muammolarni hal qilamiz.
Yuguruvchi uchun 4 vCPU, 4 GB RAM, 50 GB HDD bilan Linux virtual mashinasini tavsiya qilaman.
Internetda gitlab-runner-ni o'rnatish haqida juda ko'p ma'lumotlar mavjud, shuning uchun qisqacha:
SSH orqali mashinaga kiring
Agar sizda 8 GB dan kam RAM bo'lsa, men tavsiya qilaman 10 GB almashtiringShunday qilib, OOM qotili kelib, RAM etishmasligi tufayli bizning vazifalarimizni o'ldirmaydi. Bu bir vaqtning o'zida 5 dan ortiq vazifalar ishga tushirilganda sodir bo'lishi mumkin. Vazifalar sekinroq, ammo barqaror ravishda davom etadi.
OOM qotiliga misol
Vazifa jurnallarida ko'rsangiz bash: line 82: 26474 Killed, keyin faqat yuguruvchida bajaring sudo dmesg | grep 26474
[26474] 1002 26474 1061935 123806 339 0 0 java
Out of memory: Kill process 26474 (java) score 127 or sacrifice child
Killed process 26474 (java) total-vm:4247740kB, anon-rss:495224kB, file-rss:0kB, shmem-rss:0kB
Va agar rasm shunga o'xshash bo'lsa, almashtirishni qo'shing yoki RAM qo'shing.
Bu sizga bir yuguruvchida parallel vazifalarni bajarish imkonini beradi. Ko'proq o'qish shu yerda.
Agar sizda kuchliroq mashinangiz bo'lsa, masalan, 8 vCPU, 16 GB operativ xotira, u holda bu raqamlarni kamida 2 baravar oshirish mumkin. Ammo barchasi ushbu yuguruvchida aniq nima va qancha miqdorda ishga tushirilishiga bog'liq.
Asosiy vazifa universal docker-compose.yml bo'lib, ishlab chiquvchilar/sinovchilar ham mahalliy, ham CI quvur liniyasida foydalanishlari mumkin.
Avvalo, biz CI uchun noyob xizmat nomlarini yaratamiz. GitLab CI-dagi noyob o'zgaruvchilardan biri bu o'zgaruvchidir CI_JOB_ID. Belgilasangiz container_name ma'nosi bilan "service-${CI_JOB_ID:-local}", keyin quyidagi holatda:
agar CI_JOB_ID muhit o'zgaruvchilarida aniqlanmagan,
keyin xizmat nomi bo'ladi service-local
agar CI_JOB_ID muhit o'zgaruvchilarida aniqlangan (masalan, 123),
keyin xizmat nomi bo'ladi service-123
Ikkinchidan, biz ishga tushirilgan xizmatlar uchun umumiy tarmoq yaratamiz. Bu bir nechta sinov muhitini ishga tushirishda bizga tarmoq darajasidagi izolyatsiyani beradi.
version: "3"
# Для корректной работы web (php) и fmt нужно,
# чтобы контейнеры имели общий исполняемый контент.
# В нашем случае, это директория /var/www/testrail
volumes:
static-content:
# Изолируем окружение на сетевом уровне
networks:
default:
external:
name: testrail-network-${CI_JOB_ID:-local}
services:
db:
image: mysql:5.7.22
# Каждый container_name содержит ${CI_JOB_ID:-local}
container_name: "testrail-mysql-${CI_JOB_ID:-local}"
environment:
MYSQL_HOST: db
MYSQL_DATABASE: mydb
MYSQL_ROOT_PASSWORD: 1234
SKIP_GRANT_TABLES: 1
SKIP_NETWORKING: 1
SERVICE_TAGS: dev
SERVICE_NAME: mysql
networks:
- default
migration:
image: registry.gitlab.com/touchbit/image/testrail/migration:latest
container_name: "testrail-migration-${CI_JOB_ID:-local}"
links:
- db
depends_on:
- db
networks:
- default
fpm:
image: registry.gitlab.com/touchbit/image/testrail/fpm:latest
container_name: "testrail-fpm-${CI_JOB_ID:-local}"
volumes:
- static-content:/var/www/testrail
links:
- db
networks:
- default
web:
image: registry.gitlab.com/touchbit/image/testrail/web:latest
container_name: "testrail-web-${CI_JOB_ID:-local}"
# Если переменные TR_HTTP_PORT или TR_HTTPS_PORTS не определены,
# то сервис поднимается на 80 и 443 порту соответственно.
ports:
- ${TR_HTTP_PORT:-80}:80
- ${TR_HTTPS_PORT:-443}:443
volumes:
- static-content:/var/www/testrail
links:
- db
- fpm
networks:
- default
Integration:
stage: test
tags:
- my-shell-runner
before_script:
# Аутентифицируемся в registry
- docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
# Генерируем псевдоуникальные TR_HTTP_PORT и TR_HTTPS_PORT
- export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
- export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
# создаем директорию с идентификатором задачи
- mkdir ${CI_JOB_ID}
# копируем в созданную директорию наш docker-compose.yml
# чтобы контекст был разный для каждой задачи
- cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
script:
# поднимаем наше окружение
- make docker-up
# запускаем тесты исполняемым jar (у меня так)
- java -jar itest.jar --http-port ${TR_HTTP_PORT} --https-port ${TR_HTTPS_PORT}
# или в контейнере
- docker run --network=testrail-network-${CI_JOB_ID:-local} --rm itest
after_script:
# собираем логи
- make docker-logs
# останавливаем окружение
- make docker-kill
artifacts:
# сохраняем логи
when: always
paths:
- logs
expire_in: 30 days
Bunday vazifani bajarish natijasida artefaktlardagi jurnallar katalogi xizmat va sinov jurnallarini o'z ichiga oladi. Bu xatolik yuz berganda juda qulay. Har bir test parallel ravishda o'z jurnalini yozadi, lekin men bu haqda alohida gaplashaman.
$ docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /home/gitlab-runner/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
$ export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
$ export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
$ mkdir ${CI_JOB_ID}
$ cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm testrail-network-${CI_JOB_ID:-local} || true
Error: No such network: testrail-network-204645172
docker network create testrail-network-${CI_JOB_ID:-local}
0a59552b4464b8ab484de6ae5054f3d5752902910bacb0a7b5eca698766d0331
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Pulling web ... done
Pulling fpm ... done
Pulling migration ... done
Pulling db ... done
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Creating volume "204645172_static-content" with default driver
Creating testrail-mysql-204645172 ...
Creating testrail-mysql-204645172 ... done
Creating testrail-migration-204645172 ... done
Creating testrail-fpm-204645172 ... done
Creating testrail-web-204645172 ... done
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
c6b76f9135ed registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 13 seconds ago Up 1 second 0.0.0.0:51148->80/tcp, 0.0.0.0:25426->443/tcp testrail-web-204645172
01d303262d8e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 16 seconds ago Up 13 seconds 9000/tcp testrail-fpm-204645172
2cdab1edbf6a registry.gitlab.com/touchbit/image/testrail/migration:latest "docker-entrypoint.s…" 16 seconds ago Up 13 seconds 3306/tcp, 33060/tcp testrail-migration-204645172
826aaf7c0a29 mysql:5.7.22 "docker-entrypoint.s…" 18 seconds ago Up 16 seconds 3306/tcp testrail-mysql-204645172
6dbb3fae0322 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 36 seconds ago Up 22 seconds 0.0.0.0:44202->80/tcp, 0.0.0.0:20151->443/tcp testrail-web-204645084
3540f8d448ce registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 38 seconds ago Up 35 seconds 9000/tcp testrail-fpm-204645084
70fea72aa10d mysql:5.7.22 "docker-entrypoint.s…" 40 seconds ago Up 37 seconds 3306/tcp testrail-mysql-204645084
d8aa24b2892d registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up 53 seconds 0.0.0.0:31103->80/tcp, 0.0.0.0:43872->443/tcp testrail-web-204644881
6d4ccd910fad registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644881
685d8023a3ec mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644881
1cdfc692003a registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up About a minute 0.0.0.0:44752->80/tcp, 0.0.0.0:23540->443/tcp testrail-web-204644793
6f26dfb2683e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644793
029e16b26201 mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644793
c10443222ac6 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:57123->80/tcp, 0.0.0.0:31657->443/tcp testrail-web-204567103
04339229397e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204567103
6ae0accab28d mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204567103
b66b60d79e43 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:56321->80/tcp, 0.0.0.0:58749->443/tcp testrail-web-204553690
033b1f46afa9 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553690
a8879c5ef941 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553690
069954ba6010 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:32869->80/tcp, 0.0.0.0:16066->443/tcp testrail-web-204553539
ed6b17d911a5 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553539
1a1eed057ea0 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553539
Barcha vazifalar muvaffaqiyatli bajarildi
Vazifa artefaktlarida xizmat va sinov jurnallari mavjud
Hamma narsa go'zal ko'rinadi, lekin bir nuance bor. Integratsiya sinovlari ishlayotgan vaqtda quvur liniyasi majburiy ravishda bekor qilinishi mumkin, bu holda ishlaydigan konteynerlar to'xtatilmaydi. Vaqti-vaqti bilan yuguruvchini tozalash kerak. Afsuski, GitLab CE-ni takomillashtirish vazifasi hali ham mavjud ochiq
Ammo biz jadvalga muvofiq vazifani ishga tushirishni qo'shdik va uni qo'lda bajarishni hech kim bizga taqiqlamaydi.
Loyihamizga o'ting -> CI/CD -> Jadvallar va vazifani bajaring Clean runner
Jami:
Bizda bitta qobiq yuguruvchisi bor.
Vazifalar va atrof-muhit o'rtasida hech qanday ziddiyat yo'q.
Biz parallel ravishda integratsiya testlari bilan vazifalarni bajaramiz.
Integratsiya testlarini mahalliy yoki konteynerda o'tkazishingiz mumkin.
Xizmat va sinov jurnallari yig'iladi va quvur liniyasi vazifasiga biriktiriladi.
Yuguruvchini eski Docker tasvirlaridan tozalash mumkin.
O'rnatish vaqti ~ 2 soat.
Hammasi shu, aslida. Fikr-mulohazalarni qabul qilishdan xursand bo'laman.