GitLab Shell Runner. Llenceu serveis comprovables de manera competitiva amb Docker Compose

Aquest article serà d'interès tant per als provadors com per als desenvolupadors, però està pensat més per als automatistes que s'enfronten al problema de configurar GitLab CI/CD per a proves d'integració davant de recursos d'infraestructura insuficients i/o l'absència d'una orquestració de contenidors. plataforma. Us explicaré com configurar el desplegament d'entorns de prova mitjançant Docker Compose en un sol corredor d'intèrpret d'ordres de GitLab i de manera que quan es desplega diversos entorns, els serveis llançats no interfereixin entre ells.

Contingut

• Предпосылки
• GitLab Shell Runner
• S'està preparant docker-compose.yml
• Preparant el Makefile
• S'està preparant .gitlab-ci.yml
  • Execució de proves d'integració
  • Neteja del corredor
• Resultat

Предпосылки

1. A la meva pràctica, sovint passava per "tractar" les proves d'integració en projectes. I sovint el primer i més important problema és el pipeline CI, en què es fan proves d'integració desenvolupat el servei(s) està allotjat a l'entorn de desenvolupament/etapa. Això va causar molts problemes:

   • A causa de defectes en un o altre servei durant les proves d'integració, el circuit de prova es pot danyar per dades trencades. Hi va haver casos en què l'enviament d'una sol·licitud amb un format JSON trencat va penjar el servei, cosa que va fer que l'estand fos completament inoperant.
   • La desacceleració del circuit de prova amb el creixement de les dades de prova. Crec que no té sentit descriure un exemple amb la neteja/reversió de la base de dades. A la meva pràctica, no he conegut cap projecte on aquest tràmit funcionés sense problemes.
   • El risc d'interrompre el rendiment del circuit de prova en provar la configuració general del sistema. Per exemple, usuari/grup/contrasenya/política d'aplicació.
   • Les dades de prova de les proves automàtiques dificulten la vida dels verificadors manuals.

   Algú dirà que els bons autotests haurien de netejar les dades després de si mateixos. Tinc arguments en contra:

   • Els suports dinàmics són molt còmodes d'utilitzar.
   • No tots els objectes es poden eliminar del sistema mitjançant l'API. Per exemple, no s'implementa una crida per eliminar un objecte, ja que contradiu la lògica empresarial.
   • Quan es crea un objecte mitjançant l'API, es pot crear una gran quantitat de metadades que és problemàtica d'eliminar.
   • Si les proves depenen les unes de les altres, el procés de neteja de les dades després d'haver realitzat les proves es converteix en un mal de cap.
   • Trucades addicionals (i, al meu entendre, no justificades) a l'API.
   • I l'argument principal: quan les dades de prova es comencen a netejar directament de la base de dades. Això s'està convertint en un autèntic circ PK/FK! Escoltem dels desenvolupadors: "Acabo d'afegir/treure/anomenar el signe, per què 100500 proves d'integració van fallar?"

   Al meu entendre, la solució més òptima és un entorn dinàmic.

2. Moltes persones utilitzen docker-compose per executar un entorn de prova, però poques persones utilitzen docker-compose quan fan proves d'integració en CI/CD. I aquí no tinc en compte els kubernetes, els eixams i altres plataformes d'orquestració de contenidors. No totes les empreses en tenen. Seria bo que docker-compose.yml fos universal.
3. Fins i tot si tenim el nostre propi corredor de control de qualitat, com ens podem assegurar que els serveis llançats mitjançant docker-compose no interfereixin els uns amb els altres?
4. Com es recullen els registres dels serveis provats?
5. Com netejar el corredor?

Tinc el meu propi corredor de GitLab per als meus projectes i em vaig trobar amb aquests problemes mentre desenvolupava Client Java per carril de prova. Més concretament, quan s'executen proves d'integració. Aquí continuarem resolent aquests problemes amb exemples d'aquest projecte.

Al contingut

GitLab Shell Runner

Per a un corredor, recomano una màquina virtual Linux amb 4 vCPU, 4 GB de RAM, 50 GB de disc dur.
Hi ha molta informació sobre com configurar gitlab-runner a Internet, així que, en resum:

• Anem a la màquina via SSH

• Si teniu menys de 8 GB de RAM, us recomano fer intercanvi de 10 GBperquè l'assassí OOM no vingui a matar-nos tasques per manca de memòria RAM. Això pot passar quan s'executen més de 5 tasques alhora. Les tasques seran més lentes, però estables.

  Exemple amb OOM killer

  Si es veu als registres de tasques bash: line 82: 26474 Killed, després només executeu el corredor sudo dmesg | grep 26474

  [26474]  1002 26474  1061935   123806     339        0             0 java
  Out of memory: Kill process 26474 (java) score 127 or sacrifice child
  Killed process 26474 (java) total-vm:4247740kB, anon-rss:495224kB, file-rss:0kB, shmem-rss:0kB

  I si la imatge s'assembla a això, afegiu-hi intercanvi o introduïu memòria RAM.

• Establir gitlab-runner, docker, docker-compose, fer.
• Afegir un usuari gitlab-runner al grup docker

  sudo groupadd docker
  sudo usermod -aG docker gitlab-runner

• Registra't gitlab-runner.

• Obert per a l'edició /etc/gitlab-runner/config.toml i afegir

  concurrent=20
  [[runners]]
    request_concurrency = 10

  Això us permetrà executar tasques paral·leles al mateix corredor. Llegeix més aquí.
  Si teniu una màquina més potent, per exemple, 8 vCPU, 16 GB de RAM, aquests números es poden fer almenys 2 vegades més grans. Però tot depèn de què es llançarà exactament en aquest corredor i en quina quantitat.

Això és suficient.

Al contingut

S'està preparant docker-compose.yml

La tasca principal és un docker-compose.yml universal que els desenvolupadors/provadors poden utilitzar tant localment com en el pipeline CI.

En primer lloc, fem noms de servei únics per a CI. Una de les variables úniques a GitLab CI és la variable CI_JOB_ID. Si ho especifiqueu container_name amb significat "service-${CI_JOB_ID:-local}", aleshores en el cas:

• si CI_JOB_ID no es defineix a les variables d'entorn,
  llavors el nom del servei serà service-local
• si CI_JOB_ID definit en variables d'entorn (p. ex. 123),
  llavors el nom del servei serà service-123

En segon lloc, fem una xarxa comuna per executar serveis. Això ens proporciona aïllament a nivell de xarxa quan executem diversos entorns de prova.

networks:
  default:
    external:
      name: service-network-${CI_JOB_ID:-local}

De fet, aquest és el primer pas cap a l'èxit =)

Un exemple del meu docker-compose.yml amb comentaris

version: "3"

# Для корректной работы web (php) и fmt нужно, 
# чтобы контейнеры имели общий исполняемый контент.
# В нашем случае, это директория /var/www/testrail
volumes:
  static-content:

# Изолируем окружение на сетевом уровне
networks:
  default:
    external:
      name: testrail-network-${CI_JOB_ID:-local}

services:
  db:
    image: mysql:5.7.22
    # Каждый container_name содержит ${CI_JOB_ID:-local}
    container_name: "testrail-mysql-${CI_JOB_ID:-local}"
    environment:
      MYSQL_HOST: db
      MYSQL_DATABASE: mydb
      MYSQL_ROOT_PASSWORD: 1234
      SKIP_GRANT_TABLES: 1
      SKIP_NETWORKING: 1
      SERVICE_TAGS: dev
      SERVICE_NAME: mysql
    networks:
    - default

  migration:
    image: registry.gitlab.com/touchbit/image/testrail/migration:latest
    container_name: "testrail-migration-${CI_JOB_ID:-local}"
    links:
    - db
    depends_on:
    - db
    networks:
    - default

  fpm:
    image: registry.gitlab.com/touchbit/image/testrail/fpm:latest
    container_name: "testrail-fpm-${CI_JOB_ID:-local}"
    volumes:
    - static-content:/var/www/testrail
    links:
    - db
    networks:
    - default

  web:
    image: registry.gitlab.com/touchbit/image/testrail/web:latest
    container_name: "testrail-web-${CI_JOB_ID:-local}"
    # Если переменные TR_HTTP_PORT или TR_HTTPS_PORTS не определены,
    # то сервис поднимается на 80 и 443 порту соответственно.
    ports:
      - ${TR_HTTP_PORT:-80}:80
      - ${TR_HTTPS_PORT:-443}:443
    volumes:
      - static-content:/var/www/testrail
    links:
      - db
      - fpm
    networks:
      - default

Exemple d'execució local

docker-compose -f docker-compose.yml up -d
Starting   testrail-mysql-local     ... done
Starting   testrail-migration-local ... done
Starting   testrail-fpm-local       ... done
Recreating testrail-web-local       ... done

Però no tot és tan senzill amb el llançament a CI.

Al contingut

Preparant el Makefile

Utilitzo el Makefile, ja que és molt útil tant per a la gestió de l'entorn local com per a CI. Més comentaris en línia

# У меня в проектах все вспомогательные вещи лежат в директории `.indirect`,
# в том числе и `docker-compose.yml`

# Использовать bash с опцией pipefail 
# pipefail - фейлит выполнение пайпа, если команда выполнилась с ошибкой
SHELL=/bin/bash -o pipefail

# Останавливаем контейнеры и удаляем сеть
docker-kill:
    docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml kill
    docker network rm network-$${CI_JOB_ID:-testrail} || true

# Предварительно выполняем docker-kill 
docker-up: docker-kill
    # Создаем сеть для окружения 
    docker network create network-$${CI_JOB_ID:-testrail}
    # Забираем последние образы из docker-registry
    docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml pull
    # Запускаем окружение
    # force-recreate - принудительное пересоздание контейнеров
    # renew-anon-volumes - не использовать volumes предыдущих контейнеров
    docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
    # Ну и, на всякий случай, вывести что там у нас в принципе запущено на машинке
    docker ps

# Коллектим логи сервисов
docker-logs:
    mkdir ./logs || true
    docker logs testrail-web-$${CI_JOB_ID:-local}       >& logs/testrail-web.log
    docker logs testrail-fpm-$${CI_JOB_ID:-local}       >& logs/testrail-fpm.log
    docker logs testrail-migration-$${CI_JOB_ID:-local} >& logs/testrail-migration.log
    docker logs testrail-mysql-$${CI_JOB_ID:-local}     >& logs/testrail-mysql.log

# Очистка раннера
docker-clean:
    @echo Останавливаем все testrail-контейнеры
    docker kill $$(docker ps --filter=name=testrail -q) || true
    @echo Очистка докер контейнеров
    docker rm -f $$(docker ps -a -f --filter=name=testrail status=exited -q) || true
    @echo Очистка dangling образов
    docker rmi -f $$(docker images -f "dangling=true" -q) || true
    @echo Очистка testrail образов
    docker rmi -f $$(docker images --filter=reference='registry.gitlab.com/touchbit/image/testrail/*' -q) || true
    @echo Очистка всех неиспользуемых volume
    docker volume rm -f $$(docker volume ls -q) || true
    @echo Очистка всех testrail сетей
    docker network rm $(docker network ls --filter=name=testrail -q) || true
    docker ps

Comprovació

fer docker-up

$ make docker-up 
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
Killing testrail-web-local   ... done
Killing testrail-fpm-local   ... done
Killing testrail-mysql-local ... done
docker network rm network-${CI_JOB_ID:-testrail} || true
network-testrail
docker network create network-${CI_JOB_ID:-testrail}
d2ec063324081c8bbc1b08fd92242c2ea59d70cf4025fab8efcbc5c6360f083f
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Pulling db        ... done
Pulling migration ... done
Pulling fpm       ... done
Pulling web       ... done
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Recreating testrail-mysql-local ... done
Recreating testrail-fpm-local       ... done
Recreating testrail-migration-local ... done
Recreating testrail-web-local       ... done
docker ps
CONTAINER ID  PORTS                                     NAMES
a845d3cb0e5a  0.0.0.0:80->80/tcp, 0.0.0.0:443->443/tcp  testrail-web-local
19d8ef001398  9000/tcp                                  testrail-fpm-local
e28840a2369c  3306/tcp, 33060/tcp                       testrail-migration-local
0e7900c23f37  3306/tcp                                  testrail-mysql-local

fer docker-logs

$ make docker-logs
mkdir ./logs || true
mkdir: cannot create directory ‘./logs’: File exists
docker logs testrail-web-${CI_JOB_ID:-local}       >& logs/testrail-web.log
docker logs testrail-fpm-${CI_JOB_ID:-local}       >& logs/testrail-fpm.log
docker logs testrail-migration-${CI_JOB_ID:-local} >& logs/testrail-migration.log
docker logs testrail-mysql-${CI_JOB_ID:-local}     >& logs/testrail-mysql.log

Al contingut

S'està preparant .gitlab-ci.yml

Execució de proves d'integració

Integration:
  stage: test
  tags:
    - my-shell-runner
  before_script:
    # Аутентифицируемся в registry
    - docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
    # Генерируем псевдоуникальные TR_HTTP_PORT и TR_HTTPS_PORT
    - export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
    - export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
    # создаем директорию с идентификатором задачи
    - mkdir ${CI_JOB_ID}
    # копируем в созданную директорию наш docker-compose.yml
    # чтобы контекст был разный для каждой задачи
    - cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
  script:
    # поднимаем наше окружение
    - make docker-up
    # запускаем тесты исполняемым jar (у меня так)
    - java -jar itest.jar --http-port ${TR_HTTP_PORT} --https-port ${TR_HTTPS_PORT}
    # или в контейнере
    - docker run --network=testrail-network-${CI_JOB_ID:-local} --rm itest
  after_script:
    # собираем логи
    - make docker-logs
    # останавливаем окружение
    - make docker-kill
  artifacts:
    # сохраняем логи
    when: always
    paths:
      - logs
    expire_in: 30 days

Com a resultat d'executar aquesta tasca, el directori de registres dels artefactes contindrà registres de serveis i proves. La qual cosa és molt útil en cas d'error. Cada prova en paral·lel escriu el seu propi registre, però en parlaré per separat.

Al contingut

Neteja del corredor

La tasca només s'executarà segons el calendari.

stages:
- clean
- build
- test

Clean runner:
  stage: clean
  only:
    - schedules
  tags:
    - my-shell-runner
  script:
    - make docker-clean

A continuació, aneu al nostre projecte GitLab -> CI/CD -> Horaris -> Nova programació i afegiu una nova programació

Al contingut

Resultat

Executeu 4 tasques a GitLab CI

En els registres de l'última tasca amb proves d'integració, veiem contenidors de diferents tasques

CONTAINER ID  NAMES
c6b76f9135ed  testrail-web-204645172
01d303262d8e  testrail-fpm-204645172
2cdab1edbf6a  testrail-migration-204645172
826aaf7c0a29  testrail-mysql-204645172
6dbb3fae0322  testrail-web-204645084
3540f8d448ce  testrail-fpm-204645084
70fea72aa10d  testrail-mysql-204645084
d8aa24b2892d  testrail-web-204644881
6d4ccd910fad  testrail-fpm-204644881
685d8023a3ec  testrail-mysql-204644881
1cdfc692003a  testrail-web-204644793
6f26dfb2683e  testrail-fpm-204644793
029e16b26201  testrail-mysql-204644793
c10443222ac6  testrail-web-204567103
04339229397e  testrail-fpm-204567103
6ae0accab28d  testrail-mysql-204567103
b66b60d79e43  testrail-web-204553690
033b1f46afa9  testrail-fpm-204553690
a8879c5ef941  testrail-mysql-204553690
069954ba6010  testrail-web-204553539
ed6b17d911a5  testrail-fpm-204553539
1a1eed057ea0  testrail-mysql-204553539

Registre més detallat

$ docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /home/gitlab-runner/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
$ export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
$ export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
$ mkdir ${CI_JOB_ID}
$ cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm testrail-network-${CI_JOB_ID:-local} || true
Error: No such network: testrail-network-204645172
docker network create testrail-network-${CI_JOB_ID:-local}
0a59552b4464b8ab484de6ae5054f3d5752902910bacb0a7b5eca698766d0331
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Pulling web       ... done
Pulling fpm       ... done
Pulling migration ... done
Pulling db        ... done
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Creating volume "204645172_static-content" with default driver
Creating testrail-mysql-204645172 ... 
Creating testrail-mysql-204645172 ... done
Creating testrail-migration-204645172 ... done
Creating testrail-fpm-204645172       ... done
Creating testrail-web-204645172       ... done
docker ps
CONTAINER ID        IMAGE                                                          COMMAND                  CREATED              STATUS              PORTS                                           NAMES
c6b76f9135ed        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   13 seconds ago       Up 1 second         0.0.0.0:51148->80/tcp, 0.0.0.0:25426->443/tcp   testrail-web-204645172
01d303262d8e        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   16 seconds ago       Up 13 seconds       9000/tcp                                        testrail-fpm-204645172
2cdab1edbf6a        registry.gitlab.com/touchbit/image/testrail/migration:latest   "docker-entrypoint.s…"   16 seconds ago       Up 13 seconds       3306/tcp, 33060/tcp                             testrail-migration-204645172
826aaf7c0a29        mysql:5.7.22                                                   "docker-entrypoint.s…"   18 seconds ago       Up 16 seconds       3306/tcp                                        testrail-mysql-204645172
6dbb3fae0322        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   36 seconds ago       Up 22 seconds       0.0.0.0:44202->80/tcp, 0.0.0.0:20151->443/tcp   testrail-web-204645084
3540f8d448ce        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   38 seconds ago       Up 35 seconds       9000/tcp                                        testrail-fpm-204645084
70fea72aa10d        mysql:5.7.22                                                   "docker-entrypoint.s…"   40 seconds ago       Up 37 seconds       3306/tcp                                        testrail-mysql-204645084
d8aa24b2892d        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   About a minute ago   Up 53 seconds       0.0.0.0:31103->80/tcp, 0.0.0.0:43872->443/tcp   testrail-web-204644881
6d4ccd910fad        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   About a minute ago   Up About a minute   9000/tcp                                        testrail-fpm-204644881
685d8023a3ec        mysql:5.7.22                                                   "docker-entrypoint.s…"   About a minute ago   Up About a minute   3306/tcp                                        testrail-mysql-204644881
1cdfc692003a        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   About a minute ago   Up About a minute   0.0.0.0:44752->80/tcp, 0.0.0.0:23540->443/tcp   testrail-web-204644793
6f26dfb2683e        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   About a minute ago   Up About a minute   9000/tcp                                        testrail-fpm-204644793
029e16b26201        mysql:5.7.22                                                   "docker-entrypoint.s…"   About a minute ago   Up About a minute   3306/tcp                                        testrail-mysql-204644793
c10443222ac6        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   5 hours ago          Up 5 hours          0.0.0.0:57123->80/tcp, 0.0.0.0:31657->443/tcp   testrail-web-204567103
04339229397e        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   5 hours ago          Up 5 hours          9000/tcp                                        testrail-fpm-204567103
6ae0accab28d        mysql:5.7.22                                                   "docker-entrypoint.s…"   5 hours ago          Up 5 hours          3306/tcp                                        testrail-mysql-204567103
b66b60d79e43        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   5 hours ago          Up 5 hours          0.0.0.0:56321->80/tcp, 0.0.0.0:58749->443/tcp   testrail-web-204553690
033b1f46afa9        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   5 hours ago          Up 5 hours          9000/tcp                                        testrail-fpm-204553690
a8879c5ef941        mysql:5.7.22                                                   "docker-entrypoint.s…"   5 hours ago          Up 5 hours          3306/tcp                                        testrail-mysql-204553690
069954ba6010        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   5 hours ago          Up 5 hours          0.0.0.0:32869->80/tcp, 0.0.0.0:16066->443/tcp   testrail-web-204553539
ed6b17d911a5        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   5 hours ago          Up 5 hours          9000/tcp                                        testrail-fpm-204553539
1a1eed057ea0        mysql:5.7.22                                                   "docker-entrypoint.s…"   5 hours ago          Up 5 hours          3306/tcp                                        testrail-mysql-204553539

Totes les tasques s'han completat correctament

Els artefactes de la tasca contenen registres de serveis i proves

Tot sembla bonic, però hi ha un matís. Una canalització es pot cancel·lar per força mentre s'estan executant les proves d'integració, en aquest cas els contenidors en funcionament no s'aturaran. De tant en tant cal netejar el corredor. Malauradament, la tasca de revisió a GitLab CE encara està en estat obert

Però hem afegit un llançament de tasca programat i ningú ens prohibeix iniciar-lo manualment.
Aneu al nostre projecte -> CI/CD -> Programacions i executeu la tasca Clean runner

Total:

• Tenim un corredor de petxina.
• No hi ha conflictes entre les tasques i l'entorn.
• Tenim un llançament paral·lel de tasques amb proves d'integració.
• Podeu executar proves d'integració tant localment com en un contenidor.
• Els registres de proves i de servei es recullen i s'adjunten a la tasca de canalització.
• És possible netejar el corredor d'imatges antigues de Docker.

El temps de configuració és d'aproximadament 2 hores.
Això, de fet, és tot. Estaré encantat de fer comentaris.

Al contingut

Font: www.habr.com