GitLab ഷെൽ റണ്ണർ. ഡോക്കർ കമ്പോസ് ഉപയോഗിച്ച് പരീക്ഷിച്ച സേവനങ്ങളുടെ മത്സര സമാരംഭം

ഈ ലേഖനം ടെസ്റ്റർമാർക്കും ഡവലപ്പർമാർക്കും താൽപ്പര്യമുള്ളതായിരിക്കും, പക്ഷേ അടിസ്ഥാന സൗകര്യങ്ങളുടെ അപര്യാപ്തത കൂടാതെ/അല്ലെങ്കിൽ ഒരു കണ്ടെയ്‌നറിന്റെ അഭാവത്തിൽ ഇന്റഗ്രേഷൻ ടെസ്റ്റിംഗിനായി GitLab CI/CD സജ്ജീകരിക്കുന്നതിൽ പ്രശ്നം നേരിടുന്ന ഓട്ടോമേഷൻ സ്പെഷ്യലിസ്റ്റുകളെ ഉദ്ദേശിച്ചുള്ളതാണ്. ഓർക്കസ്ട്രേഷൻ പ്ലാറ്റ്ഫോം. ഒരൊറ്റ GitLab ഷെൽ റണ്ണറിൽ ഡോക്കർ കമ്പോസ് ഉപയോഗിച്ച് ടെസ്റ്റ് എൻവയോൺമെന്റുകളുടെ വിന്യാസം എങ്ങനെ സജ്ജീകരിക്കാമെന്ന് ഞാൻ നിങ്ങളോട് പറയും, അങ്ങനെ നിരവധി പരിതസ്ഥിതികൾ വിന്യസിക്കുമ്പോൾ, സമാരംഭിച്ച സേവനങ്ങൾ പരസ്പരം ഇടപെടുന്നില്ല.

ഉള്ളടക്കം

• പശ്ചാത്തലം
• GitLab ഷെൽ റണ്ണർ
• docker-compose.yml തയ്യാറാക്കുന്നു
• മേക്ക് ഫയൽ തയ്യാറാക്കുന്നു
• .gitlab-ci.yml തയ്യാറാക്കുന്നു
  • ഇന്റഗ്രേഷൻ ടെസ്റ്റുകൾ നടത്തുന്നു
  • ഓട്ടക്കാരനെ വൃത്തിയാക്കുന്നു
• ഫലം

പശ്ചാത്തലം

1. എന്റെ പ്രയോഗത്തിൽ, പ്രോജക്റ്റുകളിൽ ഇന്റഗ്രേഷൻ ടെസ്റ്റിംഗ് "ചികിത്സ" ചെയ്യുന്നത് പലപ്പോഴും സംഭവിച്ചു. പലപ്പോഴും ആദ്യത്തേതും ഏറ്റവും പ്രധാനപ്പെട്ടതുമായ പ്രശ്നം സിഐ പൈപ്പ്‌ലൈനാണ്, അതിൽ സംയോജന പരിശോധനയാണ് വികസിപ്പിക്കുന്നു ഒരു dev/stage പരിതസ്ഥിതിയിലാണ് സേവനം(കൾ) നടപ്പിലാക്കുന്നത്. ഇത് കുറച്ച് പ്രശ്നങ്ങൾ സൃഷ്ടിച്ചു:

   • ഇന്റഗ്രേഷൻ ടെസ്റ്റിംഗ് പ്രക്രിയയിൽ ഒരു പ്രത്യേക സേവനത്തിലെ തകരാറുകൾ കാരണം, തകർന്ന ഡാറ്റയാൽ ടെസ്റ്റ് സർക്യൂട്ട് കേടായേക്കാം. തകർന്ന JSON ഫോർമാറ്റ് ഉപയോഗിച്ച് ഒരു അഭ്യർത്ഥന അയയ്‌ക്കുമ്പോൾ സേവനം തകരാറിലായ സാഹചര്യങ്ങളുണ്ട്, ഇത് സ്റ്റാൻഡ് പൂർണ്ണമായും പ്രവർത്തനരഹിതമാക്കി.
   • ടെസ്റ്റ് ഡാറ്റ വർദ്ധിക്കുന്നതിനനുസരിച്ച് ടെസ്റ്റ് സർക്യൂട്ടിന്റെ വേഗത കുറയുന്നു. ഡാറ്റാബേസ് ക്ലീനിംഗ്/റോൾ ബാക്ക് ചെയ്യുന്നതിനുള്ള ഒരു ഉദാഹരണം വിവരിക്കുന്നതിൽ അർത്ഥമില്ലെന്ന് ഞാൻ കരുതുന്നു. എന്റെ പരിശീലനത്തിൽ, ഈ നടപടിക്രമം സുഗമമായി നടന്ന ഒരു പ്രോജക്റ്റ് ഞാൻ നേരിട്ടിട്ടില്ല.
   • പൊതുവായ സിസ്റ്റം ക്രമീകരണങ്ങൾ പരിശോധിക്കുമ്പോൾ ടെസ്റ്റ് സർക്യൂട്ടിന്റെ പ്രവർത്തനത്തെ തടസ്സപ്പെടുത്താനുള്ള സാധ്യത. ഉദാഹരണത്തിന്, ഉപയോക്താവ്/ഗ്രൂപ്പ്/പാസ്‌വേഡ്/അപ്ലിക്കേഷൻ നയം.
   • സ്വയമേവയുള്ള ടെസ്റ്റുകളിൽ നിന്നുള്ള ടെസ്റ്റ് ഡാറ്റ മാനുവൽ ടെസ്റ്റർമാർക്ക് ജീവിതം ബുദ്ധിമുട്ടാക്കുന്നു.

   നല്ല ഓട്ടോടെസ്റ്റുകൾക്ക് ശേഷം ഡാറ്റ വൃത്തിയാക്കണമെന്ന് ചിലർ പറയും. എനിക്ക് എതിരായി വാദങ്ങളുണ്ട്:

   • ഡൈനാമിക് സ്റ്റാൻഡുകൾ ഉപയോഗിക്കാൻ വളരെ സൗകര്യപ്രദമാണ്.
   • API വഴി എല്ലാ ഒബ്ജക്റ്റും സിസ്റ്റത്തിൽ നിന്ന് നീക്കം ചെയ്യാൻ കഴിയില്ല. ഉദാഹരണത്തിന്, ഒരു ഒബ്‌ജക്റ്റ് ഇല്ലാതാക്കാനുള്ള ഒരു കോൾ അത് ബിസിനസ്സ് ലോജിക്കിന് വിരുദ്ധമായതിനാൽ നടപ്പിലാക്കിയില്ല.
   • API വഴി ഒരു ഒബ്‌ജക്‌റ്റ് സൃഷ്‌ടിക്കുമ്പോൾ, ഒരു വലിയ അളവിലുള്ള മെറ്റാഡാറ്റ സൃഷ്‌ടിക്കാൻ കഴിയും, അത് ഇല്ലാതാക്കുന്നത് പ്രശ്‌നകരമാണ്.
   • ടെസ്റ്റുകൾക്ക് പരസ്പരം ഡിപൻഡൻസികൾ ഉണ്ടെങ്കിൽ, ടെസ്റ്റുകൾ പ്രവർത്തിപ്പിച്ചതിന് ശേഷം ഡാറ്റ വൃത്തിയാക്കുന്ന പ്രക്രിയ ഒരു തലവേദനയായി മാറുന്നു.
   • API-യിലേക്കുള്ള അധിക (കൂടാതെ, എന്റെ അഭിപ്രായത്തിൽ, ന്യായീകരിക്കപ്പെടുന്നില്ല) കോളുകൾ.
   • പ്രധാന വാദം: ടെസ്റ്റ് ഡാറ്റ ഡാറ്റാബേസിൽ നിന്ന് നേരിട്ട് മായ്‌ക്കാൻ തുടങ്ങുമ്പോൾ. ഇതൊരു യഥാർത്ഥ PK/FK സർക്കസായി മാറുകയാണ്! ഡെവലപ്പർമാരിൽ നിന്ന് ഞങ്ങൾ കേൾക്കുന്നു: "ഞാൻ ഒരു ചിഹ്നം ചേർത്തു/നീക്കം ചെയ്തു/പേരുമാറ്റി, എന്തുകൊണ്ടാണ് 100500 ഇന്റഗ്രേഷൻ ടെസ്റ്റുകൾ പിടിക്കപ്പെട്ടത്?"

   എന്റെ അഭിപ്രായത്തിൽ, ഏറ്റവും ഒപ്റ്റിമൽ പരിഹാരം ഒരു ചലനാത്മക അന്തരീക്ഷമാണ്.

2. ഒരു ടെസ്റ്റ് എൻവയോൺമെന്റ് പ്രവർത്തിപ്പിക്കാൻ പലരും ഡോക്കർ-കമ്പോസ് ഉപയോഗിക്കുന്നു, എന്നാൽ സിഐ/സിഡിയിൽ ഇന്റഗ്രേഷൻ ടെസ്റ്റിംഗ് നടത്തുമ്പോൾ കുറച്ച് ആളുകൾ ഡോക്കർ-കമ്പോസ് ഉപയോഗിക്കുന്നു. ഇവിടെ ഞാൻ kubernetes, swarm, മറ്റ് കണ്ടെയ്നർ ഓർക്കസ്ട്രേഷൻ പ്ലാറ്റ്ഫോമുകൾ എന്നിവ കണക്കിലെടുക്കുന്നില്ല. എല്ലാ കമ്പനികൾക്കും അവ ഇല്ല. docker-compose.yml സാർവത്രികമാണെങ്കിൽ അത് നന്നായിരിക്കും.
3. ഞങ്ങൾക്ക് സ്വന്തമായി QA റണ്ണർ ഉണ്ടെങ്കിൽപ്പോലും, ഡോക്കർ-കമ്പോസ് വഴി ആരംഭിക്കുന്ന സേവനങ്ങൾ പരസ്പരം ഇടപെടുന്നില്ലെന്ന് എങ്ങനെ ഉറപ്പാക്കാനാകും?
4. പരീക്ഷിച്ച സേവനങ്ങളുടെ ലോഗുകൾ എങ്ങനെ ശേഖരിക്കാം?
5. ഓട്ടക്കാരനെ എങ്ങനെ വൃത്തിയാക്കാം?

എന്റെ പ്രോജക്റ്റുകൾക്കായി എനിക്ക് സ്വന്തമായി GitLab റണ്ണർ ഉണ്ട്, വികസന സമയത്ത് ഞാൻ ഈ ചോദ്യങ്ങൾ നേരിട്ടു ജാവ ക്ലയന്റ് വേണ്ടി ടെസ്റ്റ് റെയിൽ. കൂടുതൽ കൃത്യമായി പറഞ്ഞാൽ, ഇന്റഗ്രേഷൻ ടെസ്റ്റുകൾ നടത്തുമ്പോൾ. ഈ പ്രോജക്റ്റിൽ നിന്നുള്ള ഉദാഹരണങ്ങൾ ഉപയോഗിച്ച് ഞങ്ങൾ ഈ പ്രശ്നങ്ങൾ ചുവടെ പരിഹരിക്കും.

ഉള്ളടക്കത്തിലേക്ക്

GitLab ഷെൽ റണ്ണർ

ഒരു ഓട്ടക്കാരന്, 4 vCPU, 4 GB RAM, 50 GB HDD എന്നിവയുള്ള ഒരു Linux വെർച്വൽ മെഷീൻ ഞാൻ ശുപാർശ ചെയ്യുന്നു.
ഇൻറർനെറ്റിൽ ഗിറ്റ്ലാബ്-റണ്ണർ സജ്ജീകരിക്കുന്നതിനെക്കുറിച്ച് ധാരാളം വിവരങ്ങൾ ഉണ്ട്, ചുരുക്കത്തിൽ:

• SSH വഴി മെഷീനിലേക്ക് ലോഗിൻ ചെയ്യുക

• നിങ്ങൾക്ക് 8 ജിബി റാമിൽ കുറവുണ്ടെങ്കിൽ, ഞാൻ ശുപാർശ ചെയ്യുന്നു 10 GB സ്വാപ്പ് ചെയ്യുകറാമിന്റെ അഭാവം കാരണം OOM കൊലയാളി വന്ന് നമ്മുടെ ജോലികൾ നശിപ്പിക്കില്ല. 5-ൽ കൂടുതൽ ടാസ്‌ക്കുകൾ ഒരേസമയം സമാരംഭിക്കുമ്പോൾ ഇത് സംഭവിക്കാം. ജോലികൾ കൂടുതൽ സാവധാനത്തിൽ പുരോഗമിക്കും, എന്നാൽ ക്രമാനുഗതമായി.

  OOM കൊലയാളി ഉപയോഗിച്ചുള്ള ഉദാഹരണം

  ടാസ്ക് ലോഗുകളിൽ നിങ്ങൾ കാണുകയാണെങ്കിൽ bash: line 82: 26474 Killed, തുടർന്ന് റണ്ണറിൽ എക്സിക്യൂട്ട് ചെയ്യുക sudo dmesg | grep 26474

  [26474]  1002 26474  1061935   123806     339        0             0 java
  Out of memory: Kill process 26474 (java) score 127 or sacrifice child
  Killed process 26474 (java) total-vm:4247740kB, anon-rss:495224kB, file-rss:0kB, shmem-rss:0kB

  ചിത്രം ഇതുപോലെയാണെങ്കിൽ, ഒന്നുകിൽ സ്വാപ്പ് ചേർക്കുക അല്ലെങ്കിൽ റാം ചേർക്കുക.

• ഇൻസ്റ്റാൾ ചെയ്യുക ഗിറ്റ്ലാബ്-റണ്ണർ, ഡോക്കർ, ഡോക്കർ-രചിക്കുക, ഉണ്ടാക്കുക.
• ഒരു ഉപയോക്താവിനെ ചേർക്കുന്നു gitlab-runner ഗ്രൂപ്പിലേക്ക് docker

  sudo groupadd docker
  sudo usermod -aG docker gitlab-runner

• രജിസ്റ്റർ ചെയ്യുക ഗിറ്റ്ലാബ്-റണ്ണർ.

• എഡിറ്റിംഗിനായി തുറക്കുക /etc/gitlab-runner/config.toml ഒപ്പം ചേർക്കുക

  concurrent=20
  [[runners]]
    request_concurrency = 10

  ഒരു റണ്ണറിൽ സമാന്തര ടാസ്ക്കുകൾ പ്രവർത്തിപ്പിക്കാൻ ഇത് നിങ്ങളെ അനുവദിക്കും. കൂടുതൽ വായിക്കുക ഇവിടെ.
  നിങ്ങൾക്ക് കൂടുതൽ ശക്തമായ ഒരു മെഷീൻ ഉണ്ടെങ്കിൽ, ഉദാഹരണത്തിന് 8 vCPU, 16 GB റാം, ഈ നമ്പറുകൾ കുറഞ്ഞത് 2 മടങ്ങ് വലുതാക്കാം. എന്നാൽ ഇതെല്ലാം ഈ റണ്ണറിൽ കൃത്യമായി എന്ത് വിക്ഷേപിക്കും എന്നതിനെ ആശ്രയിച്ചിരിക്കുന്നു, ഏത് അളവിലാണ്.

അത് മതി.

ഉള്ളടക്കത്തിലേക്ക്

docker-compose.yml തയ്യാറാക്കുന്നു

ഡെവലപ്പർമാർക്കും/ടെസ്റ്റർമാർക്കും പ്രാദേശികമായും CI പൈപ്പ്ലൈനിലും ഉപയോഗിക്കാൻ കഴിയുന്ന ഒരു സാർവത്രിക ഡോക്കർ-compose.yml ആണ് പ്രധാന ചുമതല.

ഒന്നാമതായി, ഞങ്ങൾ CI-യ്ക്ക് തനതായ സേവന നാമങ്ങൾ ഉണ്ടാക്കുന്നു. GitLab CI-യിലെ തനതായ വേരിയബിളുകളിൽ ഒന്ന് വേരിയബിളാണ് CI_JOB_ID. നിങ്ങൾ വ്യക്തമാക്കിയാൽ container_name അർത്ഥം കൊണ്ട് "service-${CI_JOB_ID:-local}", പിന്നെ കേസിൽ:

• എങ്കിൽ CI_JOB_ID പരിസ്ഥിതി വേരിയബിളുകളിൽ നിർവചിച്ചിട്ടില്ല,
  അപ്പോൾ സേവനത്തിന്റെ പേര് ആയിരിക്കും service-local
• എങ്കിൽ CI_JOB_ID പരിസ്ഥിതി വേരിയബിളുകളിൽ നിർവചിച്ചിരിക്കുന്നത് (ഉദാഹരണത്തിന് 123),
  അപ്പോൾ സേവനത്തിന്റെ പേര് ആയിരിക്കും service-123

രണ്ടാമതായി, സമാരംഭിച്ച സേവനങ്ങൾക്കായി ഞങ്ങൾ ഒരു പൊതു ശൃംഖല സൃഷ്ടിക്കുന്നു. ഒന്നിലധികം ടെസ്റ്റ് എൻവയോൺമെന്റുകൾ പ്രവർത്തിപ്പിക്കുമ്പോൾ ഇത് നെറ്റ്‌വർക്ക് ലെവൽ ഐസൊലേഷൻ നൽകുന്നു.

networks:
  default:
    external:
      name: service-network-${CI_JOB_ID:-local}

യഥാർത്ഥത്തിൽ, ഇത് വിജയത്തിലേക്കുള്ള ആദ്യപടിയാണ് =)

അഭിപ്രായങ്ങളുള്ള എന്റെ ഡോക്കർ-കമ്പോസ്.ഐഎംഎൽ ഉദാഹരണം

version: "3"

# Для корректной работы web (php) и fmt нужно, 
# чтобы контейнеры имели общий исполняемый контент.
# В нашем случае, это директория /var/www/testrail
volumes:
  static-content:

# Изолируем окружение на сетевом уровне
networks:
  default:
    external:
      name: testrail-network-${CI_JOB_ID:-local}

services:
  db:
    image: mysql:5.7.22
    # Каждый container_name содержит ${CI_JOB_ID:-local}
    container_name: "testrail-mysql-${CI_JOB_ID:-local}"
    environment:
      MYSQL_HOST: db
      MYSQL_DATABASE: mydb
      MYSQL_ROOT_PASSWORD: 1234
      SKIP_GRANT_TABLES: 1
      SKIP_NETWORKING: 1
      SERVICE_TAGS: dev
      SERVICE_NAME: mysql
    networks:
    - default

  migration:
    image: registry.gitlab.com/touchbit/image/testrail/migration:latest
    container_name: "testrail-migration-${CI_JOB_ID:-local}"
    links:
    - db
    depends_on:
    - db
    networks:
    - default

  fpm:
    image: registry.gitlab.com/touchbit/image/testrail/fpm:latest
    container_name: "testrail-fpm-${CI_JOB_ID:-local}"
    volumes:
    - static-content:/var/www/testrail
    links:
    - db
    networks:
    - default

  web:
    image: registry.gitlab.com/touchbit/image/testrail/web:latest
    container_name: "testrail-web-${CI_JOB_ID:-local}"
    # Если переменные TR_HTTP_PORT или TR_HTTPS_PORTS не определены,
    # то сервис поднимается на 80 и 443 порту соответственно.
    ports:
      - ${TR_HTTP_PORT:-80}:80
      - ${TR_HTTPS_PORT:-443}:443
    volumes:
      - static-content:/var/www/testrail
    links:
      - db
      - fpm
    networks:
      - default

പ്രാദേശിക റൺ ഉദാഹരണം

docker-compose -f docker-compose.yml up -d
Starting   testrail-mysql-local     ... done
Starting   testrail-migration-local ... done
Starting   testrail-fpm-local       ... done
Recreating testrail-web-local       ... done

എന്നാൽ സിഐയിൽ സമാരംഭിക്കുമ്പോൾ എല്ലാം അത്ര ലളിതമല്ല.

ഉള്ളടക്കത്തിലേക്ക്

മേക്ക് ഫയൽ തയ്യാറാക്കുന്നു

ഞാൻ Makefile ഉപയോഗിക്കുന്നു, കാരണം ഇത് പ്രാദേശിക പരിസ്ഥിതി മാനേജ്മെന്റിനും CI യിലും വളരെ സൗകര്യപ്രദമാണ്. കൂടുതൽ ഓൺലൈൻ അഭിപ്രായങ്ങൾ

# У меня в проектах все вспомогательные вещи лежат в директории `.indirect`,
# в том числе и `docker-compose.yml`

# Использовать bash с опцией pipefail 
# pipefail - фейлит выполнение пайпа, если команда выполнилась с ошибкой
SHELL=/bin/bash -o pipefail

# Останавливаем контейнеры и удаляем сеть
docker-kill:
    docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml kill
    docker network rm network-$${CI_JOB_ID:-testrail} || true

# Предварительно выполняем docker-kill 
docker-up: docker-kill
    # Создаем сеть для окружения 
    docker network create network-$${CI_JOB_ID:-testrail}
    # Забираем последние образы из docker-registry
    docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml pull
    # Запускаем окружение
    # force-recreate - принудительное пересоздание контейнеров
    # renew-anon-volumes - не использовать volumes предыдущих контейнеров
    docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
    # Ну и, на всякий случай, вывести что там у нас в принципе запущено на машинке
    docker ps

# Коллектим логи сервисов
docker-logs:
    mkdir ./logs || true
    docker logs testrail-web-$${CI_JOB_ID:-local}       >& logs/testrail-web.log
    docker logs testrail-fpm-$${CI_JOB_ID:-local}       >& logs/testrail-fpm.log
    docker logs testrail-migration-$${CI_JOB_ID:-local} >& logs/testrail-migration.log
    docker logs testrail-mysql-$${CI_JOB_ID:-local}     >& logs/testrail-mysql.log

# Очистка раннера
docker-clean:
    @echo Останавливаем все testrail-контейнеры
    docker kill $$(docker ps --filter=name=testrail -q) || true
    @echo Очистка докер контейнеров
    docker rm -f $$(docker ps -a -f --filter=name=testrail status=exited -q) || true
    @echo Очистка dangling образов
    docker rmi -f $$(docker images -f "dangling=true" -q) || true
    @echo Очистка testrail образов
    docker rmi -f $$(docker images --filter=reference='registry.gitlab.com/touchbit/image/testrail/*' -q) || true
    @echo Очистка всех неиспользуемых volume
    docker volume rm -f $$(docker volume ls -q) || true
    @echo Очистка всех testrail сетей
    docker network rm $(docker network ls --filter=name=testrail -q) || true
    docker ps

പരിശോധിക്കുക

ഡോക്കർ-അപ്പ് ഉണ്ടാക്കുക

$ make docker-up 
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
Killing testrail-web-local   ... done
Killing testrail-fpm-local   ... done
Killing testrail-mysql-local ... done
docker network rm network-${CI_JOB_ID:-testrail} || true
network-testrail
docker network create network-${CI_JOB_ID:-testrail}
d2ec063324081c8bbc1b08fd92242c2ea59d70cf4025fab8efcbc5c6360f083f
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Pulling db        ... done
Pulling migration ... done
Pulling fpm       ... done
Pulling web       ... done
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Recreating testrail-mysql-local ... done
Recreating testrail-fpm-local       ... done
Recreating testrail-migration-local ... done
Recreating testrail-web-local       ... done
docker ps
CONTAINER ID  PORTS                                     NAMES
a845d3cb0e5a  0.0.0.0:80->80/tcp, 0.0.0.0:443->443/tcp  testrail-web-local
19d8ef001398  9000/tcp                                  testrail-fpm-local
e28840a2369c  3306/tcp, 33060/tcp                       testrail-migration-local
0e7900c23f37  3306/tcp                                  testrail-mysql-local

ഡോക്കർ-ലോഗുകൾ ഉണ്ടാക്കുക

$ make docker-logs
mkdir ./logs || true
mkdir: cannot create directory ‘./logs’: File exists
docker logs testrail-web-${CI_JOB_ID:-local}       >& logs/testrail-web.log
docker logs testrail-fpm-${CI_JOB_ID:-local}       >& logs/testrail-fpm.log
docker logs testrail-migration-${CI_JOB_ID:-local} >& logs/testrail-migration.log
docker logs testrail-mysql-${CI_JOB_ID:-local}     >& logs/testrail-mysql.log

ഉള്ളടക്കത്തിലേക്ക്

.gitlab-ci.yml തയ്യാറാക്കുന്നു

ഇന്റഗ്രേഷൻ ടെസ്റ്റുകൾ നടത്തുന്നു

Integration:
  stage: test
  tags:
    - my-shell-runner
  before_script:
    # Аутентифицируемся в registry
    - docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
    # Генерируем псевдоуникальные TR_HTTP_PORT и TR_HTTPS_PORT
    - export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
    - export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
    # создаем директорию с идентификатором задачи
    - mkdir ${CI_JOB_ID}
    # копируем в созданную директорию наш docker-compose.yml
    # чтобы контекст был разный для каждой задачи
    - cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
  script:
    # поднимаем наше окружение
    - make docker-up
    # запускаем тесты исполняемым jar (у меня так)
    - java -jar itest.jar --http-port ${TR_HTTP_PORT} --https-port ${TR_HTTPS_PORT}
    # или в контейнере
    - docker run --network=testrail-network-${CI_JOB_ID:-local} --rm itest
  after_script:
    # собираем логи
    - make docker-logs
    # останавливаем окружение
    - make docker-kill
  artifacts:
    # сохраняем логи
    when: always
    paths:
      - logs
    expire_in: 30 days

അത്തരമൊരു ടാസ്ക് പ്രവർത്തിപ്പിക്കുന്നതിന്റെ ഫലമായി, ആർട്ടിഫാക്റ്റുകളിലെ ലോഗുകളുടെ ഡയറക്ടറിയിൽ സേവനവും ടെസ്റ്റ് ലോഗുകളും അടങ്ങിയിരിക്കും. പിശകുകളുടെ കാര്യത്തിൽ ഇത് വളരെ സൗകര്യപ്രദമാണ്. സമാന്തരമായി ഓരോ ടെസ്റ്റും സ്വന്തം ലോഗ് എഴുതുന്നു, പക്ഷേ ഞാൻ ഇതിനെക്കുറിച്ച് പ്രത്യേകം സംസാരിക്കും.

ഉള്ളടക്കത്തിലേക്ക്

ഓട്ടക്കാരനെ വൃത്തിയാക്കുന്നു

ഒരു ഷെഡ്യൂൾ അനുസരിച്ച് മാത്രമേ ടാസ്ക് ആരംഭിക്കുകയുള്ളൂ.

stages:
- clean
- build
- test

Clean runner:
  stage: clean
  only:
    - schedules
  tags:
    - my-shell-runner
  script:
    - make docker-clean

അടുത്തതായി, ഞങ്ങളുടെ GitLab പ്രോജക്റ്റ് -> CI/CD -> ഷെഡ്യൂളുകൾ -> പുതിയ ഷെഡ്യൂൾ എന്നതിലേക്ക് പോയി ഒരു പുതിയ ഷെഡ്യൂൾ ചേർക്കുക

ഉള്ളടക്കത്തിലേക്ക്

ഫലം

GitLab CI-ൽ 4 ടാസ്‌ക്കുകൾ സമാരംഭിക്കുന്നു

ഇന്റഗ്രേഷൻ ടെസ്റ്റുകളുള്ള അവസാന ടാസ്ക്കിന്റെ ലോഗുകളിൽ വ്യത്യസ്ത ടാസ്ക്കുകളിൽ നിന്നുള്ള കണ്ടെയ്നറുകൾ ഞങ്ങൾ കാണുന്നു

CONTAINER ID  NAMES
c6b76f9135ed  testrail-web-204645172
01d303262d8e  testrail-fpm-204645172
2cdab1edbf6a  testrail-migration-204645172
826aaf7c0a29  testrail-mysql-204645172
6dbb3fae0322  testrail-web-204645084
3540f8d448ce  testrail-fpm-204645084
70fea72aa10d  testrail-mysql-204645084
d8aa24b2892d  testrail-web-204644881
6d4ccd910fad  testrail-fpm-204644881
685d8023a3ec  testrail-mysql-204644881
1cdfc692003a  testrail-web-204644793
6f26dfb2683e  testrail-fpm-204644793
029e16b26201  testrail-mysql-204644793
c10443222ac6  testrail-web-204567103
04339229397e  testrail-fpm-204567103
6ae0accab28d  testrail-mysql-204567103
b66b60d79e43  testrail-web-204553690
033b1f46afa9  testrail-fpm-204553690
a8879c5ef941  testrail-mysql-204553690
069954ba6010  testrail-web-204553539
ed6b17d911a5  testrail-fpm-204553539
1a1eed057ea0  testrail-mysql-204553539

കൂടുതൽ വിശദമായ ലോഗ്

$ docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /home/gitlab-runner/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
$ export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
$ export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
$ mkdir ${CI_JOB_ID}
$ cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm testrail-network-${CI_JOB_ID:-local} || true
Error: No such network: testrail-network-204645172
docker network create testrail-network-${CI_JOB_ID:-local}
0a59552b4464b8ab484de6ae5054f3d5752902910bacb0a7b5eca698766d0331
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Pulling web       ... done
Pulling fpm       ... done
Pulling migration ... done
Pulling db        ... done
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Creating volume "204645172_static-content" with default driver
Creating testrail-mysql-204645172 ... 
Creating testrail-mysql-204645172 ... done
Creating testrail-migration-204645172 ... done
Creating testrail-fpm-204645172       ... done
Creating testrail-web-204645172       ... done
docker ps
CONTAINER ID        IMAGE                                                          COMMAND                  CREATED              STATUS              PORTS                                           NAMES
c6b76f9135ed        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   13 seconds ago       Up 1 second         0.0.0.0:51148->80/tcp, 0.0.0.0:25426->443/tcp   testrail-web-204645172
01d303262d8e        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   16 seconds ago       Up 13 seconds       9000/tcp                                        testrail-fpm-204645172
2cdab1edbf6a        registry.gitlab.com/touchbit/image/testrail/migration:latest   "docker-entrypoint.s…"   16 seconds ago       Up 13 seconds       3306/tcp, 33060/tcp                             testrail-migration-204645172
826aaf7c0a29        mysql:5.7.22                                                   "docker-entrypoint.s…"   18 seconds ago       Up 16 seconds       3306/tcp                                        testrail-mysql-204645172
6dbb3fae0322        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   36 seconds ago       Up 22 seconds       0.0.0.0:44202->80/tcp, 0.0.0.0:20151->443/tcp   testrail-web-204645084
3540f8d448ce        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   38 seconds ago       Up 35 seconds       9000/tcp                                        testrail-fpm-204645084
70fea72aa10d        mysql:5.7.22                                                   "docker-entrypoint.s…"   40 seconds ago       Up 37 seconds       3306/tcp                                        testrail-mysql-204645084
d8aa24b2892d        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   About a minute ago   Up 53 seconds       0.0.0.0:31103->80/tcp, 0.0.0.0:43872->443/tcp   testrail-web-204644881
6d4ccd910fad        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   About a minute ago   Up About a minute   9000/tcp                                        testrail-fpm-204644881
685d8023a3ec        mysql:5.7.22                                                   "docker-entrypoint.s…"   About a minute ago   Up About a minute   3306/tcp                                        testrail-mysql-204644881
1cdfc692003a        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   About a minute ago   Up About a minute   0.0.0.0:44752->80/tcp, 0.0.0.0:23540->443/tcp   testrail-web-204644793
6f26dfb2683e        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   About a minute ago   Up About a minute   9000/tcp                                        testrail-fpm-204644793
029e16b26201        mysql:5.7.22                                                   "docker-entrypoint.s…"   About a minute ago   Up About a minute   3306/tcp                                        testrail-mysql-204644793
c10443222ac6        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   5 hours ago          Up 5 hours          0.0.0.0:57123->80/tcp, 0.0.0.0:31657->443/tcp   testrail-web-204567103
04339229397e        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   5 hours ago          Up 5 hours          9000/tcp                                        testrail-fpm-204567103
6ae0accab28d        mysql:5.7.22                                                   "docker-entrypoint.s…"   5 hours ago          Up 5 hours          3306/tcp                                        testrail-mysql-204567103
b66b60d79e43        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   5 hours ago          Up 5 hours          0.0.0.0:56321->80/tcp, 0.0.0.0:58749->443/tcp   testrail-web-204553690
033b1f46afa9        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   5 hours ago          Up 5 hours          9000/tcp                                        testrail-fpm-204553690
a8879c5ef941        mysql:5.7.22                                                   "docker-entrypoint.s…"   5 hours ago          Up 5 hours          3306/tcp                                        testrail-mysql-204553690
069954ba6010        registry.gitlab.com/touchbit/image/testrail/web:latest         "nginx -g 'daemon of…"   5 hours ago          Up 5 hours          0.0.0.0:32869->80/tcp, 0.0.0.0:16066->443/tcp   testrail-web-204553539
ed6b17d911a5        registry.gitlab.com/touchbit/image/testrail/fpm:latest         "docker-php-entrypoi…"   5 hours ago          Up 5 hours          9000/tcp                                        testrail-fpm-204553539
1a1eed057ea0        mysql:5.7.22                                                   "docker-entrypoint.s…"   5 hours ago          Up 5 hours          3306/tcp                                        testrail-mysql-204553539

എല്ലാ ജോലികളും വിജയകരമായി പൂർത്തിയാക്കി

ടാസ്‌ക് ആർട്ടിഫാക്‌റ്റുകളിൽ സേവനവും ടെസ്റ്റ് ലോഗുകളും അടങ്ങിയിരിക്കുന്നു

എല്ലാം മനോഹരമാണെന്ന് തോന്നുന്നു, പക്ഷേ ഒരു ന്യൂനൻസ് ഉണ്ട്. ഇന്റഗ്രേഷൻ ടെസ്റ്റുകൾ പ്രവർത്തിക്കുമ്പോൾ പൈപ്പ്ലൈൻ നിർബന്ധിതമായി റദ്ദാക്കാം, ഈ സാഹചര്യത്തിൽ പ്രവർത്തിക്കുന്ന കണ്ടെയ്നറുകൾ നിർത്തില്ല. കാലാകാലങ്ങളിൽ നിങ്ങൾ റണ്ണർ വൃത്തിയാക്കേണ്ടതുണ്ട്. നിർഭാഗ്യവശാൽ, GitLab CE മെച്ചപ്പെടുത്തുന്നതിനുള്ള ചുമതല ഇപ്പോഴും നിലയിലാണ് തുറക്കുക

എന്നാൽ ഞങ്ങൾ ഒരു ഷെഡ്യൂൾ അനുസരിച്ച് ഒരു ടാസ്‌ക്കിന്റെ സമാരംഭം ചേർത്തു, അത് സ്വമേധയാ പ്രവർത്തിപ്പിക്കാൻ ആരും ഞങ്ങളെ വിലക്കുന്നില്ല.
ഞങ്ങളുടെ പ്രോജക്റ്റ് -> CI/CD -> ഷെഡ്യൂളുകളിലേക്ക് പോയി ടാസ്ക് പ്രവർത്തിപ്പിക്കുക Clean runner

ആകെ:

• ഞങ്ങൾക്ക് ഒരു ഷെൽ റണ്ണർ ഉണ്ട്.
• ജോലികളും പരിസ്ഥിതിയും തമ്മിൽ വൈരുദ്ധ്യങ്ങളില്ല.
• ഞങ്ങൾ സമാന്തരമായി ഇന്റഗ്രേഷൻ ടെസ്റ്റുകൾ ഉപയോഗിച്ച് ടാസ്‌ക്കുകൾ പ്രവർത്തിപ്പിക്കുന്നു.
• നിങ്ങൾക്ക് പ്രാദേശികമായോ കണ്ടെയ്‌നറിലോ ഇന്റഗ്രേഷൻ ടെസ്റ്റുകൾ നടത്താം.
• സർവീസ്, ടെസ്റ്റ് ലോഗുകൾ ശേഖരിക്കുകയും പൈപ്പ് ലൈൻ ടാസ്ക്കിൽ ഘടിപ്പിക്കുകയും ചെയ്യുന്നു.
• പഴയ ഡോക്കർ ചിത്രങ്ങളിൽ നിന്ന് റണ്ണറെ വൃത്തിയാക്കാൻ സാധിക്കും.

സജ്ജീകരണ സമയം ~2 മണിക്കൂറാണ്.
യഥാർത്ഥത്തിൽ അത്രമാത്രം. ഫീഡ്‌ബാക്ക് ലഭിക്കുന്നതിൽ ഞാൻ സന്തുഷ്ടനാകും.

ഉള്ളടക്കത്തിലേക്ക്

അവലംബം: www.habr.com