გაუმარჯოს ყველას!

მე ვმუშაობ DevOps-ის ინჟინრად სასტუმროს დაჯავშნის სერვისში. Ostrovok.ru. ამ სტატიაში მსურს ვისაუბრო ჩვენს გამოცდილებაზე გონივრული როლების ტესტირებისას.

Ostrovok.ru-ზე ჩვენ ვიყენებთ ansible-ს, როგორც კონფიგურაციის მენეჯერს. ცოტა ხნის წინ, როლების ტესტირების აუცილებლობამდე მივედით, მაგრამ, როგორც აღმოჩნდა, ამისთვის არც ისე ბევრი ინსტრუმენტია - ყველაზე პოპულარული, ალბათ, არის Molecule Framework, ამიტომ გადავწყვიტეთ მისი გამოყენება. მაგრამ აღმოჩნდა, რომ მისი დოკუმენტაცია დუმს ბევრ ხაფანგზე. ჩვენ ვერ ვიპოვეთ საკმარისად დეტალური სახელმძღვანელო რუსულ ენაზე, ამიტომ გადავწყვიტეთ დამეწერა ეს სტატია.

მოლეკულა

მოლეკულა - ჩარჩო, რომელიც დაგეხმარებათ ცალსახა როლების შესამოწმებლად.

გამარტივებული აღწერა: მოლეკულა ქმნის მაგალითს თქვენ მიერ მითითებულ პლატფორმაზე (ღრუბელი, ვირტუალური მანქანა, კონტეინერი; დამატებითი ინფორმაციისთვის იხილეთ სექცია მძღოლი), აწარმოებს თქვენს როლს მასზე, შემდეგ აწარმოებს ტესტებს და წაშლის ინსტანციას. ერთ-ერთ საფეხურზე წარუმატებლობის შემთხვევაში მოლეკულა შეგატყობინებთ ამის შესახებ.

ახლა უფრო.

ცოტა თეორია

განვიხილოთ მოლეკულის ორი ძირითადი ერთეული: სცენარი და დრაივერი.

სცენარი

სცენარი შეიცავს აღწერას, თუ რა, სად, როგორ და რა თანმიმდევრობით შესრულდება. ერთ როლს შეიძლება ჰქონდეს რამდენიმე სკრიპტი და თითოეული არის დირექტორია გზაზე <role>/molecule/<scenario>, რომელიც შეიცავს ტესტისთვის საჭირო მოქმედებების აღწერას. სკრიპტი უნდა იყოს ჩართული default, რომელიც ავტომატურად შეიქმნება, თუ როლს მოლეკულით მოაწყობთ. შემდეგი სკრიპტების სახელები თქვენზეა დამოკიდებული.

სკრიპტში ტესტირების მოქმედებების თანმიმდევრობა ე.წ matrixდა ნაგულისხმევად არის:

(ეტაპები მონიშნულია ?, ნაგულისხმევად გამოტოვებული თუ არ არის მითითებული მომხმარებლის მიერ)

• lint - გაშვებული ლიტრი. ნაგულისხმევად გამოიყენება yamllint и flake8,
• destroy - მოლეკულის ბოლო გაშვებიდან შემთხვევების წაშლა (ასეთის არსებობის შემთხვევაში),
• dependency? - გამოცდილი როლის გონივრული დამოკიდებულების დაყენება,
• syntax - როლის სინტაქსის შემოწმება გამოყენებით ansible-playbook --syntax-check,
• create - მაგალითის შექმნა,
• prepare? - ინსტანციის მომზადება; მაგალითად, შეამოწმეთ/დააინსტალირეთ python2
• converge - ტესტირებადი სათამაშო წიგნის გაშვება,
• idempotence - სპექტაკლის გადატვირთვა იმპოტენციის ტესტისთვის,
• side_effect? - მოქმედებები, რომლებიც პირდაპირ არ არის დაკავშირებული როლთან, მაგრამ აუცილებელია ტესტებისთვის,
• verify - მიღებული კონფიგურაციის ტესტების გაშვება გამოყენებით testinfra(ნაგულისხმევი) /goss/inspec,
• cleanup? - (ახალი ვერსიით) - უხეშად რომ ვთქვათ, მოლეკულით დაზარალებული გარე ინფრასტრუქტურის "გაწმენდა",
• destroy - ინსტანციის წაშლა.

ეს თანმიმდევრობა მოიცავს უმეტეს შემთხვევებს, მაგრამ საჭიროების შემთხვევაში შეიძლება შეიცვალოს.

თითოეული ზემოაღნიშნული ნაბიჯი შეიძლება განხორციელდეს ცალკე molecule <command>. მაგრამ უნდა გვესმოდეს, რომ თითოეული ასეთი cli-ბრძანებისთვის შეიძლება არსებობდეს მოქმედებების საკუთარი თანმიმდევრობა, რომელიც შეგიძლიათ გაიგოთ შესრულებით molecule matrix <command>. მაგალითად, ბრძანების გაშვებისას converge (სატესტო სათამაშო წიგნის გაშვება), შესრულდება შემდეგი მოქმედებები:

$ molecule matrix converge
...
└── default         # название сценария
    ├── dependency  # установка зависимостей
    ├── create      # создание инстанса
    ├── prepare     # преднастройка инстанса
    └── converge    # прогон плейбука

ამ მოქმედებების თანმიმდევრობის რედაქტირება შესაძლებელია. თუ რაიმე სიიდან უკვე გაკეთებულია, ის გამოტოვებული იქნება. მიმდინარე მდგომარეობა, ისევე როგორც ინსტანციების კონფიგურაცია, მოლეკულა ინახავს დირექტორიაში $TMPDIR/molecule/<role>/<scenario>.

ნაბიჯების დამატება ? შეგიძლიათ, აღწეროთ სასურველი მოქმედებები ansible-playbook ფორმატში და გააკეთოთ ფაილის სახელი ნაბიჯის მიხედვით: prepare.yml/side_effect.yml. ველით ამ ფაილებს მოლეკულა იქნება სკრიპტის საქაღალდეში.

მძღოლი

მძღოლი არის ერთეული, სადაც იქმნება ტესტის ინსტანციები.
სტანდარტული დრაივერების სია, რომლებისთვისაც Molecule-ს აქვს შაბლონები მზად არის შემდეგი: Azure, Docker, EC2, GCE, LXC, LXD, OpenStack, Vagrant, Delegated.

უმეტეს შემთხვევაში, შაბლონები არის ფაილები create.yml и destroy.yml სკრიპტის საქაღალდეში, რომელიც აღწერს ინსტანციის შექმნას და წაშლას, შესაბამისად.
გამონაკლისია Docker და Vagrant, რადგან მათ მოდულებთან ურთიერთქმედება შეიძლება მოხდეს ზემოხსენებული ფაილების გარეშე.

ღირს დელეგირებული დრაივერის ხაზგასმა, რადგან თუ ის გამოიყენება ფაილებში ინსტანციის შესაქმნელად და წაშლისთვის, აღწერილია მხოლოდ ინსტანციების კონფიგურაციით მუშაობა, დანარჩენი უნდა აღწეროს ინჟინერმა.

ნაგულისხმევი დრაივერი არის Docker.

ახლა მოდით გადავიდეთ პრაქტიკაზე და განვიხილოთ იქ შემდგომი მახასიათებლები.

ნაცნობობა

როგორც "გამარჯობა სამყარო", მოდით შევამოწმოთ მარტივი nginx ინსტალაციის როლი. მოდით, დრაივერად ავირჩიოთ დოკერი - ვფიქრობ, თქვენგან უმეტესობას აქვს ის დაინსტალირებული (და გახსოვდეთ, რომ დოკერი ნაგულისხმევი დრაივერია).

მომზადება virtualenv და დააინსტალირეთ მასში molecule:

> pip install virtualenv
> virtualenv -p `which python2` venv
> source venv/bin/activate
> pip install molecule docker  # molecule установит ansible как зависимость; docker для драйвера

შემდეგი ნაბიჯი არის ახალი როლის ინიციალიზაცია.
ახალი როლის, ისევე როგორც ახალი სკრიპტის ინიციალიზაცია ხორციელდება ბრძანების გამოყენებით molecule init <params>:

> molecule init role -r nginx
--> Initializing new role nginx...
Initialized role in <path>/nginx successfully.
> cd nginx
> tree -L 1
.
├── README.md
├── defaults
├── handlers
├── meta
├── molecule
├── tasks
└── vars

6 directories, 1 file

ეს ტიპიური ანსაბელური როლი აღმოჩნდა. გარდა ამისა, CLI მოლეკულებთან ყველა ურთიერთქმედება ხდება როლის ძირიდან.

ვნახოთ, რა არის როლების დირექტორიაში:

> tree molecule/default/
molecule/default/
├── Dockerfile.j2  # Jinja-шаблон для Dockerfile
├── INSTALL.rst.   # Немного информации об установке зависимостей сценария
├── molecule.yml   # Файл конфигурации
├── playbook.yml   # Плейбук запуска роли
└── tests          # Директория с тестами стадии verify
    └── test_default.py

1 directory, 6 files

მოდით გავაანალიზოთ კონფიგურაცია molecule/default/molecule.yml (შეცვალეთ მხოლოდ დოკერის სურათი):

---
dependency:
  name: galaxy
driver:
  name: docker
lint:
  name: yamllint
platforms:
  - name: instance
    image: centos:7
provisioner:
  name: ansible
  lint:
    name: ansible-lint
scenario:
  name: default
verifier:
  name: testinfra
  lint:
    name: flake8

დამოკიდებულება

ეს განყოფილება აღწერს დამოკიდებულების წყაროს.

ვარიანტებია: galaxy, მოოქროვილი, ჭურვი.

Shell არის მხოლოდ ბრძანების ჭურვი, რომელიც გამოიყენება იმ შემთხვევაში, თუ გალაქტიკა და მოოქროვილი არ დაფარავს თქვენს საჭიროებებს.

აქ დიდხანს არ გავჩერდები, საკმარისად არის აღწერილი დოკუმენტაცია.

მძღოლი

მძღოლის სახელი. ჩვენი დოკერია.

საცობი

ლინტერი იამლინტია.

კონფიგურაციის ამ ნაწილში სასარგებლო ვარიანტებია yamllint-ისთვის კონფიგურაციის ფაილის მითითების შესაძლებლობა, გარემოს ცვლადების გადაგზავნა ან ლინტერის გამორთვა:

lint:
  name: yamllint
  options:
    config-file: foo/bar
  env:
    FOO: bar
  enabled: False

პლატფორმების

აღწერს ინსტანციების კონფიგურაციას.
დოკერის, როგორც დრაივერის შემთხვევაში, მოლეკულა განმეორდება ამ განყოფილებაში და სიის თითოეული ელემენტი ხელმისაწვდომია Dockerfile.j2 როგორც ცვლადი item.

მძღოლის შემთხვევაში, რომელიც მოითხოვს create.yml и destroy.yml, განყოფილება ხელმისაწვდომია მათში როგორც molecule_yml.platforms, და მასზე გამეორებები უკვე აღწერილია ამ ფაილებში.

იმის გამო, რომ მოლეკულა უზრუნველყოფს ინსტანციების კონტროლს ცალსახად მოდულებზე, შესაძლო პარამეტრების სია ასევე უნდა მოძებნოთ იქ. დოკერისთვის, მაგალითად, მოდული გამოიყენება docker_container_module. რომელი მოდულები გამოიყენება სხვა დრაივერებში, შეგიძლიათ ნახოთ დოკუმენტაცია.

ასევე შეგიძლიათ იპოვოთ სხვადასხვა დრაივერების გამოყენების მაგალითები თავად მოლეკულის ტესტებში.

შეცვალეთ აქ ცენტი: 7 on ubuntu.

მიმწოდებელი

„მიმწოდებელი“ - სუბიექტი, რომელიც მართავს ინსტანციებს. Molecule-ის შემთხვევაში, ეს შესაძლებელია, სხვების მხარდაჭერა არ არის დაგეგმილი, ამიტომ ამ განყოფილებას შეიძლება ეწოდოს გონივრული გაფართოებული კონფიგურაცია სიფრთხილით.
აქ შეგიძლიათ ბევრი რამ დააკონკრეტოთ, მე გამოვყოფ მთავარ პუნქტებს, ჩემი აზრით:

• სათამაშო წიგნები: შეგიძლიათ მიუთითოთ რომელი სათამაშო წიგნები უნდა იყოს გამოყენებული გარკვეულ ეტაპებზე.

provisioner:
  name: ansible
  playbooks:
    create: create.yml
    destroy: ../default/destroy.yml
    converge: playbook.yml
    side_effect: side_effect.yml
    cleanup: cleanup.yml

• config_options: შეუძლებელი კონფიგურაცია

provisioner:
  name: ansible
  config_options:
    defaults:
      fact_caching: jsonfile
    ssh_connection:
      scp_if_ssh: True

• კავშირი_ოფციები: პარამეტრები კავშირი

provisioner:
  name: ansible  
  connection_options:
    ansible_ssh_common_args: "-o 'UserKnownHostsFile=/dev/null' -o 'ForwardAgent=yes'"

• პარამეტრები: Ansible პარამეტრები და გარემოს ცვლადები

provisioner:
  name: ansible  
  options:
    vvv: true
    diff: true
  env:
    FOO: BAR

სცენარი

სკრიპტის თანმიმდევრობის დასახელება და აღწერა.
თქვენ შეგიძლიათ შეცვალოთ ნებისმიერი ბრძანების ნაგულისხმევი მოქმედების მატრიცა კლავიშის დამატებით <command>_sequence და როგორც ღირებულება, ჩვენ გვჭირდება ნაბიჯების სიის განსაზღვრით.
ვთქვათ, გვინდა შევცვალოთ მოქმედებების თანმიმდევრობა playbook run ბრძანების გაშვებისას: molecule converge

# изначально:
# - dependency
# - create
# - prepare
# - converge
scenario:
  name: default
  converge_sequence:
    - create
    - converge

შემოწმება

ტესტებისთვის ჩარჩოს დაყენება და მასზე ლინტერი. ნაგულისხმევი ლინტერი არის testinfra и flake8. შესაძლო ვარიანტები იგივეა, რაც ზემოთ:

verifier:
  name: testinfra
  additional_files_or_dirs:
    - ../path/to/test_1.py
    - ../path/to/test_2.py
    - ../path/to/directory/*
  options:
    n: 1
  enabled: False
  env:
    FOO: bar
  lint:
    name: flake8
    options:
      benchmark: True
    enabled: False
    env:
      FOO: bar

დავუბრუნდეთ ჩვენს როლს. მოდით დაარედაქტიროთ ფაილი tasks/main.yml ამ სახისთვის:

---
- name: Install nginx
  apt:
    name: nginx
    state: present

- name: Start nginx
  service:
    name: nginx
    state: started

და დაამატეთ ტესტები molecule/default/tests/test_default.py

def test_nginx_is_installed(host):
    nginx = host.package("nginx")
    assert nginx.is_installed

def test_nginx_running_and_enabled(host):
    nginx = host.service("nginx")
    assert nginx.is_running
    assert nginx.is_enabled

def test_nginx_config(host):
    host.run("nginx -t")

დასრულებულია, რჩება მხოლოდ გაშვება (როლის ძირიდან, შეგახსენებთ):

> molecule test

გრძელი გამონაბოლქვი სპოილერის ქვეშ:

--> Validating schema <path>/nginx/molecule/default/molecule.yml.
Validation completed successfully.
--> Test matrix

└── default
    ├── lint
    ├── destroy
    ├── dependency
    ├── syntax
    ├── create
    ├── prepare
    ├── converge
    ├── idempotence
    ├── side_effect
    ├── verify
    └── destroy

--> Scenario: 'default'
--> Action: 'lint'
--> Executing Yamllint on files found in <path>/nginx/...
Lint completed successfully.
--> Executing Flake8 on files found in <path>/nginx/molecule/default/tests/...
Lint completed successfully.
--> Executing Ansible Lint on <path>/nginx/molecule/default/playbook.yml...
Lint completed successfully.
--> Scenario: 'default'
--> Action: 'destroy'

    PLAY [Destroy] *****************************************************************

    TASK [Destroy molecule instance(s)] ********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) deletion to complete] *******************************
    ok: [localhost] => (item=None)
    ok: [localhost]

    TASK [Delete docker network(s)] ************************************************

    PLAY RECAP *********************************************************************
    localhost                  : ok=2    changed=1    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'dependency'
Skipping, missing the requirements file.
--> Scenario: 'default'
--> Action: 'syntax'

    playbook: <path>/nginx/molecule/default/playbook.yml

--> Scenario: 'default'
--> Action: 'create'

    PLAY [Create] ******************************************************************

    TASK [Log into a Docker registry] **********************************************
    skipping: [localhost] => (item=None)

    TASK [Create Dockerfiles from image names] *************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Discover local Docker images] ********************************************
    ok: [localhost] => (item=None)
    ok: [localhost]

    TASK [Build an Ansible compatible image] ***************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Create docker network(s)] ************************************************

    TASK [Create molecule instance(s)] *********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) creation to complete] *******************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    PLAY RECAP *********************************************************************
    localhost                  : ok=5    changed=4    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'prepare'
Skipping, prepare playbook not configured.
--> Scenario: 'default'
--> Action: 'converge'

    PLAY [Converge] ****************************************************************

    TASK [Gathering Facts] *********************************************************
    ok: [instance]

    TASK [nginx : Install nginx] ***************************************************
    changed: [instance]

    TASK [nginx : Start nginx] *****************************************************
    changed: [instance]

    PLAY RECAP *********************************************************************
    instance                   : ok=3    changed=2    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'idempotence'
Idempotence completed successfully.
--> Scenario: 'default'
--> Action: 'side_effect'
Skipping, side effect playbook not configured.
--> Scenario: 'default'
--> Action: 'verify'
--> Executing Testinfra tests found in <path>/nginx/molecule/default/tests/...
    ============================= test session starts ==============================
    platform darwin -- Python 2.7.15, pytest-4.3.0, py-1.8.0, pluggy-0.9.0
    rootdir: <path>/nginx/molecule/default, inifile:
    plugins: testinfra-1.16.0
collected 4 items

    tests/test_default.py ....                                               [100%]

    ========================== 4 passed in 27.23 seconds ===========================
Verifier completed successfully.
--> Scenario: 'default'
--> Action: 'destroy'

    PLAY [Destroy] *****************************************************************

    TASK [Destroy molecule instance(s)] ********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) deletion to complete] *******************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Delete docker network(s)] ************************************************

    PLAY RECAP *********************************************************************
    localhost                  : ok=2    changed=2    unreachable=0    failed=0

ჩვენი მარტივი როლი უპრობლემოდ იქნა გამოცდილი.
უნდა გვახსოვდეს, რომ თუ სამუშაოს დროს პრობლემებია molecule test, მაშინ, თუ თქვენ არ შეცვალეთ ნაგულისხმევი თანმიმდევრობა, მოლეკულა წაშლის მაგალითს.

შემდეგი ბრძანებები სასარგებლოა გამართვისთვის:

> molecule --debug <command> # debug info. При обычном запуске Молекула скрывает логи.
> molecule converge          # Оставляет инстанс после прогона тестируемой роли.
> molecule login             # Зайти в созданный инстанс.
> molecule --help            # Полный список команд.

არსებული როლი

არსებული როლისთვის ახალი სკრიპტის დამატება არის როლების დირექტორიადან შემდეგი ბრძანებებით:

# полный список доступных параметров
> molecule init scenarion --help
# создание нового сценария
> molecule init scenario -r <role_name> -s <scenario_name>

იმ შემთხვევაში, თუ ეს არის პირველი სცენარი როლში, მაშინ პარამეტრი -s შეიძლება გამოტოვოთ, რადგან ის შექმნის სკრიპტს default.

დასკვნა

როგორც ხედავთ, მოლეკულა არ არის ძალიან რთული და თქვენი საკუთარი შაბლონების გამოყენებით, ახალი სკრიპტის დანერგვა შეიძლება შემცირდეს ცვლადების რედაქტირებამდე, მაგალითად, შექმნისა და წაშლის სათამაშო წიგნებში. მოლეკულა შეუფერხებლად ინტეგრირდება CI სისტემებთან, რაც საშუალებას გაძლევთ გაზარდოთ განვითარების სიჩქარე სათამაშო წიგნების ხელით ტესტირების დროის შემცირებით.

Გმადლობთ ყურადღებისთვის. თუ თქვენ გაქვთ მნიშვნელოვანი როლების ტესტირების გამოცდილება და ეს არ არის დაკავშირებული მოლეკულასთან, გვითხარით ამის შესახებ კომენტარებში!

წყარო: www.habr.com