Здравейте на всички!

Работя като DevOps инженер в услуга за хотелски резервации. Ostrovok.ru. В тази статия искам да говоря за нашия опит в тестването на анзибилни роли.

В Ostrovok.ru използваме ansible като конфигурационен мениджър. Наскоро стигнахме до необходимостта да тестваме роли, но както се оказа, няма толкова много инструменти за това - най-популярният може би е Molecule framework, така че решихме да го използваме. Но се оказа, че документацията му мълчи за много подводни камъни. Не успяхме да намерим достатъчно подробно ръководство на руски, затова решихме да напишем тази статия.

молекула

Молекула - рамка за подпомагане на тестването на невъзможни роли.

Опростено описание: Молекулата създава екземпляр на платформата, която посочите (облак, виртуална машина, контейнер; за повече подробности вижте раздела драйвер), изпълнява вашата роля върху него, след което изпълнява тестове и изтрива екземпляра. В случай на неуспех на една от стъпките, Молекулата ще ви информира за това.

Сега повече.

Малко теория

Помислете за две ключови единици на молекулата: сценарий и драйвер.

Сценарий

Скриптът съдържа описание какво, къде, как и в каква последователност ще се изпълнява. Една роля може да има няколко скрипта и всеки от тях е директория по пътя <role>/molecule/<scenario>, който съдържа описание на действията, необходими за теста. Скриптът трябва да бъде включен default, който ще бъде създаден автоматично, ако инициализирате ролята с Molecule. Имената на следните скриптове зависят от вас.

Извиква се последователността от тестови действия в скрипт матрицаи по подразбиране е:

(Стъпките са обозначени ?, пропуска се по подразбиране, ако не е посочено от потребителя)

• lint - течащи линтери. По подразбиране се използват yamllint и flake8,
• destroy - изтриване на екземпляри от последното стартиране на Molecule (ако има такива),
• dependency? — инсталиране на анзибилната зависимост на тестваната роля,
• syntax - проверка на синтаксиса на използваната роля ansible-playbook --syntax-check,
• create - създаване на екземпляр,
• prepare? — подготовка на инстанцията; например проверете/инсталирайте python2
• converge — стартиране на тестваната книга за игри,
• idempotence - рестартиране на книгата за теста за идемпотентност,
• side_effect? - действия, които не са пряко свързани с ролята, но са необходими за тестове,
• verify - провеждане на тестове на получената конфигурация с помощта testinfra(по подразбиране) /goss/inspec,
• cleanup? - (в новите версии) - грубо казано, "почистване" на външната инфраструктура, засегната от Молекулата,
• destroy - Изтриване на екземпляр.

Тази последователност обхваща повечето случаи, но може да бъде променена, ако е необходимо.

Всяка от горните стъпки може да се изпълнява отделно с molecule <command>. Но трябва да се разбере, че за всяка такава cli-команда може да има своя собствена последователност от действия, които можете да разберете, като изпълните molecule matrix <command>. Например, когато изпълнявате командата converge (пускане на тестваната книга за игра), ще бъдат извършени следните действия:

$ molecule matrix converge
...
└── default         # название сценария
    ├── dependency  # установка зависимостей
    ├── create      # создание инстанса
    ├── prepare     # преднастройка инстанса
    └── converge    # прогон плейбука

Последователността на тези действия може да се редактира. Ако нещо от списъка вече е направено, то ще бъде пропуснато. Текущото състояние, както и конфигурацията на екземплярите, Molecule съхранява в директорията $TMPDIR/molecule/<role>/<scenario>.

Добавете стъпки с ? можете да опишете желаните действия във формата на ansible-playbook и да направите името на файла според стъпката: prepare.yml/side_effect.yml. Очаквайте тези файлове. Молекулата ще бъде в папката на скрипта.

драйвер

Драйверът е обект, в който се създават тестови екземпляри.
Списъкът със стандартни драйвери, за които Molecule има готови шаблони, е както следва: Azure, Docker, EC2, GCE, LXC, LXD, OpenStack, Vagrant, Delegated.

В повечето случаи шаблоните са файлове create.yml и destroy.yml в папката на скрипта, които описват съответно създаването и изтриването на екземпляр.
Изключенията са Docker и Vagrant, тъй като взаимодействията с техните модули могат да се осъществят без гореспоменатите файлове.

Струва си да се подчертае делегираният драйвер, тъй като ако се използва във файловете за създаване и изтриване на екземпляр, се описва само работата с конфигурацията на екземплярите, останалото трябва да бъде описано от инженера.

Драйверът по подразбиране е Docker.

Сега нека да преминем към практиката и да разгледаме допълнителни функции там.

Първи стъпки

Като „здравей свят“, нека тестваме проста инсталационна роля на nginx. Нека изберем docker като драйвер - мисля, че повечето от вас го имат инсталиран (и не забравяйте, че docker е драйверът по подразбиране).

подготви virtualenv и инсталирайте в него molecule:

> pip install virtualenv
> virtualenv -p `which python2` venv
> source venv/bin/activate
> pip install molecule docker  # molecule установит ansible как зависимость; docker для драйвера

Следващата стъпка е да инициализирате новата роля.
Инициализирането на нова роля, както и нов скрипт се извършва с помощта на командата molecule init <params>:

> molecule init role -r nginx
--> Initializing new role nginx...
Initialized role in <path>/nginx successfully.
> cd nginx
> tree -L 1
.
├── README.md
├── defaults
├── handlers
├── meta
├── molecule
├── tasks
└── vars

6 directories, 1 file

Оказа се типична анзибъл-роля. Освен това, всички взаимодействия с CLI молекули се правят от корена на ролята.

Да видим какво има в директорията на ролите:

> tree molecule/default/
molecule/default/
├── Dockerfile.j2  # Jinja-шаблон для Dockerfile
├── INSTALL.rst.   # Немного информации об установке зависимостей сценария
├── molecule.yml   # Файл конфигурации
├── playbook.yml   # Плейбук запуска роли
└── tests          # Директория с тестами стадии verify
    └── test_default.py

1 directory, 6 files

Нека анализираме конфигурацията molecule/default/molecule.yml (заменете само докер изображение):

---
dependency:
  name: galaxy
driver:
  name: docker
lint:
  name: yamllint
platforms:
  - name: instance
    image: centos:7
provisioner:
  name: ansible
  lint:
    name: ansible-lint
scenario:
  name: default
verifier:
  name: testinfra
  lint:
    name: flake8

зависимостта

Този раздел описва източника на зависимости.

Възможные варианти: галактика, прилага, черупка.

Shell е просто командна обвивка, която се използва в случай, че galaxy и gilt не покриват вашите нужди.

Няма да се спирам тук дълго, достатъчно е описано в документация.

шофьор

Името на водача. Нашият е докер.

марля

Линтерът е ямлинт.

Полезни опции в тази част от конфигурацията са възможността за указване на конфигурационен файл за yamllint, препращане на променливи на средата или деактивиране на линтера:

lint:
  name: yamllint
  options:
    config-file: foo/bar
  env:
    FOO: bar
  enabled: False

платформи

Описва конфигурацията на екземплярите.
В случай на докер като драйвер, Molecule се повтаря през този раздел и всеки елемент от списъка е достъпен в Dockerfile.j2 като променлива item.

В случай на драйвер, който изисква create.yml и destroy.yml, секцията е налична в тях като molecule_yml.platformsи итерациите над него вече са описани в тези файлове.

Тъй като Molecule предоставя контрол на екземпляри на ansible модули, списъкът с възможни настройки също трябва да се търси там. За докер например се използва модулът docker_container_module. Кои модули се използват в други драйвери могат да бъдат намерени в документация.

Както и примери за използване на различни драйвери могат да бъдат намерени в тестовете на самата Молекула.

Заменете тук центо:7 на Ubuntu.

доставчик

"Доставчик" - субект, който управлява екземпляри. В случая на Molecule това е ansible, поддръжка за други не е планирана, така че този раздел може да се нарече ansible разширена конфигурация с едно предупреждение.
Тук можете да посочите много неща, аз ще подчертая основните моменти, според мен:

• playbooks: можете да посочите кои книги-игри да се използват на определени етапи.

provisioner:
  name: ansible
  playbooks:
    create: create.yml
    destroy: ../default/destroy.yml
    converge: playbook.yml
    side_effect: side_effect.yml
    cleanup: cleanup.yml

• config_options: ansible config

provisioner:
  name: ansible
  config_options:
    defaults:
      fact_caching: jsonfile
    ssh_connection:
      scp_if_ssh: True

• опции_за_връзка: настроики връзка

provisioner:
  name: ansible  
  connection_options:
    ansible_ssh_common_args: "-o 'UserKnownHostsFile=/dev/null' -o 'ForwardAgent=yes'"

• опции: Ansible опции и променливи на средата

provisioner:
  name: ansible  
  options:
    vvv: true
    diff: true
  env:
    FOO: BAR

сценарий

Име и описание на последователности от скриптове.
Можете да промените матрицата на действие по подразбиране на всяка команда, като добавите ключа <command>_sequence и като стойност за него, като дефинираме списъка от стъпки, от които се нуждаем.
Да кажем, че искаме да променим последователността от действия, когато изпълняваме командата за изпълнение на книгата: molecule converge

# изначально:
# - dependency
# - create
# - prepare
# - converge
scenario:
  name: default
  converge_sequence:
    - create
    - converge

Проверяващият

Създаване на рамка за тестове и линтер към нея. Линтерът по подразбиране е testinfra и flake8. Възможните опции са същите като по-горе:

verifier:
  name: testinfra
  additional_files_or_dirs:
    - ../path/to/test_1.py
    - ../path/to/test_2.py
    - ../path/to/directory/*
  options:
    n: 1
  enabled: False
  env:
    FOO: bar
  lint:
    name: flake8
    options:
      benchmark: True
    enabled: False
    env:
      FOO: bar

Да се ​​върнем към нашата роля. Да редактираме файла tasks/main.yml към този вид:

---
- name: Install nginx
  apt:
    name: nginx
    state: present

- name: Start nginx
  service:
    name: nginx
    state: started

И добавете тестове към molecule/default/tests/test_default.py

def test_nginx_is_installed(host):
    nginx = host.package("nginx")
    assert nginx.is_installed

def test_nginx_running_and_enabled(host):
    nginx = host.service("nginx")
    assert nginx.is_running
    assert nginx.is_enabled

def test_nginx_config(host):
    host.run("nginx -t")

Готово, остава само да стартирате (от корена на ролята, нека ви напомня):

> molecule test

Дълъг ауспух под спойлера:

--> Validating schema <path>/nginx/molecule/default/molecule.yml.
Validation completed successfully.
--> Test matrix

└── default
    ├── lint
    ├── destroy
    ├── dependency
    ├── syntax
    ├── create
    ├── prepare
    ├── converge
    ├── idempotence
    ├── side_effect
    ├── verify
    └── destroy

--> Scenario: 'default'
--> Action: 'lint'
--> Executing Yamllint on files found in <path>/nginx/...
Lint completed successfully.
--> Executing Flake8 on files found in <path>/nginx/molecule/default/tests/...
Lint completed successfully.
--> Executing Ansible Lint on <path>/nginx/molecule/default/playbook.yml...
Lint completed successfully.
--> Scenario: 'default'
--> Action: 'destroy'

    PLAY [Destroy] *****************************************************************

    TASK [Destroy molecule instance(s)] ********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) deletion to complete] *******************************
    ok: [localhost] => (item=None)
    ok: [localhost]

    TASK [Delete docker network(s)] ************************************************

    PLAY RECAP *********************************************************************
    localhost                  : ok=2    changed=1    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'dependency'
Skipping, missing the requirements file.
--> Scenario: 'default'
--> Action: 'syntax'

    playbook: <path>/nginx/molecule/default/playbook.yml

--> Scenario: 'default'
--> Action: 'create'

    PLAY [Create] ******************************************************************

    TASK [Log into a Docker registry] **********************************************
    skipping: [localhost] => (item=None)

    TASK [Create Dockerfiles from image names] *************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Discover local Docker images] ********************************************
    ok: [localhost] => (item=None)
    ok: [localhost]

    TASK [Build an Ansible compatible image] ***************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Create docker network(s)] ************************************************

    TASK [Create molecule instance(s)] *********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) creation to complete] *******************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    PLAY RECAP *********************************************************************
    localhost                  : ok=5    changed=4    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'prepare'
Skipping, prepare playbook not configured.
--> Scenario: 'default'
--> Action: 'converge'

    PLAY [Converge] ****************************************************************

    TASK [Gathering Facts] *********************************************************
    ok: [instance]

    TASK [nginx : Install nginx] ***************************************************
    changed: [instance]

    TASK [nginx : Start nginx] *****************************************************
    changed: [instance]

    PLAY RECAP *********************************************************************
    instance                   : ok=3    changed=2    unreachable=0    failed=0

--> Scenario: 'default'
--> Action: 'idempotence'
Idempotence completed successfully.
--> Scenario: 'default'
--> Action: 'side_effect'
Skipping, side effect playbook not configured.
--> Scenario: 'default'
--> Action: 'verify'
--> Executing Testinfra tests found in <path>/nginx/molecule/default/tests/...
    ============================= test session starts ==============================
    platform darwin -- Python 2.7.15, pytest-4.3.0, py-1.8.0, pluggy-0.9.0
    rootdir: <path>/nginx/molecule/default, inifile:
    plugins: testinfra-1.16.0
collected 4 items

    tests/test_default.py ....                                               [100%]

    ========================== 4 passed in 27.23 seconds ===========================
Verifier completed successfully.
--> Scenario: 'default'
--> Action: 'destroy'

    PLAY [Destroy] *****************************************************************

    TASK [Destroy molecule instance(s)] ********************************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Wait for instance(s) deletion to complete] *******************************
    changed: [localhost] => (item=None)
    changed: [localhost]

    TASK [Delete docker network(s)] ************************************************

    PLAY RECAP *********************************************************************
    localhost                  : ok=2    changed=2    unreachable=0    failed=0

Нашата проста роля беше тествана без проблеми.
Струва си да запомните, че ако има проблеми по време на работа molecule test, тогава ако не сте променили последователността по подразбиране, Molecule ще изтрие екземпляра.

Следните команди са полезни за отстраняване на грешки:

> molecule --debug <command> # debug info. При обычном запуске Молекула скрывает логи.
> molecule converge          # Оставляет инстанс после прогона тестируемой роли.
> molecule login             # Зайти в созданный инстанс.
> molecule --help            # Полный список команд.

Съществуваща роля

Добавянето на нов скрипт към съществуваща роля е от директорията на ролите със следните команди:

# полный список доступных параметров
> molecule init scenarion --help
# создание нового сценария
> molecule init scenario -r <role_name> -s <scenario_name>

В случай, че това е първият сценарий в ролята, тогава параметърът -s може да се пропусне, тъй като ще създаде скрипт default.

Заключение

Както можете да видите, Molecule не е много сложен и чрез използване на ваши собствени шаблони внедряването на нов скрипт може да се сведе до редактиране на променливи в книгите за създаване и изтриване на екземпляри. Молекулата се интегрира безпроблемно с CI системи, което ви позволява да увеличите скоростта на разработка чрез намаляване на времето за ръчно тестване на книгите за игри.

Благодаря за вниманието. Ако имате опит в тестването на анзибилни роли и това не е свързано с Molecule, разкажете ни за това в коментарите!

Източник: www.habr.com