Ускоряваме Ansible с Mitogen

Ansible стана една от най-популярните системи за управление на конфигурации. След като беше купен от Red Hat през 2015 година броят на участниците в проекта надхвърли хиляди и Ansible стана вероятно най-използваната система за разгръщане и оркестрация. Неговите широки области на приложение са наистина впечатляващи.

Ansible работи чрез SSH връзки към отдалечени хостове. Той отваря SSH сесия, извършва влизане, копира Python код по мрежата и го записва в отделен временен файл. След това той изпълнява този файл на отдалечената машина. Цялата тази последователност от операции е сравнително дълга и трудоемка, поради което съществуват различни начини за оптимизация.

Един от тези начини е SSH пайплайни , който позволява да се използва една SSH сесия за изпълнение на команди, вместо да се отваря нова сесия всеки път, което може да спести много време. (Само не забравяйте да изключите requiretty настройката за sudo във вашия /etc/sudoers файл на отдалечената машина)

Новият начин да 'разгърнем' Ansible е библиотеката на Python на име Mitogen. Ако някой не е чувал за нея - накратко ще опиша функционалността й. Тя позволява бързо изпълнение на Python код на отдалечена машина, а Ansible е само един от примерите за нейното използване. Mitogen използва UNIX pipe на отдалечената машина и предава Python код компресиран с zlib и сериализиран с pickle. Това помага да се изпълнява по-бързо и спестява трафик. Ако се интересувате от по-подробно обяснение, най-добре е да прочетете за това на страницата ‘Как работи’. Но днес ще се фокусираме само върху работата на библиотеката с Ansible.

Mitogen при определени обстоятелства може да ускори вашия Ansible код многократно и значително да намали разхода на трафик. Нека проверим най-популярните примери за използване и да видим колко ни помагат.

Най-често използвам Ansible за: създаване на конфигурационни файлове на отдалечена машина, инсталиране на пакети, копиране на файлове на отдалечена машина и обратно. Възможно е да имате и други примери - напишете в коментарите.

Да тръгваме!

Конфигурацията на Mitogen за Ansible е много проста:
Инсталираме библиотеката Mitogen:

pip install mitogen

Сега има два равнозначни начина - или да настроите опциите в конфигурационния файл ansible.cfg, или да зададете нужните променливи на средата.

Да предположим, че пътят до инсталирания Mitogen ще бъде /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy. Тогава:

export ANSIBLE_STRATEGY_PLUGINS=\/usr\/lib\/python2.7\/site-packages\/ansible_mitogen\/plugins\/strategy
export ANSIBLE_STRATEGY=mitogen_linear

или

[defaults]
strategy = mitogen_linear
strategy_plugins = \/usr\/lib\/python2.7\/site-packages\/ansible_mitogen\/plugins\/strategy

Нека инсталираме Ansible в virtualenv, с Mitogen и без него:

virtualenv mitogen_ansible
.\/mitogen_ansible\/bin\/pip install ansible==2.7.10 mitogen
virtualenv pure_ansible
.\/pure_ansible\/bin\/pip install ansible==2.7.10

Обърнете внимание, че Mitogen 0.2.7 не работи с Ansible 2.8 (към май 2019)

Създаваме alias-и:

alias pure-ansible-playbook='$(pwd)\/pure_ansible\/bin\/ansible-playbook'
alias mitogen-ansible-playbook='ANSIBLE_STRATEGY_PLUGINS=$(pwd)\/mitogen_ansible\/lib\/python3.7\/site-packages\/ansible_mitogen\/plugins\/strategy ANSIBLE_STRATEGY=mitogen_linear $(pwd)\/mitogen_ansible\/bin\/ansible-playbook'

Сега ще опитаме да стартираме playbook, който създава файлове на отдалечен хост:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Създаване на файлове с модула copy
      copy:
        content: |
          тестов файл {{ item }}
        dest: ~\/file_{{ item }}
      with_sequence: start=1 end={{ n }}

И ще го стартираме с Mitogen и без него, за да създадем 10 файла:

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=10 &>\/dev\/null

real    0m2.603s
user    0m1.152s
sys     0m0.096s

time pure-ansible-playbook file_creation.yml -i hosts -e n=10 &>\/dev\/null

real    0m5.908s
user    0m1.745s
sys     0m0.643s

Виждаме подобрение от 2 пъти. Нека проверим за 20, 30, …, 100 файла:

time pure-ansible-playbook file_creation.yml -i hosts -e n=100 &>\/dev\/null

real    0m51.775s
user    0m8.039s
sys     0m6.305s

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=100 &>\/dev\/null

real    0m4.331s
user    0m1.903s
sys     0m0.197s

В крайна сметка ускорихме изпълнението повече от 10 пъти!
Сега ще опитаме различни сценарии и ще видим колко по-бързо работи всичко:

• Сценарий за копиране на файлове от локален хост на отдалечен: copy):
  

• Сценарий за създаване на файлове на отдалечен хост с copy модула:
  

• Сценарий за изтегляне на файлове от отдалечен хост на локален:
  

Нека опитаме сценарий с няколко (3) отдалечени машини, например сценарий за копиране на файлове на отдалечен хост:

Както виждате, Mitogen ни спестява както време, така и трафик в тези сценарии. Но ако „бутилчното гърло“ не е в Ansible, а например в I/O на диска или мрежата, или на друго място, тогава е трудно да се очаква, че Mitogen ще ни помогне.

Нека опитаме сценарий с инсталиране на пакети с yum/dnf и модули на python с pip. Пакетите бяха кеширани, за да не зависим от грешки в мрежата:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Инсталиране на пакети
      become: true
      package:
        name:
          - samba
          - httpd
          - nano
          - ruby
        state: present

    - name: Инсталиране на pip модули
      become: true
      pip:
        name:
          - pytest-split-tests
          - bottle
          - pep8
          - flask
        state: present

С Mitogen това отне 12 секунди, точно както и без него.
На страницата Mitogen for Ansible page можете да разгледате други бенчмаркове и тестове. Както се твърди на страницата:

Mitogen не може да ускори модула, когато той се изпълнява. Той може само да направи изпълнението на този модул колкото е възможно по-бързо.

Затова е важно да откриете вашите тесни места в разгръщането и ако те са причинени от Ansible, Mitogen ще ви помогне да ги решите и значително да ускорите изпълнението на вашите playbooks.

Източник: habr.com