Ускоряване на Ansible с Mitogen

Ansible стана един от най-популярните Управление на системната конфигурация. След е закупен от Red Hat през 2015 г. броят участници в проекта надхвърли хиляди и Ansible стана вероятно най-използваната система за внедряване и оркестрация. Широката му гама от приложения е много впечатляваща.

Ansible работи през SSH връзки към отдалечени хостове. Той отваря SSH сесия, влиза в системата, копира кода на Python по мрежата и го записва в отделен временен файл. След това той изпълнява този файл на отдалечената машина. Цялата тази последователност от операции е доста дълга и досадна, така че има различни начини за нейното оптимизиране.

Един от тези начини е SSH тръбопроводи което ви позволява да използвате една SSH сесия за изпълнение на инструкции, вместо да отваряте нова сесия всеки път, което може да ни спести много време. (Само не забравяйте да изключите requiretty настройка за sudo във вашия /etc/sudoers файл на отдалечената машина)

Нов начин за овърклокване на Ansible е библиотека на Python, наречена митоген. Ако някой не е чувал за него, ще опиша накратко функционалността му. Той позволява бързо изпълнение на код на Python на отдалечена машина, а Ansible е само един пример за използване. Mitogen използва UNIX канал на отдалечената машина и прехвърля Python код, компресиран с zlib и сериализиран с pickle. Това помага да го завършите по-бързо и спестява трафик. Ако се интересувате от по-подробно обяснение, най-добре прочетете за това на страницата "Как работи". Но днес ще се съсредоточим само върху това как библиотеката работи с Ansible.

Mitogen при определени обстоятелства може да ускори вашия Ansible код няколко пъти и значително да намали потреблението на трафик. Нека да разгледаме най-популярните случаи на употреба и да видим колко ни помагат.

Използвам Ansible най-вече за: създаване на конфигурационни файлове на отдалечена машина, инсталиране на пакети, копиране на файлове към и от отдалечената машина. Може би имате други примери - напишете в коментарите.

Да вървим!

Конфигурацията на Mitogen за Ansible е много проста:
Инсталирайте библиотеката Mitogen:

pip install mitogen

Сега има два еквивалентни начина - или да конфигурирате опциите в конфигурационния файл ansible.cfg, или да зададете необходимите променливи на средата.

Да приемем, че пътят до инсталирания Mitogen ще бъде /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy. Тогава:

export ANSIBLE_STRATEGY_PLUGINS=/usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy
export ANSIBLE_STRATEGY=mitogen_linear

или

[defaults]
strategy = mitogen_linear
strategy_plugins = /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy

Нека инсталираме Ansible във virtualenv, със и без Mitogen:

virtualenv mitogen_ansible
./mitogen_ansible/bin/pip install ansible==2.7.10 mitogen
virtualenv pure_ansible
./pure_ansible/bin/pip install ansible==2.7.10

Моля, обърнете внимание, че Mitogen 0.2.7 не работи с Ansible 2.8 (от май 2019 г.)

Създаване на псевдоними:

alias pure-ansible-playbook='$(pwd)/pure_ansible/bin/ansible-playbook'
alias mitogen-ansible-playbook='ANSIBLE_STRATEGY_PLUGINS=$(pwd)/mitogen_ansible/lib/python3.7/site-packages/ansible_mitogen/plugins/strategy ANSIBLE_STRATEGY=mitogen_linear $(pwd)/mitogen_ansible/bin/ansible-playbook'

Сега нека се опитаме да стартираме книга за игра, която създава файлове на отдалечена машина:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Create files with copy content module
      copy:
        content: |
          test file {{ item }}
        dest: ~/file_{{ item }}
      with_sequence: start=1 end={{ n }}

И нека го стартираме с и без Mitogen, за да създадем 10 файла:

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m2.603s
user    0m1.152s
sys     0m0.096s

time pure-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m5.908s
user    0m1.745s
sys     0m0.643s

Виждаме двукратно подобрение. Нека проверим за 2, 20, ..., 30 файла:

time pure-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m51.775s
user    0m8.039s
sys     0m6.305s

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m4.331s
user    0m1.903s
sys     0m0.197s

В резултат на това ускорихме изпълнението повече от 10 пъти!
Сега нека опитаме различни сценарии и да видим колко по-бързо работи всичко за нас:

• Скрипт за копиране на файлове на отдалечен хост от локален (с модула copy):
  

• Скрипт за създаване на файлове на отдалечен хост с copy модул:
  

• Сценарий с изтегляне на файлове от отдалечен хост към локален:
  

Нека опитаме сценарий с няколко (3) отдалечени машини, например сценарий с копиране на файлове на отдалечен хост:

Както можете да видите, Mitogen ни спестява време и трафик в тези сценарии. Но ако тясното място не е в Ansible, а например във I/O на диск или мрежа, или някъде другаде, тогава е трудно да очакваме Mitogen да ни помогне.

Нека опитаме скрипт с инсталиране на пакети с модули yum/dnf и python с помощта на pip. Пакетите бяха кеширани, за да не зависят от мрежови проблеми:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Install packages
      become: true
      package:
        name:
          - samba
          - httpd
          - nano
          - ruby
        state: present

    - name: Install pip modules
      become: true
      pip:
        name:
          - pytest-split-tests
          - bottle
          - pep8
          - flask
        state: present

С Mitogen отне 12 секунди, колкото и без него.
На страницата Mitogen за страница Ansible можете да разгледате други бенчмаркове и тестове. Както се посочва на страницата:

Mitogen не може да ускори модула, когато той работи. Може само да направи изпълнението на този модул възможно най-бързо.

Ето защо е важно да намерите своите тесни места във вашето внедряване и ако те се дължат на Ansible, тогава Mitogen ще ви помогне да ги разрешите и значително да ускори изпълнението на вашите книги за игра.

Източник: www.habr.com