🥇Убрзавање Ансибле-а са Митогеном

Могуће постао један од најпопуларнијих Управљање конфигурацијом система. После је купио Ред Хат у 2015. број учесници пројекта премашио хиљаде и Ансибле је постао вероватно најчешће коришћени систем распоређивања и оркестрације. Његов широк спектар примене је веома импресиван.

Ансибле ради преко ССХ веза са удаљеним хостовима. Отвара ССХ сесију, пријављује се, копира Питхон код преко мреже и уписује га у засебну привремену датотеку. Након тога, покреће ову датотеку на удаљеној машини. Цео овај низ операција је прилично дуг и досадан, тако да постоје различити начини да га оптимизујете.

Један од ових начина је ССХ цевоводе што вам омогућава да користите једну ССХ сесију за извршавање инструкција, уместо да сваки пут отварате нову сесију, што нам може уштедети много времена. (Само запамтите да искључите requiretty подешавање за судо у вашем /etc/sudoers фајл на удаљеној машини)

Нови начин за оверклоковање Ансибле-а је питхон библиотека под називом Митоген. Ако неко није чуо за њега, укратко ћу описати његову функционалност. Омогућава брзо извршавање Питхон кода на удаљеној машини, а Ансибле је само један пример употребе. Митоген користи УНИКС цев на удаљеној машини и преноси Питхон код компримован са злиб-ом и серијализован помоћу пицкле-а. Ово помаже да се заврши брже и штеди саобраћај. Ако вас занима детаљније објашњење, најбоље је да о томе прочитате на страници "Како то ради". Али данас ћемо се фокусирати само на то како библиотека ради са Ансибле-ом.

Митоген у одређеним околностима може неколико пута убрзати ваш Ансибле код и значајно смањити потрошњу саобраћаја. Хајде да погледамо најпопуларније случајеве употребе и видимо колико нам то помаже.

Највише користим Ансибле за: креирање конфигурационих датотека на удаљеној машини, инсталирање пакета, копирање датотека на и са удаљене машине. Можда имате и друге примере - напишите у коментарима.

Идемо!

Митоген конфигурација за Ансибле је врло једноставна:
Инсталирајте Митоген библиотеку:

pip install mitogen

Сада постоје два еквивалентна начина - или конфигуришите опције у конфигурационој датотеци ансибле.цфг, или подесите потребне променљиве окружења.

Претпоставимо да ће пут до инсталираног Митогена бити /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy. Онда:

export ANSIBLE_STRATEGY_PLUGINS=/usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy
export ANSIBLE_STRATEGY=mitogen_linear

или

[defaults]
strategy = mitogen_linear
strategy_plugins = /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy

Хајде да инсталирамо Ансибле у виртуаленв, са и без Митогена:

virtualenv mitogen_ansible
./mitogen_ansible/bin/pip install ansible==2.7.10 mitogen
virtualenv pure_ansible
./pure_ansible/bin/pip install ansible==2.7.10

Имајте на уму да Митоген 0.2.7 не ради са Ансибле 2.8 (од маја 2019.)

Прављење алијаса:

alias pure-ansible-playbook='$(pwd)/pure_ansible/bin/ansible-playbook'
alias mitogen-ansible-playbook='ANSIBLE_STRATEGY_PLUGINS=$(pwd)/mitogen_ansible/lib/python3.7/site-packages/ansible_mitogen/plugins/strategy ANSIBLE_STRATEGY=mitogen_linear $(pwd)/mitogen_ansible/bin/ansible-playbook'

Покушајмо сада да покренемо плаибоок који креира датотеке на удаљеној машини:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Create files with copy content module
      copy:
        content: |
          test file {{ item }}
        dest: ~/file_{{ item }}
      with_sequence: start=1 end={{ n }}

И хајде да га покренемо са и без Митоген-а да креирамо 10 датотека:

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m2.603s
user    0m1.152s
sys     0m0.096s

time pure-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m5.908s
user    0m1.745s
sys     0m0.643s

Видимо двоструко побољшање. Хајде да проверимо 2, 20, ..., 30 фајлова:

time pure-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m51.775s
user    0m8.039s
sys     0m6.305s

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m4.331s
user    0m1.903s
sys     0m0.197s

Као резултат тога, убрзали смо извршење за више од 10 пута!
Хајде сада да испробамо различите сценарије и видимо колико брже све функционише за нас:

Скрипта за копирање датотека на удаљени хост са локалног (са модулом copy):
Скрипта за креирање датотека на удаљеном хосту са copy модул:
Сценарио са преузимањем датотека са удаљеног хоста на локални:

Хајде да пробамо сценарио са неколико (3) удаљених машина, на пример сценарио са копирањем датотека на удаљени хост:
Убрзавање Ансибле-а са Митогеном

Као што видите, Митоген нам штеди и време и саобраћај у овим сценаријима. Али ако уско грло није у Ансиблеу, већ на пример у И/О диска или мреже, или негде другде, онда је тешко очекивати да ће нам Митоген помоћи.

Хајде да испробамо скрипту са инсталирањем пакета са иум/днф и питхон модулима користећи пип. Пакети су кеширани како не би зависили од мрежних грешака:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Install packages
      become: true
      package:
        name:
          - samba
          - httpd
          - nano
          - ruby
        state: present

    - name: Install pip modules
      become: true
      pip:
        name:
          - pytest-split-tests
          - bottle
          - pep8
          - flask
        state: present

Са Митогеном је требало 12 секунди, исто као и без њега.
На страници Митоген за Ансибле страницу можете погледати друга мерила и тестове. Како на страници стоји:

Митоген не може да убрза модул када ради. То само може учинити да се овај модул изврши што је брже могуће.

Због тога је важно да пронађете своја уска грла у примени и ако су она последица Ансибле-а, онда ће вам Митоген помоћи да их решите и значајно убрзате извршавање ваших књига.

Извор: ввв.хабр.цом