🥇Pospešitev Ansible z Mitogenom

Možno postal eden najbolj priljubljenih Upravljanje konfiguracije sistema. Po je kupil Red Hat leta 2015 št udeleženci projekta preseglo na tisoče in Ansible je postal verjetno najpogosteje uporabljen sistem za uvajanje in orkestracijo. Njegova široka paleta uporabe je zelo impresivna.

Ansible deluje prek povezav SSH z oddaljenimi gostitelji. Odpre sejo SSH, se prijavi, kopira kodo Python prek omrežja in jo zapiše v ločeno začasno datoteko. Po tem zažene to datoteko na oddaljenem računalniku. Celotno zaporedje operacij je precej dolgo in dolgočasno, zato ga lahko optimiziramo na različne načine.

Eden od teh načinov je Cevovodi SSH ki vam omogoča, da uporabite eno sejo SSH za izvajanje navodil, namesto da vsakič odprete novo sejo, kar nam lahko prihrani veliko časa. (Samo ne pozabite izklopiti requiretty nastavitev za sudo v vašem /etc/sudoers datoteka na oddaljenem računalniku)

Nov način za overclocking Ansible je knjižnica python, imenovana Mitogen. Če kdo še ni slišal zanj, bom na kratko opisal njegovo delovanje. Omogoča hitro izvajanje kode python na oddaljenem stroju, Ansible pa je le en primer uporabe. Mitogen uporablja cev UNIX na oddaljenem računalniku in prenaša kodo python, stisnjeno z zlib in serializirano s pickle. To pripomore k hitrejšemu dokončanju in prihrani promet. Če vas zanima podrobnejša razlaga, je najbolje, da si o tem preberete na strani "Kako deluje". Toda danes se bomo osredotočili samo na to, kako knjižnica deluje z Ansible.

Mitogen lahko v določenih okoliščinah večkrat pospeši vašo kodo Ansible in znatno zmanjša porabo prometa. Oglejmo si najbolj priljubljene primere uporabe in poglejmo, koliko nam pomaga.

Ansible najpogosteje uporabljam za: ustvarjanje konfiguracijskih datotek na oddaljenem računalniku, nameščanje paketov, kopiranje datotek v in iz oddaljenega računalnika. Morda imate druge primere - napišite v komentarje.

Gremo!

Konfiguracija mitogena za Ansible je zelo preprosta:
Namestite knjižnico Mitogen:

pip install mitogen

Zdaj obstajata dva enakovredna načina - konfigurirajte možnosti v konfiguracijski datoteki ansible.cfg ali nastavite potrebne spremenljivke okolja.

Predpostavimo, da bo pot do nameščenega Mitogena /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy. Nato:

export ANSIBLE_STRATEGY_PLUGINS=/usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy
export ANSIBLE_STRATEGY=mitogen_linear

ali

[defaults]
strategy = mitogen_linear
strategy_plugins = /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy

Namestimo Ansible v virtualenv, z in brez Mitogena:

virtualenv mitogen_ansible
./mitogen_ansible/bin/pip install ansible==2.7.10 mitogen
virtualenv pure_ansible
./pure_ansible/bin/pip install ansible==2.7.10

Upoštevajte, da Mitogen 0.2.7 ne deluje z Ansible 2.8 (od maja 2019)

Ustvarjanje vzdevkov:

alias pure-ansible-playbook='$(pwd)/pure_ansible/bin/ansible-playbook'
alias mitogen-ansible-playbook='ANSIBLE_STRATEGY_PLUGINS=$(pwd)/mitogen_ansible/lib/python3.7/site-packages/ansible_mitogen/plugins/strategy ANSIBLE_STRATEGY=mitogen_linear $(pwd)/mitogen_ansible/bin/ansible-playbook'

Zdaj pa poskusimo zagnati playbook, ki ustvarja datoteke na oddaljenem računalniku:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Create files with copy content module
      copy:
        content: |
          test file {{ item }}
        dest: ~/file_{{ item }}
      with_sequence: start=1 end={{ n }}

Zaženimo ga z in brez Mitogena, da ustvarimo 10 datotek:

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m2.603s
user    0m1.152s
sys     0m0.096s

time pure-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m5.908s
user    0m1.745s
sys     0m0.643s

Vidimo 2-kratno izboljšanje. Preverimo 20, 30, ..., 100 datotek:

time pure-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m51.775s
user    0m8.039s
sys     0m6.305s

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m4.331s
user    0m1.903s
sys     0m0.197s

Posledično smo izvedbo pospešili za več kot 10-krat!
Zdaj pa poskusimo različne scenarije in poglejmo, koliko hitreje vse deluje za nas:

Skript za kopiranje datotek na oddaljenega gostitelja z lokalnega (z modulom copy):
Skript za ustvarjanje datotek na oddaljenem gostitelju z copy modul:
Scenarij s prenosom datotek z oddaljenega gostitelja na lokalnega:

Poskusimo scenarij z več (3) oddaljenimi stroji, na primer scenarij s kopiranjem datotek na oddaljenega gostitelja:
Pospešitev Ansible z Mitogenom

Kot lahko vidite, nam Mitogen v teh scenarijih prihrani čas in promet. Če pa ozko grlo ni v Ansibleu, ampak na primer v I/O diska ali omrežja ali kje drugje, potem je težko pričakovati, da nam bo Mitogen pomagal.

Poskusimo skript z namestitvijo paketov z moduli yum/dnf in python z uporabo pip. Paketi so bili predpomnjeni, da niso odvisni od omrežnih napak:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Install packages
      become: true
      package:
        name:
          - samba
          - httpd
          - nano
          - ruby
        state: present

    - name: Install pip modules
      become: true
      pip:
        name:
          - pytest-split-tests
          - bottle
          - pep8
          - flask
        state: present

Z Mitogenom je trajalo 12 sekund, enako kot brez njega.
Na strani Mitogen za stran Ansible si lahko ogledate druge primerjalne vrednosti in teste. Kot navaja stran:

Mitogen ne more pospešiti modula, ko ta deluje. Lahko le omogoči čim hitrejšo izvedbo tega modula.

Zato je pomembno, da poiščete svoja ozka grla pri uvajanju in če so posledica Ansible, vam jih bo Mitogen pomagal rešiti in znatno pospešil izvajanje vaših knjig iger.

Vir: www.habr.com