Accelerarea Ansible cu Mitogen

ansiblu a devenit una dintre cele mai populare Managementul configurației sistemului. După a fost cumpărat de Red Hat în 2015 numărul participanții la proiect a depășit miile și Ansible a devenit probabil cel mai folosit sistem de implementare și orchestrare. Gama sa largă de aplicații este foarte impresionantă.

Ansible funcționează prin conexiuni SSH la gazde la distanță. Deschide o sesiune SSH, se conectează, copiază codul Python în rețea și îl scrie într-un fișier temporar separat. După aceea, rulează acest fișier pe mașina de la distanță. Toată această secvență de operații este destul de lungă și plictisitoare, așa că există diverse modalități de a o optimiza.

Una dintre aceste moduri este Conducte SSH care vă permite să utilizați o sesiune SSH pentru a executa instrucțiuni, în loc să deschideți o nouă sesiune de fiecare dată, ceea ce ne poate economisi mult timp. (Nu uitați doar să opriți requiretty setare pentru sudo în dvs /etc/sudoers fișier pe mașina de la distanță)

O nouă modalitate de a overclocka Ansible este o bibliotecă Python numită Mitogen. Dacă cineva nu a auzit de el, voi descrie pe scurt funcționalitatea acestuia. Permite executarea rapidă a codului Python pe o mașină de la distanță, iar Ansible este doar un exemplu de utilizare. Mitogen folosește o conductă UNIX pe mașina de la distanță și transferă codul Python comprimat cu zlib și serializat cu pickle. Acest lucru ajută la finalizarea mai rapidă și economisește trafic. Dacă sunteți interesat de o explicație mai detaliată, cel mai bine este să citiți despre aceasta pe pagină "Cum functioneaza". Dar astăzi ne vom concentra doar asupra modului în care biblioteca funcționează cu Ansible.

Mitogen, în anumite circumstanțe, poate accelera codul Ansible de mai multe ori și poate reduce semnificativ consumul de trafic. Să verificăm cele mai populare cazuri de utilizare și să vedem cât de mult ne ajută.

Folosesc Ansible cel mai mult pentru: crearea fișierelor de configurare pe o mașină la distanță, instalarea pachetelor, copierea fișierelor pe și de la mașina la distanță. Poate aveți alte exemple - scrieți în comentarii.

Să mergem!

Configurația Mitogen pentru Ansible este foarte simplă:
Instalați biblioteca Mitogen:

pip install mitogen

Acum există două moduri echivalente - fie configurați opțiunile din fișierul de configurare ansible.cfg, fie setați variabilele de mediu necesare.

Să presupunem că calea către Mitogenul instalat va fi /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy. Apoi:

export ANSIBLE_STRATEGY_PLUGINS=/usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy
export ANSIBLE_STRATEGY=mitogen_linear

sau

[defaults]
strategy = mitogen_linear
strategy_plugins = /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy

Să instalăm Ansible în virtualenv, cu și fără Mitogen:

virtualenv mitogen_ansible
./mitogen_ansible/bin/pip install ansible==2.7.10 mitogen
virtualenv pure_ansible
./pure_ansible/bin/pip install ansible==2.7.10

Vă rugăm să rețineți că Mitogen 0.2.7 nu funcționează cu Ansible 2.8 (din mai 2019)

Crearea de aliasuri:

alias pure-ansible-playbook='$(pwd)/pure_ansible/bin/ansible-playbook'
alias mitogen-ansible-playbook='ANSIBLE_STRATEGY_PLUGINS=$(pwd)/mitogen_ansible/lib/python3.7/site-packages/ansible_mitogen/plugins/strategy ANSIBLE_STRATEGY=mitogen_linear $(pwd)/mitogen_ansible/bin/ansible-playbook'

Acum să încercăm să rulăm un playbook care creează fișiere pe o mașină la distanță:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Create files with copy content module
      copy:
        content: |
          test file {{ item }}
        dest: ~/file_{{ item }}
      with_sequence: start=1 end={{ n }}

Și să-l rulăm cu și fără Mitogen pentru a crea 10 fișiere:

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m2.603s
user    0m1.152s
sys     0m0.096s

time pure-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m5.908s
user    0m1.745s
sys     0m0.643s

Vedem o îmbunătățire de două ori. Să verificăm dacă există 2, 20, ..., 30 de fișiere:

time pure-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m51.775s
user    0m8.039s
sys     0m6.305s

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m4.331s
user    0m1.903s
sys     0m0.197s

Drept urmare, am accelerat execuția de peste 10 ori!
Acum să încercăm diferite scenarii și să vedem cât de repede funcționează totul pentru noi:

  • Script pentru copierea fișierelor pe o gazdă la distanță de la una locală (cu modulul copy):
    Accelerarea Ansible cu Mitogen

  • Script pentru crearea de fișiere pe o gazdă la distanță cu copy modul:
    Accelerarea Ansible cu Mitogen

  • Scenariu cu descărcarea fișierelor de la o gazdă la distanță la una locală:
    Accelerarea Ansible cu Mitogen

Să încercăm un scenariu cu mai multe (3) mașini la distanță, de exemplu un scenariu cu copierea fișierelor pe o gazdă la distanță:
Accelerarea Ansible cu Mitogen

După cum puteți vedea, Mitogen ne economisește atât timp, cât și trafic în aceste scenarii. Dar dacă blocajul nu este în Ansible, ci, de exemplu, în I/O-ul unui disc sau al unei rețele, sau în altă parte, atunci este greu de așteptat ca Mitogen să ne ajute.

Să încercăm un script cu instalarea pachetelor cu module yum/dnf și python folosind pip. Pachetele au fost stocate în cache pentru a nu depinde de erorile rețelei:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Install packages
      become: true
      package:
        name:
          - samba
          - httpd
          - nano
          - ruby
        state: present

    - name: Install pip modules
      become: true
      pip:
        name:
          - pytest-split-tests
          - bottle
          - pep8
          - flask
        state: present

Cu Mitogen a durat 12 secunde, la fel ca și fără el.
Pagină Mitogen pentru pagina Ansible te poți uita la alte repere și teste. După cum spune pagina:

Mitogen nu poate accelera modulul când rulează. Poate face doar execuția acestui modul cât mai rapidă posibil.

Prin urmare, este important să vă găsiți blocajele în implementarea dvs. și, dacă acestea se datorează lui Ansible, atunci Mitogen vă va ajuta să le rezolvați și să grăbiți semnificativ execuția manualelor dvs.

Sursa: www.habr.com

Adauga un comentariu