Kiirendame Ansible ’it Mitogeni abil.

Ansible on muutunud üheks populaarsemaks Configuration Management süsteemiks. Pärast seda, kui ostis Red Hat 2015. aastal ületas projekti osalejate arv tuhandeid ja Ansible on tõenäoliselt kõige rohkem kasutatav paiknemise ja orkestreerimise süsteem. Selle laiad rakendusvaldkonnad on väga muljetavaldavad.

Ansible töötab SSH-ühenduste kaudu kaugserveritega. See avab SSH seansi, siseneb sisse, kopeerib Pythonikoodi üle võrgu ja kirjutab selle eraldi ajutisse faili. Pärast seda käivitab see faili eemales asuvas masinas. Terve see tegevuste jada on üsna pikk ja tülikas, seetõttu on erinevaid viise selle optimeerimiseks.

Üks nendest viisidest on SSH pipeline'id , mis võimaldab kasutada ühte SSH seanssi käskude täitmiseks, mitte igakordselt uut seanssi avades, mis võib säästa meile palju aega. (Ainult ära unusta keelata requiretty sätted sudo teie /etc/sudoers failis eemales asuvas masinas)

Uue viisi Ansible'i kiirendamiseks on Python'i raamatukogu nimega Mitogen. Kui keegi pole sellest kuulnud, siis lühidalt kirjeldan selle funktsionaalsust. See võimaldab kiiret Python-koodi täitmist eemales asuvas masinas ja Ansible on vaid üks näide selle kasutamisest. Mitogen kasutab UNIXi toru eemales asuvas masinas ja edastab Python'i koodi, mis on zipitud zlib ja serialiseeritud pickle'i abil. See aitab seda kiiremini täita ja säästab liiklust. Kui olete huvitatud detailsemast selgitusest, on kõige parem lugeda sellest lehelt „Kuidas see töötab”. Kuid täna keskendume ainult raamatukogu tööle koos Ansible'iga.

Mitogen võib teatud asjaoludel kiirendada teie Ansible'i koodi mitmekordselt ja oluliselt vähendada liikluse kulu. Vaatame kõige populaarsemaid kasutusnäiteid ja näeme, kui palju see meile aitab.

Kasutame Ansible'it kõige rohkem: konfiguratsioonifailide loomisel eemales asuvas masinas, pakettide installimisel, failide kopeerimisel eemales asuvasse masinasse ja tagasi. Võib-olla on teil muid näiteid — kirjutage need kommentaaridesse.

Lähme!

Mitogen'i konfiguratsioon Ansible'i jaoks on väga lihtne:
Installime Mitogen'i raamatukogu:

pip install mitogen

Nüüd on kaks võrdset viisi — kas seadistada valikud ansible.cfg konfiguratsioonifailis või määrata vajalikud keskkonnamuutujad.

Oletame, et tee installitud Mitogen'i juurde on /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy. Siis:

export ANSIBLE_STRATEGY_PLUGINS=/usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy
export ANSIBLE_STRATEGY=mitogen_linear

või

[defaults]
strategy = mitogen_linear
strategy_plugins = /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy

Paigaldame Ansible virtualenvis, koos ja ilma Mitogenita:

virtualenv mitogen_ansible
./mitogen_ansible/bin/pip install ansible==2.7.10 mitogen
virtualenv pure_ansible
./pure_ansible/bin/pip install ansible==2.7.10

Pange tähele, et Mitogen 0.2.7 ei tööta Ansible 2.8-ga (mai 2019 seisuga)

Loome aliasid:

alias pure-ansible-playbook='$(pwd)/pure_ansible/bin/ansible-playbook'
alias mitogen-ansible-playbook='ANSIBLE_STRATEGY_PLUGINS=$(pwd)/mitogen_ansible/lib/python3.7/site-packages/ansible_mitogen/plugins/strategy ANSIBLE_STRATEGY=mitogen_linear $(pwd)/mitogen_ansible/bin/ansible-playbook'

Nüüd proovime käivitada playbooki, mis loob faile kaugmasinas:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Create files with copy content module
      copy:
        content: |
          test file {{ item }}
        dest: ~/file_{{ item }}
      with_sequence: start=1 end={{ n }}

Ja käivitame koos ja ilma Mitogenita, et luua 10 faili:

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m2.603s
user    0m1.152s
sys     0m0.096s

time pure-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m5.908s
user    0m1.745s
sys     0m0.643s

Näeme, et parandus on 2 korda parem. Vaadakem, mis juhtub 20, 30, …, 100 faili korral:

time pure-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m51.775s
user    0m8.039s
sys     0m6.305s

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m4.331s
user    0m1.903s
sys     0m0.197s

Kokkuvõttes kiirusime täitmist enam kui 10 korda!
Nüüd proovime erinevaid stsenaariume ja vaatame, kui kiiresti kõik töötab:

• Failide kopeerimise stsenaarium kaugteenusesse lokaalsest (koos mooduliga kopeerida):
  

• Failide loomise stsenaarium kaugmasinas koos kopeerida mooduliga:
  

• Failide allalaadimise stsenaarium kaugmasinast kohalikku:
  

Proovime stsenaariumi kolme (3) kaugmasinaga, näiteks kopeerimist kaugteenusesse:

Nagu näha, säästab Mitogen meilt nii aega kui ka liiklust nendes stsenaariumites. Kuid kui kitsaskoht ei ole Ansible'is, vaid näiteks kettasel või võrgus, siis on keeruline oodata, et Mitogen meid aitab.

Proovime stsenaariumi pakettide installimise jaoks yum/dnf ja Python'i moodulite installimiseks pip'i kaudu. Pakettide vahemälu oli loomine, et mitte sõltuda võrgu tõrgetest:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Install packages
      become: true
      package:
        name:
          - samba
          - httpd
          - nano
          - ruby
        state: present

    - name: Install pip modules
      become: true
      pip:
        name:
          - pytest-split-tests
          - bottle
          - pep8
          - flask
        state: present

Mitogeniga kestis see 12 sekundit, nagu ka ilma selleta.
Leheküljel Mitogen for Ansible leht saate vaadata teisi töötlusi ja teste. Nagu lehelt nähtub:

Mitogen ei saa moduli täitmist kiirendada. See võib ainult muuta selle moduli täitmise nii kiireks kui võimalik.

Seetõttu on oluline leida teie kasutuskohtade kitsaskohad, ja kui need tulenevad Ansible'ist, aitab Mitogen teil need kõrvaldada ja oluliselt kiirendada teie playbookide täitmist.

Allikas: habr.com