Zrýchľujeme Ansible pomocou Mitogen

Ansible sa jedným z najpopulárnejších systémov správy konfigurácie. Potom, čo bol kúpený spoločnosťou Red Hat v roku 2015 počet účastníkov projektu presiahol tisíce a Ansible sa pravdepodobne stal najviac používaným systémom nasadzovania a orchestrácie. Jeho široké oblasti použitia sú veľmi pôsobivé.

Ansible pracuje cez SSH spojenia s ​ďalekými hostiteľmi. Otvorí SSH reláciu, prihlási sa, skopíruje kód na Pythone cez sieť a uloží ho do samostatného dočasného súboru. Potom spustí tento súbor na vzdialenom stroji. Celý tento proces je dosť zdĺhavý a únavný, preto existujú rôzne spôsoby, ako ho optimalizovať.

Jedným z týchto spôsobov je SSH pipelines ktoré umožňuje použiť jedno SSH spojenie na vykonávanie príkazov, namiesto toho, aby sa zakaždým otváralo nové spojenie, čo nám môže ušetriť veľa času. (Len nezabudnite vypnúť requiretty nastavenie pre sudo vo vašom /etc/sudoers súbore na vzdialenom stroji)

Novým spôsobom, ako "urýchliť" Ansible, je knižnica python s názvom Mitogen. ak niekto o nej nepočul — tak v skratke opíšem jej funkčnosť. Umožňuje rýchle vykonávanie kódu python na vzdialenom stroji a Ansible je len jeden z príkladov využitia. Mitogen používa UNIX potrubie na vzdialenom stroji a prenáša kód python komprimovaný zlib a serializovaný pomocou pickle. To pomáha jeho rýchlejšiemu vykonávaniu a šetrí prenosové dáta. Ak máte záujem o podrobnejšie vysvetlenie, najlepšie je prečítať si to na stránke "Ako to funguje". Ale dnes sa zameriame len na prácu knižnice s Ansible.

Mitogen v určitých okolnostiach môže urýchliť váš Ansible kód niekoľkokrát a výrazne znížiť spotrebu dát. Pozrime sa na najpopulárnejšie príklady použitia a zistíme, ako nám to pomáha.

Najviac používam Ansible na: vytváranie konfiguračných súborov na vzdialenom stroji, inštaláciu balíkov, kopírovanie súborov na vzdialený stroj a späť. Možno máte iné príklady — napíšte v komentároch.

Ideme na to!

Konfigurácia Mitogen pre Ansible je veľmi jednoduchá:
Nainštalujeme knižnicu Mitogen:

pip install mitogen

Teraz existujú dve rovnocenné možnosti — buď nastaviť možnosti v konfiguračnom súbore ansible.cfg, alebo nastaviť potrebné premenné prostredia.

Predpokladajme, že cesta k nainštalovanému Mitogen bude /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy. Potom:

export ANSIBLE_STRATEGY_PLUGINS=\/usr\/lib\/python2.7\/site-packages\/ansible_mitogen\/plugins\/strategy
export ANSIBLE_STRATEGY=mitogen_linear

alebo

[defaults]
strategy = mitogen_linear
strategy_plugins = \/usr\/lib\/python2.7\/site-packages\/ansible_mitogen\/plugins\/strategy

Nainštalujeme Ansible vo virtualenv, s Mitogen a bez neho:

virtualenv mitogen_ansible
.\/mitogen_ansible\/bin\/pip install ansible==2.7.10 mitogen
virtualenv pure_ansible
.\/pure_ansible\/bin\/pip install ansible==2.7.10

Všimnite si, že Mitogen 0.2.7 nefunguje s Ansible 2.8 (k máju 2019)

Vytvoríme aliasy:

alias pure-ansible-playbook='$(pwd)\/pure_ansible\/bin\/ansible-playbook'
alias mitogen-ansible-playbook='ANSIBLE_STRATEGY_PLUGINS=$(pwd)\/mitogen_ansible\/lib\/python3.7\/site-packages\/ansible_mitogen\/plugins\/strategy ANSIBLE_STRATEGY=mitogen_linear $(pwd)\/mitogen_ansible\/bin\/ansible-playbook'

Teraz skúsime spustiť playbook na vytvorenie súborov na vzdialenom stroji:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Vytvoriť súbory s modulom copy
      copy:
        content: |
          test file {{ item }}
        dest: ~\/file_{{ item }}
      with_sequence: start=1 end={{ n }}

A spustíme s Mitogen a bez neho na vytvorenie 10 súborov:

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=10 &>\/dev\/null

real    0m2.603s
user    0m1.152s
sys     0m0.096s

time pure-ansible-playbook file_creation.yml -i hosts -e n=10 &>\/dev\/null

real    0m5.908s
user    0m1.745s
sys     0m0.643s

Vidíme zlepšenie o 2x. Poďme skontrolovať pre 20, 30, …, 100 súborov:

time pure-ansible-playbook file_creation.yml -i hosts -e n=100 &>\/dev\/null

real    0m51.775s
user    0m8.039s
sys     0m6.305s

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=100 &>\/dev\/null

real    0m4.331s
user    0m1.903s
sys     0m0.197s

Nakoniec sme urýchlili vykonávanie viac ako 10-krát!
Teraz vyskúšame rôzne scenáre a pozrime sa, ako rýchlo nám to funguje:

  • Scenár kopírovania súborov na vzdialený host z lokálneho (s modulom copy):
    Zrýchľujeme Ansible pomocou Mitogen

  • Scenár vytvárania súborov na vzdialenom hoste s copy modulom:
    Zrýchľujeme Ansible pomocou Mitogen

  • Scenár s načítavaním súborov z vzdialeného hosta na lokálny:
    Zrýchľujeme Ansible pomocou Mitogen

Skúsime scenár s viacerými (3) vzdialenými strojmi, napríklad scenár s kopírovaním súborov na vzdialený host:
Zrýchľujeme Ansible pomocou Mitogen

Ako vidno, Mitogen nám šetrí ako čas, tak aj prevádzku v týchto scenároch. Ale ak je „úzke hrdlo“ nie v Ansible, ale napríklad v I\/O disku alebo sieti, alebo niekde inde, potom je ťažké očakávať, že nám Mitogen pomôže.

Poďme skúsiť scenár s inštaláciou balíkov pomocou yum\/dnf a modulov python pomocou pip. Balíky boli vyrovnané, aby sme nezáviseli od problémov v sieti:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Nainštalovať balíky
      become: true
      package:
        name:
          - samba
          - httpd
          - nano
          - ruby
        state: present

    - name: Nainštalovať pip moduly
      become: true
      pip:
        name:
          - pytest-split-tests
          - bottle
          - pep8
          - flask
        state: present

S Mitogen to trvalo 12 sekúnd, rovnako ako bez neho.
Na stránke Mitogen for Ansible stránka môžete si pozrieť ďalšie benchmarky a testy. Ako tvrdí stránka:

Mitogen nemôže urýchliť modul, keď sa vykonáva. Môže len urobiť vykonanie tohto modulu čo najrýchlejším.

Preto je dôležité nájsť vaše úzke miesta pri nasadzovaní a ak sú spôsobené Ansible, Mitogen vám pomôže ich vyriešiť a výrazne urýchliť vykonávanie vašich playbookov.

Zdroj: habr.com

Kúpte si spoľahlivý hosting pre webové stránky s ochranou proti DDoS, VPS VDS servery 🔥 Kúpte si spoľahlivý hosting pre webové stránky s ochranou proti DDoS, VPS VDS servery | ProHoster