Przyspieszenie Ansible za pomocą Mitogen

Wiarygodne stał się jednym z najpopularniejszych Zarządzanie konfiguracją systemu. Po został zakupiony przez firmę Red Hat w 2015 roku liczba uczestnicy projektu przekroczyła tysiące, a Ansible stał się prawdopodobnie najczęściej używanym systemem wdrażania i orkiestracji. Jego szeroki zakres zastosowań robi wrażenie.

Ansible działa poprzez połączenia SSH ze zdalnymi hostami. Otwiera sesję SSH, loguje się, kopiuje kod Pythona przez sieć i zapisuje go do osobnego pliku tymczasowego. Następnie uruchamia ten plik na zdalnym komputerze. Cała ta sekwencja operacji jest dość długa i żmudna, dlatego istnieją różne sposoby jej optymalizacji.

Jednym z takich sposobów jest Rurociągi SSH co pozwala na wykorzystanie jednej sesji SSH do wykonania instrukcji, zamiast otwierania za każdym razem nowej sesji, co może nam zaoszczędzić mnóstwo czasu. (Pamiętaj tylko, aby wyłączyć requiretty ustawienie sudo w twoim /etc/sudoers plik na zdalnym komputerze)

Nowym sposobem na podkręcanie Ansible jest biblioteka Pythona o nazwie mitogen. Jeśli ktoś o nim nie słyszał, to krótko opiszę jego funkcjonalność. Umożliwia szybkie wykonanie kodu Pythona na zdalnej maszynie, a Ansible to tylko jeden z przykładów użycia. Mitogen używa potoku UNIX na zdalnej maszynie i przesyła kod Pythona skompresowany za pomocą Zlib i serializowany za pomocą Pickle. Pomaga to szybciej go ukończyć i oszczędza ruch. Jeśli interesują Cię bardziej szczegółowe wyjaśnienia, najlepiej przeczytać o tym na stronie "Jak to działa". Ale dzisiaj skupimy się tylko na tym, jak biblioteka współpracuje z Ansible.

Mitogen w pewnych okolicznościach może kilkakrotnie przyspieszyć kod Ansible i znacznie zmniejszyć zużycie ruchu. Sprawdźmy najpopularniejsze przypadki użycia i zobaczmy, jak bardzo nam to pomaga.

Używam Ansible najczęściej do: tworzenia plików konfiguracyjnych na zdalnym komputerze, instalowania pakietów, kopiowania plików do i z komputera zdalnego. Być może masz inne przykłady - napisz w komentarzach.

Chodźmy!

Konfiguracja mitogenu dla Ansible jest bardzo prosta:
Zainstaluj bibliotekę Mitogen:

pip install mitogen

Istnieją teraz dwa równoważne sposoby — albo skonfiguruj opcje w pliku konfiguracyjnym ansible.cfg, albo ustaw niezbędne zmienne środowiskowe.

Załóżmy, że będzie ścieżka do zainstalowanego Mitogenu /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy. Następnie:

export ANSIBLE_STRATEGY_PLUGINS=/usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy
export ANSIBLE_STRATEGY=mitogen_linear

lub

[defaults]
strategy = mitogen_linear
strategy_plugins = /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy

Zainstalujmy Ansible w virtualenv, z Mitogenem i bez:

virtualenv mitogen_ansible
./mitogen_ansible/bin/pip install ansible==2.7.10 mitogen
virtualenv pure_ansible
./pure_ansible/bin/pip install ansible==2.7.10

Należy pamiętać, że Mitogen 0.2.7 nie działa z Ansible 2.8 (stan na maj 2019 r.)

Tworzenie aliasów:

alias pure-ansible-playbook='$(pwd)/pure_ansible/bin/ansible-playbook'
alias mitogen-ansible-playbook='ANSIBLE_STRATEGY_PLUGINS=$(pwd)/mitogen_ansible/lib/python3.7/site-packages/ansible_mitogen/plugins/strategy ANSIBLE_STRATEGY=mitogen_linear $(pwd)/mitogen_ansible/bin/ansible-playbook'

Spróbujmy teraz uruchomić podręcznik, który tworzy pliki na zdalnym komputerze:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Create files with copy content module
      copy:
        content: |
          test file {{ item }}
        dest: ~/file_{{ item }}
      with_sequence: start=1 end={{ n }}

Uruchommy go z Mitogenem i bez niego, aby utworzyć 10 plików:

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m2.603s
user    0m1.152s
sys     0m0.096s

time pure-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m5.908s
user    0m1.745s
sys     0m0.643s

Widzimy 2-krotną poprawę. Sprawdźmy 20, 30, ..., 100 plików:

time pure-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m51.775s
user    0m8.039s
sys     0m6.305s

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m4.331s
user    0m1.903s
sys     0m0.197s

Dzięki temu przyspieszyliśmy realizację ponad 10-krotnie!
Wypróbujmy teraz różne scenariusze i zobaczmy, o ile szybciej wszystko u nas działa:

• Skrypt kopiujący pliki na zdalny host z lokalnego (z modułem copy):
  

• Skrypt do tworzenia plików na zdalnym hoście za pomocą copy moduł:
  

• Scenariusz pobierania plików ze zdalnego hosta na lokalny:
  

Wypróbujmy scenariusz z kilkoma (3) zdalnymi maszynami, na przykład scenariusz z kopiowaniem plików na zdalny host:

Jak widać, Mitogen oszczędza nam zarówno czas, jak i ruch w tych scenariuszach. Jeśli jednak wąskie gardło nie leży w Ansible, ale np. we/wy dysku, sieci, czy gdzie indziej, to trudno oczekiwać, że Mitogen nam pomoże.

Wypróbujmy skrypt instalujący pakiety z modułami yum/dnf i Pythona za pomocą pip. Pakiety zostały zapisane w pamięci podręcznej, aby nie zależeć od usterek sieci:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Install packages
      become: true
      package:
        name:
          - samba
          - httpd
          - nano
          - ruby
        state: present

    - name: Install pip modules
      become: true
      pip:
        name:
          - pytest-split-tests
          - bottle
          - pep8
          - flask
        state: present

Z Mitogenem trwało to 12 sekund, tyle samo co bez niego.
Strona Strona Mitogen dla Ansible możesz spojrzeć na inne testy porównawcze i testy. Jak podaje strona:

Mitogen nie może przyspieszyć modułu, gdy jest on uruchomiony. Może jedynie sprawić, że wykonanie tego modułu będzie tak szybkie, jak to możliwe.

Dlatego ważne jest, aby znaleźć wąskie gardła we wdrożeniu i jeśli są one spowodowane przez Ansible, Mitogen pomoże Ci je rozwiązać i znacznie przyspieszyć wykonanie Twoich scenariuszy.

Źródło: www.habr.com