Przyspieszamy Ansible za pomocą Mitogen

Ansible stał się jednym z najpopularniejszych systemów zarządzania konfiguracją. Po tym jak został kupiony przez Red Hat w 2015 roku liczba uczestników projektu przekroczyła tysiące, a Ansible stał się prawdopodobnie najczęściej używanym systemem wdrażania i orkiestracji. Jego szerokie zastosowania są naprawdę imponujące.

Ansible działa poprzez połączenia SSH z zdalnymi hostami. Otwiera sesję SSH, loguje się, przesyła kod w Pythonie przez sieć i zapisuje go w osobnym tymczasowym pliku. Następnie uruchamia ten plik na zdalnej maszynie. Cała ta sekwencja operacji jest dość długa i nużąca, dlatego istnieją różne sposoby jej optymalizacji.

Jednym z tych sposobów jest SSH pipelines , które pozwala na użycie jednej sesji SSH do wykonywania instrukcji, zamiast za każdym razem otwierać nową sesję, co może zaoszczędzić nam dużo czasu. (Tylko nie zapomnij wyłączyć requiretty ustawienia dla sudo w twoim /etc/sudoers pliku na zdalnej maszynie)

Nowym sposobem na "przyspieszenie" Ansible jest biblioteka Pythona o nazwie Mitogen. Jeśli ktoś o niej nie słyszał — to pokrótce opiszę jej funkcjonalność. Umożliwia szybkie wykonywanie kodu Pythona na zdalnej maszynie, a Ansible to tylko jeden z przykładów zastosowania. Mitogen używa UNIX pipe na zdalnej maszynie i przesyła kod Pythona skompresowany zlib i zserializowany za pomocą pickle. Pomaga to wykonywać go szybciej i oszczędza transfer. Jeśli jesteś zainteresowany bardziej szczegółowym wyjaśnieniem, najlepiej przeczytać o tym na stronie "How it works". Ale dziś skoncentrujemy się tylko na działaniu biblioteki z Ansible.

Mitogen w określonych okolicznościach może przyspieszyć twój kod Ansible kilka razy i znacznie zmniejszyć zużycie transferu. Sprawdźmy najpopularniejsze przykłady użycia i zobaczmy, jak nam to pomaga.

Najczęściej używam Ansible do: tworzenia plików konfiguracyjnych na zdalnej maszynie, instalacji pakietów, kopiowania plików na zdalną maszynę i z powrotem. Może masz inne przykłady — napisz w komentarzach.

Zaczynamy!

Konfiguracja Mitogen dla Ansible jest bardzo prosta:
Instalujemy bibliotekę Mitogen:

pip install mitogen

Teraz są dwa równoważne sposoby — albo skonfigurować opcje w pliku konfiguracyjnym ansible.cfg, albo ustawić potrzebne zmienne środowiskowe.

Załóżmy, że ścieżka do zainstalowanego Mitogen będzie /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy. Wtedy:

eksportuj ANSIBLE_STRATEGY_PLUGINS=\/usr\/lib\/python2.7\/site-packages\/ansible_mitogen\/plugins\/strategy
eksportuj ANSIBLE_STRATEGY=mitogen_linear

lub

[domyślne]
strategia = mitogen_linear
strategia_wtyczki = \/usr\/lib\/python2.7\/site-packages\/ansible_mitogen\/plugins\/strategy

Zainstalujemy Ansible w virtualenv, z Mitogen i bez niego:

virtualenv mitogen_ansible
.\/mitogen_ansible\/bin\/pip install ansible==2.7.10 mitogen
virtualenv pure_ansible
.\/pure_ansible\/bin\/pip install ansible==2.7.10

Zauważ, że Mitogen 0.2.7 nie działa z Ansible 2.8 (stan na maj 2019)

Tworzymy aliasy:

alias pure-ansible-playbook='$(pwd)\/pure_ansible\/bin\/ansible-playbook'
alias mitogen-ansible-playbook='ANSIBLE_STRATEGY_PLUGINS=$(pwd)\/mitogen_ansible\/lib\/python3.7\/site-packages\/ansible_mitogen\/plugins\/strategy ANSIBLE_STRATEGY=mitogen_linear $(pwd)\/mitogen_ansible\/bin\/ansible-playbook'

Teraz spróbujemy uruchomić playbook, który tworzy pliki na zdalnej maszynie:

---
- hosty: wszystkie
  zbierz_fakty: false
  zadania:
    - nazwa: Utwórz pliki za pomocą modułu copy
      copy:
        content: |
          plik testowy {{ item }}
        dest: ~\/plik_{{ item }}
      with_sequence: start=1 end={{ n }}

I uruchomimy z Mitogen i bez niego, aby stworzyć 10 plików:

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=10 &>\/dev\/null

real    0m2.603s
user    0m1.152s
sys     0m0.096s

time pure-ansible-playbook file_creation.yml -i hosts -e n=10 &>\/dev\/null

real    0m5.908s
user    0m1.745s
sys     0m0.643s

Widzę poprawę o 2 razy. Sprawdźmy dla 20, 30, …, 100 plików:

time pure-ansible-playbook file_creation.yml -i hosts -e n=100 &>\/dev\/null

real    0m51.775s
user    0m8.039s
sys     0m6.305s

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=100 &>\/dev\/null

real    0m4.331s
user    0m1.903s
sys     0m0.197s

W rezultacie przyspieszyliśmy wykonanie ponad 10 razy!
Teraz spróbujmy różnych scenariuszy i sprawdźmy, jak szybko wszystko działa:

  • Scenariusz kopiowania plików na zdalny host z lokalnego (z modułem copy):
    Przyspieszamy Ansible za pomocą Mitogen

  • Scenariusz tworzenia plików na zdalnym hoście z copy modułem:
    Przyspieszamy Ansible za pomocą Mitogen

  • Scenariusz pobierania plików z zdalnego hosta na lokalny:
    Przyspieszamy Ansible za pomocą Mitogen

Spróbujmy scenariusza z kilkoma (3) zdalnymi maszynami, na przykład scenariusza z kopiowaniem plików na zdalny host:
Przyspieszamy Ansible za pomocą Mitogen

Jak widać, Mitogen oszczędza nam zarówno czas, jak i transfer w tych scenariuszach. Ale jeśli "wąskie gardło" nie znajduje się w Ansible, a na przykład w I/O dysku lub sieci, czy gdziekolwiek indziej, wtedy trudno oczekiwać, że Mitogen nam pomoże.

Spróbujmy scenariusza z instalacją pakietów za pomocą yum/dnf i modułów python za pomocą pip. Pakiety zostały za-cache'owane, aby nie zależeć od błędów w sieci:

---
- hosty: wszystkie
  zbierz_fakty: false
  zadania:
    - nazwa: Zainstaluj pakiety
      become: true
      package:
        name:
          - samba
          - httpd
          - nano
          - ruby
        state: present

    - nazwa: Zainstaluj moduły pip
      become: true
      pip:
        name:
          - pytest-split-tests
          - bottle
          - pep8
          - flask
        state: present

Z Mitogen zajęło to 12 sekund, jak i bez niego.
Na stronie Strona Mitogen dla Ansible Możesz zobaczyć inne benchmarki i testy. Jak stwierdzono na stronie:

Mitogen nie może przyspieszyć modułu, gdy jest on wykonywany. Może tylko sprawić, że wykonanie tego modułu będzie tak szybkie, jak to możliwe.

Dlatego ważne jest, aby znaleźć wąskie gardła w swoim wdrożeniu, a jeśli są one związane z Ansible, Mitogen pomoże Ci je rozwiązać i znacznie przyspieszyć wykonanie Twoich playbooków.

Źródło: habr.com

Kup solidny hosting stron z ochroną przed DDoS, serwery VPS VDS 🔥 Kup solidny hosting stron z ochroną przed DDoS, serwery VPS VDS | ProHoster