Accelerera Ansible med Mitogen

Ansible blev en av de mest populära Konfigurationshanteringssystem. Efter att blev uppköpt av Red Hat 2015 uppgick antalet deltagare i projektet till över tusen och Ansible blev antagligen det mest använda systemet för distribution och orchestration. Dess breda tillämpningar är verkligen imponerande.

Ansible arbetar genom SSH-anslutningar till fjärrvärdar. Den öppnar en SSH-session, loggar in, kopierar koden i Python över nätverket och skriver den i en separat temporär fil. Efter detta kör den filen på den fjärrmaskinen. Hela denna sekvens av operationer är ganska långsam och tråkig, så det finns olika sätt att optimera den.

Ett av dessa sätt är SSH-pipelines som tillåter att använda en SSH-session för att köra instruktioner snarare än att öppna en ny session varje gång, vilket kan spara oss mycket tid. (Glöm bara inte att stänga av requiretty inställningen för sudo i din /etc/sudoers fil på den fjärrmaskinen)

Ett nytt sätt att 'turba' Ansible är ett Python-bibliotek som heter Mitogen. Om någon inte har hört talas om det – så ska jag kort beskriva dess funktionalitet. Det möjliggör snabb körning av Python-kod på en fjärrmaskin och Ansible är bara ett av exemplen på dess användning. Mitogen använder UNIX-pipe på fjärrmaskinen och överför Python-kod som är komprimerad med zlib och serialiserad med hjälp av pickle. Detta gör att den körs snabbare och sparar trafik. Om du är intresserad av en mer detaljerad förklaring, är det bäst att läsa om det på sidan «Hur det fungerar». Men idag kommer vi att fokusera på hur biblioteket fungerar med Ansible.

Mitogen kan under vissa omständigheter öka hastigheten på din Ansible-kod flera gånger och avsevärt minska trafikförbrukningen. Låt oss kolla de mest populära exemplen på användning och se hur mycket det hjälper oss.

Jag använder mest Ansible för: att skapa konfigurationsfiler på fjärrmaskiner, installera paket, kopiera filer till fjärrmaskiner och tillbaka. Kanske har du andra exempel – skriv dem i kommentarerna.

Låt oss köra!

Konfigurationen av Mitogen för Ansible är väldigt enkel:
Installerar Mitogen-biblioteket:

pip install mitogen

Nu finns det två lika sätt – antingen konfigurera alternativ i konfigurationsfilen ansible.cfg, eller ställa in nödvändiga miljövariabler.

Anta att sökvägen till den installerade Mitogen kommer att /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy. Då:

export ANSIBLE_STRATEGY_PLUGINS=/usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy
export ANSIBLE_STRATEGY=mitogen_linear

eller

[defaults]
strategy = mitogen_linear
strategy_plugins = /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy

Installera Ansible i virtualenv, med och utan Mitogen:

virtualenv mitogen_ansible
./mitogen_ansible/bin/pip install ansible==2.7.10 mitogen
virtualenv pure_ansible
./pure_ansible/bin/pip install ansible==2.7.10

Observera att Mitogen 0.2.7 inte fungerar med Ansible 2.8 (maj 2019)

Skapa alias:

alias pure-ansible-playbook='$(pwd)/pure_ansible/bin/ansible-playbook'
alias mitogen-ansible-playbook='ANSIBLE_STRATEGY_PLUGINS=$(pwd)/mitogen_ansible/lib/python3.7/site-packages/ansible_mitogen/plugins/strategy ANSIBLE_STRATEGY=mitogen_linear $(pwd)/mitogen_ansible/bin/ansible-playbook'

Nu prövar vi att köra playbook som skapar filer på en fjärrmaskin:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Skapa filer med copy content-modulen
      copy:
        content: |
          testfil {{ item }}
        dest: ~/file_{{ item }}
      with_sequence: start=1 end={{ n }}

Och vi kör med Mitogen och utan för att skapa 10 filer:

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=10 >&/dev/null

real    0m2.603s
user    0m1.152s
sys     0m0.096s

time pure-ansible-playbook file_creation.yml -i hosts -e n=10 >&/dev/null

real    0m5.908s
user    0m1.745s
sys     0m0.643s

Vi ser en förbättring med 2 gånger. Låt oss kontrollera för 20, 30, …, 100 filer:

time pure-ansible-playbook file_creation.yml -i hosts -e n=100 >&/dev/null

real    0m51.775s
user    0m8.039s
sys     0m6.305s

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=100 >&/dev/null

real    0m4.331s
user    0m1.903s
sys     0m0.197s

I slutändan har vi ökat hastigheten med mer än 10 gånger!
Nu prövar vi olika scenarier och ser hur mycket snabbare allt fungerar:

• Scenario för att kopiera filer till en fjärrvärd från lokal (med modulen copy):
  

• Scenario för att skapa filer på fjärrvärden med copy modulen:
  

• Scenario med nedladdning av filer från fjärrvärd till lokal:
  

Låt oss prova ett scenario med flera (3) fjärrmaskiner, till exempel ett scenario för att kopiera filer till en fjärrvärd:

Som vi ser sparar Mitogen både tid och trafik i dessa scenarier. Men om "flaskhalsen" inte ligger i Ansible, utan exempelvis i I/O från disken eller nätverket, eller någon annanstans, är det svårt att förvänta sig att Mitogen hjälper oss.

Låt oss pröva ett scenario för att installera paket med yum/dnf och Python-moduler med pip. Paketen har cachats för att inte bero på nätverksproblem:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Installera paket
      become: true
      package:
        name:
          - samba
          - httpd
          - nano
          - ruby
        state: present

    - name: Installera pip-moduler
      become: true
      pip:
        name:
          - pytest-split-tests
          - bottle
          - pep8
          - flask
        state: present

Med Mitogen tog detta 12 sekunder, precis som utan.
På sidan Mitogen för Ansible-sidan Du kan titta på andra benchmarkingtester. Som anges på sidan:

Mitogen kan inte snabba upp modulen när den körs. Den kan bara göra körningen av denna modul så snabb som möjligt.

Därför är det viktigt att hitta dina flaskhalsar i distributionen, och om de beror på Ansible, kan Mitogen hjälpa dig att lösa dem och avsevärt öka hastigheten på körningen av dina playbooks.

Källa: habr.com