Acelerando Ansible con Mitogen

Ansible se convirtió en uno de los más populares Gestión de la configuración del sistema. Después fue comprado por Red Hat en 2015 el número participantes del proyecto superó los miles y Ansible se convirtió probablemente en el sistema de implementación y orquestación más utilizado. Su amplia gama de aplicaciones es muy impresionante.

Ansible funciona a través de conexiones SSH a hosts remotos. Abre una sesión SSH, inicia sesión, copia el código Python a través de la red y lo escribe en un archivo temporal separado. Después de eso, ejecuta este archivo en la máquina remota. Toda esta secuencia de operaciones es bastante larga y tediosa, por lo que existen varias formas de optimizarla.

Una de estas maneras es Tuberías SSH lo que le permite usar una sesión SSH para ejecutar instrucciones, en lugar de abrir una nueva sesión cada vez, lo que puede ahorrarnos mucho tiempo. (Solo recuerda apagar requiretty configuración para sudo en su /etc/sudoers archivo en la máquina remota)

Una nueva forma de overclockear Ansible es una biblioteca de Python llamada Mitógeno. Si alguien no ha oído hablar de él, describiré brevemente su funcionalidad. Permite la ejecución rápida de código Python en una máquina remota y Ansible es solo un ejemplo de uso. Mitogen utiliza una tubería UNIX en la máquina remota y transfiere código Python comprimido con zlib y serializado con pickle. Esto ayuda a completarlo más rápido y ahorra tráfico. Si está interesado en una explicación más detallada, lo mejor es leerla en la página. "Cómo funciona". Pero hoy nos centraremos únicamente en cómo funciona la biblioteca con Ansible.

En determinadas circunstancias, Mitogen puede acelerar su código Ansible varias veces y reducir significativamente el consumo de tráfico. Veamos los casos de uso más populares y veamos cuánto nos ayuda.

Utilizo Ansible principalmente para: crear archivos de configuración en una máquina remota, instalar paquetes, copiar archivos hacia y desde la máquina remota. Quizás tenga otros ejemplos; escriba en los comentarios.

¡Vamos!

La configuración de Mitogen para Ansible es muy simple:
Instale la biblioteca Mitogen:

pip install mitogen

Ahora hay dos formas equivalentes: configurar las opciones en el archivo de configuración ansible.cfg o establecer las variables de entorno necesarias.

Supongamos que la ruta al Mitogen instalado será /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy... Luego:

export ANSIBLE_STRATEGY_PLUGINS=/usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy
export ANSIBLE_STRATEGY=mitogen_linear

o

[defaults]
strategy = mitogen_linear
strategy_plugins = /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy

Instalemos Ansible en virtualenv, con y sin Mitogen:

virtualenv mitogen_ansible
./mitogen_ansible/bin/pip install ansible==2.7.10 mitogen
virtualenv pure_ansible
./pure_ansible/bin/pip install ansible==2.7.10

Tenga en cuenta que Mitogen 0.2.7 no funciona con Ansible 2.8 (a partir de mayo de 2019)

Haciendo alias:

alias pure-ansible-playbook='$(pwd)/pure_ansible/bin/ansible-playbook'
alias mitogen-ansible-playbook='ANSIBLE_STRATEGY_PLUGINS=$(pwd)/mitogen_ansible/lib/python3.7/site-packages/ansible_mitogen/plugins/strategy ANSIBLE_STRATEGY=mitogen_linear $(pwd)/mitogen_ansible/bin/ansible-playbook'

Ahora intentemos ejecutar un libro de estrategias que crea archivos en una máquina remota:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Create files with copy content module
      copy:
        content: |
          test file {{ item }}
        dest: ~/file_{{ item }}
      with_sequence: start=1 end={{ n }}

Y ejecutémoslo con y sin Mitogen para crear 10 archivos:

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m2.603s
user    0m1.152s
sys     0m0.096s

time pure-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m5.908s
user    0m1.745s
sys     0m0.643s

Vemos una mejora del doble. Comprobemos 2, 20, ..., 30 archivos:

time pure-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m51.775s
user    0m8.039s
sys     0m6.305s

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m4.331s
user    0m1.903s
sys     0m0.197s

Como resultado, ¡aceleramos la ejecución más de 10 veces!
Ahora probemos diferentes escenarios y veamos cuánto más rápido funciona todo para nosotros:

• Script para copiar archivos a un host remoto desde uno local (con el módulo copy):
  

• Script para crear archivos en un host remoto con copy módulo:
  

• Escenario con descarga de archivos desde un host remoto a uno local:
  

Probemos un escenario con varias (3) máquinas remotas, por ejemplo un escenario con copia de archivos a un host remoto:

Como puedes ver, Mitogen nos ahorra tiempo y tráfico en estos escenarios. Pero si el cuello de botella no está en Ansible, sino, por ejemplo, en la E/S de un disco o red, o en algún otro lugar, entonces es difícil esperar que Mitogen nos ayude.

Probemos un script para instalar paquetes con módulos yum/dnf y python usando pip. Los paquetes se almacenaron en caché para no depender de fallas en la red:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Install packages
      become: true
      package:
        name:
          - samba
          - httpd
          - nano
          - ruby
        state: present

    - name: Install pip modules
      become: true
      pip:
        name:
          - pytest-split-tests
          - bottle
          - pep8
          - flask
        state: present

Con Mitogen tardó 12 segundos, lo mismo que sin él.
Página Página de mitógeno para Ansible Puedes consultar otros puntos de referencia y pruebas. Como dice la página:

Mitogen no puede acelerar el módulo cuando está en ejecución. Sólo puede hacer que la ejecución de este módulo sea lo más rápida posible.

Por lo tanto, es importante encontrar los cuellos de botella en su implementación y, si se deben a Ansible, Mitogen lo ayudará a resolverlos y acelerará significativamente la ejecución de sus manuales.

Fuente: habr.com