Επιτάχυνση του Ansible με το Mitogen

Πιθανό έγινε ένα από τα πιο δημοφιλή Διαχείριση διαμόρφωσης συστήματος. Μετά αγοράστηκε από την Red Hat το 2015 ο αριθμός συμμετέχοντες στο έργο ξεπέρασε τις χιλιάδες και το Ansible έγινε ίσως το πιο χρησιμοποιούμενο σύστημα ανάπτυξης και ενορχήστρωσης. Το ευρύ φάσμα των εφαρμογών του είναι πολύ εντυπωσιακό.

Το Ansible λειτουργεί μέσω συνδέσεων SSH σε απομακρυσμένους κεντρικούς υπολογιστές. Ανοίγει μια συνεδρία SSH, συνδέεται, αντιγράφει τον κώδικα Python μέσω του δικτύου και τον γράφει σε ένα ξεχωριστό προσωρινό αρχείο. Μετά από αυτό, εκτελεί αυτό το αρχείο στο απομακρυσμένο μηχάνημα. Όλη αυτή η σειρά λειτουργιών είναι αρκετά μεγάλη και κουραστική, επομένως υπάρχουν διάφοροι τρόποι βελτιστοποίησής της.

Ένας από αυτούς τους τρόπους είναι Σωληνώσεις SSH που σας επιτρέπει να χρησιμοποιείτε μία συνεδρία SSH για την εκτέλεση εντολών, αντί να ανοίγετε μια νέα συνεδρία κάθε φορά, κάτι που μπορεί να μας εξοικονομήσει πολύ χρόνο. (Απλώς θυμηθείτε να απενεργοποιήσετε requiretty ρύθμιση για sudo στο δικό σας /etc/sudoers αρχείο στο απομακρυσμένο μηχάνημα)

Ένας νέος τρόπος overclock του Ansible είναι μια βιβλιοθήκη python που ονομάζεται Μιτογόνο. Αν κάποιος δεν το έχει ακούσει, θα περιγράψω εν συντομία τη λειτουργικότητά του. Επιτρέπει τη γρήγορη εκτέλεση κώδικα python σε απομακρυσμένο μηχάνημα και το Ansible είναι μόνο ένα παράδειγμα χρήσης. Το Mitogen χρησιμοποιεί έναν σωλήνα UNIX στο απομακρυσμένο μηχάνημα και μεταφέρει κώδικα python συμπιεσμένο με zlib και σειριακό με pickle. Αυτό βοηθά στην ταχύτερη ολοκλήρωσή του και εξοικονομεί κίνηση. Εάν ενδιαφέρεστε για μια πιο λεπτομερή εξήγηση, είναι καλύτερο να διαβάσετε σχετικά στη σελίδα "Πως δουλεύει". Αλλά σήμερα θα εστιάσουμε μόνο στο πώς λειτουργεί η βιβλιοθήκη με το Ansible.

Το Mitogen σε ορισμένες περιπτώσεις μπορεί να επιταχύνει τον κώδικά σας Ansible αρκετές φορές και να μειώσει σημαντικά την κατανάλωση κίνησης. Ας δούμε τις πιο δημοφιλείς περιπτώσεις χρήσης και ας δούμε πόσο μας βοηθάει.

Χρησιμοποιώ το Ansible περισσότερο για: δημιουργία αρχείων διαμόρφωσης σε απομακρυσμένο μηχάνημα, εγκατάσταση πακέτων, αντιγραφή αρχείων από και προς το απομακρυσμένο μηχάνημα. Ίσως έχετε άλλα παραδείγματα - γράψτε στα σχόλια.

Πάμε!

Η διαμόρφωση του Mitogen για το Ansible είναι πολύ απλή:
Εγκαταστήστε τη βιβλιοθήκη Mitogen:

pip install mitogen

Τώρα υπάρχουν δύο ισοδύναμοι τρόποι - είτε διαμορφώστε τις επιλογές στο αρχείο διαμόρφωσης ansible.cfg είτε ορίστε τις απαραίτητες μεταβλητές περιβάλλοντος.

Ας υποθέσουμε ότι η διαδρομή προς το εγκατεστημένο Mitogen θα είναι /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy. Επειτα:

export ANSIBLE_STRATEGY_PLUGINS=/usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy
export ANSIBLE_STRATEGY=mitogen_linear

ή

[defaults]
strategy = mitogen_linear
strategy_plugins = /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy

Ας εγκαταστήσουμε το Ansible στο virtualenv, με και χωρίς Mitogen:

virtualenv mitogen_ansible
./mitogen_ansible/bin/pip install ansible==2.7.10 mitogen
virtualenv pure_ansible
./pure_ansible/bin/pip install ansible==2.7.10

Λάβετε υπόψη ότι το Mitogen 0.2.7 δεν λειτουργεί με το Ansible 2.8 (από τον Μάιο του 2019)

Δημιουργία ψευδωνύμων:

alias pure-ansible-playbook='$(pwd)/pure_ansible/bin/ansible-playbook'
alias mitogen-ansible-playbook='ANSIBLE_STRATEGY_PLUGINS=$(pwd)/mitogen_ansible/lib/python3.7/site-packages/ansible_mitogen/plugins/strategy ANSIBLE_STRATEGY=mitogen_linear $(pwd)/mitogen_ansible/bin/ansible-playbook'

Τώρα ας προσπαθήσουμε να εκτελέσουμε ένα playbook που δημιουργεί αρχεία σε ένα απομακρυσμένο μηχάνημα:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Create files with copy content module
      copy:
        content: |
          test file {{ item }}
        dest: ~/file_{{ item }}
      with_sequence: start=1 end={{ n }}

Και ας το εκτελέσουμε με και χωρίς Mitogen για να δημιουργήσουμε 10 αρχεία:

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m2.603s
user    0m1.152s
sys     0m0.096s

time pure-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m5.908s
user    0m1.745s
sys     0m0.643s

Βλέπουμε 2πλάσια βελτίωση. Ας ελέγξουμε για 20, 30, ..., 100 αρχεία:

time pure-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m51.775s
user    0m8.039s
sys     0m6.305s

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m4.331s
user    0m1.903s
sys     0m0.197s

Ως αποτέλεσμα, επιταχύναμε την εκτέλεση πάνω από 10 φορές!
Τώρα ας δοκιμάσουμε διαφορετικά σενάρια και ας δούμε πόσο πιο γρήγορα λειτουργούν όλα για εμάς:

  • Σενάριο για την αντιγραφή αρχείων σε έναν απομακρυσμένο κεντρικό υπολογιστή από έναν τοπικό (με τη λειτουργική μονάδα copy):
    Επιτάχυνση του Ansible με το Mitogen

  • Σενάριο για τη δημιουργία αρχείων σε απομακρυσμένο κεντρικό υπολογιστή με copy μονάδα μέτρησης:
    Επιτάχυνση του Ansible με το Mitogen

  • Σενάριο με λήψη αρχείων από απομακρυσμένο κεντρικό υπολογιστή σε τοπικό:
    Επιτάχυνση του Ansible με το Mitogen

Ας δοκιμάσουμε ένα σενάριο με πολλά (3) απομακρυσμένα μηχανήματα, για παράδειγμα ένα σενάριο με αντιγραφή αρχείων σε έναν απομακρυσμένο κεντρικό υπολογιστή:
Επιτάχυνση του Ansible με το Mitogen

Όπως μπορείτε να δείτε, το Mitogen μας εξοικονομεί χρόνο και κίνηση σε αυτά τα σενάρια. Αλλά αν το σημείο συμφόρησης δεν βρίσκεται στο Ansible, αλλά για παράδειγμα στο I/O ενός δίσκου ή δικτύου ή κάπου αλλού, τότε είναι δύσκολο να περιμένουμε ότι το Mitogen θα μας βοηθήσει.

Ας δοκιμάσουμε ένα σενάριο με εγκατάσταση πακέτων με ενότητες yum/dnf και python χρησιμοποιώντας pip. Τα πακέτα αποθηκεύτηκαν προσωρινά για να μην εξαρτώνται από δυσλειτουργίες δικτύου:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Install packages
      become: true
      package:
        name:
          - samba
          - httpd
          - nano
          - ruby
        state: present

    - name: Install pip modules
      become: true
      pip:
        name:
          - pytest-split-tests
          - bottle
          - pep8
          - flask
        state: present

Με το Mitogen χρειάστηκαν 12 δευτερόλεπτα, όσο και χωρίς αυτό.
Στη σελίδα Σελίδα Mitogen για Ansible μπορείτε να δείτε άλλα σημεία αναφοράς και δοκιμές. Όπως αναφέρει η σελίδα:

Το Mitogen δεν μπορεί να επιταχύνει τη μονάδα όταν λειτουργεί. Μπορεί μόνο να κάνει την εκτέλεση αυτής της ενότητας όσο το δυνατόν πιο γρήγορη.

Επομένως, είναι σημαντικό να βρείτε τα σημεία συμφόρησης στην ανάπτυξή σας και αν οφείλονται στο Ansible, τότε το Mitogen θα σας βοηθήσει να τα λύσετε και να επιταχύνει σημαντικά την εκτέλεση των βιβλίων σας.

Πηγή: www.habr.com

Προσθέστε ένα σχόλιο