تسريع أنسبل بالميتوجين

Ansible أصبحت واحدة من أكثرها شعبية إدارة تكوين النظام. بعد تم شراؤها من قبل ريد هات في عام 2015 العدد المشاركون في المشروع تجاوزت الآلاف وأصبح Ansible على الأرجح أكثر أنظمة النشر والتنسيق استخدامًا. مجموعة تطبيقاتها الواسعة مؤثرة للغاية.

يعمل Ansible من خلال اتصالات SSH بالمضيفين البعيدين. يفتح جلسة SSH ، ويسجل الدخول ، وينسخ كود Python عبر الشبكة ويكتبه في ملف مؤقت منفصل. بعد ذلك ، يتم تشغيل هذا الملف على الجهاز البعيد. هذا التسلسل الكامل للعمليات طويل جدًا ومضجر ، لذلك هناك طرق مختلفة لتحسينه.

واحدة من هذه الطرق خطوط أنابيب SSH مما يتيح لنا استخدام جلسة SSH واحدة لتنفيذ التعليمات ، بدلاً من فتح جلسة جديدة في كل مرة ، مما يوفر لنا الكثير من الوقت. (فقط لا تنسى تعطيل ملفات requiretty وضع sudo في ملف /etc/sudoers ملف على الجهاز البعيد)

الطريقة الجديدة لـ "overclock" Ansible هي مكتبة python بالاسم ميتوجين. إذا لم يسمع أحد عن ذلك ، فسأصف بإيجاز وظيفته. يسمح بالتنفيذ السريع لرمز Python على جهاز بعيد و Ansible هو مجرد واحدة من حالات الاستخدام. يستخدم Mitogen أنبوب UNIX على الآلة البعيدة وينقل كود الثعبان المضغوط بواسطة zlib ويتسلسل مع مخلل. هذا يساعد على إكماله بشكل أسرع ويوفر النطاق الترددي. إذا كنت مهتمًا بشرح أكثر تفصيلاً ، فمن الأفضل أن تقرأ عنه على الصفحة "كيف تعمل". لكننا اليوم سنركز فقط على كيفية عمل المكتبة مع Ansible.

يمكن لـ Mitogen في ظل ظروف معينة تسريع رمز Ansible الخاص بك عدة مرات وتقليل استهلاك حركة المرور بشكل كبير. دعنا نتحقق من حالات الاستخدام الأكثر شيوعًا ونرى كيف تساعدنا.

أكثر الأشياء التي أستخدمها Ansible هي: إنشاء ملفات التكوين على جهاز بعيد ، وتثبيت الحزم ، ونسخ الملفات من وإلى جهاز بعيد. ربما لديك أمثلة أخرى - اكتب في التعليقات.

دعونا نذهب!

تكوين Mitogen لـ Ansible بسيط للغاية:
تثبيت مكتبة Mitogen:

pip install mitogen

الآن هناك طريقتان مكافئتان - إما تكوين الخيارات في ملف التكوين ansible.cfg ، أو تعيين متغيرات البيئة الضرورية.

لنفترض أن المسار إلى Mitogen المثبت سيكون /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy... ثم:

export ANSIBLE_STRATEGY_PLUGINS=/usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy
export ANSIBLE_STRATEGY=mitogen_linear

أو

[defaults]
strategy = mitogen_linear
strategy_plugins = /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy

تثبيت Ansible في virtualenv ، مع Mitogen وبدونه:

virtualenv mitogen_ansible
./mitogen_ansible/bin/pip install ansible==2.7.10 mitogen
virtualenv pure_ansible
./pure_ansible/bin/pip install ansible==2.7.10

يرجى ملاحظة أن Mitogen 0.2.7 لا يعمل مع Ansible 2.8 (اعتبارًا من مايو 2019)

صنع الأسماء المستعارة:

alias pure-ansible-playbook='$(pwd)/pure_ansible/bin/ansible-playbook'
alias mitogen-ansible-playbook='ANSIBLE_STRATEGY_PLUGINS=$(pwd)/mitogen_ansible/lib/python3.7/site-packages/ansible_mitogen/plugins/strategy ANSIBLE_STRATEGY=mitogen_linear $(pwd)/mitogen_ansible/bin/ansible-playbook'

لنحاول الآن تشغيل كتاب التشغيل الذي ينشئ ملفات على جهاز بعيد:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Create files with copy content module
      copy:
        content: |
          test file {{ item }}
        dest: ~/file_{{ item }}
      with_sequence: start=1 end={{ n }}

وتشغيل مع Mitogen وبدونه لإنشاء 10 ملفات:

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m2.603s
user    0m1.152s
sys     0m0.096s

time pure-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m5.908s
user    0m1.745s
sys     0m0.643s

نرى تحسنًا بمقدار الضعف. دعنا نتحقق من 2 ، 20 ، ... ، 30 ملف:

time pure-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m51.775s
user    0m8.039s
sys     0m6.305s

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m4.331s
user    0m1.903s
sys     0m0.197s

نتيجة لذلك ، قمنا بتسريع التنفيذ بأكثر من 10 مرات!
الآن دعنا نجرب سيناريوهات مختلفة ونرى مدى سرعة كل شيء بالنسبة لنا:

• برنامج نصي لنسخ الملفات إلى مضيف بعيد من مضيف محلي (مع الوحدة النمطية copy):
  

• برنامج نصي لإنشاء ملفات على مضيف بعيد باستخدام copy وحدة:
  

• سيناريو تنزيل الملفات من مضيف بعيد إلى مضيف محلي:
  

لنجرب سيناريو مع عدة (3) أجهزة بعيدة ، مثل نسخ الملفات إلى مضيف بعيد:

كما ترى ، يوفر لنا Mitogen الوقت وحركة المرور في هذه السيناريوهات. ولكن إذا لم يكن "عنق الزجاجة" موجودًا في Ansible ، ولكن على سبيل المثال في إدخال / إخراج القرص أو الشبكة ، أو في أي مكان آخر ، فمن الصعب أن نتوقع أن تساعدنا Mitogen.

لنجرب سيناريو تثبيت حزم yum / dnf ووحدات python باستخدام pip. تم تخزين الحزم مؤقتًا حتى لا تعتمد على مواطن الخلل في الشبكة:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Install packages
      become: true
      package:
        name:
          - samba
          - httpd
          - nano
          - ruby
        state: present

    - name: Install pip modules
      become: true
      pip:
        name:
          - pytest-split-tests
          - bottle
          - pep8
          - flask
        state: present

مع Mitogen استغرق الأمر 12 ثانية ، وكذلك بدونه.
على الصفحة صفحة Mitogen for Ansible يمكنك أن ترى معايير واختبارات أخرى. كما توضح الصفحة:

لا يمكن لـ Mitogen تسريع الوحدة أثناء تشغيلها. يمكنه فقط تنفيذ هذه الوحدة بأسرع وقت ممكن.

لذلك ، من المهم العثور على معوقات النشر الخاصة بك وإذا كانت بسبب Ansible ، فستساعدك Mitogen في حلها وتسريع تنفيذ كتيبات اللعب الخاصة بك بشكل كبير.

المصدر: www.habr.com