Mitogen-ийн тусламжтайгаар Ansible-ийг хурдасгаж байна

Алгасах хамгийн алдартай нэг болсон Системийн тохиргооны удирдлага. Дараа нь Red Hat худалдаж авсан 2015 онд тоо төслийн оролцогчид хэдэн мянгаар давсан бөгөөд Ansible нь магадгүй хамгийн их ашиглагддаг байршуулалт, зохион байгуулалтын систем болсон. Түүний өргөн хүрээний хэрэглээ нь маш гайхалтай юм.

Ansible нь алсын хостуудтай SSH холболтоор ажилладаг. Энэ нь SSH сессийг нээж, нэвтэрч, сүлжээгээр Python кодыг хуулж, тусдаа түр файл руу бичдэг. Үүний дараа энэ файлыг алсын төхөөрөмж дээр ажиллуулдаг. Энэ бүх үйл ажиллагааны дараалал нь нэлээд урт бөгөөд уйтгартай байдаг тул үүнийг оновчтой болгох янз бүрийн арга байдаг.

Эдгээр аргуудын нэг нь SSH дамжуулах хоолой Энэ нь танд зааварчилгааг гүйцэтгэхийн тулд шинэ сесс нээхээс илүүтэйгээр нэг SSH сессийг ашиглах боломжийг олгодог бөгөөд энэ нь бидэнд маш их цаг хэмнэх болно. (Унтрахаа санаарай requiretty таны дотор sudo-г тохируулах /etc/sudoers алсын машин дээрх файл)

Ansible-г overclock хийх шинэ арга бол питон номын сан юм Митоген. Хэрэв хэн нэгэн үүнийг сонсоогүй бол би түүний функцийг товч тайлбарлах болно. Энэ нь алсын машин дээр python кодыг хурдан гүйцэтгэх боломжийг олгодог бөгөөд Ansible бол ашиглалтын зөвхөн нэг жишээ юм. Mitogen нь алсын машин дээр UNIX хоолойг ашигладаг бөгөөд zlib-ээр шахсан, даршилсан ногоогоор цувуулсан питон кодыг дамжуулдаг. Энэ нь үүнийг хурдан дуусгахад тусалдаг бөгөөд замын хөдөлгөөнийг хэмнэдэг. Хэрэв та илүү дэлгэрэнгүй тайлбарыг сонирхож байгаа бол энэ талаар хуудаснаас уншсан нь дээр "Хэрхэн ажилладаг". Гэхдээ өнөөдөр бид зөвхөн номын сан Ansible-тэй хэрхэн ажилладаг талаар л анхаарах болно.

Митоген нь тодорхой нөхцөлд таны Ansible кодыг хэд хэдэн удаа хурдасгаж, замын хөдөлгөөний хэрэглээг эрс багасгадаг. Хамгийн алдартай хэрэглээний тохиолдлуудыг авч үзээд энэ нь бидэнд хэр их тусалдаг болохыг харцгаая.

Би Ansible-г алсын машин дээр тохиргооны файл үүсгэх, багц суулгах, алсын машин руу болон түүнээс файл хуулах зэрэгт хамгийн их ашигладаг. Магадгүй танд өөр жишээ байгаа байх - сэтгэгдэл дээр бичээрэй.

Явъя!

Ansible-д зориулсан митогенийн тохиргоо нь маш энгийн:
Mitogen номын санг суулгана уу:

pip install mitogen

Одоо ижил төстэй хоёр арга бий - ansible.cfg тохиргооны файлын тохиргоог хийх эсвэл шаардлагатай орчны хувьсагчдыг тохируулах.

Суурилуулсан Митоген хүрэх зам нь байх болно гэж бодъё /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy. Дараа нь:

export ANSIBLE_STRATEGY_PLUGINS=/usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy
export ANSIBLE_STRATEGY=mitogen_linear

буюу

[defaults]
strategy = mitogen_linear
strategy_plugins = /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy

Ansible-ийг virtualenv-д Mitogen-тэй болон митогенгүйгээр суулгацгаа:

virtualenv mitogen_ansible
./mitogen_ansible/bin/pip install ansible==2.7.10 mitogen
virtualenv pure_ansible
./pure_ansible/bin/pip install ansible==2.7.10

Mitogen 0.2.7 нь Ansible 2.8-тэй ажиллахгүй гэдгийг анхаарна уу (2019 оны XNUMX-р сарын байдлаар)

Хос нэр хийх:

alias pure-ansible-playbook='$(pwd)/pure_ansible/bin/ansible-playbook'
alias mitogen-ansible-playbook='ANSIBLE_STRATEGY_PLUGINS=$(pwd)/mitogen_ansible/lib/python3.7/site-packages/ansible_mitogen/plugins/strategy ANSIBLE_STRATEGY=mitogen_linear $(pwd)/mitogen_ansible/bin/ansible-playbook'

Одоо алсын машин дээр файл үүсгэдэг тоглоомын номыг ажиллуулахыг оролдъё:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Create files with copy content module
      copy:
        content: |
          test file {{ item }}
        dest: ~/file_{{ item }}
      with_sequence: start=1 end={{ n }}

10 файл үүсгэхийн тулд үүнийг Mitogen-тэй болон ашиглахгүйгээр ажиллуулцгаая:

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m2.603s
user    0m1.152s
sys     0m0.096s

time pure-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m5.908s
user    0m1.745s
sys     0m0.643s

Бид 2 дахин сайжирсан гэж харж байна. 20, 30, ..., 100 файл байгаа эсэхийг шалгацгаая:

time pure-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m51.775s
user    0m8.039s
sys     0m6.305s

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m4.331s
user    0m1.903s
sys     0m0.197s

Үүний үр дүнд бид гүйцэтгэлийг 10 дахин хурдасгасан!
Одоо янз бүрийн хувилбаруудыг туршиж үзээд бүх зүйл бидний хувьд хэр хурдан болохыг харцгаая:

  • Дотоод сүлжээнээс алсын хост руу файл хуулах скрипт (модультэй copy):
    Mitogen-ийн тусламжтайгаар Ansible-ийг хурдасгаж байна

  • Алсын хост дээр файл үүсгэх скрипт copy модуль:
    Mitogen-ийн тусламжтайгаар Ansible-ийг хурдасгаж байна

  • Алсын хостоос локал руу файл татаж авах хувилбар:
    Mitogen-ийн тусламжтайгаар Ansible-ийг хурдасгаж байна

Хэд хэдэн (3) алсын машинтай, жишээ нь алсын хост руу файл хуулах хувилбарыг туршиж үзье:
Mitogen-ийн тусламжтайгаар Ansible-ийг хурдасгаж байна

Таны харж байгаагаар Митоген эдгээр хувилбаруудад бидэнд цаг хугацаа, замын хөдөлгөөнийг хэмнэдэг. Гэхдээ хэрэв бөглөрөл нь Ansible-д биш, жишээлбэл, диск эсвэл сүлжээний оролт, гаралт эсвэл өөр газар байгаа бол Митоген бидэнд тусална гэж хүлээхэд хэцүү байдаг.

pip ашиглан yum/dnf болон python модультай багцуудыг суулгах скриптийг туршиж үзье. Сүлжээний алдаанаас хамаарахгүйн тулд багцуудыг кэш болгосон:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Install packages
      become: true
      package:
        name:
          - samba
          - httpd
          - nano
          - ruby
        state: present

    - name: Install pip modules
      become: true
      pip:
        name:
          - pytest-split-tests
          - bottle
          - pep8
          - flask
        state: present

Митогентэй бол 12 секунд зарцуулсан нь үүнгүйгээр хийсэнтэй адил юм.
Хуудсан дээр Mitogen for Ansible хуудас Та бусад жишиг болон туршилтуудыг харж болно. Хуудасны дагуу:

Митоген модулийг ажиллаж байх үед хурдасгаж чадахгүй. Энэ нь зөвхөн энэ модулийн гүйцэтгэлийг аль болох хурдан болгож чадна.

Тиймээс, байршуулахдаа тулгарч буй бэрхшээлийг олж мэдэх нь чухал бөгөөд хэрэв тэдгээр нь Ansible-ээс үүдэлтэй бол Mitogen нь танд тэдгээрийг шийдвэрлэхэд тусалж, тоглоомын дэвтрийн гүйцэтгэлийг ихээхэн хурдасгах болно.

Эх сурвалж: www.habr.com

сэтгэгдэл нэмэх