Ansible-ის დაჩქარება მიტოგენით

შეუძლებელია გახდა ერთ-ერთი ყველაზე პოპულარული სისტემის კონფიგურაციის მენეჯმენტი. შემდეგ შეიძინა Red Hat-მა 2015 წელს ნომერი პროექტის მონაწილეები გადააჭარბა ათასობით და Ansible გახდა ალბათ ყველაზე ხშირად გამოყენებული განლაგებისა და ორკესტრირების სისტემა. მისი აპლიკაციების ფართო სპექტრი ძალიან შთამბეჭდავია.

Ansible მუშაობს SSH კავშირებზე დისტანციურ ჰოსტებთან. ის ხსნის SSH სესიას, შედის სისტემაში, აკოპირებს პითონის კოდს ქსელში და წერს მას ცალკე დროებით ფაილში. ამის შემდეგ ის აწარმოებს ამ ფაილს დისტანციურ მანქანაზე. ოპერაციების მთელი ეს თანმიმდევრობა საკმაოდ გრძელი და დამღლელია, ამიტომ მისი ოპტიმიზაციის სხვადასხვა გზა არსებობს.

ერთ-ერთი ასეთი გზაა SSH მილსადენები რომელიც საშუალებას გაძლევთ გამოიყენოთ ერთი SSH სესია ინსტრუქციების შესასრულებლად, ვიდრე ყოველ ჯერზე ახალი სესიის გახსნა, რამაც შეიძლება დაგვიზოგოს ბევრი დრო. (უბრალოდ დაიმახსოვრე გამორთვა requiretty სუდოს დაყენება თქვენს /etc/sudoers ფაილი დისტანციურ მანქანაზე)

Ansible-ის გადატვირთვის ახალი გზა არის პითონის ბიბლიოთეკა ე.წ მიტოგენი. თუ ვინმეს არ სმენია ამის შესახებ, მოკლედ აღვწერ მის ფუნქციონირებას. ის იძლევა პითონის კოდის სწრაფ შესრულებას დისტანციურ მანქანაზე და Ansible არის გამოყენების მხოლოდ ერთი მაგალითი. მიტოგენი იყენებს UNIX მილს დისტანციურ მანქანაზე და გადასცემს პითონის კოდს, რომელიც შეკუმშულია zlib-ით და სერიული მწნილით. ეს ხელს უწყობს მის უფრო სწრაფად დასრულებას და დაზოგავს ტრაფიკს. თუ გაინტერესებთ უფრო დეტალური ახსნა, უმჯობესია ამის შესახებ წაიკითხოთ გვერდზე "Როგორ მუშაობს". მაგრამ დღეს ჩვენ ყურადღებას გავამახვილებთ მხოლოდ იმაზე, თუ როგორ მუშაობს ბიბლიოთეკა Ansible-თან.

მიტოგენს გარკვეულ გარემოებებში შეუძლია რამდენჯერმე დააჩქაროს თქვენი Ansible კოდი და მნიშვნელოვნად შეამციროს ტრაფიკის მოხმარება. მოდით შევამოწმოთ გამოყენების ყველაზე პოპულარული შემთხვევები და ვნახოთ რამდენად გვეხმარება ეს.

მე ყველაზე მეტად ვიყენებ Ansible-ს: დისტანციურ აპარატზე კონფიგურაციის ფაილების შესაქმნელად, პაკეტების დაინსტალირებისთვის, ფაილების კოპირებისთვის დისტანციურ მანქანაში. ალბათ სხვა მაგალითები გაქვთ - დაწერეთ კომენტარებში.

მოდით წავიდეთ!

Ansible-ისთვის მიტოგენის კონფიგურაცია ძალიან მარტივია:
დააინსტალირეთ Mitogen ბიბლიოთეკა:

pip install mitogen

ახლა არის ორი ექვივალენტი გზა - ან დააკონფიგურიროთ პარამეტრები ansible.cfg კონფიგურაციის ფაილში, ან დააყენოთ საჭირო გარემოს ცვლადები.

დავუშვათ, რომ გზა დამონტაჟებული მიტოგენისკენ იქნება /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy. შემდეგ:

export ANSIBLE_STRATEGY_PLUGINS=/usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy
export ANSIBLE_STRATEGY=mitogen_linear

ან

[defaults]
strategy = mitogen_linear
strategy_plugins = /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy

მოდით დავაყენოთ Ansible ვირტუალურში, მიტოგენით და მის გარეშე:

virtualenv mitogen_ansible
./mitogen_ansible/bin/pip install ansible==2.7.10 mitogen
virtualenv pure_ansible
./pure_ansible/bin/pip install ansible==2.7.10

გთხოვთ გაითვალისწინოთ, რომ Mitogen 0.2.7 არ მუშაობს Ansible 2.8-თან (2019 წლის მაისის მდგომარეობით)

მეტსახელების დამზადება:

alias pure-ansible-playbook='$(pwd)/pure_ansible/bin/ansible-playbook'
alias mitogen-ansible-playbook='ANSIBLE_STRATEGY_PLUGINS=$(pwd)/mitogen_ansible/lib/python3.7/site-packages/ansible_mitogen/plugins/strategy ANSIBLE_STRATEGY=mitogen_linear $(pwd)/mitogen_ansible/bin/ansible-playbook'

ახლა შევეცადოთ გაუშვათ სათამაშო წიგნი, რომელიც ქმნის ფაილებს დისტანციურ მანქანაზე:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Create files with copy content module
      copy:
        content: |
          test file {{ item }}
        dest: ~/file_{{ item }}
      with_sequence: start=1 end={{ n }}

მოდით გავუშვათ იგი მიტოგენთან და მის გარეშე 10 ფაილის შესაქმნელად:

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m2.603s
user    0m1.152s
sys     0m0.096s

time pure-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m5.908s
user    0m1.745s
sys     0m0.643s

ჩვენ ვხედავთ 2-ჯერ გაუმჯობესებას. მოდით შევამოწმოთ 20, 30, ..., 100 ფაილი:

time pure-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m51.775s
user    0m8.039s
sys     0m6.305s

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m4.331s
user    0m1.903s
sys     0m0.197s

შედეგად, ჩვენ დავაჩქარეთ შესრულება 10-ზე მეტჯერ!
ახლა მოდით ვცადოთ სხვადასხვა სცენარი და ვნახოთ რამდენად სწრაფად მუშაობს ყველაფერი ჩვენთან:

• სკრიპტი ფაილების კოპირებისთვის დისტანციურ ჰოსტში ლოკალურიდან (მოდულით copy):
  

• დისტანციურ ჰოსტზე ფაილების შესაქმნელად სკრიპტი copy მოდული:
  

• სცენარი დისტანციური ჰოსტიდან ადგილობრივზე ფაილების ჩამოტვირთვის შემთხვევაში:
  

მოდით ვცადოთ სცენარი რამდენიმე (3) დისტანციური აპარატით, მაგალითად, სცენარი ფაილების დისტანციურ ჰოსტში კოპირებით:

როგორც ხედავთ, მიტოგენი გვიზოგავს დროსაც და მოძრაობასაც ამ სცენარებში. მაგრამ თუ ბოთლი არ არის Ansible-ში, არამედ, მაგალითად, დისკის ან ქსელის I/O-ში, ან სადმე სხვაგან, მაშინ ძნელი მოსალოდნელია, რომ Mitogen დაგვეხმარება.

მოდით ვცადოთ სკრიპტი პაკეტების დაყენებით yum/dnf და python მოდულებით pip-ის გამოყენებით. პაკეტები ქეშირებული იყო ისე, რომ არ იყო დამოკიდებული ქსელის ხარვეზებზე:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Install packages
      become: true
      package:
        name:
          - samba
          - httpd
          - nano
          - ruby
        state: present

    - name: Install pip modules
      become: true
      pip:
        name:
          - pytest-split-tests
          - bottle
          - pep8
          - flask
        state: present

მიტოგენით 12 წამი დასჭირდა, ისევე როგორც მის გარეშე.
გვერდზე მიტოგენი Ansible გვერდისთვის შეგიძლიათ ნახოთ სხვა კრიტერიუმები და ტესტები. როგორც გვერდზე წერია:

მიტოგენი ვერ აჩქარებს მოდულს, როდესაც ის მუშაობს. მას შეუძლია მხოლოდ ამ მოდულის შესრულება რაც შეიძლება სწრაფად.

აქედან გამომდინარე, მნიშვნელოვანია იპოვოთ თქვენი დაბრკოლებები თქვენს განლაგებაში და თუ ისინი გამოწვეულია Ansible-ით, მაშინ Mitogen დაგეხმარებათ მათ მოგვარებაში და მნიშვნელოვნად დააჩქარებს თქვენი სათამაშო წიგნების შესრულებას.

წყარო: www.habr.com