മൈറ്റോജൻ ഉപയോഗിച്ച് അൻസിബിൾ വേഗത്തിലാക്കുന്നു

അസാധ്യം ഏറ്റവും ജനപ്രിയമായ ഒന്നായി മാറി സിസ്റ്റം കോൺഫിഗറേഷൻ മാനേജ്മെന്റ്. ശേഷം Red Hat ആണ് വാങ്ങിയത് 2015-ൽ നമ്പർ പദ്ധതി പങ്കാളികൾ ആയിരക്കണക്കിന് കവിഞ്ഞു, അൻസിബിൾ ഒരുപക്ഷേ ഏറ്റവും കൂടുതൽ ഉപയോഗിക്കുന്ന വിന്യാസവും ഓർക്കസ്ട്രേഷൻ സംവിധാനവും ആയി മാറി. അതിന്റെ വിപുലമായ ആപ്ലിക്കേഷനുകൾ വളരെ ശ്രദ്ധേയമാണ്.

റിമോട്ട് ഹോസ്റ്റുകളിലേക്കുള്ള എസ്എസ്എച്ച് കണക്ഷനുകളിലൂടെ അൻസിബിൾ പ്രവർത്തിക്കുന്നു. ഇത് ഒരു SSH സെഷൻ തുറക്കുകയും ലോഗിൻ ചെയ്യുകയും നെറ്റ്‌വർക്കിലൂടെ പൈത്തൺ കോഡ് പകർത്തുകയും ഒരു പ്രത്യേക താൽക്കാലിക ഫയലിലേക്ക് എഴുതുകയും ചെയ്യുന്നു. അതിനുശേഷം, അത് റിമോട്ട് മെഷീനിൽ ഈ ഫയൽ പ്രവർത്തിപ്പിക്കുന്നു. പ്രവർത്തനങ്ങളുടെ ഈ മുഴുവൻ ശ്രേണിയും വളരെ ദൈർഘ്യമേറിയതും മടുപ്പിക്കുന്നതുമാണ്, അതിനാൽ ഇത് ഒപ്റ്റിമൈസ് ചെയ്യുന്നതിന് വിവിധ മാർഗങ്ങളുണ്ട്.

ഈ വഴികളിൽ ഒന്നാണ് SSH പൈപ്പ്ലൈനുകൾ ഓരോ തവണയും ഒരു പുതിയ സെഷൻ തുറക്കുന്നതിനുപകരം, നിർദ്ദേശങ്ങൾ നടപ്പിലാക്കാൻ ഒരു SSH സെഷൻ ഉപയോഗിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു, ഇത് ഞങ്ങൾക്ക് ധാരാളം സമയം ലാഭിക്കും. (ഓഫ് ചെയ്യാൻ ഓർക്കുക requiretty നിങ്ങളുടെ sudo എന്നതിനുള്ള ക്രമീകരണം /etc/sudoers റിമോട്ട് മെഷീനിൽ ഫയൽ)

അൻസിബിളിനെ ഓവർക്ലോക്ക് ചെയ്യുന്നതിനുള്ള ഒരു പുതിയ മാർഗം പൈത്തൺ ലൈബ്രറിയാണ് മൈറ്റോജൻ. ആരെങ്കിലും അതിനെക്കുറിച്ച് കേട്ടിട്ടില്ലെങ്കിൽ, അതിന്റെ പ്രവർത്തനത്തെക്കുറിച്ച് ഞാൻ ചുരുക്കമായി വിവരിക്കും. ഒരു റിമോട്ട് മെഷീനിൽ പൈത്തൺ കോഡ് വേഗത്തിൽ നടപ്പിലാക്കാൻ ഇത് അനുവദിക്കുന്നു, കൂടാതെ അൻസിബിൾ ഉപയോഗത്തിന്റെ ഒരു ഉദാഹരണം മാത്രമാണ്. Mitogen റിമോട്ട് മെഷീനിൽ ഒരു UNIX പൈപ്പ് ഉപയോഗിക്കുകയും zlib ഉപയോഗിച്ച് കംപ്രസ്സുചെയ്‌ത പൈത്തൺ കോഡ് കൈമാറുകയും അച്ചാർ ഉപയോഗിച്ച് സീരിയലൈസ് ചെയ്യുകയും ചെയ്യുന്നു. ഇത് വേഗത്തിൽ പൂർത്തിയാക്കാനും ട്രാഫിക് ലാഭിക്കാനും സഹായിക്കുന്നു. കൂടുതൽ വിശദമായ വിശദീകരണത്തിൽ നിങ്ങൾക്ക് താൽപ്പര്യമുണ്ടെങ്കിൽ, അതിനെക്കുറിച്ച് പേജിൽ വായിക്കുന്നതാണ് നല്ലത് "ഇത് എങ്ങനെ പ്രവർത്തിക്കുന്നു". എന്നാൽ ഇന്ന് നമ്മൾ അൻസിബിളിനൊപ്പം ലൈബ്രറി എങ്ങനെ പ്രവർത്തിക്കുന്നു എന്നതിൽ മാത്രം ശ്രദ്ധ കേന്ദ്രീകരിക്കും.

ചില സാഹചര്യങ്ങളിൽ Mitogen നിങ്ങളുടെ അൻസിബിൾ കോഡ് നിരവധി തവണ വേഗത്തിലാക്കുകയും ട്രാഫിക് ഉപഭോഗം ഗണ്യമായി കുറയ്ക്കുകയും ചെയ്യും. ഏറ്റവും ജനപ്രിയമായ ഉപയോഗ കേസുകൾ പരിശോധിച്ച് അത് എത്രത്തോളം ഞങ്ങളെ സഹായിക്കുന്നുവെന്ന് നോക്കാം.

വിദൂര മെഷീനിൽ കോൺഫിഗറേഷൻ ഫയലുകൾ സൃഷ്‌ടിക്കുക, പാക്കേജുകൾ ഇൻസ്റ്റാൾ ചെയ്യുക, റിമോട്ട് മെഷീനിലേക്ക് ഫയലുകൾ പകർത്തുക എന്നിവയ്‌ക്കായി ഞാൻ അൻസിബിൾ ഉപയോഗിക്കുന്നു. ഒരുപക്ഷേ നിങ്ങൾക്ക് മറ്റ് ഉദാഹരണങ്ങളുണ്ട് - അഭിപ്രായങ്ങളിൽ എഴുതുക.

പോകാം!

അൻസിബിളിനുള്ള മൈറ്റോജൻ കോൺഫിഗറേഷൻ വളരെ ലളിതമാണ്:
മൈറ്റോജൻ ലൈബ്രറി ഇൻസ്റ്റാൾ ചെയ്യുക:

pip install mitogen

ഇപ്പോൾ രണ്ട് തുല്യമായ വഴികളുണ്ട് - ഒന്നുകിൽ ansible.cfg കോൺഫിഗറേഷൻ ഫയലിൽ ഓപ്ഷനുകൾ കോൺഫിഗർ ചെയ്യുക, അല്ലെങ്കിൽ ആവശ്യമായ എൻവയോൺമെന്റ് വേരിയബിളുകൾ സജ്ജമാക്കുക.

ഇൻസ്റ്റാൾ ചെയ്ത Mitogen-ലേക്കുള്ള പാത ആയിരിക്കും എന്ന് നമുക്ക് അനുമാനിക്കാം /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy. അപ്പോൾ:

export ANSIBLE_STRATEGY_PLUGINS=/usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy
export ANSIBLE_STRATEGY=mitogen_linear

അഥവാ

[defaults]
strategy = mitogen_linear
strategy_plugins = /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy

Mitogen ഉപയോഗിച്ചും അല്ലാതെയും നമുക്ക് Virtualenv-ൽ Ansible ഇൻസ്റ്റാൾ ചെയ്യാം:

virtualenv mitogen_ansible
./mitogen_ansible/bin/pip install ansible==2.7.10 mitogen
virtualenv pure_ansible
./pure_ansible/bin/pip install ansible==2.7.10

മൈറ്റോജൻ 0.2.7 അൻസിബിൾ 2.8-നൊപ്പം പ്രവർത്തിക്കില്ല (2019 മെയ് വരെ)

അപരനാമങ്ങൾ ഉണ്ടാക്കുന്നു:

alias pure-ansible-playbook='$(pwd)/pure_ansible/bin/ansible-playbook'
alias mitogen-ansible-playbook='ANSIBLE_STRATEGY_PLUGINS=$(pwd)/mitogen_ansible/lib/python3.7/site-packages/ansible_mitogen/plugins/strategy ANSIBLE_STRATEGY=mitogen_linear $(pwd)/mitogen_ansible/bin/ansible-playbook'

ഇനി നമുക്ക് ഒരു റിമോട്ട് മെഷീനിൽ ഫയലുകൾ സൃഷ്ടിക്കുന്ന ഒരു പ്ലേബുക്ക് പ്രവർത്തിപ്പിക്കാൻ ശ്രമിക്കാം:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Create files with copy content module
      copy:
        content: |
          test file {{ item }}
        dest: ~/file_{{ item }}
      with_sequence: start=1 end={{ n }}

10 ഫയലുകൾ സൃഷ്‌ടിക്കാൻ Mitogen ഉപയോഗിച്ചും അല്ലാതെയും ഇത് പ്രവർത്തിപ്പിക്കാം:

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m2.603s
user    0m1.152s
sys     0m0.096s

time pure-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m5.908s
user    0m1.745s
sys     0m0.643s

2 മടങ്ങ് പുരോഗതി ഞങ്ങൾ കാണുന്നു. നമുക്ക് 20, 30, ..., 100 ഫയലുകൾ പരിശോധിക്കാം:

time pure-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m51.775s
user    0m8.039s
sys     0m6.305s

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m4.331s
user    0m1.903s
sys     0m0.197s

തൽഫലമായി, ഞങ്ങൾ നിർവ്വഹണം 10 തവണയിലധികം ത്വരിതപ്പെടുത്തി!
ഇപ്പോൾ നമുക്ക് വ്യത്യസ്‌ത സാഹചര്യങ്ങൾ പരീക്ഷിച്ച് നോക്കാം, എല്ലാം എത്ര വേഗത്തിൽ നമുക്ക് വേണ്ടി പ്രവർത്തിക്കുന്നുവെന്ന് നോക്കാം:

• ഒരു ലോക്കലിൽ നിന്ന് ഒരു റിമോട്ട് ഹോസ്റ്റിലേക്ക് ഫയലുകൾ പകർത്തുന്നതിനുള്ള സ്ക്രിപ്റ്റ് (മൊഡ്യൂളിനൊപ്പം copy):
  

• ഒരു റിമോട്ട് ഹോസ്റ്റിൽ ഫയലുകൾ സൃഷ്ടിക്കുന്നതിനുള്ള സ്ക്രിപ്റ്റ് copy മൊഡ്യൂൾ:
  

• റിമോട്ട് ഹോസ്റ്റിൽ നിന്ന് ലോക്കലിലേക്ക് ഫയലുകൾ ഡൗൺലോഡ് ചെയ്യുന്ന സാഹചര്യം:
  

നമുക്ക് നിരവധി (3) റിമോട്ട് മെഷീനുകൾ ഉള്ള ഒരു സാഹചര്യം പരീക്ഷിക്കാം, ഉദാഹരണത്തിന് ഒരു റിമോട്ട് ഹോസ്റ്റിലേക്ക് ഫയലുകൾ പകർത്തുന്ന ഒരു രംഗം:

നിങ്ങൾക്ക് കാണാനാകുന്നതുപോലെ, ഈ സാഹചര്യങ്ങളിൽ മൈറ്റോജൻ സമയവും ട്രാഫിക്കും നമ്മെ സംരക്ഷിക്കുന്നു. എന്നാൽ തടസ്സം അൻസിബിളിലല്ലെങ്കിൽ, ഉദാഹരണത്തിന് ഒരു ഡിസ്കിന്റെയോ നെറ്റ്‌വർക്കിന്റെയോ ഐ/ഒയിലോ മറ്റെവിടെയെങ്കിലുമോ ആണെങ്കിൽ, മൈറ്റോജൻ നമ്മെ സഹായിക്കുമെന്ന് പ്രതീക്ഷിക്കാൻ പ്രയാസമാണ്.

pip ഉപയോഗിച്ച് yum/dnf, python മൊഡ്യൂളുകൾ ഉള്ള പാക്കേജുകൾ ഇൻസ്റ്റാൾ ചെയ്യുന്ന ഒരു സ്ക്രിപ്റ്റ് പരീക്ഷിക്കാം. നെറ്റ്‌വർക്ക് തകരാറുകളെ ആശ്രയിക്കാതിരിക്കാൻ പാക്കേജുകൾ കാഷെ ചെയ്തു:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Install packages
      become: true
      package:
        name:
          - samba
          - httpd
          - nano
          - ruby
        state: present

    - name: Install pip modules
      become: true
      pip:
        name:
          - pytest-split-tests
          - bottle
          - pep8
          - flask
        state: present

Mitogen ഉപയോഗിച്ച് ഇത് 12 സെക്കൻഡ് എടുത്തു, അത് ഇല്ലാതെ തന്നെ.
പേജിൽ അൻസിബിൾ പേജിനുള്ള മൈറ്റോജൻ നിങ്ങൾക്ക് മറ്റ് മാനദണ്ഡങ്ങളും പരിശോധനകളും നോക്കാം. പേജ് പറയുന്നതുപോലെ:

മോഡ്യൂൾ പ്രവർത്തിക്കുമ്പോൾ മൈറ്റോജനിനെ വേഗത്തിലാക്കാൻ കഴിയില്ല. ഈ മൊഡ്യൂളിന്റെ നിർവ്വഹണം കഴിയുന്നത്ര വേഗത്തിലാക്കാൻ മാത്രമേ ഇതിന് കഴിയൂ.

അതിനാൽ, നിങ്ങളുടെ വിന്യാസത്തിൽ നിങ്ങളുടെ തടസ്സങ്ങൾ കണ്ടെത്തേണ്ടത് പ്രധാനമാണ്, അവ അൻസിബിൾ മൂലമാണെങ്കിൽ, അവ പരിഹരിക്കാനും നിങ്ങളുടെ പ്ലേബുക്കുകളുടെ നിർവ്വഹണം ഗണ്യമായി വേഗത്തിലാക്കാനും Mitogen നിങ്ങളെ സഹായിക്കും.

അവലംബം: www.habr.com