Mitogen ਨਾਲ ਜਵਾਬਦੇਹ ਨੂੰ ਤੇਜ਼ ਕਰਨਾ

Ansimate ਸਭ ਪ੍ਰਸਿੱਧ ਦੇ ਇੱਕ ਬਣ ਗਿਆ ਸਿਸਟਮ ਸੰਰਚਨਾ ਪ੍ਰਬੰਧਨ. ਤੋਂ ਬਾਅਦ Red Hat ਦੁਆਰਾ ਖਰੀਦਿਆ ਗਿਆ ਸੀ 2015 ਵਿੱਚ ਨੰਬਰ ਪ੍ਰੋਜੈਕਟ ਭਾਗੀਦਾਰ ਹਜ਼ਾਰਾਂ ਤੋਂ ਵੱਧ ਗਿਆ ਅਤੇ ਜਵਾਬੀ ਸ਼ਾਇਦ ਸਭ ਤੋਂ ਵੱਧ ਵਰਤੀ ਜਾਣ ਵਾਲੀ ਤੈਨਾਤੀ ਅਤੇ ਆਰਕੈਸਟ੍ਰੇਸ਼ਨ ਪ੍ਰਣਾਲੀ ਬਣ ਗਈ। ਇਸ ਦੀਆਂ ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੀ ਵਿਸ਼ਾਲ ਸ਼੍ਰੇਣੀ ਬਹੁਤ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੈ।

ਰਿਮੋਟ ਹੋਸਟਾਂ ਲਈ SSH ਕਨੈਕਸ਼ਨਾਂ 'ਤੇ ਜਵਾਬਦੇਹ ਕੰਮ ਕਰਦਾ ਹੈ। ਇਹ ਇੱਕ SSH ਸੈਸ਼ਨ ਖੋਲ੍ਹਦਾ ਹੈ, ਲੌਗ ਇਨ ਕਰਦਾ ਹੈ, ਨੈੱਟਵਰਕ ਉੱਤੇ ਪਾਈਥਨ ਕੋਡ ਦੀ ਨਕਲ ਕਰਦਾ ਹੈ ਅਤੇ ਇਸਨੂੰ ਇੱਕ ਵੱਖਰੀ ਅਸਥਾਈ ਫਾਈਲ ਵਿੱਚ ਲਿਖਦਾ ਹੈ। ਉਸ ਤੋਂ ਬਾਅਦ, ਇਹ ਇਸ ਫਾਈਲ ਨੂੰ ਰਿਮੋਟ ਮਸ਼ੀਨ 'ਤੇ ਚਲਾਉਂਦਾ ਹੈ। ਓਪਰੇਸ਼ਨਾਂ ਦਾ ਇਹ ਸਾਰਾ ਕ੍ਰਮ ਕਾਫ਼ੀ ਲੰਬਾ ਅਤੇ ਥਕਾਵਟ ਵਾਲਾ ਹੈ, ਇਸਲਈ ਇਸਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਦੇ ਕਈ ਤਰੀਕੇ ਹਨ।

ਇਹਨਾਂ ਵਿੱਚੋਂ ਇੱਕ ਤਰੀਕਾ ਹੈ SSH ਪਾਈਪਲਾਈਨਾਂ ਜੋ ਤੁਹਾਨੂੰ ਹਰ ਵਾਰ ਨਵਾਂ ਸੈਸ਼ਨ ਖੋਲ੍ਹਣ ਦੀ ਬਜਾਏ, ਨਿਰਦੇਸ਼ਾਂ ਨੂੰ ਲਾਗੂ ਕਰਨ ਲਈ ਇੱਕ SSH ਸੈਸ਼ਨ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਸਾਡਾ ਬਹੁਤ ਸਮਾਂ ਬਚ ਸਕਦਾ ਹੈ। (ਬਸ ਬੰਦ ਕਰਨਾ ਯਾਦ ਰੱਖੋ requiretty ਤੁਹਾਡੇ ਵਿੱਚ sudo ਲਈ ਸੈਟਿੰਗ /etc/sudoers ਰਿਮੋਟ ਮਸ਼ੀਨ 'ਤੇ ਫਾਈਲ)

Ansible ਨੂੰ ਓਵਰਕਲੌਕ ਕਰਨ ਦਾ ਇੱਕ ਨਵਾਂ ਤਰੀਕਾ ਇੱਕ ਪਾਈਥਨ ਲਾਇਬ੍ਰੇਰੀ ਹੈ ਮਾਈਟੋਜਨ. ਜੇ ਕਿਸੇ ਨੇ ਇਸ ਬਾਰੇ ਨਹੀਂ ਸੁਣਿਆ ਹੈ, ਤਾਂ ਮੈਂ ਸੰਖੇਪ ਵਿੱਚ ਇਸਦੀ ਕਾਰਜਸ਼ੀਲਤਾ ਦਾ ਵਰਣਨ ਕਰਾਂਗਾ। ਇਹ ਇੱਕ ਰਿਮੋਟ ਮਸ਼ੀਨ 'ਤੇ ਪਾਈਥਨ ਕੋਡ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਚਲਾਉਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ, ਅਤੇ ਜਵਾਬੀ ਵਰਤੋਂ ਦੀ ਸਿਰਫ ਇੱਕ ਉਦਾਹਰਣ ਹੈ। Mitogen ਰਿਮੋਟ ਮਸ਼ੀਨ 'ਤੇ ਇੱਕ UNIX ਪਾਈਪ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ ਅਤੇ zlib ਨਾਲ ਸੰਕੁਚਿਤ ਅਤੇ ਅਚਾਰ ਨਾਲ ਲੜੀਬੱਧ ਪਾਈਥਨ ਕੋਡ ਨੂੰ ਟ੍ਰਾਂਸਫਰ ਕਰਦਾ ਹੈ। ਇਹ ਇਸਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਪੂਰਾ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ ਅਤੇ ਆਵਾਜਾਈ ਨੂੰ ਬਚਾਉਂਦਾ ਹੈ। ਜੇ ਤੁਸੀਂ ਵਧੇਰੇ ਵਿਸਤ੍ਰਿਤ ਵਿਆਖਿਆ ਵਿੱਚ ਦਿਲਚਸਪੀ ਰੱਖਦੇ ਹੋ, ਤਾਂ ਪੰਨੇ 'ਤੇ ਇਸ ਬਾਰੇ ਪੜ੍ਹਨਾ ਸਭ ਤੋਂ ਵਧੀਆ ਹੈ "ਕਿਦਾ ਚਲਦਾ". ਪਰ ਅੱਜ ਅਸੀਂ ਸਿਰਫ ਇਸ ਗੱਲ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਾਂਗੇ ਕਿ ਲਾਇਬ੍ਰੇਰੀ Ansible ਨਾਲ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ।

ਮਿਟੋਜਨ ਕੁਝ ਖਾਸ ਹਾਲਾਤਾਂ ਵਿੱਚ ਤੁਹਾਡੇ ਜਵਾਬੀ ਕੋਡ ਨੂੰ ਕਈ ਵਾਰ ਤੇਜ਼ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਆਵਾਜਾਈ ਦੀ ਖਪਤ ਨੂੰ ਮਹੱਤਵਪੂਰਨ ਤੌਰ 'ਤੇ ਘਟਾ ਸਕਦਾ ਹੈ। ਆਉ ਸਭ ਤੋਂ ਪ੍ਰਸਿੱਧ ਵਰਤੋਂ ਦੇ ਮਾਮਲਿਆਂ ਦੀ ਜਾਂਚ ਕਰੀਏ ਅਤੇ ਦੇਖਦੇ ਹਾਂ ਕਿ ਇਹ ਸਾਡੀ ਕਿੰਨੀ ਮਦਦ ਕਰਦਾ ਹੈ।

ਮੈਂ ਸਭ ਤੋਂ ਵੱਧ ਜਵਾਬਦੇਹ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹਾਂ: ਰਿਮੋਟ ਮਸ਼ੀਨ 'ਤੇ ਸੰਰਚਨਾ ਫਾਈਲਾਂ ਬਣਾਉਣਾ, ਪੈਕੇਜ ਸਥਾਪਤ ਕਰਨਾ, ਰਿਮੋਟ ਮਸ਼ੀਨ ਤੋਂ ਅਤੇ ਫਾਈਲਾਂ ਦੀ ਨਕਲ ਕਰਨਾ। ਸ਼ਾਇਦ ਤੁਹਾਡੇ ਕੋਲ ਹੋਰ ਉਦਾਹਰਣ ਹਨ - ਟਿੱਪਣੀਆਂ ਵਿੱਚ ਲਿਖੋ.

ਚੱਲੀਏ!

ਜਵਾਬਦੇਹ ਲਈ ਮਾਈਟੋਜਨ ਸੰਰਚਨਾ ਬਹੁਤ ਸਧਾਰਨ ਹੈ:
Mitogen ਲਾਇਬ੍ਰੇਰੀ ਨੂੰ ਸਥਾਪਿਤ ਕਰੋ:

pip install mitogen

ਹੁਣ ਦੋ ਬਰਾਬਰ ਤਰੀਕੇ ਹਨ - ਜਾਂ ਤਾਂ ansible.cfg ਸੰਰਚਨਾ ਫਾਈਲ ਵਿੱਚ ਵਿਕਲਪਾਂ ਨੂੰ ਸੰਰਚਿਤ ਕਰੋ, ਜਾਂ ਲੋੜੀਂਦੇ ਵਾਤਾਵਰਣ ਵੇਰੀਏਬਲ ਸੈੱਟ ਕਰੋ।

ਮੰਨ ਲਓ ਕਿ ਸਥਾਪਿਤ ਮਾਈਟੋਜਨ ਦਾ ਮਾਰਗ ਹੋਵੇਗਾ /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy. ਫਿਰ:

export ANSIBLE_STRATEGY_PLUGINS=/usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy
export ANSIBLE_STRATEGY=mitogen_linear

ਜ

[defaults]
strategy = mitogen_linear
strategy_plugins = /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy

ਆਉ Mitogen ਦੇ ਨਾਲ ਅਤੇ ਬਿਨਾਂ ਵਰਚੁਅਲੇਨਵ ਵਿੱਚ Ansible ਨੂੰ ਇੰਸਟਾਲ ਕਰੀਏ:

virtualenv mitogen_ansible
./mitogen_ansible/bin/pip install ansible==2.7.10 mitogen
virtualenv pure_ansible
./pure_ansible/bin/pip install ansible==2.7.10

ਕਿਰਪਾ ਕਰਕੇ ਨੋਟ ਕਰੋ ਕਿ Mitogen 0.2.7 Ansible 2.8 (ਮਈ 2019 ਤੱਕ) ਨਾਲ ਕੰਮ ਨਹੀਂ ਕਰਦਾ ਹੈ।

ਉਪਨਾਮ ਬਣਾਉਣਾ:

alias pure-ansible-playbook='$(pwd)/pure_ansible/bin/ansible-playbook'
alias mitogen-ansible-playbook='ANSIBLE_STRATEGY_PLUGINS=$(pwd)/mitogen_ansible/lib/python3.7/site-packages/ansible_mitogen/plugins/strategy ANSIBLE_STRATEGY=mitogen_linear $(pwd)/mitogen_ansible/bin/ansible-playbook'

ਆਉ ਹੁਣ ਇੱਕ ਪਲੇਬੁੱਕ ਚਲਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੀਏ ਜੋ ਰਿਮੋਟ ਮਸ਼ੀਨ ਤੇ ਫਾਈਲਾਂ ਬਣਾਉਂਦਾ ਹੈ:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Create files with copy content module
      copy:
        content: |
          test file {{ item }}
        dest: ~/file_{{ item }}
      with_sequence: start=1 end={{ n }}

ਅਤੇ 10 ਫਾਈਲਾਂ ਬਣਾਉਣ ਲਈ ਇਸਨੂੰ Mitogen ਦੇ ਨਾਲ ਅਤੇ ਬਿਨਾਂ ਚਲਾਓ:

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m2.603s
user    0m1.152s
sys     0m0.096s

time pure-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m5.908s
user    0m1.745s
sys     0m0.643s

ਅਸੀਂ 2-ਗੁਣਾ ਸੁਧਾਰ ਦੇਖਦੇ ਹਾਂ। ਆਓ 20, 30, ..., 100 ਫਾਈਲਾਂ ਦੀ ਜਾਂਚ ਕਰੀਏ:

time pure-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m51.775s
user    0m8.039s
sys     0m6.305s

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m4.331s
user    0m1.903s
sys     0m0.197s

ਨਤੀਜੇ ਵਜੋਂ, ਅਸੀਂ 10 ਗੁਣਾ ਤੋਂ ਵੱਧ ਫਾਂਸੀ ਨੂੰ ਤੇਜ਼ ਕੀਤਾ ਹੈ!
ਆਓ ਹੁਣ ਵੱਖ-ਵੱਖ ਦ੍ਰਿਸ਼ਾਂ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੀਏ ਅਤੇ ਦੇਖਦੇ ਹਾਂ ਕਿ ਹਰ ਚੀਜ਼ ਸਾਡੇ ਲਈ ਕਿੰਨੀ ਤੇਜ਼ੀ ਨਾਲ ਕੰਮ ਕਰਦੀ ਹੈ:

• ਇੱਕ ਸਥਾਨਕ ਤੋਂ ਰਿਮੋਟ ਹੋਸਟ ਵਿੱਚ ਫਾਈਲਾਂ ਦੀ ਨਕਲ ਕਰਨ ਲਈ ਸਕ੍ਰਿਪਟ (ਮੌਡਿਊਲ ਦੇ ਨਾਲ copy):
  

• ਨਾਲ ਰਿਮੋਟ ਹੋਸਟ 'ਤੇ ਫਾਈਲਾਂ ਬਣਾਉਣ ਲਈ ਸਕ੍ਰਿਪਟ copy ਮੋਡੀਊਲ:
  

• ਇੱਕ ਰਿਮੋਟ ਹੋਸਟ ਤੋਂ ਇੱਕ ਸਥਾਨਕ ਵਿੱਚ ਫਾਈਲਾਂ ਨੂੰ ਡਾਊਨਲੋਡ ਕਰਨ ਦੇ ਨਾਲ ਦ੍ਰਿਸ਼:
  

ਚਲੋ ਕਈ (3) ਰਿਮੋਟ ਮਸ਼ੀਨਾਂ ਦੇ ਨਾਲ ਇੱਕ ਦ੍ਰਿਸ਼ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੀਏ, ਉਦਾਹਰਨ ਲਈ ਇੱਕ ਰਿਮੋਟ ਹੋਸਟ ਵਿੱਚ ਫਾਈਲਾਂ ਦੀ ਨਕਲ ਕਰਨ ਦਾ ਦ੍ਰਿਸ਼:

ਜਿਵੇਂ ਕਿ ਤੁਸੀਂ ਦੇਖ ਸਕਦੇ ਹੋ, ਮਾਈਟੋਜੇਨ ਇਹਨਾਂ ਦ੍ਰਿਸ਼ਾਂ ਵਿੱਚ ਸਾਡਾ ਸਮਾਂ ਅਤੇ ਆਵਾਜਾਈ ਦੋਵਾਂ ਨੂੰ ਬਚਾਉਂਦਾ ਹੈ। ਪਰ ਜੇਕਰ ਰੁਕਾਵਟ ਜਵਾਬਦੇਹੀ ਵਿੱਚ ਨਹੀਂ ਹੈ, ਪਰ ਉਦਾਹਰਨ ਲਈ ਇੱਕ ਡਿਸਕ ਜਾਂ ਨੈੱਟਵਰਕ ਦੇ I/O ਵਿੱਚ, ਜਾਂ ਕਿਤੇ ਹੋਰ, ਤਾਂ ਇਹ ਉਮੀਦ ਕਰਨਾ ਔਖਾ ਹੈ ਕਿ Mitogen ਸਾਡੀ ਮਦਦ ਕਰੇਗਾ।

ਆਉ ਪਾਈਪ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ yum/dnf ਅਤੇ python ਮੋਡੀਊਲ ਨਾਲ ਪੈਕੇਜ ਇੰਸਟਾਲ ਕਰਨ ਦੇ ਨਾਲ ਇੱਕ ਸਕ੍ਰਿਪਟ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੀਏ। ਪੈਕੇਜਾਂ ਨੂੰ ਕੈਸ਼ ਕੀਤਾ ਗਿਆ ਸੀ ਤਾਂ ਜੋ ਨੈੱਟਵਰਕ ਦੀਆਂ ਗਲਤੀਆਂ 'ਤੇ ਨਿਰਭਰ ਨਾ ਹੋ ਸਕੇ:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Install packages
      become: true
      package:
        name:
          - samba
          - httpd
          - nano
          - ruby
        state: present

    - name: Install pip modules
      become: true
      pip:
        name:
          - pytest-split-tests
          - bottle
          - pep8
          - flask
        state: present

Mitogen ਦੇ ਨਾਲ ਇਸ ਨੂੰ 12 ਸਕਿੰਟ ਲੱਗੇ, ਜਿਵੇਂ ਕਿ ਇਸ ਤੋਂ ਬਿਨਾਂ।
ਪੇਜ 'ਤੇ ਜਵਾਬਦੇਹ ਪੰਨੇ ਲਈ ਮਾਈਟੋਜਨ ਤੁਸੀਂ ਹੋਰ ਮਾਪਦੰਡਾਂ ਅਤੇ ਟੈਸਟਾਂ ਨੂੰ ਦੇਖ ਸਕਦੇ ਹੋ। ਜਿਵੇਂ ਕਿ ਪੰਨਾ ਕਹਿੰਦਾ ਹੈ:

ਮਾਈਟੋਜਨ ਮੋਡੀਊਲ ਨੂੰ ਤੇਜ਼ ਨਹੀਂ ਕਰ ਸਕਦਾ ਜਦੋਂ ਇਹ ਚੱਲ ਰਿਹਾ ਹੁੰਦਾ ਹੈ। ਇਹ ਸਿਰਫ ਇਸ ਮੋਡੀਊਲ ਦੇ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਨੂੰ ਜਿੰਨੀ ਜਲਦੀ ਸੰਭਵ ਹੋ ਸਕੇ ਬਣਾ ਸਕਦਾ ਹੈ।

ਇਸ ਲਈ, ਤੁਹਾਡੀ ਤੈਨਾਤੀ ਵਿੱਚ ਤੁਹਾਡੀਆਂ ਰੁਕਾਵਟਾਂ ਨੂੰ ਲੱਭਣਾ ਮਹੱਤਵਪੂਰਨ ਹੈ ਅਤੇ ਜੇਕਰ ਉਹ ਜਵਾਬਦੇਹ ਦੇ ਕਾਰਨ ਹਨ, ਤਾਂ Mitogen ਉਹਨਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਵਿੱਚ ਤੁਹਾਡੀ ਮਦਦ ਕਰੇਗਾ ਅਤੇ ਤੁਹਾਡੀਆਂ ਪਲੇਬੁੱਕਾਂ ਨੂੰ ਲਾਗੂ ਕਰਨ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਤੌਰ 'ਤੇ ਤੇਜ਼ੀ ਲਿਆਵੇਗਾ।

ਸਰੋਤ: www.habr.com