🥇 মাইটোজেন দিয়ে আনসিবলের গতি বাড়ানো

Ansible সবচেয়ে জনপ্রিয় এক হয়ে ওঠে সিস্টেম কনফিগারেশন ম্যানেজমেন্ট... পরে রেড হ্যাট দ্বারা কেনা হয়েছিল 2015 সালে সংখ্যা প্রকল্প অংশগ্রহণকারীরা হাজার ছাড়িয়ে গেছে এবং Ansible সম্ভবত সবচেয়ে বেশি ব্যবহৃত স্থাপনা এবং অর্কেস্ট্রেশন সিস্টেম হয়ে উঠেছে। এর অ্যাপ্লিকেশনের বিস্তৃত পরিসর খুবই চিত্তাকর্ষক।

রিমোট হোস্টে SSH সংযোগের মাধ্যমে উত্তরযোগ্য কাজ করে। এটি একটি SSH সেশন খোলে, লগ ইন করে, নেটওয়ার্কে পাইথন কোড কপি করে এবং এটি একটি পৃথক অস্থায়ী ফাইলে লেখে। এর পরে, এটি রিমোট মেশিনে এই ফাইলটি চালায়। অপারেশনের এই পুরো ক্রমটি বেশ দীর্ঘ এবং ক্লান্তিকর, তাই এটিকে অপ্টিমাইজ করার বিভিন্ন উপায় রয়েছে।

এই উপায় এক এসএসএইচ পাইপলাইন যা আপনাকে প্রতিবার একটি নতুন সেশন খোলার পরিবর্তে নির্দেশাবলী কার্যকর করতে একটি SSH সেশন ব্যবহার করতে দেয়, যা আমাদের অনেক সময় বাঁচাতে পারে। (শুধু বন্ধ করতে মনে রাখবেন requiretty আপনার মধ্যে sudo জন্য সেটিং /etc/sudoers রিমোট মেশিনে ফাইল)

Ansible ওভারক্লক করার একটি নতুন উপায় হল একটি পাইথন লাইব্রেরি মাইটোজেন. যদি কেউ এটির কথা না শুনে থাকেন তবে আমি সংক্ষেপে এর কার্যকারিতা বর্ণনা করব। এটি একটি দূরবর্তী মেশিনে পাইথন কোডের দ্রুত সঞ্চালনের অনুমতি দেয় এবং Ansible হল ব্যবহারের একটি উদাহরণ। Mitogen দূরবর্তী মেশিনে একটি UNIX পাইপ ব্যবহার করে এবং zlib এর সাথে সংকুচিত এবং আচারের সাথে ক্রমিককৃত পাইথন কোড স্থানান্তর করে। এটি দ্রুত এটি সম্পূর্ণ করতে সাহায্য করে এবং ট্রাফিক সংরক্ষণ করে। আপনি যদি আরও বিশদ ব্যাখ্যা করতে আগ্রহী হন তবে পৃষ্ঠায় এটি সম্পর্কে পড়া ভাল "কিভাবে এটা কাজ করে". কিন্তু আজকে আমরা শুধুমাত্র লাইব্রেরী কিভাবে Ansible এর সাথে কাজ করে তার উপর আলোকপাত করব।

নির্দিষ্ট পরিস্থিতিতে Mitogen আপনার উত্তরযোগ্য কোডকে কয়েকবার গতি বাড়াতে পারে এবং উল্লেখযোগ্যভাবে ট্রাফিক খরচ কমাতে পারে। আসুন সর্বাধিক জনপ্রিয় ব্যবহারের ক্ষেত্রে পরীক্ষা করে দেখি এবং এটি আমাদের কতটা সাহায্য করে তা দেখুন।

আমি সবচেয়ে বেশি Ansible ব্যবহার করি: দূরবর্তী মেশিনে কনফিগারেশন ফাইল তৈরি করা, প্যাকেজ ইনস্টল করা, রিমোট মেশিনে এবং থেকে ফাইল কপি করা। সম্ভবত আপনার অন্যান্য উদাহরণ আছে - মন্তব্যে লিখুন।

চল যাই!

Ansible এর জন্য Mitogen কনফিগারেশন খুবই সহজ:
Mitogen লাইব্রেরি ইনস্টল করুন:

pip install mitogen

এখন দুটি সমতুল্য উপায় আছে - হয় ansible.cfg কনফিগারেশন ফাইলের বিকল্পগুলি কনফিগার করুন, অথবা প্রয়োজনীয় পরিবেশ ভেরিয়েবল সেট করুন।

অনুমান করা যাক ইনস্টল করা Mitogen এর পথ হবে /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy. তারপর:

export ANSIBLE_STRATEGY_PLUGINS=/usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy
export ANSIBLE_STRATEGY=mitogen_linear

বা

[defaults]
strategy = mitogen_linear
strategy_plugins = /usr/lib/python2.7/site-packages/ansible_mitogen/plugins/strategy

মিটোজেন সহ এবং ছাড়া ভার্চুয়ালেনভ-এ Ansible ইনস্টল করা যাক:

virtualenv mitogen_ansible
./mitogen_ansible/bin/pip install ansible==2.7.10 mitogen
virtualenv pure_ansible
./pure_ansible/bin/pip install ansible==2.7.10

অনুগ্রহ করে মনে রাখবেন Mitogen 0.2.7 Ansible 2.8 এর সাথে কাজ করে না (মে 2019 অনুযায়ী)

উপনাম তৈরি করা:

alias pure-ansible-playbook='$(pwd)/pure_ansible/bin/ansible-playbook'
alias mitogen-ansible-playbook='ANSIBLE_STRATEGY_PLUGINS=$(pwd)/mitogen_ansible/lib/python3.7/site-packages/ansible_mitogen/plugins/strategy ANSIBLE_STRATEGY=mitogen_linear $(pwd)/mitogen_ansible/bin/ansible-playbook'

এখন আসুন একটি প্লেবুক চালানোর চেষ্টা করি যা একটি দূরবর্তী মেশিনে ফাইল তৈরি করে:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Create files with copy content module
      copy:
        content: |
          test file {{ item }}
        dest: ~/file_{{ item }}
      with_sequence: start=1 end={{ n }}

এবং 10টি ফাইল তৈরি করতে Mitogen এর সাথে এবং ছাড়াই এটি চালাই:

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m2.603s
user    0m1.152s
sys     0m0.096s

time pure-ansible-playbook file_creation.yml -i hosts -e n=10 &>/dev/null

real    0m5.908s
user    0m1.745s
sys     0m0.643s

আমরা একটি 2-গুণ উন্নতি দেখতে. আসুন 20, 30, ..., 100 ফাইলগুলি পরীক্ষা করি:

time pure-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m51.775s
user    0m8.039s
sys     0m6.305s

time mitogen-ansible-playbook file_creation.yml -i hosts -e n=100 &>/dev/null

real    0m4.331s
user    0m1.903s
sys     0m0.197s

ফলস্বরূপ, আমরা 10 গুণেরও বেশি মৃত্যুদণ্ড কার্যকর করেছি!
এখন বিভিন্ন পরিস্থিতিতে চেষ্টা করা যাক এবং আমাদের জন্য সবকিছু কত দ্রুত কাজ করে দেখুন:

স্থানীয় থেকে একটি দূরবর্তী হোস্টে ফাইল অনুলিপি করার জন্য স্ক্রিপ্ট (মডিউল সহ copy):
এর সাথে একটি দূরবর্তী হোস্টে ফাইল তৈরির জন্য স্ক্রিপ্ট copy মডিউল:
দূরবর্তী হোস্ট থেকে স্থানীয় একটিতে ফাইল ডাউনলোড করার দৃশ্য:

আসুন বেশ কয়েকটি (3) দূরবর্তী মেশিনের সাথে একটি দৃশ্যের চেষ্টা করি, উদাহরণস্বরূপ একটি দূরবর্তী হোস্টে ফাইলগুলি অনুলিপি করার একটি দৃশ্য:
Mitogen এর সাথে অ্যানসিবলকে ত্বরান্বিত করা

আপনি দেখতে পাচ্ছেন, এই পরিস্থিতিতে মাইটোজেন আমাদের সময় এবং ট্র্যাফিক উভয়ই বাঁচায়। কিন্তু যদি বিপত্তিটি উত্তরযোগ্য না হয়, কিন্তু উদাহরণস্বরূপ একটি ডিস্ক বা নেটওয়ার্কের I/O, বা অন্য কোথাও, তাহলে আশা করা কঠিন যে Mitogen আমাদের সাহায্য করবে।

পিপ ব্যবহার করে yum/dnf এবং পাইথন মডিউল সহ প্যাকেজ ইনস্টল করার সাথে একটি স্ক্রিপ্ট চেষ্টা করা যাক। প্যাকেজগুলি ক্যাশে করা হয়েছিল যাতে নেটওয়ার্ক গ্লিচের উপর নির্ভর না করে:

---
- hosts: all
  gather_facts: false
  tasks:
    - name: Install packages
      become: true
      package:
        name:
          - samba
          - httpd
          - nano
          - ruby
        state: present

    - name: Install pip modules
      become: true
      pip:
        name:
          - pytest-split-tests
          - bottle
          - pep8
          - flask
        state: present

মাইটোজেনের সাথে এটি 12 সেকেন্ড সময় নেয়, এটি ছাড়াই।
পৃষ্ঠায় উত্তরযোগ্য পৃষ্ঠার জন্য মাইটোজেন আপনি অন্যান্য বেঞ্চমার্ক এবং পরীক্ষা দেখতে পারেন। পৃষ্ঠায় বলা হয়েছে:

মাইটোজেন মডিউল চলাকালীন গতি বাড়াতে পারে না। এটি শুধুমাত্র এই মডিউলটি যত দ্রুত সম্ভব সম্পাদন করতে পারে।

অতএব, আপনার স্থাপনায় আপনার বাধাগুলি খুঁজে বের করা গুরুত্বপূর্ণ এবং যদি সেগুলি উত্তরযোগ্যতার কারণে হয়, তবে Mitogen আপনাকে সেগুলি সমাধান করতে এবং আপনার প্লেবুকগুলির সম্পাদনকে উল্লেখযোগ্যভাবে ত্বরান্বিত করতে সহায়তা করবে।

উত্স: www.habr.com