আমরা কিছু কমান্ড দিয়ে আমাদের Nginx একত্রিত করি

গ্রিটিংস!
আমার নাম সের্গেই, আমি tinkoff.ru প্ল্যাটফর্মের API দলে একজন পরিকাঠামো প্রকৌশলী হিসেবে কাজ করি।

এই নিবন্ধে আমি আমাদের দলগুলির উপর ভিত্তি করে ব্যালেন্সার প্রস্তুত করার সময় যে সমস্যার মুখোমুখি হয়েছিল সে সম্পর্কে কথা বলব nginx বিভিন্ন প্রকল্পের জন্য। আমি আপনাকে সেই টুল সম্পর্কেও বলব যা আমাকে তাদের বেশিরভাগ কাটিয়ে উঠতে দেয়।

Nginx একটি বহুমুখী এবং সক্রিয়ভাবে উন্নয়নশীল প্রক্সি সার্ভার। এতে প্রচুর সংখ্যক মডিউল রয়েছে, এটি একটি সম্পূর্ণ তালিকা নয়. প্রতিটি প্রকল্প ব্যালেন্সারের কার্যকারিতা এবং Nginx এর সংস্করণের উপর কিছু প্রয়োজনীয়তা আরোপ করে (উদাহরণস্বরূপ, http/2 এবং grpc প্রক্সির উপস্থিতি), এবং এর মডিউলগুলির গঠন।

আমরা একটি নির্দিষ্ট লিনাক্স বিতরণের অধীনে চলমান মডিউলগুলির প্রয়োজনীয় সেট সহ একটি নতুন সংস্করণ দেখতে চাই। আমাদের ক্ষেত্রে, এগুলি deb- এবং rpm-ভিত্তিক সিস্টেম। কন্টেইনার সহ বিকল্পটি এই নিবন্ধে বিবেচনা করা হয় না।

আমরা দ্রুত আমাদের ব্যালেন্সারের কার্যকারিতা পরিবর্তন করতে চাই। এবং এখানে প্রশ্নটি অবিলম্বে উত্থাপিত হয়: যতটা সম্ভব কম সংস্থান ব্যয় করে কীভাবে এটি অর্জন করা যায়? প্রক্রিয়াটি সেট আপ করা আরও ভাল হবে যাতে আমরা একটি সীমিত সংখ্যক ইনপুট পরামিতি নির্দিষ্ট করতে পারি এবং আউটপুটে কাঙ্ক্ষিত OS-এর জন্য একটি deb/rpm প্যাকেজ আকারে একটি আর্টিফ্যাক্ট পাওয়া যায়।

ফলস্বরূপ, বেশ কয়েকটি সমস্যা তৈরি করা যেতে পারে:

• Nginx এর সর্বশেষ সংস্করণ সহ সবসময় প্যাকেজ নেই।
• প্রয়োজনীয় মডিউল সহ কোন প্যাকেজ নেই।
• ম্যানুয়ালি একটি প্যাকেজ কম্পাইল করা এবং তৈরি করা সময়সাপেক্ষ এবং একেবারে ক্লান্তিকর।
• এই বা সেই Nginx উদাহরণ কিভাবে একত্রিত হয় তার কোন বর্ণনা নেই।

এই সমস্যাগুলি সমাধান করার জন্য, এমন একটি সরঞ্জামের প্রয়োজন দেখা দেয় যা মানব-পাঠযোগ্য বিন্যাসে একটি স্পেসিফিকেশন ইনপুট হিসাবে গ্রহণ করবে এবং এর উপর ভিত্তি করে প্রয়োজনীয় কার্যকারিতা সহ একটি Nginx প্যাকেজ একত্রিত করবে।

গিথুবের বিশালতায় আমাদের জন্য উপযুক্ত বিকল্প খুঁজে না পেয়ে আমরা আমাদের নিজস্ব সরঞ্জাম তৈরি করার সিদ্ধান্ত নিয়েছি - nginx-নির্মাতা.

Спецификации

আমাদের টুলে, আমরা কোড আকারে স্পেসিফিকেশনের একটি বিবরণ তৈরি করতে চেয়েছিলাম, যা পরে একটি গিট রিপোজিটরিতে রাখা যেতে পারে। এটি করার জন্য, আমরা এই জাতীয় জিনিসগুলির জন্য পরিচিত বিন্যাসটি বেছে নিয়েছি - ইয়ামল। স্পেসিফিকেশন উদাহরণ:

nginx_version: 1.14.1
output_package: deb
modules:
  - module:
      name: nginx-auth-ldap
      git_url: https://github.com/kvspb/nginx-auth-ldap.git
      git_branch: master
      dependencies:
        - libldap2-dev
  - module:
      name: ngx_http_substitutions_filter_module
      git_url: https://github.com/yaoweibin/ngx_http_substitutions_filter_module.git
  - module:
      name: headers-more-nginx-module
      web_url: https://github.com/openresty/headers-more-nginx-module/archive/v0.261.zip
  - module:
      name: nginx-module-vts
      git_url: https://github.com/vozlt/nginx-module-vts.git
      git_tag: v0.1.18
  - module:
      name: ngx_devel_kit
      git_url: https://github.com/simplresty/ngx_devel_kit.git
      git_tag: v0.3.0
  - module:
      name: ngx_cache_purge
      git_url: https://github.com/FRiCKLE/ngx_cache_purge.git
  - module:
      name: ngx_http_dyups_module
      git_url: https://github.com/yzprofile/ngx_http_dyups_module.git
  - module:
      name: nginx-brotli
      git_url: https://github.com/eustas/ngx_brotli.git
      git_tag: v0.1.2
  - module:
      name: nginx_upstream_check_module
      git_url: https://github.com/yaoweibin/nginx_upstream_check_module.git
  - module:
      name: njs
      git_url: https://github.com/nginx/njs.git
      git_tag: 0.2.5
      config_folder_path: nginx

এখানে আমরা নির্দেশ করছি যে আমরা মডিউলগুলির প্রয়োজনীয় সেট সহ Nginx সংস্করণ 1.14.2 সহ একটি ডেব প্যাকেজ দেখতে চাই। মডিউল সহ বিভাগটি ঐচ্ছিক। তাদের প্রত্যেকের জন্য আপনি সেট করতে পারেন:

• নাম।
• ঠিকানা যেখানে আপনি এটি পেতে পারেন:
  • গিট সংগ্রহস্থল। আপনি একটি শাখা বা ট্যাগও নির্দিষ্ট করতে পারেন।
  • আর্কাইভ ওয়েব লিঙ্ক.
  • সংরক্ষণাগার স্থানীয় লিঙ্ক.

কিছু মডিউল ইনস্টল করার জন্য অতিরিক্ত নির্ভরতা প্রয়োজন, উদাহরণস্বরূপ nginx-auth-ldap-এর জন্য libldap2-dev ইনস্টল করা প্রয়োজন। মডিউল বর্ণনা করার সময় প্রয়োজনীয় নির্ভরতাও নির্দিষ্ট করা যেতে পারে।

প্রতিবেশ

আমাদের টুলে আপনি দ্রুত সংকলন, প্যাকেজ সমাবেশ এবং অন্যান্য সহায়ক সফ্টওয়্যারের জন্য ইনস্টল করা ইউটিলিটি সহ একটি পরিবেশ পেতে পারেন। আপনার প্রয়োজনীয় সমস্ত কিছু সহ একটি ডকার কন্টেইনার এখানে আদর্শ (ভান্ডারে ইতিমধ্যে উবুন্টু এবং সেন্টোসের জন্য ডকার ফাইলের কয়েকটি উদাহরণ রয়েছে)।

স্পেসিফিকেশন আঁকার পরে এবং পরিবেশ প্রস্তুত হওয়ার পরে, আমরা আমাদের নির্মাতাকে চালু করি, পূর্বে এর নির্ভরতা ইনস্টল করে:

pip3 install -r requirements.txt
./main.py build -f [конфиг_файл].yaml -r [номер_ревизии]

এখানে সংশোধন নম্বর ঐচ্ছিক এবং সংস্করণ সমাবেশের জন্য ব্যবহৃত হয়। এটি প্যাকেজের মেটা তথ্যে লেখা হয়, এটি সার্ভারে আপডেট করা সহজ করে তোলে।
লগ থেকে আপনি কি ঘটছে নিরীক্ষণ করতে পারেন. এখানে প্রধান পয়েন্টগুলির একটি উদাহরণ:

builder - INFO - Parse yaml file: example.config.yaml
builder - INFO - Download scripts for build deb package
builder - INFO - Downloading nginx src...
builder - INFO - --> http://nginx.org/download/nginx-1.14.1.tar.gz
builder - INFO - Downloading 3d-party modules...
builder - INFO - Module nginx-auth-ldap will download by branch
builder - INFO - -- Done: nginx-auth-ldap
builder - INFO - -- Done: ngx_http_substitutions_filter_module
builder - INFO - Module headers-more-nginx-module will downloading
builder - INFO - Module nginx-module-vts will download by tag
builder - INFO - -- Done: nginx-module-vts
builder - INFO - Module ngx_devel_kit will download by tag
builder - INFO - -- Done: ngx_devel_kit
builder - INFO - -- Done: ngx_cache_purge
builder - INFO - -- Done: ngx_http_dyups_module
builder - INFO - Downloading dependencies
builder - INFO - Building .deb package
builder - INFO - Running 'dh_make'...
builder - INFO - Running 'dpkg-buildpackage'...
dpkg-deb: building package 'nginx' in '../nginx_1.14.1-1_amd64.deb'.

সুতরাং, মাত্র কয়েকটি কমান্ডের সাহায্যে, আমরা পরিবেশ এবং প্রয়োজনীয় Nginx সমাবেশ তৈরি করি এবং প্যাকেজটি সেই ডিরেক্টরিতে প্রদর্শিত হয় যেখান থেকে স্ক্রিপ্টটি চালু করা হয়েছে।

এমবেডিং

আমরা আমাদের টুলকে CI/CD প্রসেসে একীভূত করতে পারি। বর্তমানে বিদ্যমান অনেক CI সিস্টেমগুলির মধ্যে যেকোনও এটিতে সাহায্য করতে পারে, উদাহরণস্বরূপ টিমসিটি বা গিটল্যাব সিআই.

ফলস্বরূপ, গিট সংগ্রহস্থলে যতবার স্পেসিফিকেশন পরিবর্তন হয়, আর্টিফ্যাক্টের নির্মাণ স্বয়ংক্রিয়ভাবে চালু হয়। রিভিশন নম্বরটি বিল্ড লঞ্চ কাউন্টারের সাথে সংযুক্ত।
একটু বেশি সময় নিয়ে, আপনি আপনার স্থানীয় প্যাকেজ সংগ্রহস্থল, নেক্সাস, আর্টিফ্যাক্টরি ইত্যাদিতে পাঠানোর জন্য আর্টিফ্যাক্টটি কনফিগার করতে পারেন।

একটি অতিরিক্ত সুবিধা হল yaml কনফিগারেশন ফাইলটি Ansible বা অন্য স্বয়ংক্রিয় কনফিগারেশন সিস্টেমের সাথে সংযুক্ত করা যেতে পারে এবং সেখান থেকে আমরা যে সংস্করণ নম্বর এবং প্যাকেজ টাইপটি স্থাপন করতে চাই তা নিতে পারি।

পরবর্তী কি

প্রকল্পটি এখনো শেষ হয়নি। আমরা এখন যা কাজ করছি তা এখানে:

• আমরা কনফিগারেশনের সম্ভাবনা প্রসারিত করি, কিন্তু একই সময়ে এটি যতটা সম্ভব সহজ রাখি। যদি আপনার শুধুমাত্র দুটির প্রয়োজন হয় তবে আপনি এক হাজার প্যারামিটার সংজ্ঞায়িত করতে চান না এবং বাকিগুলি ডিফল্টরূপে ফিট করে। এর মধ্যে রয়েছে কম্পাইলেশন ফ্ল্যাগ (এখন আপনি সেগুলিকে অভ্যন্তরীণ কনফিগারেশন ফাইল src/config.py এ পরিবর্তন করতে পারেন), ইনস্টলেশন পাথ এবং ব্যবহারকারী লঞ্চ করুন।
• আমরা বিভিন্ন আর্টিফ্যাক্ট সংগ্রহস্থলে স্বয়ংক্রিয়ভাবে একটি প্যাকেজ পাঠানোর বিকল্প যোগ করছি।
• একটি মডিউল লোড করার সময় একটি কাস্টম কমান্ড চালান (উদাহরণস্বরূপ, ব্যবহার করার জন্য github.com/nginx-modules/nginx_upstream_check_module আপনাকে প্রথমে একটি নির্দিষ্ট সংস্করণের একটি প্যাচ প্রয়োগ করতে হবে)
• পরীক্ষা যোগ করা হচ্ছে:
  • প্যাকেজ সঠিকভাবে ইনস্টল করা হয়েছে.
  • Nginx এর প্রয়োজনীয় সংস্করণ রয়েছে এবং এটি প্রয়োজনীয় পতাকা এবং মডিউল দিয়ে নির্মিত।
  • প্রয়োজনীয় পথ, হিসাব ইত্যাদি তৈরি করা হয়।

কিন্তু আপনি এখন এই টুলটি ব্যবহার করতে পারেন, এবং উন্নতির পরামর্শও দিতে পারেন - github.com/TinkoffCreditSystems/Nginx-builder স্বাগতম!

উত্স: www.habr.com