हम अपने Nginx को कुछ कमांड के साथ असेंबल करते हैं

हाय!
मेरा नाम सर्गेई है, मैं tinkoff.ru प्लेटफॉर्म की एपीआई टीम में एक इंफ्रास्ट्रक्चर इंजीनियर के रूप में काम करता हूं।

इस लेख में मैं उन समस्याओं के बारे में बात करूंगा जिनके आधार पर बैलेंसर तैयार करते समय हमारी टीम को सामना करना पड़ा nginx विभिन्न परियोजनाओं के लिए. मैं आपको उस टूल के बारे में भी बताऊंगा जिसने मुझे उनमें से अधिकांश पर काबू पाने की अनुमति दी।

Nginx एक बहुक्रियाशील और सक्रिय रूप से विकसित होने वाला प्रॉक्सी सर्वर है। इसमें बड़ी संख्या में मॉड्यूल हैं, यह संपूर्ण सूची नहीं है. प्रत्येक प्रोजेक्ट बैलेंसर की कार्यक्षमता और Nginx के संस्करण (उदाहरण के लिए, http/2 और GRPC प्रॉक्सीइंग की उपस्थिति), और इसके मॉड्यूल की संरचना पर कुछ आवश्यकताएं लगाता है।

हम एक विशिष्ट लिनक्स वितरण के तहत चल रहे मॉड्यूल के आवश्यक सेट के साथ एक नया संस्करण देखना चाहेंगे। हमारे मामले में, ये डिबेट- और आरपीएम-आधारित सिस्टम हैं। इस आलेख में कंटेनर वाले विकल्प पर विचार नहीं किया गया है।

हम अपने बैलेंसर्स की कार्यक्षमता को शीघ्रता से बदलना चाहते हैं। और यहां सवाल तुरंत उठता है: जितना संभव हो उतना कम संसाधन खर्च करते हुए इसे कैसे प्राप्त किया जाए? इस प्रक्रिया को स्थापित करना और भी बेहतर होगा ताकि हम इनपुट मापदंडों की एक सीमित संख्या निर्दिष्ट कर सकें, और आउटपुट पर वांछित ओएस के लिए डिबेट/आरपीएम पैकेज के रूप में एक आर्टिफैक्ट प्राप्त कर सकें।

परिणामस्वरूप, कई समस्याएं उत्पन्न हो सकती हैं:

• Nginx के नवीनतम संस्करण वाले पैकेज हमेशा उपलब्ध नहीं होते हैं।
• आवश्यक मॉड्यूल वाला कोई पैकेज नहीं है.
• किसी पैकेज को मैन्युअल रूप से संकलित करना और बनाना समय लेने वाला और बेहद कठिन है।
• इस या उस Nginx इंस्टेंस को कैसे असेंबल किया जाता है, इसका कोई विवरण नहीं है।

इन समस्याओं को हल करने के लिए, एक ऐसे उपकरण की आवश्यकता उत्पन्न होती है जो मानव-पठनीय प्रारूप में एक विनिर्देश को इनपुट के रूप में लेगा और उसके आधार पर आवश्यक कार्यक्षमता के साथ एक Nginx पैकेज को इकट्ठा करेगा।

जीथब की विशालता में हमारे लिए कोई उपयुक्त विकल्प नहीं मिलने पर, हमने अपना स्वयं का टूल बनाने का निर्णय लिया - nginx-बिल्डर.

निर्दिष्टीकरण

हमारे टूल में, हम कोड के रूप में विनिर्देश का विवरण बनाना चाहते थे, जिसे बाद में Git रिपॉजिटरी में रखा जा सकता है। ऐसा करने के लिए, हमने ऐसी चीज़ों के लिए परिचित प्रारूप को चुना - yaml। विशिष्टता उदाहरण:

nginx_version: 1.14.1
output_package: deb
modules:
  - module:
      name: nginx-auth-ldap
      git_url: https://github.com/kvspb/nginx-auth-ldap.git
      git_branch: master
      dependencies:
        - libldap2-dev
  - module:
      name: ngx_http_substitutions_filter_module
      git_url: https://github.com/yaoweibin/ngx_http_substitutions_filter_module.git
  - module:
      name: headers-more-nginx-module
      web_url: https://github.com/openresty/headers-more-nginx-module/archive/v0.261.zip
  - module:
      name: nginx-module-vts
      git_url: https://github.com/vozlt/nginx-module-vts.git
      git_tag: v0.1.18
  - module:
      name: ngx_devel_kit
      git_url: https://github.com/simplresty/ngx_devel_kit.git
      git_tag: v0.3.0
  - module:
      name: ngx_cache_purge
      git_url: https://github.com/FRiCKLE/ngx_cache_purge.git
  - module:
      name: ngx_http_dyups_module
      git_url: https://github.com/yzprofile/ngx_http_dyups_module.git
  - module:
      name: nginx-brotli
      git_url: https://github.com/eustas/ngx_brotli.git
      git_tag: v0.1.2
  - module:
      name: nginx_upstream_check_module
      git_url: https://github.com/yaoweibin/nginx_upstream_check_module.git
  - module:
      name: njs
      git_url: https://github.com/nginx/njs.git
      git_tag: 0.2.5
      config_folder_path: nginx

यहां हम इंगित करते हैं कि हम मॉड्यूल के आवश्यक सेट के साथ Nginx संस्करण 1.14.2 के साथ एक डिबेट पैकेज देखना चाहते हैं। मॉड्यूल वाला अनुभाग वैकल्पिक है. उनमें से प्रत्येक के लिए आप सेट कर सकते हैं:

• नाम।
• पता जहां आप इसे प्राप्त कर सकते हैं:
  • गिट भंडार. आप कोई शाखा या टैग भी निर्दिष्ट कर सकते हैं.
  • पुरालेख वेब लिंक.
  • पुरालेख के लिए स्थानीय लिंक.

कुछ मॉड्यूल को स्थापित करने के लिए अतिरिक्त निर्भरता की आवश्यकता होती है, उदाहरण के लिए nginx-auth-ldap को libldap2-dev स्थापित करने की आवश्यकता होती है। मॉड्यूल का वर्णन करते समय आवश्यक निर्भरताएँ भी निर्दिष्ट की जा सकती हैं।

पर्यावरण

हमारे टूल में आप संकलन, पैकेज असेंबली और अन्य सहायक सॉफ़्टवेयर के लिए स्थापित उपयोगिताओं के साथ तुरंत एक वातावरण प्राप्त कर सकते हैं। आपकी ज़रूरत की हर चीज़ के साथ एक डॉकर कंटेनर यहां आदर्श है (रिपॉजिटरी में पहले से ही उबंटू और सेंटोस के लिए डॉकर फ़ाइलों के कुछ उदाहरण हैं)।

विनिर्देश तैयार होने और पर्यावरण तैयार होने के बाद, हम अपने बिल्डर को लॉन्च करते हैं, पहले इसकी निर्भरताएँ स्थापित करते हैं:

pip3 install -r requirements.txt
./main.py build -f [конфиг_файл].yaml -r [номер_ревизии]

यहां संशोधन संख्या वैकल्पिक है और संस्करण असेंबली के लिए उपयोग की जाती है। इसे पैकेज की मेटा जानकारी में लिखा जाता है, जिससे सर्वर पर अपडेट करना आसान हो जाता है।
लॉग से आप निगरानी कर सकते हैं कि क्या हो रहा है। यहां मुख्य बिंदुओं का एक उदाहरण दिया गया है:

builder - INFO - Parse yaml file: example.config.yaml
builder - INFO - Download scripts for build deb package
builder - INFO - Downloading nginx src...
builder - INFO - --> http://nginx.org/download/nginx-1.14.1.tar.gz
builder - INFO - Downloading 3d-party modules...
builder - INFO - Module nginx-auth-ldap will download by branch
builder - INFO - -- Done: nginx-auth-ldap
builder - INFO - -- Done: ngx_http_substitutions_filter_module
builder - INFO - Module headers-more-nginx-module will downloading
builder - INFO - Module nginx-module-vts will download by tag
builder - INFO - -- Done: nginx-module-vts
builder - INFO - Module ngx_devel_kit will download by tag
builder - INFO - -- Done: ngx_devel_kit
builder - INFO - -- Done: ngx_cache_purge
builder - INFO - -- Done: ngx_http_dyups_module
builder - INFO - Downloading dependencies
builder - INFO - Building .deb package
builder - INFO - Running 'dh_make'...
builder - INFO - Running 'dpkg-buildpackage'...
dpkg-deb: building package 'nginx' in '../nginx_1.14.1-1_amd64.deb'.

इसलिए, केवल कुछ आदेशों के साथ, हम पर्यावरण और आवश्यक Nginx असेंबली बनाते हैं, और पैकेज उस निर्देशिका में दिखाई देता है जहां से स्क्रिप्ट लॉन्च की जाती है।

एम्बेडिंग

हम अपने टूल को सीआई/सीडी प्रक्रियाओं में भी एकीकृत कर सकते हैं। उदाहरण के लिए, आज मौजूद कई सीआई प्रणालियों में से कोई भी इसमें मदद कर सकती है टीमसिटी या गिटलैब सीआई.

परिणामस्वरूप, हर बार जब Git रिपॉजिटरी में विनिर्देश बदलता है, तो आर्टिफैक्ट का निर्माण स्वचालित रूप से लॉन्च हो जाता है। संशोधन संख्या बिल्ड लॉन्च काउंटर से जुड़ी हुई है।
थोड़े और समय के साथ, आप अपने स्थानीय पैकेज रिपॉजिटरी, नेक्सस, आर्टिफैक्टरी इत्यादि में भेजे जाने वाले आर्टिफैक्ट को कॉन्फ़िगर कर सकते हैं।

एक अतिरिक्त लाभ यह है कि yaml कॉन्फ़िगरेशन फ़ाइल को Ansible या किसी अन्य स्वचालित कॉन्फ़िगरेशन सिस्टम से जोड़ा जा सकता है, और वहां से हम संस्करण संख्या और पैकेज प्रकार ले सकते हैं जिसे हम तैनात करना चाहते हैं।

आगे क्या है

परियोजना अभी तक पूरी नहीं हुई है. हम अभी इस पर काम कर रहे हैं:

• हम कॉन्फ़िगरेशन की संभावना का विस्तार करते हैं, लेकिन साथ ही इसे यथासंभव सरल भी रखते हैं। यदि आपको केवल दो की आवश्यकता है, और बाकी डिफ़ॉल्ट रूप से फिट होते हैं, तो आप एक हजार पैरामीटर परिभाषित नहीं करना चाहेंगे। इसमें संकलन फ़्लैग (अब आप उन्हें आंतरिक कॉन्फ़िगरेशन फ़ाइल src/config.py में बदल सकते हैं), इंस्टॉलेशन पथ और लॉन्च उपयोगकर्ता शामिल हैं।
• हम विभिन्न आर्टिफैक्ट रिपॉजिटरी में पैकेज को स्वचालित रूप से भेजने के लिए विकल्प जोड़ रहे हैं।
• मॉड्यूल लोड करते समय एक कस्टम कमांड निष्पादित करें (उदाहरण के लिए, उपयोग करने के लिए)। github.com/nginx-modules/nginx_upstream_check_module आपको पहले एक विशिष्ट संस्करण का पैच लागू करना होगा)
• परीक्षण जोड़ना:
  • पैकेज सही ढंग से स्थापित है.
  • Nginx के पास आवश्यक संस्करण है और इसे आवश्यक फ़्लैग और मॉड्यूल के साथ बनाया गया है।
  • आवश्यक पथ, खाते इत्यादि बनाए जाते हैं।

लेकिन आप अभी इस टूल का उपयोग कर सकते हैं, और सुधार भी सुझा सकते हैं - github.com/TinkoffCreditSystems/Nginx-builder स्वागत है!

स्रोत: www.habr.com