हामी हाम्रो Nginx लाई केहि कमाण्डहरूको साथ जम्मा गर्छौं

नमस्ते!
मेरो नाम Sergey हो, म tinkoff.ru प्लेटफर्मको API टोलीमा पूर्वाधार इन्जिनियरको रूपमा काम गर्छु।

यस लेखमा म हाम्रो टोलीमा आधारित ब्यालेन्सरहरू तयार गर्दा सामना गर्ने समस्याहरूको बारेमा कुरा गर्नेछु निजिनक्स विभिन्न परियोजनाहरूको लागि। म तपाईंलाई उपकरणको बारेमा पनि बताउनेछु जसले मलाई ती मध्ये धेरैलाई जित्न अनुमति दियो।

Nginx एक बहुकार्यात्मक र सक्रिय रूपमा विकास गर्ने प्रोक्सी सर्भर हो। यसमा धेरै संख्यामा मोड्युलहरू छन्, यो पूर्ण सूची होइन। प्रत्येक परियोजनाले ब्यालेन्सरको कार्यक्षमता र Nginx को संस्करण (उदाहरणका लागि, http/2 र grpc प्रोक्सीको उपस्थिति), र यसको मोड्युलहरूको संरचनामा निश्चित आवश्यकताहरू लागू गर्दछ।

हामी निश्चित लिनक्स वितरण अन्तर्गत चलिरहेको मोड्युलहरूको आवश्यक सेटको साथ नयाँ संस्करण हेर्न चाहन्छौं। हाम्रो अवस्थामा, यी deb- र rpm-आधारित प्रणालीहरू हुन्। कन्टेनरको साथ विकल्प यस लेखमा विचार गरिएको छैन।

हामी चाँडै हाम्रो ब्यालेन्सरहरूको कार्यक्षमता परिवर्तन गर्न चाहन्छौं। र यहाँ प्रश्न तुरुन्तै उठ्छ: सकेसम्म थोरै स्रोतहरू खर्च गर्दा यो कसरी हासिल गर्ने? यो प्रक्रिया सेटअप गर्न अझ राम्रो हुनेछ ताकि हामी इनपुट प्यारामिटरहरूको सीमित संख्या निर्दिष्ट गर्न सक्छौं, र आउटपुटमा इच्छित OS को लागि deb/rpm प्याकेजको रूपमा एक कलाकृति प्राप्त गर्दछ।

नतिजाको रूपमा, धेरै समस्याहरू तयार गर्न सकिन्छ:

• Nginx को नवीनतम संस्करण संग सधैं प्याकेजहरू छैनन्।
• आवश्यक मोड्युलहरूसँग कुनै प्याकेजहरू छैनन्।
• एक प्याकेज म्यानुअल रूपमा कम्पाइल र निर्माण गर्न समय खपत र एकदम थकाऊ छ।
• यो वा त्यो Nginx उदाहरण कसरी जम्मा हुन्छ भन्ने कुनै विवरण छैन।

यी समस्याहरू समाधान गर्नको लागि, एक उपकरणको लागि आवश्यकता उत्पन्न हुन्छ जसले मानव-पढ्न योग्य ढाँचामा इनपुटको रूपमा विनिर्देशन लिन्छ र यसमा आधारित आवश्यक कार्यक्षमताको साथ Nginx प्याकेज जम्मा गर्दछ।

Github को विशालता मा हाम्रो लागि एक उपयुक्त विकल्प फेला परेन, हामीले हाम्रो आफ्नै उपकरण सिर्जना गर्ने निर्णय गर्यौं - nginx-निर्माता.

Спецификации

हाम्रो उपकरणमा, हामी कोडको रूपमा निर्दिष्टीकरणको विवरण सिर्जना गर्न चाहन्थ्यौं, जुन त्यसपछि Git भण्डारमा राख्न सकिन्छ। यो गर्नको लागि, हामीले त्यस्ता चीजहरूको लागि परिचित ढाँचा रोज्यौं - yaml। विशिष्टता उदाहरण:

nginx_version: 1.14.1
output_package: deb
modules:
  - module:
      name: nginx-auth-ldap
      git_url: https://github.com/kvspb/nginx-auth-ldap.git
      git_branch: master
      dependencies:
        - libldap2-dev
  - module:
      name: ngx_http_substitutions_filter_module
      git_url: https://github.com/yaoweibin/ngx_http_substitutions_filter_module.git
  - module:
      name: headers-more-nginx-module
      web_url: https://github.com/openresty/headers-more-nginx-module/archive/v0.261.zip
  - module:
      name: nginx-module-vts
      git_url: https://github.com/vozlt/nginx-module-vts.git
      git_tag: v0.1.18
  - module:
      name: ngx_devel_kit
      git_url: https://github.com/simplresty/ngx_devel_kit.git
      git_tag: v0.3.0
  - module:
      name: ngx_cache_purge
      git_url: https://github.com/FRiCKLE/ngx_cache_purge.git
  - module:
      name: ngx_http_dyups_module
      git_url: https://github.com/yzprofile/ngx_http_dyups_module.git
  - module:
      name: nginx-brotli
      git_url: https://github.com/eustas/ngx_brotli.git
      git_tag: v0.1.2
  - module:
      name: nginx_upstream_check_module
      git_url: https://github.com/yaoweibin/nginx_upstream_check_module.git
  - module:
      name: njs
      git_url: https://github.com/nginx/njs.git
      git_tag: 0.2.5
      config_folder_path: nginx

यहाँ हामी संकेत गर्छौं कि हामी Nginx संस्करण 1.14.2 सँग मोड्युलहरूको आवश्यक सेटको साथ डेब प्याकेज हेर्न चाहन्छौं। मोड्युल भएको खण्ड वैकल्पिक छ। तिनीहरू मध्ये प्रत्येकको लागि तपाईंले सेट गर्न सक्नुहुन्छ:

• नाम
• तपाईंले यसलाई प्राप्त गर्न सक्ने ठेगाना:
  • Git भण्डार। तपाईले शाखा वा ट्याग पनि निर्दिष्ट गर्न सक्नुहुन्छ।
  • अभिलेख वेब लिङ्क।
  • अभिलेखमा स्थानीय लिङ्क।

केही मोड्युलहरूलाई थप निर्भरताहरू स्थापना गर्न आवश्यक हुन्छ, उदाहरणका लागि nginx-auth-ldap लाई libldap2-dev स्थापना आवश्यक हुन्छ। मोड्युल वर्णन गर्दा आवश्यक निर्भरताहरू पनि निर्दिष्ट गर्न सकिन्छ।

वातावरण

हाम्रो उपकरणमा तपाईंले संकलन, प्याकेज असेंबली र अन्य सहायक सफ्टवेयरको लागि स्थापित उपयोगिताहरूको साथ द्रुत रूपमा वातावरण प्राप्त गर्न सक्नुहुन्छ। तपाईलाई चाहिने सबै चीजको साथ एक डकर कन्टेनर यहाँ आदर्श छ (भण्डारमा पहिले नै उबुन्टु र सेन्टोसका लागि डकर फाइलहरूको केही उदाहरणहरू छन्)।

स्पेसिफिकेशन कोरिएपछि र वातावरण तयार भएपछि, हामी हाम्रो निर्माणकर्ता सुरु गर्छौं, पहिले यसको निर्भरताहरू स्थापना गरिसकेका छौं:

pip3 install -r requirements.txt
./main.py build -f [конфиг_файл].yaml -r [номер_ревизии]

यहाँ संशोधन नम्बर ऐच्छिक छ र संस्करणको लागि प्रयोग गरिन्छ। यो प्याकेजको मेटा जानकारीमा लेखिएको छ, सर्भरहरूमा अद्यावधिक गर्न सजिलो बनाउँदै।
लगहरूबाट तपाईले के भइरहेको छ भनेर निगरानी गर्न सक्नुहुन्छ। यहाँ मुख्य बुँदाहरूको उदाहरण हो:

builder - INFO - Parse yaml file: example.config.yaml
builder - INFO - Download scripts for build deb package
builder - INFO - Downloading nginx src...
builder - INFO - --> http://nginx.org/download/nginx-1.14.1.tar.gz
builder - INFO - Downloading 3d-party modules...
builder - INFO - Module nginx-auth-ldap will download by branch
builder - INFO - -- Done: nginx-auth-ldap
builder - INFO - -- Done: ngx_http_substitutions_filter_module
builder - INFO - Module headers-more-nginx-module will downloading
builder - INFO - Module nginx-module-vts will download by tag
builder - INFO - -- Done: nginx-module-vts
builder - INFO - Module ngx_devel_kit will download by tag
builder - INFO - -- Done: ngx_devel_kit
builder - INFO - -- Done: ngx_cache_purge
builder - INFO - -- Done: ngx_http_dyups_module
builder - INFO - Downloading dependencies
builder - INFO - Building .deb package
builder - INFO - Running 'dh_make'...
builder - INFO - Running 'dpkg-buildpackage'...
dpkg-deb: building package 'nginx' in '../nginx_1.14.1-1_amd64.deb'.

त्यसोभए, केवल केहि आदेशहरूको साथ, हामी वातावरण र आवश्यक Nginx असेंबली सिर्जना गर्छौं, र प्याकेज डाइरेक्टरीमा देखा पर्दछ जहाँबाट स्क्रिप्ट सुरू हुन्छ।

इम्बेड गर्दै

हामी हाम्रो उपकरणलाई CI/CD प्रक्रियाहरूमा पनि एकीकृत गर्न सक्छौं। आज अवस्थित धेरै CI प्रणालीहरू मध्ये कुनै पनि यो मद्दत गर्न सक्छ, उदाहरणका लागि टिमसिटी वा Gitlab CI.

नतिजाको रूपमा, प्रत्येक पटक Git भण्डारमा विशिष्टता परिवर्तन हुन्छ, कलाकृतिको निर्माण स्वचालित रूपमा सुरू हुन्छ। संशोधन नम्बर निर्माण प्रक्षेपण काउन्टरसँग जोडिएको छ।
अलि बढी समयको साथ, तपाईंले आफ्नो स्थानीय प्याकेज भण्डार, नेक्सस, आर्टिफ्याक्ट्री, र यस्तै अन्यमा पठाइने कलाकृति कन्फिगर गर्न सक्नुहुन्छ।

एउटा अतिरिक्त फाइदा यो हो कि yaml कन्फिगरेसन फाइललाई Ansible वा अर्को स्वचालित कन्फिगरेसन प्रणालीमा जडान गर्न सकिन्छ, र त्यहाँबाट हामीले संस्करण नम्बर र प्याकेज प्रकार लिन सक्छौं जुन हामीले प्रयोग गर्न चाहन्छौं।

अब के

आयोजना अझै पूरा भएको छैन । हामी अहिले काम गरिरहेका छौँ:

• हामी कन्फिगरेसनको सम्भावना विस्तार गर्छौं, तर एकै समयमा यसलाई सकेसम्म सरल राख्नुहोस्। यदि तपाईलाई केवल दुई चाहिन्छ भने तपाई हजार प्यारामिटरहरू परिभाषित गर्न चाहनुहुन्न, र बाँकी पूर्वनिर्धारित रूपमा फिट हुन्छ। यसमा कम्पाइलेशन फ्ल्यागहरू समावेश छन् (अब तपाईंले तिनीहरूलाई आन्तरिक कन्फिगरेसन फाइल src/config.py मा परिवर्तन गर्न सक्नुहुन्छ), स्थापना मार्ग, र प्रयोगकर्ता सुरुवात गर्नुहोस्।
• हामी विभिन्न कलाकृति भण्डारहरूमा स्वचालित रूपमा प्याकेज पठाउने विकल्पहरू थप्दैछौं।
• मोड्युल लोड गर्दा अनुकूलन आदेश कार्यान्वयन गर्नुहोस् (उदाहरणका लागि, प्रयोग गर्न github.com/nginx-modules/nginx_upstream_check_module तपाईंले पहिले एक विशेष संस्करणको प्याच लागू गर्नुपर्छ)
• परीक्षणहरू थप्दै:
  • प्याकेज सही रूपमा स्थापित छ।
  • Nginx को आवश्यक संस्करण छ र आवश्यक झण्डा र मोड्युल संग निर्मित छ।
  • आवश्यक मार्गहरू, खाताहरू, र यस्तै सिर्जना गरिन्छ।

तर तपाईं अहिले यो उपकरण प्रयोग गर्न सक्नुहुन्छ, र सुधारहरू पनि सुझाव - github.com/TinkoffCreditSystems/Nginx-builder स्वागत छ!

स्रोत: www.habr.com