आम्ही आमचे Nginx दोन कमांडसह एकत्र करतो

हाय
माझे नाव सेर्गे आहे, मी tinkoff.ru प्लॅटफॉर्मच्या API टीममध्ये पायाभूत सुविधा अभियंता म्हणून काम करतो.

या लेखात मी यावर आधारित बॅलन्सर तयार करताना आमच्या कार्यसंघाला आलेल्या समस्यांबद्दल बोलेन Nginx विविध प्रकल्पांसाठी. मी तुम्हाला त्या साधनाबद्दल देखील सांगेन ज्याने मला त्यापैकी बहुतेकांवर मात करण्यास अनुमती दिली.

Nginx एक मल्टीफंक्शनल आणि सक्रियपणे विकसित होणारा प्रॉक्सी सर्व्हर आहे. यात मोठ्या संख्येने मॉड्यूल आहेत, ही संपूर्ण यादी नाही. प्रत्येक प्रकल्प बॅलन्सरच्या कार्यक्षमतेवर आणि Nginx च्या आवृत्तीवर (उदाहरणार्थ, http/2 आणि grpc प्रॉक्सीची उपस्थिती) आणि त्याच्या मॉड्यूल्सची रचना यावर काही आवश्यकता लादतो.

विशिष्ट लिनक्स वितरण अंतर्गत चालणाऱ्या मॉड्यूल्सच्या आवश्यक संचासह आम्ही एक नवीन आवृत्ती पाहू इच्छितो. आमच्या बाबतीत, या deb- आणि rpm-आधारित प्रणाली आहेत. या लेखात कंटेनरसह पर्याय विचारात घेतलेला नाही.

आम्हाला आमच्या बॅलन्सर्सची कार्यक्षमता त्वरीत बदलायची आहे. आणि येथे त्वरित प्रश्न उद्भवतो: शक्य तितक्या कमी संसाधने खर्च करताना हे कसे मिळवायचे? प्रक्रिया सेट करणे अधिक चांगले होईल जेणेकरुन आम्ही इनपुट पॅरामीटर्सची मर्यादित संख्या निर्दिष्ट करू शकू आणि आउटपुटवर इच्छित OS साठी deb/rpm पॅकेजच्या स्वरूपात आर्टिफॅक्ट प्राप्त होईल.

परिणामी, अनेक समस्या तयार केल्या जाऊ शकतात:

• Nginx च्या नवीनतम आवृत्तीसह नेहमीच पॅकेजेस नसतात.
• आवश्यक मॉड्यूल्ससह कोणतेही पॅकेज नाहीत.
• मॅन्युअली पॅकेज संकलित करणे आणि तयार करणे वेळखाऊ आणि अत्यंत कंटाळवाणे आहे.
• हे किंवा ते Nginx उदाहरण कसे एकत्र केले जाते याचे कोणतेही वर्णन नाही.

या समस्यांचे निराकरण करण्यासाठी, एका साधनाची गरज निर्माण होते जे मानवी-वाचनीय स्वरूपातील तपशील म्हणून इनपुट करेल आणि त्यावर आधारित आवश्यक कार्यक्षमतेसह Nginx पॅकेज एकत्र करेल.

गिथबच्या विशालतेवर आमच्यासाठी योग्य पर्याय न सापडल्याने आम्ही आमचे स्वतःचे साधन तयार करण्याचे ठरविले - nginx-बिल्डर.

तपशील

आमच्या टूलमध्ये, आम्हाला कोडच्या स्वरूपात स्पेसिफिकेशनचे वर्णन तयार करायचे होते, जे नंतर Git रेपॉजिटरीमध्ये ठेवले जाऊ शकते. हे करण्यासाठी, आम्ही अशा गोष्टींसाठी परिचित स्वरूप निवडले - yaml. तपशील उदाहरण:

nginx_version: 1.14.1
output_package: deb
modules:
  - module:
      name: nginx-auth-ldap
      git_url: https://github.com/kvspb/nginx-auth-ldap.git
      git_branch: master
      dependencies:
        - libldap2-dev
  - module:
      name: ngx_http_substitutions_filter_module
      git_url: https://github.com/yaoweibin/ngx_http_substitutions_filter_module.git
  - module:
      name: headers-more-nginx-module
      web_url: https://github.com/openresty/headers-more-nginx-module/archive/v0.261.zip
  - module:
      name: nginx-module-vts
      git_url: https://github.com/vozlt/nginx-module-vts.git
      git_tag: v0.1.18
  - module:
      name: ngx_devel_kit
      git_url: https://github.com/simplresty/ngx_devel_kit.git
      git_tag: v0.3.0
  - module:
      name: ngx_cache_purge
      git_url: https://github.com/FRiCKLE/ngx_cache_purge.git
  - module:
      name: ngx_http_dyups_module
      git_url: https://github.com/yzprofile/ngx_http_dyups_module.git
  - module:
      name: nginx-brotli
      git_url: https://github.com/eustas/ngx_brotli.git
      git_tag: v0.1.2
  - module:
      name: nginx_upstream_check_module
      git_url: https://github.com/yaoweibin/nginx_upstream_check_module.git
  - module:
      name: njs
      git_url: https://github.com/nginx/njs.git
      git_tag: 0.2.5
      config_folder_path: nginx

येथे आम्ही सूचित करतो की आम्हाला मॉड्यूल्सच्या आवश्यक संचासह Nginx आवृत्ती 1.14.2 सह डेब पॅकेज पहायचे आहे. मॉड्यूल्ससह विभाग पर्यायी आहे. त्या प्रत्येकासाठी तुम्ही सेट करू शकता:

• नाव
• तुम्हाला ते कुठे मिळेल पत्ता:
  • Git भांडार. तुम्ही शाखा किंवा टॅग देखील निर्दिष्ट करू शकता.
  • वेब लिंक संग्रहित करा.
  • संग्रहणाचा स्थानिक दुवा.

काही मॉड्यूल्सना अतिरिक्त अवलंबन स्थापित करणे आवश्यक आहे, उदाहरणार्थ nginx-auth-ldap ला libldap2-dev स्थापित करणे आवश्यक आहे. मॉड्यूलचे वर्णन करताना आवश्यक अवलंबित्व देखील निर्दिष्ट केले जाऊ शकते.

पर्यावरण

आमच्या टूलमध्ये तुम्ही संकलन, पॅकेज असेंब्ली आणि इतर सहाय्यक सॉफ्टवेअरसाठी स्थापित युटिलिटीजसह वातावरण पटकन मिळवू शकता. आपल्याला आवश्यक असलेल्या सर्व गोष्टींसह डॉकर कंटेनर येथे आदर्श आहे (रिपॉजिटरीमध्ये उबंटू आणि सेंटोसाठी डॉकर फाइल्सची दोन उदाहरणे आधीच आहेत).

स्पेसिफिकेशन तयार केल्यानंतर आणि वातावरण तयार झाल्यानंतर, आम्ही आमच्या बिल्डरला लॉन्च करतो, त्याची अवलंबित्वे यापूर्वी स्थापित केली आहेत:

pip3 install -r requirements.txt
./main.py build -f [конфиг_файл].yaml -r [номер_ревизии]

येथे पुनरावृत्ती क्रमांक पर्यायी आहे आणि आवृत्ती असेंब्लीसाठी वापरला जातो. हे पॅकेजच्या मेटा माहितीमध्ये लिहिलेले आहे, ज्यामुळे सर्व्हरवर अपडेट करणे सोपे होते.
लॉगमधून आपण काय घडत आहे याचे निरीक्षण करू शकता. येथे मुख्य मुद्द्यांचे एक उदाहरण आहे:

builder - INFO - Parse yaml file: example.config.yaml
builder - INFO - Download scripts for build deb package
builder - INFO - Downloading nginx src...
builder - INFO - --> http://nginx.org/download/nginx-1.14.1.tar.gz
builder - INFO - Downloading 3d-party modules...
builder - INFO - Module nginx-auth-ldap will download by branch
builder - INFO - -- Done: nginx-auth-ldap
builder - INFO - -- Done: ngx_http_substitutions_filter_module
builder - INFO - Module headers-more-nginx-module will downloading
builder - INFO - Module nginx-module-vts will download by tag
builder - INFO - -- Done: nginx-module-vts
builder - INFO - Module ngx_devel_kit will download by tag
builder - INFO - -- Done: ngx_devel_kit
builder - INFO - -- Done: ngx_cache_purge
builder - INFO - -- Done: ngx_http_dyups_module
builder - INFO - Downloading dependencies
builder - INFO - Building .deb package
builder - INFO - Running 'dh_make'...
builder - INFO - Running 'dpkg-buildpackage'...
dpkg-deb: building package 'nginx' in '../nginx_1.14.1-1_amd64.deb'.

म्हणून, फक्त दोन कमांड्ससह, आम्ही वातावरण आणि आवश्यक Nginx असेंब्ली तयार करतो आणि पॅकेज ज्या डिरेक्टरीमध्ये स्क्रिप्ट लाँच केले जाते तेथे दिसते.

एम्बेडिंग

आम्ही आमचे टूल CI/CD प्रक्रियेमध्ये समाकलित देखील करू शकतो. आज अस्तित्वात असलेल्या अनेक सीआय प्रणालींपैकी कोणतीही यास मदत करू शकते, उदाहरणार्थ टीमसिटी किंवा Gitlab CI.

परिणामी, प्रत्येक वेळी Git रिपॉजिटरीमध्ये तपशील बदलल्यावर, आर्टिफॅक्टची बिल्ड स्वयंचलितपणे लॉन्च केली जाते. पुनरावृत्ती क्रमांक बिल्ड लॉन्च काउंटरशी जोडलेला आहे.
आणखी थोड्या वेळाने, तुम्ही तुमच्या स्थानिक पॅकेज रेपॉजिटरी, Nexus, Artifactory इत्यादींना पाठवल्या जाणार्‍या आर्टिफॅक्ट कॉन्फिगर करू शकता.

एक अतिरिक्त फायदा असा आहे की yaml कॉन्फिगरेशन फाइल Ansible किंवा अन्य स्वयंचलित कॉन्फिगरेशन सिस्टमशी कनेक्ट केली जाऊ शकते आणि तेथून आम्ही आवृत्ती क्रमांक आणि पॅकेज प्रकार घेऊ शकतो जो आम्हाला तैनात करायचा आहे.

पुढे काय

प्रकल्प अद्याप पूर्ण झालेला नाही. आम्ही आता काय काम करत आहोत ते येथे आहे:

• आम्ही कॉन्फिगरेशनची शक्यता विस्तृत करतो, परंतु त्याच वेळी ते शक्य तितके सोपे ठेवतो. तुम्हाला फक्त दोन हवे असल्यास तुम्हाला हजार पॅरामीटर्स परिभाषित करायचे नाहीत आणि बाकीचे डीफॉल्टनुसार बसतात. यामध्ये संकलित ध्वज (आता तुम्ही त्यांना अंतर्गत कॉन्फिगरेशन फाइल src/config.py मध्ये बदलू शकता), इंस्टॉलेशन पथ आणि वापरकर्ता लाँच करू शकता.
• आम्ही विविध आर्टिफॅक्ट रिपॉझिटरीजमध्ये स्वयंचलितपणे पॅकेज पाठवण्यासाठी पर्याय जोडत आहोत.
• मॉड्यूल लोड करताना कस्टम कमांड कार्यान्वित करा (उदाहरणार्थ, वापरण्यासाठी github.com/nginx-modules/nginx_upstream_check_module आपण प्रथम विशिष्ट आवृत्तीचा पॅच लागू करणे आवश्यक आहे)
• चाचण्या जोडणे:
  • पॅकेज योग्यरित्या स्थापित केले आहे.
  • Nginx ची आवश्यक आवृत्ती आहे आणि आवश्यक ध्वज आणि मॉड्यूल्ससह तयार केली आहे.
  • आवश्यक मार्ग, खाती, इत्यादी तयार केल्या जातात.

परंतु तुम्ही आता हे साधन वापरू शकता आणि सुधारणा देखील सुचवू शकता - github.com/TinkoffCreditSystems/Nginx-builder स्वागत आहे!

स्त्रोत: www.habr.com