രണ്ട് കമാൻഡുകൾ ഉപയോഗിച്ച് ഞങ്ങൾ ഞങ്ങളുടെ Nginx കൂട്ടിച്ചേർക്കുന്നു

ഹലോ!
എന്റെ പേര് സെർജി, ഞാൻ tinkoff.ru പ്ലാറ്റ്‌ഫോമിന്റെ API ടീമിൽ ഇൻഫ്രാസ്ട്രക്ചർ എഞ്ചിനീയറായി പ്രവർത്തിക്കുന്നു.

ഈ ലേഖനത്തിൽ, ബാലൻസറുകൾ തയ്യാറാക്കുമ്പോൾ ഞങ്ങളുടെ ടീം നേരിട്ട പ്രശ്നങ്ങളെക്കുറിച്ച് ഞാൻ സംസാരിക്കും നിക്കിക്സ് വിവിധ പദ്ധതികൾക്കായി. അവയിൽ മിക്കതും മറികടക്കാൻ എന്നെ അനുവദിച്ച ഉപകരണത്തെക്കുറിച്ചും ഞാൻ നിങ്ങളോട് പറയും.

Nginx ഒരു മൾട്ടിഫങ്ഷണൽ, സജീവമായി വികസിപ്പിച്ചുകൊണ്ടിരിക്കുന്ന പ്രോക്സി സെർവറാണ്. ഇത് ധാരാളം മൊഡ്യൂളുകൾ അവതരിപ്പിക്കുന്നു, ഇതൊരു പൂർണ്ണമായ പട്ടികയല്ല. ഓരോ പ്രോജക്‌റ്റും ബാലൻസറിന്റെ പ്രവർത്തനത്തിലും Nginx-ന്റെ പതിപ്പിലും (ഉദാഹരണത്തിന്, http/2, grpc പ്രോക്‌സിംഗിന്റെ സാന്നിധ്യം), അതിന്റെ മൊഡ്യൂളുകളുടെ ഘടന എന്നിവയിൽ ചില ആവശ്യകതകൾ ചുമത്തുന്നു.

ഒരു നിർദ്ദിഷ്‌ട ലിനക്‌സ് വിതരണത്തിന് കീഴിൽ പ്രവർത്തിക്കുന്ന, ആവശ്യമായ മൊഡ്യൂളുകളുള്ള ഒരു പുതിയ പതിപ്പ് കാണാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു. ഞങ്ങളുടെ കാര്യത്തിൽ, ഇവ deb-, rpm അടിസ്ഥാനമാക്കിയുള്ള സിസ്റ്റങ്ങളാണ്. കണ്ടെയ്നറുകളുള്ള ഓപ്ഷൻ ഈ ലേഖനത്തിൽ പരിഗണിക്കില്ല.

ഞങ്ങളുടെ ബാലൻസറുകളുടെ പ്രവർത്തനക്ഷമത വേഗത്തിൽ മാറ്റാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു. ഇവിടെ ചോദ്യം ഉടനടി ഉയർന്നുവരുന്നു: കഴിയുന്നത്ര കുറച്ച് വിഭവങ്ങൾ ചെലവഴിക്കുമ്പോൾ ഇത് എങ്ങനെ നേടാം? പ്രോസസ് സജ്ജീകരിക്കുന്നത് ഇതിലും മികച്ചതായിരിക്കും, അതിലൂടെ നമുക്ക് ഒരു നിശ്ചിത എണ്ണം ഇൻപുട്ട് പാരാമീറ്ററുകൾ വ്യക്തമാക്കാം, കൂടാതെ ഔട്ട്പുട്ടിൽ ആവശ്യമുള്ള OS-നായി deb/rpm പാക്കേജിന്റെ രൂപത്തിൽ ഒരു ആർട്ടിഫാക്റ്റ് ലഭിക്കും.

തൽഫലമായി, നിരവധി പ്രശ്നങ്ങൾ രൂപപ്പെടുത്താൻ കഴിയും:

• Nginx-ന്റെ ഏറ്റവും പുതിയ പതിപ്പിനൊപ്പം എല്ലായ്‌പ്പോഴും പാക്കേജുകൾ ഉണ്ടാകില്ല.
• ആവശ്യമായ മൊഡ്യൂളുകളുള്ള പാക്കേജുകളൊന്നുമില്ല.
• ഒരു പാക്കേജ് സ്വമേധയാ കംപൈൽ ചെയ്യുകയും നിർമ്മിക്കുകയും ചെയ്യുന്നത് സമയമെടുക്കുന്നതും തികച്ചും മടുപ്പിക്കുന്നതുമാണ്.
• ഈ അല്ലെങ്കിൽ ആ Nginx ഉദാഹരണം എങ്ങനെ കൂട്ടിച്ചേർക്കപ്പെടുന്നു എന്നതിന്റെ വിവരണമില്ല.

ഈ പ്രശ്‌നങ്ങൾ പരിഹരിക്കുന്നതിന്, മനുഷ്യർക്ക് വായിക്കാവുന്ന ഫോർമാറ്റിൽ ഒരു സ്പെസിഫിക്കേഷൻ ഇൻപുട്ട് ആയി എടുക്കുകയും അതിനെ അടിസ്ഥാനമാക്കി ആവശ്യമായ പ്രവർത്തനക്ഷമതയുള്ള ഒരു Nginx പാക്കേജ് കൂട്ടിച്ചേർക്കുകയും ചെയ്യുന്ന ഒരു ഉപകരണത്തിന്റെ ആവശ്യകത ഉയർന്നുവരുന്നു.

ഗിത്തബിന്റെ വിശാലതയിൽ ഞങ്ങൾക്ക് അനുയോജ്യമായ ഒരു ഓപ്ഷൻ കണ്ടെത്താത്തതിനാൽ ഞങ്ങൾ സ്വന്തമായി ഒരു ഉപകരണം സൃഷ്ടിക്കാൻ തീരുമാനിച്ചു - nginx-builder.

വ്യതിയാനങ്ങൾ

ഞങ്ങളുടെ ടൂളിൽ, കോഡിന്റെ രൂപത്തിൽ സ്പെസിഫിക്കേഷന്റെ ഒരു വിവരണം സൃഷ്ടിക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു, അത് പിന്നീട് ഒരു Git റിപ്പോസിറ്ററിയിൽ ഉൾപ്പെടുത്താം. ഇത് ചെയ്യുന്നതിന്, അത്തരം കാര്യങ്ങൾക്ക് പരിചിതമായ ഫോർമാറ്റ് ഞങ്ങൾ തിരഞ്ഞെടുത്തു - yaml. സ്പെസിഫിക്കേഷൻ ഉദാഹരണം:

nginx_version: 1.14.1
output_package: deb
modules:
  - module:
      name: nginx-auth-ldap
      git_url: https://github.com/kvspb/nginx-auth-ldap.git
      git_branch: master
      dependencies:
        - libldap2-dev
  - module:
      name: ngx_http_substitutions_filter_module
      git_url: https://github.com/yaoweibin/ngx_http_substitutions_filter_module.git
  - module:
      name: headers-more-nginx-module
      web_url: https://github.com/openresty/headers-more-nginx-module/archive/v0.261.zip
  - module:
      name: nginx-module-vts
      git_url: https://github.com/vozlt/nginx-module-vts.git
      git_tag: v0.1.18
  - module:
      name: ngx_devel_kit
      git_url: https://github.com/simplresty/ngx_devel_kit.git
      git_tag: v0.3.0
  - module:
      name: ngx_cache_purge
      git_url: https://github.com/FRiCKLE/ngx_cache_purge.git
  - module:
      name: ngx_http_dyups_module
      git_url: https://github.com/yzprofile/ngx_http_dyups_module.git
  - module:
      name: nginx-brotli
      git_url: https://github.com/eustas/ngx_brotli.git
      git_tag: v0.1.2
  - module:
      name: nginx_upstream_check_module
      git_url: https://github.com/yaoweibin/nginx_upstream_check_module.git
  - module:
      name: njs
      git_url: https://github.com/nginx/njs.git
      git_tag: 0.2.5
      config_folder_path: nginx

ആവശ്യമായ മൊഡ്യൂളുകൾക്കൊപ്പം Nginx പതിപ്പ് 1.14.2 ഉള്ള ഒരു deb പാക്കേജ് കാണാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നുവെന്ന് ഇവിടെ ഞങ്ങൾ സൂചിപ്പിക്കുന്നു. മൊഡ്യൂളുകളുള്ള വിഭാഗം ഓപ്ഷണലാണ്. അവയിൽ ഓരോന്നിനും നിങ്ങൾക്ക് സജ്ജമാക്കാൻ കഴിയും:

• പേര്.
• നിങ്ങൾക്ക് ലഭിക്കുന്ന വിലാസം:
  • Git ശേഖരം. നിങ്ങൾക്ക് ഒരു ബ്രാഞ്ച് അല്ലെങ്കിൽ ടാഗ് വ്യക്തമാക്കാനും കഴിയും.
  • വെബ് ലിങ്ക് ആർക്കൈവ് ചെയ്യുക.
  • ആർക്കൈവിലേക്കുള്ള പ്രാദേശിക ലിങ്ക്.

ചില മൊഡ്യൂളുകൾക്ക് അധിക ഡിപൻഡൻസികൾ ഇൻസ്റ്റാൾ ചെയ്യേണ്ടതുണ്ട്, ഉദാഹരണത്തിന് nginx-auth-ldap-ന് libldap2-dev ഇൻസ്റ്റാൾ ചെയ്യേണ്ടതുണ്ട്. മൊഡ്യൂൾ വിവരിക്കുമ്പോൾ ആവശ്യമായ ഡിപൻഡൻസികളും വ്യക്തമാക്കാം.

പരിസ്ഥിതി

ഞങ്ങളുടെ ടൂളിൽ നിങ്ങൾക്ക് കംപൈലേഷൻ, പാക്കേജ് അസംബ്ലി, മറ്റ് ഓക്സിലറി സോഫ്‌റ്റ്‌വെയർ എന്നിവയ്‌ക്കായി ഇൻസ്റ്റാൾ ചെയ്ത യൂട്ടിലിറ്റികളുള്ള ഒരു പരിസ്ഥിതി വേഗത്തിൽ ലഭിക്കും. നിങ്ങൾക്ക് ആവശ്യമുള്ളതെല്ലാം അടങ്ങിയ ഒരു ഡോക്കർ കണ്ടെയ്‌നർ ഇവിടെ അനുയോജ്യമാണ് (റിപ്പോസിറ്ററിയിൽ ഇതിനകം തന്നെ ഉബുണ്ടുവിനും സെന്റോസിനും വേണ്ടിയുള്ള ഡോക്കർ ഫയലുകളുടെ രണ്ട് ഉദാഹരണങ്ങളുണ്ട്).

സ്പെസിഫിക്കേഷൻ തയ്യാറാക്കുകയും പരിസ്ഥിതി തയ്യാറാക്കുകയും ചെയ്ത ശേഷം, ഞങ്ങൾ ഞങ്ങളുടെ ബിൽഡർ സമാരംഭിക്കുന്നു, മുമ്പ് അതിന്റെ ഡിപൻഡൻസികൾ ഇൻസ്റ്റാൾ ചെയ്തു:

pip3 install -r requirements.txt
./main.py build -f [конфиг_файл].yaml -r [номер_ревизии]

ഇവിടെയുള്ള റിവിഷൻ നമ്പർ ഓപ്ഷണൽ ആണ്, ഇത് അസംബ്ലികൾ വേർഷൻ ചെയ്യുന്നതിനായി ഉപയോഗിക്കുന്നു. ഇത് പാക്കേജിന്റെ മെറ്റാ വിവരങ്ങളിൽ എഴുതിയിരിക്കുന്നു, ഇത് സെർവറുകളിൽ അപ്ഡേറ്റ് ചെയ്യുന്നത് എളുപ്പമാക്കുന്നു.
ലോഗുകളിൽ നിന്ന് നിങ്ങൾക്ക് എന്താണ് സംഭവിക്കുന്നതെന്ന് നിരീക്ഷിക്കാൻ കഴിയും. പ്രധാന പോയിന്റുകളുടെ ഒരു ഉദാഹരണം ഇതാ:

builder - INFO - Parse yaml file: example.config.yaml
builder - INFO - Download scripts for build deb package
builder - INFO - Downloading nginx src...
builder - INFO - --> http://nginx.org/download/nginx-1.14.1.tar.gz
builder - INFO - Downloading 3d-party modules...
builder - INFO - Module nginx-auth-ldap will download by branch
builder - INFO - -- Done: nginx-auth-ldap
builder - INFO - -- Done: ngx_http_substitutions_filter_module
builder - INFO - Module headers-more-nginx-module will downloading
builder - INFO - Module nginx-module-vts will download by tag
builder - INFO - -- Done: nginx-module-vts
builder - INFO - Module ngx_devel_kit will download by tag
builder - INFO - -- Done: ngx_devel_kit
builder - INFO - -- Done: ngx_cache_purge
builder - INFO - -- Done: ngx_http_dyups_module
builder - INFO - Downloading dependencies
builder - INFO - Building .deb package
builder - INFO - Running 'dh_make'...
builder - INFO - Running 'dpkg-buildpackage'...
dpkg-deb: building package 'nginx' in '../nginx_1.14.1-1_amd64.deb'.

അതിനാൽ, രണ്ട് കമാൻഡുകൾ ഉപയോഗിച്ച്, ഞങ്ങൾ പരിസ്ഥിതിയും ആവശ്യമായ Nginx അസംബ്ലിയും സൃഷ്ടിക്കുന്നു, കൂടാതെ സ്ക്രിപ്റ്റ് സമാരംഭിച്ച ഡയറക്ടറിയിൽ പാക്കേജ് ദൃശ്യമാകും.

ഉൾച്ചേർക്കൽ

CI/CD പ്രക്രിയകളിലേക്ക് ഞങ്ങളുടെ ടൂൾ സംയോജിപ്പിക്കാനും കഴിയും. ഇന്ന് നിലവിലുള്ള അനേകം CI സിസ്റ്റങ്ങളിൽ ഏതെങ്കിലുമൊന്ന് ഇതിന് സഹായിക്കും, ഉദാഹരണത്തിന് ടീംസിറ്റി അഥവാ ഗിറ്റ്ലാബ് സിഐ.

തൽഫലമായി, Git റിപ്പോസിറ്ററിയിലെ സ്പെസിഫിക്കേഷൻ മാറുമ്പോഴെല്ലാം, ആർട്ടിഫാക്റ്റിന്റെ ബിൽഡ് സ്വയമേവ സമാരംഭിക്കും. റിവിഷൻ നമ്പർ ബിൽഡ് ലോഞ്ച് കൗണ്ടറുമായി ബന്ധിപ്പിച്ചിരിക്കുന്നു.
കുറച്ചുകൂടി സമയം കൊണ്ട്, നിങ്ങളുടെ പ്രാദേശിക പാക്കേജ് ശേഖരം, Nexus, Artifactory മുതലായവയിലേക്ക് അയയ്‌ക്കേണ്ട ആർട്ടിഫാക്‌റ്റ് കോൺഫിഗർ ചെയ്യാം.

yaml കോൺഫിഗറേഷൻ ഫയൽ അൻസിബിളിലേക്കോ മറ്റൊരു ഓട്ടോമാറ്റിക് കോൺഫിഗറേഷൻ സിസ്റ്റത്തിലേക്കോ ബന്ധിപ്പിക്കാമെന്നതാണ് ഒരു അധിക നേട്ടം, അവിടെ നിന്ന് നമുക്ക് വിന്യസിക്കാൻ ആഗ്രഹിക്കുന്ന പതിപ്പ് നമ്പറും പാക്കേജ് തരവും എടുക്കാം.

അടുത്തത് എന്താണ്

പദ്ധതി ഇതുവരെ പൂർത്തിയായിട്ടില്ല. ഞങ്ങൾ ഇപ്പോൾ പ്രവർത്തിക്കുന്നത് ഇതാ:

• ഞങ്ങൾ കോൺഫിഗറേഷന്റെ സാധ്യത വിപുലീകരിക്കുന്നു, എന്നാൽ അതേ സമയം അത് കഴിയുന്നത്ര ലളിതമാക്കുക. നിങ്ങൾക്ക് രണ്ടെണ്ണം മാത്രം ആവശ്യമെങ്കിൽ ആയിരം പാരാമീറ്ററുകൾ നിർവചിക്കാൻ നിങ്ങൾ ആഗ്രഹിക്കുന്നില്ല, ബാക്കിയുള്ളവ സ്ഥിരസ്ഥിതിയായി യോജിക്കുന്നു. ഇതിൽ കംപൈലേഷൻ ഫ്ലാഗുകൾ ഉൾപ്പെടുന്നു (ഇപ്പോൾ നിങ്ങൾക്ക് അവ ആന്തരിക കോൺഫിഗറേഷൻ ഫയലായ src/config.py-ൽ മാറ്റാം), ഇൻസ്റ്റാളേഷൻ പാത്തും ലോഞ്ച് ഉപയോക്താവും.
• വിവിധ ആർട്ടിഫാക്ട് റിപ്പോസിറ്ററികളിലേക്ക് ഒരു പാക്കേജ് സ്വയമേവ അയയ്‌ക്കുന്നതിനുള്ള ഓപ്ഷനുകൾ ഞങ്ങൾ ചേർക്കുന്നു.
• ഒരു മൊഡ്യൂൾ ലോഡുചെയ്യുമ്പോൾ ഒരു ഇഷ്‌ടാനുസൃത കമാൻഡ് എക്സിക്യൂട്ട് ചെയ്യുക (ഉദാഹരണത്തിന്, ഉപയോഗിക്കാൻ github.com/nginx-modules/nginx_upstream_check_module നിങ്ങൾ ആദ്യം ഒരു നിർദ്ദിഷ്ട പതിപ്പിന്റെ ഒരു പാച്ച് പ്രയോഗിക്കണം)
• പരിശോധനകൾ ചേർക്കുന്നു:
  • പാക്കേജ് ശരിയായി ഇൻസ്റ്റാൾ ചെയ്തു.
  • Nginx-ന് ആവശ്യമായ പതിപ്പുണ്ട്, ആവശ്യമായ ഫ്ലാഗുകളും മൊഡ്യൂളുകളും ഉപയോഗിച്ചാണ് നിർമ്മിച്ചിരിക്കുന്നത്.
  • ആവശ്യമായ പാതകൾ, അക്കൗണ്ടുകൾ തുടങ്ങിയവ സൃഷ്ടിക്കപ്പെടുന്നു.

എന്നാൽ നിങ്ങൾക്ക് ഇപ്പോൾ ഈ ഉപകരണം ഉപയോഗിക്കാം, കൂടാതെ മെച്ചപ്പെടുത്തലുകൾ നിർദ്ദേശിക്കുകയും ചെയ്യാം - github.com/TinkoffCreditSystems/Nginx-builder സ്വാഗതം!

അവലംബം: www.habr.com