ჩვენ ვაგროვებთ ჩვენს Nginx-ს რამდენიმე ბრძანებით

Hi!
მე მქვია სერგეი, ვმუშაობ ინფრასტრუქტურის ინჟინრად Tinkoff.ru პლატფორმის API გუნდში.

ამ სტატიაში ვისაუბრებ იმ პრობლემებზე, რაც ჩვენს გუნდს შეექმნა ბალანსერების მომზადებისას ნინიქსი სხვადასხვა პროექტებისთვის. მე ასევე გეტყვით იმ ხელსაწყოს შესახებ, რომელმაც მომცა მათი უმეტესობის დაძლევის საშუალება.

Nginx არის მრავალფუნქციური და აქტიურად განვითარებადი პროქსი სერვერი. მას აქვს მოდულების დიდი რაოდენობა, ეს არ არის სრული სია. თითოეული პროექტი აწესებს გარკვეულ მოთხოვნებს ბალანსერის ფუნქციონალურობაზე და Nginx-ის ვერსიაზე (მაგალითად, http/2 და grpc პროქსიინგის არსებობა) და მისი მოდულების შემადგენლობა.

ჩვენ გვსურს ვიხილოთ ახალი ვერსია მოდულების საჭირო ნაკრებით, რომელიც მუშაობს Linux-ის კონკრეტული განაწილების ქვეშ. ჩვენს შემთხვევაში, ეს არის deb- და rpm-ზე დაფუძნებული სისტემები. კონტეინერების ვარიანტი არ განიხილება ამ სტატიაში.

ჩვენ გვინდა სწრაფად შევცვალოთ ჩვენი ბალანსერების ფუნქციონირება. და აქ მაშინვე ჩნდება კითხვა: როგორ მივაღწიოთ ამას რაც შეიძლება ნაკლები რესურსების ხარჯვისას? კიდევ უკეთესი იქნება პროცესის დაყენება ისე, რომ ჩვენ შეგვიძლია მივუთითოთ შეყვანის პარამეტრების სასრული რაოდენობა და გამოსავალზე მივიღოთ არტეფაქტი სასურველი OS-სთვის deb/rpm პაკეტის სახით.

შედეგად, შეიძლება ჩამოყალიბდეს მთელი რიგი პრობლემები:

• ყოველთვის არ არის პაკეტები Nginx-ის უახლესი ვერსიით.
• არ არსებობს პაკეტები საჭირო მოდულებით.
• პაკეტის ხელით შედგენა და აშენება შრომატევადი და სრულიად დამღლელია.
• არ არის აღწერილი, თუ როგორ არის აწყობილი Nginx-ის ესა თუ ის ინსტანცია.

ამ პრობლემების გადასაჭრელად ჩნდება ინსტრუმენტის საჭიროება, რომელიც შეყვანის სახით აიღებს სპეციფიკაციას ადამიანის წაკითხვადი ფორმატში და ააწყობს Nginx პაკეტს მასზე დაფუძნებული საჭირო ფუნქციონირებით.

ვერ ვიპოვნეთ ჩვენთვის შესაფერისი ვარიანტი Github-ის უზარმაზარ სივრცეში, ჩვენ გადავწყვიტეთ შეგვექმნა საკუთარი ინსტრუმენტი - nginx-მშენებელი.

სპეციფიკაციები

ჩვენს ხელსაწყოში გვინდოდა შეგვექმნა სპეციფიკაციის აღწერა კოდის სახით, რომელიც შემდეგ შეიძლება განთავსდეს Git საცავში. ამისათვის ჩვენ ავირჩიეთ ასეთი ნივთებისთვის ნაცნობი ფორმატი - yaml. სპეციფიკაციის მაგალითი:

nginx_version: 1.14.1
output_package: deb
modules:
  - module:
      name: nginx-auth-ldap
      git_url: https://github.com/kvspb/nginx-auth-ldap.git
      git_branch: master
      dependencies:
        - libldap2-dev
  - module:
      name: ngx_http_substitutions_filter_module
      git_url: https://github.com/yaoweibin/ngx_http_substitutions_filter_module.git
  - module:
      name: headers-more-nginx-module
      web_url: https://github.com/openresty/headers-more-nginx-module/archive/v0.261.zip
  - module:
      name: nginx-module-vts
      git_url: https://github.com/vozlt/nginx-module-vts.git
      git_tag: v0.1.18
  - module:
      name: ngx_devel_kit
      git_url: https://github.com/simplresty/ngx_devel_kit.git
      git_tag: v0.3.0
  - module:
      name: ngx_cache_purge
      git_url: https://github.com/FRiCKLE/ngx_cache_purge.git
  - module:
      name: ngx_http_dyups_module
      git_url: https://github.com/yzprofile/ngx_http_dyups_module.git
  - module:
      name: nginx-brotli
      git_url: https://github.com/eustas/ngx_brotli.git
      git_tag: v0.1.2
  - module:
      name: nginx_upstream_check_module
      git_url: https://github.com/yaoweibin/nginx_upstream_check_module.git
  - module:
      name: njs
      git_url: https://github.com/nginx/njs.git
      git_tag: 0.2.5
      config_folder_path: nginx

აქ ჩვენ მივუთითებთ, რომ გვინდა ვიხილოთ deb პაკეტი Nginx ვერსიით 1.14.2 მოდულების საჭირო ნაკრებით. განყოფილება მოდულებით არჩევითია. თითოეული მათგანისთვის შეგიძლიათ დააყენოთ:

• სახელი.
• მისამართი სადაც შეგიძლიათ მიიღოთ:
  • Git საცავი. თქვენ ასევე შეგიძლიათ მიუთითოთ ფილიალი ან ტეგი.
  • არქივის ვებ ბმული.
  • არქივის ადგილობრივი ბმული.

ზოგიერთი მოდული საჭიროებს დამატებით დამოკიდებულების ინსტალაციას, მაგალითად, nginx-auth-ldap მოითხოვს libldap2-dev-ის დაინსტალირებას. საჭირო დამოკიდებულებები ასევე შეიძლება განისაზღვროს მოდულის აღწერისას.

გარემო

ჩვენს ხელსაწყოში შეგიძლიათ სწრაფად მიიღოთ გარემო დაინსტალირებული კომუნალური საშუალებებით კომპილაციისთვის, პაკეტის შეკრებისთვის და სხვა დამხმარე პროგრამული უზრუნველყოფისთვის. Docker კონტეინერი ყველაფრით, რაც გჭირდებათ, აქ იდეალურია (საცავში უკვე არის Docker ფაილების რამდენიმე მაგალითი ubuntu-სთვის და centos-ისთვის).

სპეციფიკაციის შედგენის და გარემოს მომზადების შემდეგ, ჩვენ ვიწყებთ ჩვენს მშენებელს, რომელსაც ადრე დავაინსტალირეთ მისი დამოკიდებულებები:

pip3 install -r requirements.txt
./main.py build -f [конфиг_файл].yaml -r [номер_ревизии]

აქ გადასინჯვის ნომერი არჩევითია და გამოიყენება შეკრებების ვერსიებისთვის. ის ჩაწერილია პაკეტის მეტა-ინფორმაციაში, რაც აადვილებს სერვერებზე განახლებას.
ჟურნალებიდან შეგიძლიათ აკონტროლოთ რა ხდება. აქ მოცემულია ძირითადი პუნქტების მაგალითი:

builder - INFO - Parse yaml file: example.config.yaml
builder - INFO - Download scripts for build deb package
builder - INFO - Downloading nginx src...
builder - INFO - --> http://nginx.org/download/nginx-1.14.1.tar.gz
builder - INFO - Downloading 3d-party modules...
builder - INFO - Module nginx-auth-ldap will download by branch
builder - INFO - -- Done: nginx-auth-ldap
builder - INFO - -- Done: ngx_http_substitutions_filter_module
builder - INFO - Module headers-more-nginx-module will downloading
builder - INFO - Module nginx-module-vts will download by tag
builder - INFO - -- Done: nginx-module-vts
builder - INFO - Module ngx_devel_kit will download by tag
builder - INFO - -- Done: ngx_devel_kit
builder - INFO - -- Done: ngx_cache_purge
builder - INFO - -- Done: ngx_http_dyups_module
builder - INFO - Downloading dependencies
builder - INFO - Building .deb package
builder - INFO - Running 'dh_make'...
builder - INFO - Running 'dpkg-buildpackage'...
dpkg-deb: building package 'nginx' in '../nginx_1.14.1-1_amd64.deb'.

ასე რომ, მხოლოდ რამდენიმე ბრძანებით, ჩვენ ვქმნით გარემოს და საჭირო Nginx ასამბლეას და პაკეტი გამოჩნდება დირექტორიაში, საიდანაც სკრიპტის გაშვება ხდება.

ჩანერგვა

ჩვენ ასევე შეგვიძლია ჩვენი ინსტრუმენტის ინტეგრირება CI/CD პროცესებში. დღეს არსებული მრავალი CI სისტემიდან ნებისმიერს შეუძლია დაეხმაროს ამაში, მაგალითად გუნდური ქალაქი ან Gitlab CI.

შედეგად, ყოველთვის, როცა სპეციფიკაცია იცვლება Git საცავში, არტეფაქტის კონსტრუქცია ავტომატურად იწყება. რევიზიის ნომერი დაკავშირებულია build-ის გაშვების მრიცხველთან.
ცოტა მეტი დროით, შეგიძლიათ დააკონფიგურიროთ არტეფაქტი, რომ გაიგზავნოს თქვენი ადგილობრივი პაკეტის საცავში, Nexus, Artifactory და ა.შ.

დამატებითი უპირატესობა ის არის, რომ yaml კონფიგურაციის ფაილი შეიძლება დაუკავშირდეს Ansible-ს ან სხვა ავტომატურ კონფიგურაციის სისტემას და იქიდან ავიღოთ ვერსიის ნომერი და პაკეტის ტიპი, რომლის განთავსებაც გვინდა.

რა არის შემდეგი

პროექტი ჯერ არ დასრულებულა. აი რაზე ვმუშაობთ ახლა:

• ჩვენ ვაფართოებთ კონფიგურაციის შესაძლებლობას, მაგრამ ამავდროულად ვინარჩუნებთ რაც შეიძლება მარტივს. თქვენ არ გსურთ ათასი პარამეტრის განსაზღვრა, თუ მხოლოდ ორი გჭირდებათ, დანარჩენი კი ნაგულისხმევად ჯდება. ეს მოიცავს კომპილაციის დროშებს (ახლა შეგიძლიათ შეცვალოთ ისინი შიდა კონფიგურაციის ფაილში src/config.py), ინსტალაციის გზა და გაშვების მომხმარებელი.
• ჩვენ ვამატებთ ვარიანტებს პაკეტის ავტომატურად გაგზავნისთვის სხვადასხვა არტეფაქტის საცავებში.
• შეასრულეთ მორგებული ბრძანება მოდულის ჩატვირთვისას (მაგალითად, გამოსაყენებლად github.com/nginx-modules/nginx_upstream_check_module თქვენ ჯერ უნდა გამოიყენოთ კონკრეტული ვერსიის პატჩი)
• ტესტების დამატება:
  • პაკეტი სწორად არის დაინსტალირებული.
  • Nginx-ს აქვს საჭირო ვერსია და აგებულია საჭირო დროშებითა და მოდულებით.
  • იქმნება საჭირო ბილიკები, ანგარიშები და ა.შ.

მაგრამ თქვენ შეგიძლიათ გამოიყენოთ ეს ინსტრუმენტი ახლა და ასევე შემოგთავაზოთ გაუმჯობესება - github.com/TinkoffCreditSystems/Nginx-builder მოგესალმებით!

წყარო: www.habr.com