Ние го составуваме нашиот Nginx со неколку команди

Здраво!
Моето име е Сергеј, работам како инфраструктурен инженер во тимот API на платформата tinkoff.ru.

Во оваа статија ќе зборувам за проблемите со кои се соочи нашиот тим при подготовката на балансери врз основа на Nginx за различни проекти. Ќе ви кажам и за алатка која ми овозможи да ги надминам повеќето од нив.

Nginx е мултифункционален и активно развивачки прокси-сервер. Се одликува со голем број на модули, ова не е комплетна листа. Секој проект наметнува одредени барања за функционалноста на балансерот и верзијата на Nginx (на пример, присуството на http/2 и grpc прокси) и составот на неговите модули.

Би сакале да видиме нова верзија со потребниот сет на модули, кои работат под одредена дистрибуција на Linux. Во нашиот случај, ова се системи базирани на deb и вртежи во минута. Опцијата со контејнери не се разгледува во овој напис.

Сакаме брзо да ја промениме функционалноста на нашите балансери. И тука веднаш се поставува прашањето: како да се постигне тоа додека се трошат што помалку ресурси? Уште подобро би било да го поставиме процесот за да можеме да поставиме конечен број на влезни параметри, а на излезот да добиеме артефакт во форма на пакет deb/rpm за саканиот ОС.

Како резултат на тоа, може да се формулираат голем број проблеми:

• Не секогаш има пакети со најновата верзија на Nginx.
• Нема пакети со потребните модули.
• Составувањето и градењето пакет рачно е одзема време и целосно досадно.
• Нема опис за тоа како е склопен овој или оној пример на Nginx.

За да се решат овие проблеми, се наметнува потребата за алатка која би земала како влез спецификација во формат читлив за луѓе и ќе состави Nginx пакет со потребната функционалност врз основа на него.

Не наоѓајќи соодветна опција за нас на пространоста на Github, решивме да создадеме сопствена алатка - nginx-градител.

Спецификации

Во нашата алатка, сакавме да создадеме опис на спецификацијата во форма на код, кој потоа може да се стави во складиштето на Git. За да го направите ова, го избравме форматот познат за такви работи - yaml. Пример за спецификација:

nginx_version: 1.14.1
output_package: deb
modules:
  - module:
      name: nginx-auth-ldap
      git_url: https://github.com/kvspb/nginx-auth-ldap.git
      git_branch: master
      dependencies:
        - libldap2-dev
  - module:
      name: ngx_http_substitutions_filter_module
      git_url: https://github.com/yaoweibin/ngx_http_substitutions_filter_module.git
  - module:
      name: headers-more-nginx-module
      web_url: https://github.com/openresty/headers-more-nginx-module/archive/v0.261.zip
  - module:
      name: nginx-module-vts
      git_url: https://github.com/vozlt/nginx-module-vts.git
      git_tag: v0.1.18
  - module:
      name: ngx_devel_kit
      git_url: https://github.com/simplresty/ngx_devel_kit.git
      git_tag: v0.3.0
  - module:
      name: ngx_cache_purge
      git_url: https://github.com/FRiCKLE/ngx_cache_purge.git
  - module:
      name: ngx_http_dyups_module
      git_url: https://github.com/yzprofile/ngx_http_dyups_module.git
  - module:
      name: nginx-brotli
      git_url: https://github.com/eustas/ngx_brotli.git
      git_tag: v0.1.2
  - module:
      name: nginx_upstream_check_module
      git_url: https://github.com/yaoweibin/nginx_upstream_check_module.git
  - module:
      name: njs
      git_url: https://github.com/nginx/njs.git
      git_tag: 0.2.5
      config_folder_path: nginx

Овде укажуваме дека сакаме да видиме deb пакет со Nginx верзија 1.14.2 со потребниот сет на модули. Делот со модули е опционален. За секој од нив можете да поставите:

• Име.
• Адреса каде што можете да ја набавите:
  • Git складиште. Можете исто така да наведете гранка или ознака.
  • Веб-врска за архива.
  • Локален линк до архивата.

Некои модули бараат да се инсталираат дополнителни зависности, на пример, nginx-auth-ldap бара инсталирање на libldap2-dev. Може да се наведат и потребните зависности при опишување на модулот.

Животна средина

Во нашата алатка можете брзо да добиете средина со инсталирани алатки за компилација, склопување пакети и друг помошен софтвер. Докер контејнер со се што ви треба е идеален овде (складиштето веќе има неколку примери на датотеки Docker за ubuntu и centos).

Откако ќе се подготви спецификацијата и ќе се подготви околината, го лансираме нашиот градител, откако претходно ги инсталиравме неговите зависности:

pip3 install -r requirements.txt
./main.py build -f [конфиг_файл].yaml -r [номер_ревизии]

Бројот на ревизија овде е опционален и се користи за верзии на склопови. Тоа е запишано во мета информациите на пакетот, што го олеснува ажурирањето на серверите.
Од дневниците можете да следите што се случува. Еве еден пример за главните точки:

builder - INFO - Parse yaml file: example.config.yaml
builder - INFO - Download scripts for build deb package
builder - INFO - Downloading nginx src...
builder - INFO - --> http://nginx.org/download/nginx-1.14.1.tar.gz
builder - INFO - Downloading 3d-party modules...
builder - INFO - Module nginx-auth-ldap will download by branch
builder - INFO - -- Done: nginx-auth-ldap
builder - INFO - -- Done: ngx_http_substitutions_filter_module
builder - INFO - Module headers-more-nginx-module will downloading
builder - INFO - Module nginx-module-vts will download by tag
builder - INFO - -- Done: nginx-module-vts
builder - INFO - Module ngx_devel_kit will download by tag
builder - INFO - -- Done: ngx_devel_kit
builder - INFO - -- Done: ngx_cache_purge
builder - INFO - -- Done: ngx_http_dyups_module
builder - INFO - Downloading dependencies
builder - INFO - Building .deb package
builder - INFO - Running 'dh_make'...
builder - INFO - Running 'dpkg-buildpackage'...
dpkg-deb: building package 'nginx' in '../nginx_1.14.1-1_amd64.deb'.

Така, со само неколку команди, ја креираме околината и потребната склопување на Nginx, а пакетот се појавува во директориумот од каде што се стартува скриптата.

Вградување

Ние исто така можеме да ја интегрираме нашата алатка во процесите на CI/CD. Секој од многуте CI системи што постојат денес може да помогне во ова, на пример Тимски град или Гитлаб CI.

Како резултат на тоа, секогаш кога спецификацијата се менува во складиштето Git, изградбата на артефактот автоматски се стартува. Бројот на ревизијата е поврзан со бројачот за лансирање на изградбата.
Со малку повеќе време, можете да го конфигурирате артефактот да се испраќа до вашето локално складиште за пакети, Nexus, Artifactory итн.

Дополнителна предност е што конфигурациската датотека yaml може да се поврзе со Ansible или друг систем за автоматска конфигурација и од таму можеме да го земеме бројот на верзијата и типот на пакетот што сакаме да ги распоредиме.

Што е следно

Проектот се уште не е завршен. Еве на што работиме сега:

• Ја прошируваме можноста за конфигурација, но во исто време ја одржуваме што е можно поедноставна. Не сакате да дефинирате илјада параметри ако ви требаат само два, а остатокот стандардно одговара. Ова ги вклучува ознаките за компилација (сега можете да ги промените во внатрешната конфигурациска датотека src/config.py), патеката за инсталација и корисникот за стартување.
• Додаваме опции за автоматско испраќање пакет до различни складишта за артефакти.
• Извршете прилагодена команда кога вчитувате модул (на пример, за употреба github.com/nginx-modules/nginx_upstream_check_module прво мора да примените лепенка од одредена верзија)
• Додавање тестови:
  • Пакетот е правилно инсталиран.
  • Nginx ја има потребната верзија и е изграден со потребните знаменца и модули.
  • Се креираат потребните патеки, сметки и така натаму.

Но, можете да ја користите оваа алатка сега, а исто така да предложите подобрувања - github.com/TinkoffCreditSystems/Nginx-builder Добредојде!

Извор: www.habr.com