Састављамо наш Нгинк са неколико команди

Здраво!
Моје име је Сергеј, радим као инфраструктурни инжењер у АПИ тиму платформе тинкофф.ру.

У овом чланку ћу говорити о проблемима са којима се наш тим суочавао приликом припреме балансера на основу којих је Нгинк за разне пројекте. Такође ћу вам рећи о алату који ми је омогућио да превазиђем већину њих.

Нгинк је мултифункционални прокси сервер који се активно развија. Поседује велики број модула, ово није потпуна листа. Сваки пројекат намеће одређене захтеве за функционалност балансера и верзију Нгинк-а (на пример, присуство хттп/2 и грпц проксија), и састав његових модула.

Желели бисмо да видимо нову верзију са потребним скупом модула, која ради под одређеном дистрибуцијом Линука. У нашем случају, то су системи засновани на деб- и рпм. Опција са контејнерима се не разматра у овом чланку.

Желимо да брзо променимо функционалност наших балансера. И ту се одмах поставља питање: како то постићи уз што мање средстава? Још боље би било подесити процес тако да можемо да наведемо коначан број улазних параметара, а на излазу добијемо артефакт у виду деб/рпм пакета за жељени ОС.

Као резултат тога, може се формулисати низ проблема:

• Не постоје увек пакети са најновијом верзијом Нгинк-а.
• Не постоје пакети са потребним модулима.
• Ручно састављање и прављење пакета је дуготрајно и прилично заморно.
• Нема описа како се саставља ова или она Нгинк инстанца.

Да би се решили ови проблеми, намеће се потреба за алатом који би као улаз узео спецификацију у формату читљивом за људе и на основу њега саставио Нгинк пакет са потребном функционалношћу.

Не проналазећи одговарајућу опцију за нас на огромном Гитхуб-у, одлучили смо да креирамо сопствени алат - нгинк-буилдер.

Спецификације

У нашем алату, желели смо да креирамо опис спецификације у облику кода, који се затим може ставити у Гит спремиште. Да бисмо то урадили, изабрали смо формат познат за такве ствари - иамл. Пример спецификације:

nginx_version: 1.14.1
output_package: deb
modules:
  - module:
      name: nginx-auth-ldap
      git_url: https://github.com/kvspb/nginx-auth-ldap.git
      git_branch: master
      dependencies:
        - libldap2-dev
  - module:
      name: ngx_http_substitutions_filter_module
      git_url: https://github.com/yaoweibin/ngx_http_substitutions_filter_module.git
  - module:
      name: headers-more-nginx-module
      web_url: https://github.com/openresty/headers-more-nginx-module/archive/v0.261.zip
  - module:
      name: nginx-module-vts
      git_url: https://github.com/vozlt/nginx-module-vts.git
      git_tag: v0.1.18
  - module:
      name: ngx_devel_kit
      git_url: https://github.com/simplresty/ngx_devel_kit.git
      git_tag: v0.3.0
  - module:
      name: ngx_cache_purge
      git_url: https://github.com/FRiCKLE/ngx_cache_purge.git
  - module:
      name: ngx_http_dyups_module
      git_url: https://github.com/yzprofile/ngx_http_dyups_module.git
  - module:
      name: nginx-brotli
      git_url: https://github.com/eustas/ngx_brotli.git
      git_tag: v0.1.2
  - module:
      name: nginx_upstream_check_module
      git_url: https://github.com/yaoweibin/nginx_upstream_check_module.git
  - module:
      name: njs
      git_url: https://github.com/nginx/njs.git
      git_tag: 0.2.5
      config_folder_path: nginx

Овде указујемо да желимо да видимо деб пакет са Нгинк верзијом 1.14.2 са потребним скупом модула. Одељак са модулима је опциони. За сваку од њих можете подесити:

• Име.
• Адреса на којој се може добити:
  • Гит спремиште. Такође можете одредити грану или ознаку.
  • Архивирајте веб везу.
  • Локална веза до архиве.

Неки модули захтевају инсталирање додатних зависности, на пример нгинк-аутх-лдап захтева инсталирану либлдап2-дев. Неопходне зависности се такође могу навести приликом описивања модула.

Животна средина

У нашем алату можете брзо добити окружење са инсталираним услужним програмима за компилацију, склапање пакета и другим помоћним софтвером. Доцкер контејнер са свиме што вам треба је идеалан овде (спремиште већ има неколико примера Доцкер фајлова за убунту и центос).

Након што је спецификација састављена и окружење припремљено, покрећемо наш буилдер, претходно инсталирајући његове зависности:

pip3 install -r requirements.txt
./main.py build -f [конфиг_файл].yaml -r [номер_ревизии]

Број ревизије овде је опциони и користи се за верзионисање склопова. Уписује се у мета информације пакета, што олакшава ажурирање на серверима.
Из дневника можете пратити шта се дешава. Ево примера главних тачака:

builder - INFO - Parse yaml file: example.config.yaml
builder - INFO - Download scripts for build deb package
builder - INFO - Downloading nginx src...
builder - INFO - --> http://nginx.org/download/nginx-1.14.1.tar.gz
builder - INFO - Downloading 3d-party modules...
builder - INFO - Module nginx-auth-ldap will download by branch
builder - INFO - -- Done: nginx-auth-ldap
builder - INFO - -- Done: ngx_http_substitutions_filter_module
builder - INFO - Module headers-more-nginx-module will downloading
builder - INFO - Module nginx-module-vts will download by tag
builder - INFO - -- Done: nginx-module-vts
builder - INFO - Module ngx_devel_kit will download by tag
builder - INFO - -- Done: ngx_devel_kit
builder - INFO - -- Done: ngx_cache_purge
builder - INFO - -- Done: ngx_http_dyups_module
builder - INFO - Downloading dependencies
builder - INFO - Building .deb package
builder - INFO - Running 'dh_make'...
builder - INFO - Running 'dpkg-buildpackage'...
dpkg-deb: building package 'nginx' in '../nginx_1.14.1-1_amd64.deb'.

Дакле, са само неколико команди креирамо окружење и потребан Нгинк склоп, а пакет се појављује у директоријуму одакле се скрипта покреће.

Ембеддинг

Такође можемо да интегришемо наш алат у ЦИ/ЦД процесе. Било који од многих ЦИ система који постоје данас може помоћи у томе, на пример Теамцити или Гитлаб ЦИ.

Као резултат, сваки пут када се спецификација промени у Гит репозиторијуму, израда артефакта се аутоматски покреће. Број ревизије је повезан са бројачем покретања изградње.
Уз мало више времена, можете да конфигуришете да се артефакт шаље у ваше локално складиште пакета, Некус, Артифацтори, итд.

Додатна предност је што се иамл конфигурациона датотека може повезати са Ансибле-ом или другим системом за аутоматску конфигурацију, а одатле можемо узети број верзије и тип пакета који желимо да применимо.

Шта је следеће

Пројекат још није завршен. Ево на чему сада радимо:

• Проширујемо могућност конфигурисања, али је у исто време чинимо што једноставнијом. Не желите да дефинишете хиљаду параметара ако су вам потребна само два, а остатак одговара подразумевано. Ово укључује заставице за компилацију (сада их можете променити у интерној конфигурационој датотеци срц/цонфиг.пи), путању за инсталацију и корисника за покретање.
• Додајемо опције за аутоматско слање пакета у различита спремишта артефаката.
• Извршите прилагођену команду приликом учитавања модула (на пример, за коришћење гитхуб.цом/нгинк-модулес/нгинк_упстреам_цхецк_модуле прво морате да примените закрпу одређене верзије)
• Додавање тестова:
  • Пакет је исправно инсталиран.
  • Нгинк има потребну верзију и изграђен је са потребним заставама и модулима.
  • Креирају се потребне путање, налози и тако даље.

Али сада можете користити ову алатку и предложити побољшања - гитхуб.цом/ТинкоффЦредитСистемс/Нгинк-буилдер Добро дошли!

Извор: ввв.хабр.цом