Събиране на собствен Nginx с няколко команди

Здравейте!
Меня зовут Сергей, работя като инфраструктурен инженер в екипа на платформата API на tinkoff.ru.

В тази статия ще разкажа за проблемите, с които се сблъска нашият екип при подготовката на балансировачи на базата на Nginx за различни проекти. Също така ще разкажа за инструмента, който ни помогна да преодолеем голяма част от тях.

Nginx е многофункционален и активно развиващ се прокси-сървър. Той се отличава с голямо количество модули, ето един не напълно изчерпателен списък. Всеки проект налага определени изисквания към функционалността на балансировача и версията на Nginx (например наличието на http/2 и проксиране на grpc) и набора от модулите.

Искаме да видим нова версия с необходимия набор от модули, работеща под определен дистрибутив на Linux. В нашия случай това са деб и rpm-базирани системи. Вариантът с контейнери в тази статия не се обсъжда.

Искаме бързо да променяме функционалността на нашите балансировачи. И тук веднага възниква въпросът — как да постигнем това, вложейки възможно най-малко ресурси? А още по-добре е да установим процес, при който можем да зададем ограничен брой входни параметри, а на изхода да получим артефакт под формата на deb/rpm пакет за нужната ОС.

В крайна сметка можем да формулираме няколко проблема:

• Не винаги съществуват пакети със свежа версия на Nginx.
• Няма пакети с необходимите модули.
• Компилацията и сглобяването на пакета ръчно отнема много време и е просто изтощително.
• Няма описание как е сглобен конкретния инстанс на Nginx.

За да решим тези проблеми, се налага да създадем инструмент, който да приема спецификация във удобен за четене формат и да сглобява пакет Nginx с необходимата функционалност.

Не намирайки подходящ вариант за нас в пространствата на GitHub, решихме да създадем нашия инструмент - nginx-builder.

Спецификации

В нашия инструмент искахме да създадем описание на спецификацията под формата на код, който след това може да се постави в Git хранилище. За целта избрахме познатия за подобни неща формат - yaml. Пример за спецификация:

nginx_version: 1.14.1
output_package: deb
modules:
  - module:
      name: nginx-auth-ldap
      git_url: https://github.com/kvspb/nginx-auth-ldap.git
      git_branch: master
      dependencies:
        - libldap2-dev
  - module:
      name: ngx_http_substitutions_filter_module
      git_url: https://github.com/yaoweibin/ngx_http_substitutions_filter_module.git
  - module:
      name: headers-more-nginx-module
      web_url: https://github.com/openresty/headers-more-nginx-module/archive/v0.261.zip
  - module:
      name: nginx-module-vts
      git_url: https://github.com/vozlt/nginx-module-vts.git
      git_tag: v0.1.18
  - module:
      name: ngx_devel_kit
      git_url: https://github.com/simplresty/ngx_devel_kit.git
      git_tag: v0.3.0
  - module:
      name: ngx_cache_purge
      git_url: https://github.com/FRiCKLE/ngx_cache_purge.git
  - module:
      name: ngx_http_dyups_module
      git_url: https://github.com/yzprofile/ngx_http_dyups_module.git
  - module:
      name: nginx-brotli
      git_url: https://github.com/eustas/ngx_brotli.git
      git_tag: v0.1.2
  - module:
      name: nginx_upstream_check_module
      git_url: https://github.com/yaoweibin/nginx_upstream_check_module.git
  - module:
      name: njs
      git_url: https://github.com/nginx/njs.git
      git_tag: 0.2.5
      config_folder_path: nginx

Тук посочваме, че искаме да видим deb-пакет с версия Nginx 1.14.2 с необходимия набор от модули. Секцията с модулите е опционална. За всеки от тях можем да зададем:

• Име.
• Адрес, откъдето може да бъде получен:
  • Git-репозиторий. Може също да посочите клон или таг.
  • Уеб линк към архива.
  • Локален линк към архива.

Някои модули изискват инсталиране на допълнителни зависимости, например за nginx-auth-ldap е необходим предварително инсталиран libldap2-dev. Необходимите зависимости също могат да бъдат посочени при описанието на модула.

Околна среда

С нашия инструмент можете бързо да получите среда с инсталирани утилити за компилиране, събиране на пакета и друго помощно ПО. Тук перфектно подхожда docker-контейнер с всичко необходимо (в хранилището вече има няколко примера за docker файлове за ubuntu и centos).

След като спецификацията е съставена и средата е подготвена, стартираме нашия сборщик, преди това инсталираме зависимостите му:

pip3 install -r requirements.txt
./main.py build -f [конфиг_файл].yaml -r [номер_ревизии]

Номерът на ревизията тук е опционален и служи за версиониране на сборките. Той се записва в метаинформацията на пакета, което позволява лесно да се обновява на сървърите.
Чрез логовете можете да следите какво се случва. Ето пример за основните моменти:

builder - INFO - Анализ yaml файла: example.config.yaml
builder - INFO - Скачиваем скрипты для сборки deb пакета
builder - INFO - Скачивание nginx src...
builder - INFO - --> http://nginx.org/download/nginx-1.14.1.tar.gz
builder - INFO - Скачивание сторонних модулей...
builder - INFO - Модуль nginx-auth-ldap будет скачан по ветке
builder - INFO - -- Завершено: nginx-auth-ldap
builder - INFO - -- Завершено: ngx_http_substitutions_filter_module
builder - INFO - Модуль headers-more-nginx-module будет скачиваться
builder - INFO - Модуль nginx-module-vts будет скачан по тегу
builder - INFO - -- Завершено: nginx-module-vts
builder - INFO - Модуль ngx_devel_kit будет скачан по тегу
builder - INFO - -- Завершено: ngx_devel_kit
builder - INFO - -- Завершено: ngx_cache_purge
builder - INFO - -- Завершено: ngx_http_dyups_module
builder - INFO - Скачивание зависимостей
builder - INFO - Сборка .deb пакета
builder - INFO - Выполняем 'dh_make'...
builder - INFO - Выполняем 'dpkg-buildpackage'...
dpkg-deb: сборка пакета 'nginx' в '..\/nginx_1.14.1-1_amd64.deb'.

Точно так, с помощью пары команд мы создаем окружение и нужную сборку Nginx, а пакет появляется в директории, откуда запущен скрипт.

Интеграция

Также мы можем интегрировать наш инструмент в процессы CI/CD. В этом может помочь любая из множества существующих на сегодняшний день CI-систем, например Teamcity или GitLab CI.

В результате при каждом изменении спецификации в Git-репозитории автоматически запускается сборка артефакта. Номер ревизии связывается с счетчиком запусков билда.
Потратив еще немного времени, можно настроить отправку артефакта в локальный репозиторий пакетов, Nexus, Artifactory и так далее.

Дополнительным плюсом является то, что конфигурационный yaml-файл можно подключить в Ansible или другую систему автоматического конфигурирования, чтобы получать оттуда номер версии и тип пакета, которые мы хотим задеплоить.

Какво следва

Проект еще не завершен. Вот над чем мы работаем сейчас:

• Увеличиваем возможности конфигурирования, но при этом сохраняем их максимально простыми. Не хочется определять тысячу параметров, если нужно всего два, а остальное подходит по умолчанию. К этому относятся флаги компиляции (сейчас изменить их можно во внутреннем файле конфигурации src/config.py), пути установки, пользователя для запуска.
• Добавляем варианты автоматической отправки пакета в различные хранилища артефактов.
• Выполнение пользовательской команды при загрузке модуля (например для использования github.com/nginx-modules/nginx_upstream_check_module нужно сначала применить патч определенной версии)
• Добавляем проведение тестов:
  • Пакет корректно устанавливается.
  • Nginx имеет нужную версию и собран с требуемыми флагами и модулями.
  • Создаются нужные пути, учетные записи и так далее.

Но можете да ползвате този инструмент още сега, а също така да предлагате подобрения — github.com/TinkoffCreditSystems/Nginx-builder Добре дошли!

Източник: habr.com