몇 가지 명령으로 Nginx를 조립합니다.

Привет!
제 이름은 Sergey이고 Tinkoff.ru 플랫폼의 API 팀에서 인프라 엔지니어로 일하고 있습니다.

이 기사에서는 우리 팀이 밸런서를 준비할 때 직면했던 문제에 대해 이야기하겠습니다. Nginx에 다양한 프로젝트를 위해. 또한 대부분의 문제를 극복할 수 있게 해준 도구에 대해서도 말씀드리겠습니다.

Nginx는 다기능이며 활발히 개발되고 있는 프록시 서버입니다. 많은 수의 모듈을 갖추고 있으며, 이것은 완전한 목록이 아닙니다. 각 프로젝트는 밸런서의 기능과 Nginx 버전(예: http/2 및 grpc 프록시 존재) 및 모듈 구성에 대한 특정 요구 사항을 부과합니다.

우리는 특정 Linux 배포판에서 실행되는 필수 모듈 세트를 갖춘 새로운 버전을 보고 싶습니다. 우리의 경우 이는 deb 및 rpm 기반 시스템입니다. 이 문서에서는 컨테이너 옵션을 고려하지 않습니다.

우리는 밸런서의 기능을 신속하게 변경하고 싶습니다. 그리고 여기서 즉시 질문이 생깁니다. 가능한 한 적은 자원을 소비하면서 이를 달성하는 방법은 무엇입니까? 유한한 수의 입력 매개변수를 지정할 수 있고 출력에서 ​​원하는 OS에 대한 deb/rpm 패키지 형식의 아티팩트를 수신할 수 있도록 프로세스를 설정하는 것이 훨씬 더 좋습니다.

결과적으로 다음과 같은 여러 가지 문제가 공식화될 수 있습니다.

• 항상 최신 버전의 Nginx가 포함된 패키지가 있는 것은 아닙니다.
• 필수 모듈이 포함된 패키지가 없습니다.
• 패키지를 수동으로 컴파일하고 빌드하는 것은 시간이 많이 걸리고 매우 지루합니다.
• 이 Nginx 인스턴스가 어떻게 조립되는지에 대한 설명은 없습니다.

이러한 문제를 해결하려면 사람이 읽을 수 있는 형식의 사양을 입력으로 사용하고 이를 기반으로 필요한 기능을 갖춘 Nginx 패키지를 조합하는 도구가 필요합니다.

방대한 Github에서 적합한 옵션을 찾지 못해 우리는 자체 도구를 만들기로 결정했습니다. nginx 빌더.

명세서

우리 도구에서는 코드 형식으로 사양에 대한 설명을 생성하여 Git 저장소에 넣을 수 있기를 원했습니다. 이를 위해 우리는 이러한 작업에 익숙한 형식인 yaml을 선택했습니다. 사양 예:

nginx_version: 1.14.1
output_package: deb
modules:
  - module:
      name: nginx-auth-ldap
      git_url: https://github.com/kvspb/nginx-auth-ldap.git
      git_branch: master
      dependencies:
        - libldap2-dev
  - module:
      name: ngx_http_substitutions_filter_module
      git_url: https://github.com/yaoweibin/ngx_http_substitutions_filter_module.git
  - module:
      name: headers-more-nginx-module
      web_url: https://github.com/openresty/headers-more-nginx-module/archive/v0.261.zip
  - module:
      name: nginx-module-vts
      git_url: https://github.com/vozlt/nginx-module-vts.git
      git_tag: v0.1.18
  - module:
      name: ngx_devel_kit
      git_url: https://github.com/simplresty/ngx_devel_kit.git
      git_tag: v0.3.0
  - module:
      name: ngx_cache_purge
      git_url: https://github.com/FRiCKLE/ngx_cache_purge.git
  - module:
      name: ngx_http_dyups_module
      git_url: https://github.com/yzprofile/ngx_http_dyups_module.git
  - module:
      name: nginx-brotli
      git_url: https://github.com/eustas/ngx_brotli.git
      git_tag: v0.1.2
  - module:
      name: nginx_upstream_check_module
      git_url: https://github.com/yaoweibin/nginx_upstream_check_module.git
  - module:
      name: njs
      git_url: https://github.com/nginx/njs.git
      git_tag: 0.2.5
      config_folder_path: nginx

여기서는 필수 모듈 세트가 포함된 Nginx 버전 1.14.2의 deb 패키지를 보고 싶다는 것을 나타냅니다. 모듈이 있는 섹션은 선택 사항입니다. 각각에 대해 다음을 설정할 수 있습니다.

• 이름입니다.
• 받을 수 있는 주소:
  • Git 저장소. 분기나 태그를 지정할 수도 있습니다.
  • 아카이브 웹 링크.
  • 아카이브에 대한 로컬 링크.

일부 모듈에는 추가 종속성을 설치해야 합니다. 예를 들어 nginx-auth-ldap에는 libldap2-dev가 설치되어 있어야 합니다. 모듈을 설명할 때 필요한 종속성을 지정할 수도 있습니다.

환경

우리 도구를 사용하면 컴파일, 패키지 어셈블리 및 기타 보조 소프트웨어용 유틸리티가 설치된 환경을 빠르게 얻을 수 있습니다. 여기에서는 필요한 모든 것을 갖춘 Docker 컨테이너가 이상적입니다(저장소에는 이미 ubuntu 및 centos용 Docker 파일의 몇 가지 예가 있습니다).

사양이 작성되고 환경이 준비된 후 이전에 종속성을 설치한 빌더를 시작합니다.

pip3 install -r requirements.txt
./main.py build -f [конфиг_файл].yaml -r [номер_ревизии]

여기의 개정 번호는 선택 사항이며 어셈블리 버전 관리에 사용됩니다. 이는 패키지의 메타 정보에 기록되므로 서버에서 쉽게 업데이트할 수 있습니다.
로그를 통해 무슨 일이 일어나고 있는지 모니터링할 수 있습니다. 주요 사항의 예는 다음과 같습니다.

builder - INFO - Parse yaml file: example.config.yaml
builder - INFO - Download scripts for build deb package
builder - INFO - Downloading nginx src...
builder - INFO - --> http://nginx.org/download/nginx-1.14.1.tar.gz
builder - INFO - Downloading 3d-party modules...
builder - INFO - Module nginx-auth-ldap will download by branch
builder - INFO - -- Done: nginx-auth-ldap
builder - INFO - -- Done: ngx_http_substitutions_filter_module
builder - INFO - Module headers-more-nginx-module will downloading
builder - INFO - Module nginx-module-vts will download by tag
builder - INFO - -- Done: nginx-module-vts
builder - INFO - Module ngx_devel_kit will download by tag
builder - INFO - -- Done: ngx_devel_kit
builder - INFO - -- Done: ngx_cache_purge
builder - INFO - -- Done: ngx_http_dyups_module
builder - INFO - Downloading dependencies
builder - INFO - Building .deb package
builder - INFO - Running 'dh_make'...
builder - INFO - Running 'dpkg-buildpackage'...
dpkg-deb: building package 'nginx' in '../nginx_1.14.1-1_amd64.deb'.

따라서 몇 가지 명령만으로 환경과 필요한 Nginx 어셈블리를 생성하면 스크립트가 실행되는 디렉터리에 패키지가 나타납니다.

임베딩

또한 도구를 CI/CD 프로세스에 통합할 수도 있습니다. 예를 들어 오늘날 존재하는 많은 CI 시스템 중 하나가 이에 도움이 될 수 있습니다. 팀 시티 또는 깃랩 CI.

결과적으로 Git 저장소의 사양이 변경될 때마다 아티팩트 빌드가 자동으로 시작됩니다. 개정 번호는 빌드 실행 카운터에 연결되어 있습니다.
시간이 좀 더 있으면 로컬 패키지 저장소, Nexus, Artifactory 등으로 전송되도록 아티팩트를 구성할 수 있습니다.

추가적인 이점은 yaml 구성 파일을 Ansible 또는 다른 자동 구성 시스템에 연결할 수 있고 거기에서 배포하려는 버전 번호와 패키지 유형을 가져올 수 있다는 것입니다.

다음 단계

프로젝트가 아직 완료되지 않았습니다. 현재 우리가 작업하고 있는 작업은 다음과 같습니다.

• 우리는 구성 가능성을 확장하는 동시에 가능한 한 단순하게 유지합니다. 두 개만 필요하고 나머지는 기본적으로 적합하다면 천 개의 매개변수를 정의하고 싶지 않을 것입니다. 여기에는 컴파일 플래그(이제 내부 구성 파일 src/config.py에서 변경할 수 있음), 설치 경로 및 시작 사용자가 포함됩니다.
• 다양한 아티팩트 저장소에 패키지를 자동으로 보내는 옵션을 추가하고 있습니다.
• 모듈을 로드할 때 사용자 정의 명령을 실행합니다(예: github.com/nginx-modules/nginx_upstream_check_module 먼저 특정 버전의 패치를 적용해야 합니다)
• 테스트 추가:
  • 패키지가 올바르게 설치되었습니다.
  • Nginx에는 필수 버전이 있으며 필수 플래그 및 모듈로 빌드되었습니다.
  • 필요한 경로, 계정 등이 생성됩니다.

하지만 이제 이 도구를 사용하고 개선 사항을 제안할 수도 있습니다. github.com/TinkoffCreditSystems/Nginx-builder 어서 오세요!

출처 : habr.com