ພວກເຮົາປະກອບ Nginx ຂອງພວກເຮົາດ້ວຍສອງຄໍາສັ່ງ

Hello!
ຂ້ອຍຊື່ Sergey, ຂ້ອຍເຮັດວຽກເປັນວິສະວະກອນໂຄງສ້າງພື້ນຖານໃນທີມ API ຂອງເວທີ tinkoff.ru.

ໃນບົດຄວາມນີ້ຂ້າພະເຈົ້າຈະເວົ້າກ່ຽວກັບບັນຫາທີ່ທີມງານຂອງພວກເຮົາປະເຊີນໃນເວລາທີ່ການກະກຽມການດຸ່ນດ່ຽງໂດຍອີງໃສ່ Nginx ສໍາລັບໂຄງການຕ່າງໆ. ຂ້ອຍຍັງຈະບອກເຈົ້າກ່ຽວກັບເຄື່ອງມືທີ່ຊ່ວຍໃຫ້ຂ້ອຍສາມາດເອົາຊະນະພວກມັນໄດ້.

Nginx ເປັນ​ເຊີບ​ເວີ​ພຣັອກຊີ​ທີ່​ມີ​ຫຼາຍ​ປະ​ສິດ​ທິ​ພາບ ແລະ​ພັດ​ທະ​ນາ​ຢ່າງ​ຫ້າວ​ຫັນ. ມັນ​ມີ​ຈໍາ​ນວນ​ຫຼາຍ​ຂອງ​ໂມ​ດູນ​, ນີ້ບໍ່ແມ່ນບັນຊີລາຍຊື່ຄົບຖ້ວນ. ແຕ່ລະໂຄງການກໍານົດຄວາມຕ້ອງການສະເພາະໃດຫນຶ່ງກ່ຽວກັບການເຮັດວຽກຂອງ balancer ແລະສະບັບຂອງ Nginx (ຕົວຢ່າງເຊັ່ນ, ມີ http/2 ແລະ grpc proxying), ແລະອົງປະກອບຂອງໂມດູນຂອງຕົນ.

ພວກເຮົາຢາກຈະເຫັນລຸ້ນໃໝ່ທີ່ມີຊຸດໂມດູນທີ່ຕ້ອງການ, ເຮັດວຽກພາຍໃຕ້ການແຈກຢາຍ Linux ສະເພາະ. ໃນກໍລະນີຂອງພວກເຮົາ, ເຫຼົ່ານີ້ແມ່ນລະບົບ deb- ແລະ rpm-based. ທາງເລືອກທີ່ມີບັນຈຸບໍ່ໄດ້ຖືກພິຈາລະນາໃນບົດຄວາມນີ້.

ພວກເຮົາຕ້ອງການປ່ຽນການທໍາງານຂອງຕົວດຸ່ນດ່ຽງຂອງພວກເຮົາຢ່າງໄວວາ. ແລະໃນທີ່ນີ້ຄໍາຖາມເກີດຂື້ນທັນທີ: ວິທີການບັນລຸເປົ້າຫມາຍນີ້ໃນຂະນະທີ່ໃຊ້ຊັບພະຍາກອນຫນ້ອຍເທົ່າທີ່ເປັນໄປໄດ້? ມັນຈະເປັນການດີກວ່າທີ່ຈະຕັ້ງຄ່າຂະບວນການເພື່ອໃຫ້ພວກເຮົາສາມາດກໍານົດຈໍານວນຕົວກໍານົດການປ້ອນຂໍ້ມູນຈໍາກັດ, ແລະໃນຜົນໄດ້ຮັບຈະໄດ້ຮັບສິ່ງປະດິດໃນຮູບແບບຂອງຊຸດ deb / rpm ສໍາລັບ OS ທີ່ຕ້ອງການ.

ດັ່ງນັ້ນ, ບັນຫາຈໍານວນຫນຶ່ງສາມາດຖືກສ້າງຂື້ນ:

• ບໍ່ມີແພັກເກດທີ່ມີ Nginx ລຸ້ນລ້າສຸດສະເໝີໄປ.
• ບໍ່ມີຊຸດທີ່ມີໂມດູນທີ່ຕ້ອງການ.
• ການລວບລວມແລະສ້າງຊຸດດ້ວຍຕົນເອງແມ່ນໃຊ້ເວລາຫຼາຍແລະຫນ້າເບື່ອແທ້ໆ.
• ບໍ່ມີລາຍລະອຽດກ່ຽວກັບວິທີການນີ້ຫຼືວ່າ Nginx instance ຖືກປະກອບ.

ເພື່ອແກ້ໄຂບັນຫາເຫຼົ່ານີ້, ຄວາມຕ້ອງການເກີດຂື້ນສໍາລັບເຄື່ອງມືທີ່ຈະເອົາຂໍ້ມູນສະເພາະໃນຮູບແບບທີ່ມະນຸດສາມາດອ່ານໄດ້ແລະປະກອບຊຸດ Nginx ທີ່ມີຫນ້າທີ່ຈໍາເປັນໂດຍອີງໃສ່ມັນ.

ບໍ່ໄດ້ຊອກຫາທາງເລືອກທີ່ເຫມາະສົມສໍາລັບພວກເຮົາກ່ຽວກັບຄວາມກວ້າງໃຫຍ່ຂອງ Github, ພວກເຮົາໄດ້ຕັດສິນໃຈສ້າງເຄື່ອງມືຂອງພວກເຮົາເອງ - nginx-builder.

Спецификации

ໃນເຄື່ອງມືຂອງພວກເຮົາ, ພວກເຮົາຕ້ອງການສ້າງລາຍລະອຽດຂອງຂໍ້ກໍານົດໃນຮູບແບບຂອງລະຫັດ, ເຊິ່ງຫຼັງຈາກນັ້ນສາມາດໃສ່ເຂົ້າໄປໃນບ່ອນເກັບມ້ຽນ Git. ເພື່ອເຮັດສິ່ງນີ້, ພວກເຮົາເລືອກຮູບແບບທີ່ຄຸ້ນເຄີຍກັບສິ່ງດັ່ງກ່າວ - yaml. ຕົວຢ່າງສະເພາະ:

nginx_version: 1.14.1
output_package: deb
modules:
  - module:
      name: nginx-auth-ldap
      git_url: https://github.com/kvspb/nginx-auth-ldap.git
      git_branch: master
      dependencies:
        - libldap2-dev
  - module:
      name: ngx_http_substitutions_filter_module
      git_url: https://github.com/yaoweibin/ngx_http_substitutions_filter_module.git
  - module:
      name: headers-more-nginx-module
      web_url: https://github.com/openresty/headers-more-nginx-module/archive/v0.261.zip
  - module:
      name: nginx-module-vts
      git_url: https://github.com/vozlt/nginx-module-vts.git
      git_tag: v0.1.18
  - module:
      name: ngx_devel_kit
      git_url: https://github.com/simplresty/ngx_devel_kit.git
      git_tag: v0.3.0
  - module:
      name: ngx_cache_purge
      git_url: https://github.com/FRiCKLE/ngx_cache_purge.git
  - module:
      name: ngx_http_dyups_module
      git_url: https://github.com/yzprofile/ngx_http_dyups_module.git
  - module:
      name: nginx-brotli
      git_url: https://github.com/eustas/ngx_brotli.git
      git_tag: v0.1.2
  - module:
      name: nginx_upstream_check_module
      git_url: https://github.com/yaoweibin/nginx_upstream_check_module.git
  - module:
      name: njs
      git_url: https://github.com/nginx/njs.git
      git_tag: 0.2.5
      config_folder_path: nginx

ໃນທີ່ນີ້ພວກເຮົາຊີ້ໃຫ້ເຫັນວ່າພວກເຮົາຕ້ອງການເບິ່ງຊຸດ deb ກັບ Nginx ຮຸ່ນ 1.14.2 ກັບຊຸດໂມດູນທີ່ກໍານົດໄວ້. ພາກສ່ວນທີ່ມີໂມດູນແມ່ນທາງເລືອກ. ສໍາລັບແຕ່ລະຄົນ, ທ່ານສາມາດກໍານົດ:

• ຊື່.
• ທີ່​ຢູ່​ບ່ອນ​ທີ່​ທ່ານ​ສາ​ມາດ​ໄດ້​ຮັບ​ມັນ​:
  • Git repository. ທ່ານຍັງສາມາດລະບຸສາຂາຫຼືແທັກໄດ້.
  • ຈັດເກັບການເຊື່ອມຕໍ່ເວັບ.
  • ການເຊື່ອມຕໍ່ທ້ອງຖິ່ນໄປຫາບ່ອນເກັບມ້ຽນ.

ບາງໂມດູນຕ້ອງການການຕິດຕັ້ງເພີ່ມເຕີມ, ຕົວຢ່າງ nginx-auth-ldap ຕ້ອງການການຕິດຕັ້ງ libldap2-dev. ການເພິ່ງພາອາໄສທີ່ຈໍາເປັນຍັງສາມາດຖືກກໍານົດໃນເວລາທີ່ອະທິບາຍໂມດູນ.

ສະພາບແວດລ້ອມ

ໃນເຄື່ອງມືຂອງພວກເຮົາທ່ານສາມາດໄດ້ຮັບສະພາບແວດລ້ອມທີ່ມີອຸປະກອນທີ່ຕິດຕັ້ງສໍາລັບການລວບລວມ, ການປະກອບຊຸດແລະຊອບແວຊ່ວຍອື່ນໆ. ຕູ້ບັນຈຸ Docker ທີ່ມີທຸກສິ່ງທີ່ທ່ານຕ້ອງການແມ່ນເຫມາະສົມຢູ່ທີ່ນີ້ (ບ່ອນເກັບມ້ຽນມີສອງສາມຕົວຢ່າງຂອງໄຟລ໌ Docker ສໍາລັບ ubuntu ແລະ centos).

ຫຼັງຈາກການອອກແບບສະເພາະແລະສະພາບແວດລ້ອມໄດ້ຖືກກະກຽມ, ພວກເຮົາເປີດຕົວ builder ຂອງພວກເຮົາ, ໂດຍໄດ້ຕິດຕັ້ງການເພິ່ງພາອາໄສຂອງມັນກ່ອນຫນ້ານີ້:

pip3 install -r requirements.txt
./main.py build -f [конфиг_файл].yaml -r [номер_ревизии]

ໝາຍເລກການດັດແກ້ຢູ່ທີ່ນີ້ແມ່ນເປັນທາງເລືອກ ແລະຖືກໃຊ້ສຳລັບການປະກອບເວີຊັນ. ມັນຖືກຂຽນໄວ້ໃນຂໍ້ມູນ meta ຂອງແພັກເກັດ, ເຮັດໃຫ້ມັນງ່າຍຕໍ່ການປັບປຸງໃນເຄື່ອງແມ່ຂ່າຍ.
ຈາກບັນທຶກທີ່ທ່ານສາມາດຕິດຕາມສິ່ງທີ່ເກີດຂຶ້ນ. ນີ້ແມ່ນຕົວຢ່າງຂອງຈຸດຕົ້ນຕໍ:

builder - INFO - Parse yaml file: example.config.yaml
builder - INFO - Download scripts for build deb package
builder - INFO - Downloading nginx src...
builder - INFO - --> http://nginx.org/download/nginx-1.14.1.tar.gz
builder - INFO - Downloading 3d-party modules...
builder - INFO - Module nginx-auth-ldap will download by branch
builder - INFO - -- Done: nginx-auth-ldap
builder - INFO - -- Done: ngx_http_substitutions_filter_module
builder - INFO - Module headers-more-nginx-module will downloading
builder - INFO - Module nginx-module-vts will download by tag
builder - INFO - -- Done: nginx-module-vts
builder - INFO - Module ngx_devel_kit will download by tag
builder - INFO - -- Done: ngx_devel_kit
builder - INFO - -- Done: ngx_cache_purge
builder - INFO - -- Done: ngx_http_dyups_module
builder - INFO - Downloading dependencies
builder - INFO - Building .deb package
builder - INFO - Running 'dh_make'...
builder - INFO - Running 'dpkg-buildpackage'...
dpkg-deb: building package 'nginx' in '../nginx_1.14.1-1_amd64.deb'.

ດັ່ງນັ້ນ, ມີພຽງແຕ່ສອງສາມຄໍາສັ່ງ, ພວກເຮົາສ້າງສະພາບແວດລ້ອມແລະການປະກອບ Nginx ທີ່ຕ້ອງການ, ແລະຊຸດຈະປາກົດຢູ່ໃນໄດເລກະທໍລີຈາກບ່ອນທີ່ສະຄິບຖືກເປີດຕົວ.

ການຝັງ

ພວກເຮົາຍັງສາມາດເຊື່ອມໂຍງເຄື່ອງມືຂອງພວກເຮົາເຂົ້າໃນຂະບວນການ CI/CD. ທຸກໆລະບົບ CI ທີ່ມີຢູ່ໃນມື້ນີ້ສາມາດຊ່ວຍໃນເລື່ອງນີ້, ຕົວຢ່າງ ທີມເມືອງ ຫຼື Gitlab CI.

ດັ່ງນັ້ນ, ທຸກໆຄັ້ງທີ່ມີການປ່ຽນແປງສະເພາະໃນບ່ອນເກັບມ້ຽນ Git, ການກໍ່ສ້າງຂອງປອມຈະຖືກເປີດຕົວໂດຍອັດຕະໂນມັດ. ໝາຍເລກການແກ້ໄຂແມ່ນເຊື່ອມຕໍ່ກັບຕົວນັບການເປີດຕົວຂອງການກໍ່ສ້າງ.
ດ້ວຍເວລາອີກໜ້ອຍໜຶ່ງ, ທ່ານສາມາດກຳນົດຄ່າຂອງປອມທີ່ຈະຖືກສົ່ງໄປຫາບ່ອນເກັບມ້ຽນຊຸດທ້ອງຖິ່ນຂອງທ່ານ, Nexus, Artifactory, ແລະອື່ນໆ.

ປະໂຫຍດເພີ່ມເຕີມແມ່ນວ່າໄຟລ໌ການຕັ້ງຄ່າ yaml ສາມາດເຊື່ອມຕໍ່ກັບ Ansible ຫຼືລະບົບການຕັ້ງຄ່າອັດຕະໂນມັດອື່ນ, ແລະຈາກນັ້ນພວກເຮົາສາມາດເອົາຈໍານວນຮຸ່ນແລະປະເພດຊຸດທີ່ພວກເຮົາຕ້ອງການນໍາໄປໃຊ້.

ມີຫຍັງຕໍ່ໄປ

ໂຄງການແມ່ນຍັງບໍ່ທັນສໍາເລັດ. ນີ້ແມ່ນສິ່ງທີ່ພວກເຮົາເຮັດວຽກຢູ່ໃນຕອນນີ້:

• ພວກເຮົາຂະຫຍາຍຄວາມເປັນໄປໄດ້ຂອງການຕັ້ງຄ່າ, ແຕ່ໃນເວລາດຽວກັນຮັກສາມັນງ່າຍດາຍເທົ່າທີ່ເປັນໄປໄດ້. ທ່ານບໍ່ຕ້ອງການກໍານົດພັນພາລາມິເຕີຖ້າທ່ານຕ້ອງການພຽງແຕ່ສອງອັນ, ແລະສ່ວນທີ່ເຫຼືອແມ່ນເຫມາະສົມກັບຄ່າເລີ່ມຕົ້ນ. ນີ້ປະກອບມີທຸງການລວບລວມ (ຕອນນີ້ທ່ານສາມາດປ່ຽນພວກມັນຢູ່ໃນໄຟລ໌ການຕັ້ງຄ່າພາຍໃນ src/config.py), ເສັ້ນທາງການຕິດຕັ້ງ, ແລະເປີດຕົວຜູ້ໃຊ້.
• ພວກເຮົາກຳລັງເພີ່ມທາງເລືອກສຳລັບການສົ່ງຊຸດອັດຕະໂນມັດໄປຫາບ່ອນເກັບຂອງປອມຕ່າງໆ.
• ປະຕິບັດຄໍາສັ່ງທີ່ກໍາຫນົດເອງໃນເວລາທີ່ໂຫລດໂມດູນ (ຕົວຢ່າງ, ການນໍາໃຊ້ github.com/nginx-modules/nginx_upstream_check_module ກ່ອນ​ອື່ນ​ຫມົດ​ທ່ານ​ຕ້ອງ​ໄດ້​ນໍາ​ໃຊ້ patch ຂອງ​ສະ​ບັບ​ສະ​ເພາະ​ໃດ​ຫນຶ່ງ​)
• ເພີ່ມການທົດສອບ:
  • ຊຸດໄດ້ຖືກຕິດຕັ້ງຢ່າງຖືກຕ້ອງ.
  • Nginx ມີສະບັບທີ່ຕ້ອງການແລະຖືກສ້າງຂຶ້ນດ້ວຍທຸງແລະໂມດູນທີ່ຕ້ອງການ.
  • ເສັ້ນທາງທີ່ຈໍາເປັນ, ບັນຊີ, ແລະອື່ນໆແມ່ນຖືກສ້າງຂຶ້ນ.

ແຕ່ທ່ານສາມາດນໍາໃຊ້ເຄື່ອງມືນີ້ໃນປັດຈຸບັນ, ແລະຍັງແນະນໍາການປັບປຸງ - github.com/TinkoffCreditSystems/Nginx-builder ສະບາຍດີ!

ແຫຼ່ງຂໍ້ມູນ: www.habr.com