Ansible + автоматично git pull в клъстера от виртуални машини в облака.

Добър ден

Разполагаме с няколко облачни клъстера с голям брой виртуални машини в всеки от тях. Всичко това се хоства в Hetzner. Във всеки клъстер имаме по една мастер машина, от която се прави snapshot и автоматично се разпространява по всички виртуалки в клъстера.

Тази схема не ни позволява да използваме нормално gitlab-runner-ите, тъй като възникват много проблеми при появата на множество аналогични регистрирани рънери, което и доведе до намирането на обходен вариант и написването на тази статия/ръководство.

Вероятно това не е най-добрата практика, но това решение изглеждаше максимално удобно и простичко.

Моля, следвайте инструкциите в долната част.

Необходими пакети на мастер машината:

• python
• git
• файл с ssh ключове

Общият принцип за реализиране на автоматичен git pull на всички виртуалки е, че е необходима машина, на която ще бъде инсталиран Ansible. От тази машина ansible ще изпраща команди git pull и рестарт на услугата, която е обновена. Създадохме специална виртуална машина извън клъстерите, на която инсталирахме:

• python
• ansible
• gitlab-runner

По организационни въпроси — необходимо е да регистрирате gitlab-runner, да направите ssh-keygen и да качите публичния ssh ключ на тази машина в .ssh/authorized_keys на мастер машината и да отворите порт 22 на мастер машината за ansible.

Сега ще конфигурираме ansible

Тъй като целта ни е да автоматизираме всичко, което може. В файла /etc/ansible/ansible.cfg ще разкоментираме реда host_key_checking = False, за да не поиска ansible потвърждение за нови машини.

Следва необходимо автоматично да генерираме инвентарен файл за ansible, от който той ще взема ip адресите на машините, на които трябва да се извършва git pull.

Генерираме този файл с помощта на API на Hetzner, а можете да вземете списък с хостове от вашата AWS, Azure, БД (със сигурност имате API за изкарване на вашите стартирани машини, нали?).

За Ansible структурата на инвентарния файл е много важна, той трябва да изглежда следния начин:

[група]
ip-адрес
ip-адрес

[група2]
ip-адрес
ip-адрес

За генериране на такъв файл ще направим простичък скрипт (да го наречем vm_list):

#!/bin/bash
echo [group] > /etc/ansible/cloud_ip &&
"ваш CLI запрос на получение IP запущенных машин в кластере"  >> /etc/ansible/cloud_ip
echo " " >> /etc/ansible/cloud_ip
echo [group2] > /etc/ansible/cloud_ip &&
"ваш CLI запрос на получение IP запущенных машин в другом кластере"  >> /etc/ansible/cloud_ip

Сега е време да проверим дали ansible работи и общува с получаването на ip адреси:

/etc/ansible/./vm_list && ansible -i /etc/ansible/cloud_ip -m shell -a 'hostname' group

В изхода трябва да получим хостнеймове на машините, на които е изпълнена командата.
Няколко думи за синтаксиса:

• /etc/ansible/./vm_list — генерируем список машин
• -i — абсолютен път до инвентарния файл
• -m — казваме на ansible да използва модула shell
• -a — аргумент. Тук може да напишете всяка команда
• group — името на вашия клъстер. Ако искате да направите на всички клъстери, сменете group с all

Продължаваме — ще пробваме да направим git pull на нашите виртуални машини:

/etc/ansible/./vm_list && ansible -i /etc/ansible/cloud_ip -m shell -a 'cd /path/to/project && git pull' group 

Ако в аутпута видим already up to date или изтегляне от репозиторий, значи всичко работи.

Сега това, за което всичко това беше замислено

Ще научим нашия скрипт да се изпълнява автоматично при комит в главния клон в gitlab

Първо ще направим нашия скрипт по-красив и ще го поставим в изпълняваем файл (ще го наречем exec_pull) —

#!/bin/bash

/etc/ansible/./get_vms && ansible -i /etc/ansible/cloud_ip -m shell -a "$@"

Отиваме в нашия gitlab и в проекта създаваме файл .gitlab-ci.yml
Вътре поставяме следното:

variables:
  GIT_STRATEGY: none
  VM_GROUP: group

stages:
  - pull
  - restart

run_exec_pull:
  stage: pull
  script:
  
   - /etc/ansible/exec_pull 'cd /path/to/project/'$CI_PROJECT_NAME' && git pull' $VM_GROUP
  
  only:
  - master

run_service_restart:
  stage: restart
  script:
 
   - /etc/ansible/exec_pull 'your_app_stop && your_app_start' $VM_GROUP
   
  only:
  - master 

Всичко е готово. Сега —

• правим комит
• радвайки се на факта, че всичко работи

При пренасяне на .yml в други проекти е достатъчно само да смените името на услугата за рестарт и името на клъстера, на който ще се изпълняват командите ansible.

Източник: habr.com