Ansible + auto git pull в клъстер от виртуални машини в облака

Добър ден

Имаме няколко облачни клъстера с голям брой виртуални машини във всеки. Ние хостваме целия този бизнес в Hetzner. Във всеки клъстер имаме една главна машина, от която се прави моментна снимка и автоматично се разпространява до всички виртуални машини в клъстера.

Тази схема не ни позволява да използваме gitlab-runners нормално, тъй като възникват много проблеми, когато се появят много идентични регистрирани runner-и, което ни подтикна да намерим заобиколно решение и да напишем тази статия/ръководство.

Това вероятно не е най-добрата практика, но това решение изглеждаше възможно най-удобно и просто.

За урока, моля, вижте кат.

Необходими пакети на главната машина:

• питон
• Git
• файл с ssh ключове

Общият принцип за внедряване на автоматично изтегляне на червата на всички виртуални машини е, че имате нужда от машина, на която ще бъде инсталиран Ansible. От тази машина ansible ще изпрати git pull команди и ще рестартира услугата, която е актуализирана. За тези цели създадохме отделна виртуална машина извън клъстерите и инсталирахме на нея:

• питон
• ansible
• gitlab-бегач

От организационни въпроси - трябва да регистрирате gitlab-runner, да направите ssh-keygen, да качите публичния ssh ключ на тази машина на .ssh/authorized_keys на главната машина, отворете порт 22 за ansible на главната машина.

Сега нека конфигурираме ansible

Тъй като нашата цел е да автоматизираме всичко, което е възможно. Във файл /etc/ansible/ansible.cfg ще разкоментираме реда host_key_checking = Falseтака че ansible да не иска потвърждение за нови машини.

След това трябва автоматично да генерирате инвентарен файл за ansible, откъдето ще вземе ip на машините, на които трябва да направите git pull.

Ние генерираме този файл с помощта на API на Hetzner, можете да вземете списъка с хостове от вашата AWS, Asure, база данни (имате API някъде, за да покажете вашите работещи машини, нали?).

Структурата на файла с инвентара е много важна за Ansible; трябва да изглежда така:

[группа]
ip-адрес
ip-адрес

[группа2]
ip-адрес
ip-адрес

За да генерираме такъв файл, ще направим прост скрипт (нека го наречем vm_list):

#!/bin/bash
echo [group] > /etc/ansible/cloud_ip &&
"ваш CLI запрос на получение IP запущенных машин в кластере"  >> /etc/ansible/cloud_ip
echo " " >> /etc/ansible/cloud_ip
echo [group2] > /etc/ansible/cloud_ip &&
"ваш CLI запрос на получение IP запущенных машин в другом кластере"  >> /etc/ansible/cloud_ip

Време е да проверим дали Ansible работи и е приятелски настроен с получаването на IP адреси:

/etc/ansible/./vm_list && ansible -i /etc/ansible/cloud_ip -m shell -a 'hostname' group

Резултатът трябва да съдържа имената на хостовете на машините, на които е изпълнена командата.
Няколко думи за синтаксиса:

• /etc/ansible/./vm_list - генерира списък с машини
• -i - абсолютен път до файла с инвентара
• -m - кажете на ansible да използва модула shell
• -a е аргументът. Всяка команда може да бъде въведена тук
• група — името на вашия клъстер. Ако трябва да направите това на всички клъстери, променете групата на всички

Нека отидем по-нататък - нека се опитаме да направим git pull на нашите виртуални машини:

/etc/ansible/./vm_list && ansible -i /etc/ansible/cloud_ip -m shell -a 'cd /path/to/project && git pull' group 

Ако в изхода видим вече актуален или разтоварване от хранилището, тогава всичко работи.

Сега всичко това беше предназначено за това

Нека научим нашия скрипт да се изпълнява автоматично, когато се ангажираме с главния клон в gitlab

Първо, нека направим нашия скрипт по-красив и го поставим в изпълним файл (нека го наречем exec_pull) -

#!/bin/bash

/etc/ansible/./get_vms && ansible -i /etc/ansible/cloud_ip -m shell -a "$@"

Нека да отидем в нашата gitlab и да създадем файл в проекта .gitlab-ci.yml
Вътре поставяме следното:

variables:
  GIT_STRATEGY: none
  VM_GROUP: group

stages:
  - pull
  - restart

run_exec_pull:
  stage: pull
  script:
  
   - /etc/ansible/exec_pull 'cd /path/to/project/'$CI_PROJECT_NAME' && git pull' $VM_GROUP
  
  only:
  - master

run_service_restart:
  stage: restart
  script:
 
   - /etc/ansible/exec_pull 'your_app_stop && your_app_start' $VM_GROUP
   
  only:
  - master 

Всичко е готово. Сега -

• направете ангажимент
• Радвам се, че всичко работи

Когато прехвърляте .yml към други проекти, просто трябва да промените името на услугата, която да рестартирате, и името на клъстера, на който ще се изпълняват анзибъл командите.

Източник: www.habr.com