Ansible + avto git pull v grozdu virtualnih strojev v oblaku

Ansible + avto git pull v grozdu virtualnih strojev v oblaku

Dober dan

Imamo več oblačnih klicantov z velikim številom virtualnih strojev v vsakem. Vse to gostimo pri Hetznerju. V vsakem klasterju imamo eno master napravo, od katere naredimo posnetek in se ta avtomatsko razširi na vse virtualke znotraj klasterja.

Ta shema nam ne omogoča normalne uporabe gitlab-runnerjev, saj se pojavljajo številne težave zaradi velikega števila enakih registriranih runnerjev, kar nas je spodbudilo, da smo poiskali obvozne poti in napisali ta članek/manual.

Verjetno to ni best practice, a se mi zdi, da je ta rešitev kar najbolj priročna in enostavna.

Prosim, za tutorial poglejte pod klicem.

Potrebni paketi na master napravi:

  • python
  • git
  • datoteka s ssh ključi

Splošna načela izvedbe avtomatskega git pull-a na vseh virtualkah temeljijo na tem, da potrebujemo napravo, na kateri bo nameščen Ansible. Iz te naprave bo Ansible pošiljal ukaze git pull in ponovno zagnal posodobljen servis. Za te namene smo ustvarili posebno virtualno napravo zunaj klasterjev in na njo namestili:

  • python
  • ansible
  • gitlab-runner

Iz organizacijskih vprašanj — potrebno je registrirati gitlab-runner, narediti ssh-keygen, javni ssh ključ te naprave pa dati v .ssh/authorized_keys na master napravi, odpreti 22. port na master napravi za Ansible.

Sedaj nastavimo Ansible

Ker je naš cilj avtomatizirati vse, kar je mogoče. V datoteki /etc/ansible/ansible.cfg bomo odkomentarili vrstico host_key_checking = False, da Ansible ne zahteva potrditve novih naprav.

Nato je potrebno avtomatsko generirati inventarni dokument za Ansible, iz katerega bo črpal IP naslove naprav, na katerih je treba izvesti git pull.

Ta dokument generiramo s pomočjo API-ja Hetznerja, vi pa lahko seznam naprav dobite iz vašega AWS, Azure, baze podatkov (imejte en API za prikazovanje vaših aktivnih naprav, kajne?).

Za Ansible je zelo pomembna struktura inventarnega dokumenta, njegov videz mora biti naslednji:

[skupina]
ip-naslov
ip-naslov

[skupina2]
ip-naslov
ip-naslov

Za generacijo takšne datoteke bomo naredili preprost skript (nato ga poimenujmo vm_list):

#!/bin/bash
echo [group] > /etc/ansible/cloud_ip &&
"ваш CLI запрос на получение IP запущенных машин в кластере"  >> /etc/ansible/cloud_ip
echo " " >> /etc/ansible/cloud_ip
echo [group2] > /etc/ansible/cloud_ip &&
"ваш CLI запрос на получение IP запущенных машин в другом кластере"  >> /etc/ansible/cloud_ip

Čas je, da preverimo, ali Ansible deluje in sodeluje s pridobivanjem IP naslovov:

/etc/ansible/./vm_list && ansible -i /etc/ansible/cloud_ip -m shell -a 'hostname' group

V izhodu moramo prejeti imena naprav, na katerih je ukaz bil izveden.
Beseda o sintaksi:

  • /etc/ansible/./vm_list — генерируем список машин
  • -i — absolutna pot do inventarnega dokumenta
  • -m — povemo Ansible-u, naj uporablja modul shell
  • -a — argument. Here you can enter any command
  • group — the name of your cluster. If you need to do it on all clusters, change group to all

Let's move on — we will try to do a git pull on our virtualnim mašinama:

/etc/ansible/./vm_list && ansible -i /etc/ansible/cloud_ip -m shell -a 'cd /path/to/project && git pull' group 

If we see already up to date or an output from the repository, it means everything is working.

Now to the reason why this was all conceived

We'll teach our script to run automatically on commit in the master branch in GitLab

First, let's make our script prettier and put it in an executable file (we'll name it exec_pull) —

#!/bin/bash

/etc/ansible/./get_vms && ansible -i /etc/ansible/cloud_ip -m shell -a "$@"

Let's go to our GitLab and create a file in the project .gitlab-ci.yml
Inside we place the following:

variables:
  GIT_STRATEGY: none
  VM_GROUP: group

stages:
  - pull
  - restart

run_exec_pull:
  stage: pull
  script:
  
   - /etc/ansible/exec_pull 'cd /path/to/project/'$CI_PROJECT_NAME' && git pull' $VM_GROUP
  
  only:
  - master

run_service_restart:
  stage: restart
  script:
 
   - /etc/ansible/exec_pull 'your_app_stop && your_app_start' $VM_GROUP
   
  only:
  - master 

Everything is ready. Now —

  • let's commit
  • believing that everything works

When transferring .yml to other projects, it is enough to just change the service name for restart and the name of the cluster where the ansible commands will be executed.

Izvor: habr.com

Kupite zanesljivo gostovanje za spletne strani z zaščito pred DDoS, VPS VDS strežniki 🔥 Kupite zanesljivo gostovanje za spletne strani z zaščito pred DDoS, VPS VDS strežniki | ProHoster