Ansible + auto git pull u klasteru virtuelnih mašina u oblaku

Ansible + auto git pull u klasteru virtuelnih mašina u oblaku

Dobar dan

Imamo nekoliko oblaka klastera sa velikim brojem virtuelnih mašina u svakoj. Sve to hostujemo u Hetzneru. U svakom klasteru imamo po jednu master mašinu, sa koje se pravi snapshot i automatski deli po svim virtuelnim mašinama unutar klastera.

Ova shema nam ne omogućava da pravilno koristimo gitlab-runner-e, jer se javljaju mnogi problemi kada se pojavi više istih registrovanih runner-a, što nas je navelo na pronalaženje zaobilaznog rešenja i pisanje ovog članka/manuala.

Verovatno to nije najbolja praksa, ali ovo rešenje se pokazalo kao najpraktičnije i najjednostavnije.

Za tutorijal molim da pogledate ispod.

Potrebni paketi na master mašini:

  • python
  • git
  • fajl sa ssh ključevima

Opšti princip implementacije automatskog git pull-a na svim virtuelnim mašinama je taj da je potrebna mašina na kojoj će biti instaliran Ansible. Sa te mašine ansible će slati komande git pull i restartovati uslugu koja je ažurirana. Kreirali smo za te svrhe posebnu virtuelnu mašinu van klastera, postavili smo na nju:

  • python
  • ansible
  • gitlab-runner

Iz organizacijskih pitanja — potrebno je registrovati gitlab-runner, napraviti ssh-keygen, ubaciti javni ssh ključ te mašine u .ssh/authorized_keys na master mašini, otvoriti port 22 na master mašini za ansible.

Sada ćemo podesiti ansible

Budući da je naš cilj automatizovati sve što je moguće. U fajlu /etc/ansible/ansible.cfg uklonićemo komentare sa reda host_key_checking = False, kako ansible ne bi tražio potvrdu novih mašina.

Zatim, potrebno je automatski generisati inventar fajl za ansible, iz kojeg će uzimati ip mašine na kojima treba izvršiti git pull.

Ovaj fajl generišemo pomoću Hetzner API-a, ali vi možete uzeti listu hostova iz vaše AWS, Azure, baze podataka (sigurno imate neki API za prikaz vaših pokrenutih mašina, zar ne?).

Za Ansible je veoma važna struktura inventar fajla, njegov izgled treba da bude sledeći:

[grupa]
ip-adresa
ip-adresa

[grupa2]
ip-adresa
ip-adresa

Za generisanje takvog fajla napravimo jednostavan skript (nazovimo ga vm_list):

#!/bin/bash
echo [group] > /etc/ansible/cloud_ip &&
"ваш CLI запрос на получение IP запущенных машин в кластере"  >> /etc/ansible/cloud_ip
echo " " >> /etc/ansible/cloud_ip
echo [group2] > /etc/ansible/cloud_ip &&
"ваш CLI запрос на получение IP запущенных машин в другом кластере"  >> /etc/ansible/cloud_ip

Pravo je vreme da proverimo da li ansible radi i da li može da uzme ip adrese:

/etc/ansible/./vm_list && ansible -i /etc/ansible/cloud_ip -m shell -a 'hostname' group

U izlazu treba da dobijemo hostname-ove mašina na kojima je izvršena komanda.
Par reči o sintaksi:

  • /etc/ansible/./vm_list — генерируем список машин
  • -i — apsolutna putanja do inventar fajla
  • -m — govorimo ansiblu da koristi shell modul
  • -a — argument. You can enter any command here.
  • group — the name of your cluster. If you need to apply it to all clusters, replace group with all.

Let’s move on — we will try to perform a git pull on our virtuelnim mašinama:

/etc/ansible/./vm_list && ansible -i /etc/ansible/cloud_ip -m shell -a 'cd /path/to/project && git pull' group 

If the output shows already up to date or a download from the repository, everything is working.

Now we proceed to the reason this was all conceived.

We will teach our script to run automatically upon commit to the master branch in gitlab.

First, let's make our script nicer and turn it into an executable file (we'll name it exec_pull) —

#!/bin/bash

/etc/ansible/./get_vms && ansible -i /etc/ansible/cloud_ip -m shell -a "$@"

We go to our gitlab and create a file in the project. .gitlab-ci.yml
Inside it, we place the following:

variables:
  GIT_STRATEGY: none
  VM_GROUP: group

stages:
  - pull
  - restart

run_exec_pull:
  stage: pull
  script:
  
   - /etc/ansible/exec_pull 'cd /path/to/project/'$CI_PROJECT_NAME' && git pull' $VM_GROUP
  
  only:
  - master

run_service_restart:
  stage: restart
  script:
 
   - /etc/ansible/exec_pull 'your_app_stop && your_app_start' $VM_GROUP
   
  only:
  - master 

Everything is ready. Now —

  • make a commit.
  • let's hope that everything works.

When transferring .yml to other projects, it is enough to only change the service name for restart and the name of the cluster on which the ansible commands will be executed.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster