Ansible + automatisk git pull i en kluster av virtuella maskiner i molnet

God dag

Vi har flera molnkluster med ett stort antal virtuella maskiner i varje. Allt detta hostas hos Hetzner. I varje kluster har vi en master-maskin, från vilken en snapshot tas och automatiskt sprids till alla virtuella maskiner inom klustret.

Denna lösning gör det omöjligt för oss att använda gitlab-runners korrekt, eftersom många problem uppstår när flera identiska registrerade runners finns, vilket har lett till att vi letat efter en lösning och skrivit denna artikel/manual.

Detta kanske inte är best practice, men denna lösning verkar vara den mest bekväma och enkla.

För handledningen ber jag dig att läsa vidare.

Nödvändiga paket på master-maskinen:

• python
• git
• fil med ssh-nycklar

Den allmänna principen för att implementera automatisk git pull på alla virtuella maskiner innebär att det behövs en maskin där Ansible är installerat. Från denna maskin kommer ansible att skicka kommandon för git pull och starta om tjänsten som har uppdaterats. Vi har skapat en särskild virtuell maskin utanför klustren för detta ändamål och installerat på den:

• python
• ansible
• gitlab-runner

När det kommer till organisatoriska frågor — det är nödvändigt att registrera gitlab-runner, göra ssh-keygen, och ladda upp den offentliga ssh-nyckeln från denna maskin i .ssh/authorized_keys på master-maskinen, öppna port 22 på master-maskinen för ansible.

Nu ska vi konfigurera ansible

Eftersom vårt mål är att automatisera allt som möjligt. I filen /etc/ansible/ansible.cfg ska vi ta bort kommenteringen på raden host_key_checking = False, så att ansible inte frågar efter bekräftelse för nya maskiner.

Därefter är det nödvändigt att automatiskt generera en inventeringsfil för ansible, från vilken den kommer att hämta ip-adresserna för maskinerna som behöver göra git pull.

Vi genererar denna fil med hjälp av API:et från Hetzner, medan ni kan hämta listan med värdar från er AWS, Azure eller databas (ni har väl något API för att hämta era aktiva maskiner, eller?).

För Ansible är strukturen av inventeringsfilen mycket viktig, den ska se ut så här:

[grupp]
ip-adress
ip-adress

[grupp2]
ip-adress
ip-adress

För att generera en sådan fil ska vi göra ett enkelt skript (vi kallar det vm_list):

#!/bin/bash
echo [group] > /etc/ansible/cloud_ip &&
"ваш CLI запрос на получение IP запущенных машин в кластере"  >> /etc/ansible/cloud_ip
echo " " >> /etc/ansible/cloud_ip
echo [group2] > /etc/ansible/cloud_ip &&
"ваш CLI запрос на получение IP запущенных машин в другом кластере"  >> /etc/ansible/cloud_ip

Det är dags att kontrollera att ansible fungerar och vänjer sig vid att hämta ip-adresser:

/etc/ansible/./vm_list && ansible -i /etc/ansible/cloud_ip -m shell -a 'hostname' group

I outputen ska vi få värdnamnen på maskinerna där kommandot utfördes.
Några ord om syntaxen:

• /etc/ansible/./vm_list — генерируем список машин
• -i — den absoluta sökvägen till inventeringsfilen
• -m — berätta för Ansible att använda modulen shell
• -a — argument. Här kan du skriva vilken kommando som helst
• group — namnet på din kluster. Om du vill göra det på alla kluster, byt group till all

Vi går vidare — låt oss försöka göra git pull på våra virtuella maskiner:

/etc/ansible/./vm_list && ansible -i /etc/ansible/cloud_ip -m shell -a 'cd /path/to/project && git pull' group 

Om vi ser already up to date i output eller en nedladdning från repositoryt, betyder det att allt fungerar.

Nu till det som det här handlade om

Låt oss lära vår skript att köras automatiskt vid commit i master-grenen i GitLab

Först gör vi vår skript snyggare och lägger den i en körbar fil (vi kallar den exec_pull) —

#!/bin/bash

/etc/ansible/./get_vms && ansible -i /etc/ansible/cloud_ip -m shell -a "$@"

Vi går till vårt GitLab och skapar en fil i projektet .gitlab-ci.yml
Vi placerar följande inuti:

variabler:
  GIT_STRATEGY: none
  VM_GROUP: group

steg:
  - pull
  - restart

run_exec_pull:
  steg: pull
  skript:
  
   - /etc/ansible/exec_pull 'cd /path/to/project/'$CI_PROJECT_NAME' && git pull' $VM_GROUP
  
  endast:
  - master

run_service_restart:
  steg: restart
  skript:
 
   - /etc/ansible/exec_pull 'your_app_stop && your_app_start' $VM_GROUP
   
  endast:
  - master 

Allt är klart. Nu —

• gör en commit
• och förutsätter att allt fungerar

När du flyttar .yml till andra projekt räcker det med att byta namn på tjänsten för att starta om och namnet på klustret där Ansible-kommandon ska köras.

Källa: habr.com