🥇Akselererer Ansible

Det er ingen hemmelighet at med standardinnstillingene kan Ansible utføre arbeidet sitt ikke særlig raskt. I denne artikkelen vil jeg påpeke noen årsaker til dette og foreslå et nyttig minimum av innstillinger som muligens kan øke hastigheten på prosjektet ditt.

Vi diskuterer her og videre Ansible 2.9.x, som ble installert i et nylig opprettet virtualenv på din favoritt måte.

Etter installasjon lager vi en fil «ansible.cfg» ved siden av spilleboken din — dette stedet lar deg flytte innstillingene sammen med prosjektet, og de vil lastes inn ganske automatisk.

Pipelinebygging

Noen har kanskje hørt om at det er nødvendig å bruke pipelining, det vil si at moduler ikke kopieres til filsystemet på målmaskinen, men at en Base64-kodet zip-arkiv sendes direkte til stdin til Python-tolkeren, andre har kanskje ikke hørt om det, men faktum er at: denne innstillingen fremdeles er undervurdert. Dessverre har en av de populære Linux-distribusjonene tidligere hatt dårlig konfigurert sudo som standard — slik at denne kommandoen krevde en tty (terminal), derfor har Ansible latt denne svært nyttige innstillingen være deaktivert som standard.

pipelining = True

Innsamling av fakta

Visste du at med standardinnstillingene starter Ansible faktainnsamling for hver lekse som involverer alle vertsene? Generelt, hvis du ikke visste det, vet du det nå. For å hindre dette må du aktivere enten eksplisitt forespørsel for faktainnsamling (explicit) eller smart-modus. I smart-modus vil fakta bare bli samlet inn fra de vertsene som ikke har vært med i tidligere leksjoner.
UPD. Når du kopierer, må du velge en av disse innstillingene.

gathering = smart|explicit

Gjenbruk av ssh-tilkoblinger

Hvis du noen gang har kjørt Ansible i debug-modus (alternativ «v», gjentatt fra en til ni ganger), har du kanskje merket at ssh-tilkoblinger stadig blir opprettet og brutt. Det finnes også noen detaljer her.

Unngå trinnet med å opprette ssh-tilkoblinger på nytt kan gjøres på to nivåer samtidig: både i ssh-klienten og når filer overføres til den administrerte verten fra kontrollmaskinen.
For reusing an open SSH connection, it is enough to simply pass the necessary keys to the SSH client. Then it will start doing the following: when establishing the SSH connection for the first time, it will additionally create a so-called control socket, and in subsequent connections, it will check the existence of that socket and, if successful, reuse the existing SSH connection. To make all this meaningful, let's set the connection timeout for inactivity. You can read more in the SSH documentation, and in the context of Ansible, we simply use the 'forwarding' of the required options to the SSH client.

ssh_args = "-o ControlMaster=auto -o ControlPersist=15m"

To reuse an already open SSH connection when transferring files to the managed host, it is enough to specify one more unknown setting, ssh_tranfer_method. The documentation on this is extremely sparse and misleading, as this option actually works! However, reading git-repositorier allows you to understand what exactly is going to happen: a command will be executed on the managed host, directly interacting with the required file.

transfer_method = piped

By the way, in the 'develop' branch, this setting also exists and is not going anywhere.

Do not fear the knife, fear the fork

Another useful setting is forks. It determines the number of worker processes that will connect to the hosts and perform tasks simultaneously. Due to the peculiarities of Python as a programming language, it uses processes instead of threads, because Ansible still supports Python 2.7 — no asyncio here, no need to introduce asynchronicity! By default, Ansible starts five workers, but if requested correctly, it can start more:

forks = 20

Just a heads up, there may be some difficulties related to the available memory on the controlling machine. In other words, setting forks=100500 is certainly possible, but who said it will work?

Let's summarize everything

In the end, the necessary settings for ansible.cfg (ini format) may look like this:

[defaults]
gathering = smart|explicit
forks = 20
[ssh_connection]
pipelining = True
ssh_args = -o ControlMaster=auto -o ControlPersist=15m
transfer_method = piped

And if you want to hide everything in a proper YaML inventory of a healthy person, it might look something like this:

---
all:
  vars:
    ansible_ssh_pipelining: true
    ansible_ssh_transfer_method: piped
    ansible_ssh_args: -o ControlMaster=auto -o ControlPersist=15m

Dessverre, med innstillingene «gathering = smart/explicit» og «forks = 20» vil dette ikke gå: deres YaML-ekvivalenter eksisterer ikke. Enten angir vi dem i ansible.cfg, eller så overfører vi dem gjennom miljøvariablene ANSIBLE_GATHERING og ANSIBLE_FORKS.

Om Mitogen
— Men hvor står det noe om Mitogen her? — har du rett til å spørre, kjære leser. I denne artikkelen — ingen steder. Men hvis du er virkelig klar til å lese koden hans og forstå hvorfor spilleplanen din feiler med Mitogen, men fungerer normalt med vanilje Ansible, eller hvorfor denne spilleplanen har fungert fint til nå og etter oppdateringen begynte å oppføre seg rart — vel, Mitogen kan potensielt være ditt verktøy. Bruk det, bli klokere, skriv artikler — jeg vil lese dem med interesse.

Hvorfor bruker jeg personlig ikke Mitogen? Fordi det fungerer bare så lenge oppgavene er virkelig enkle og alt går bra. Men så snart du viker litt til venstre eller høyre — er det over: i svar flyr det en haug med uklare unntak mot deg, og for å fullføre bildet mangler det bare den kjente frasen «takk for oss, alle sammen er frie». Generelt ønsker jeg bare ikke å bruke tid på å finne ut av årsaken til et nytt «underjordisk bankebrett».

Noen av disse innstillingene ble oppdaget i prosessen med å lese git-repositorier tilkoblingspluginet med det talende navnet «ssh.py». Resultatene fra lesingen deler jeg i håp om at det vil inspirere flere til å se i kildekodene, lese dem, sjekke implementeringen, sammenligne med dokumentasjonen — for alt dette vil før eller siden gi deg positive resultater. Lykke til!

Kun registrerte brukere kan delta i undersøkelsen. Logg inn, vær så snill.