Uvod u Puppet

Puppet je sistem za upravljanje konfiguracijom. Koristi se za dovođenje hostova u željeno stanje i održavanje tog stanja.

Radim s Puppetom već više od pet godina. Ovaj tekst je u suštini prevedena i preuređena kompilacija ključnih tačaka iz zvanične dokumentacije, koja će omogućiti novajlijama brzo da shvate suštinu Puppeta.

Uvod u Puppet

Osnovne informacije

Šema rada Puppeta je klijent-server, iako je podržana i opcija rada bez servera sa ograničenom funkcionalnošću.

Koristi se pull-model rada: po defaultu, klijenti se svakih pola sata obraćaju serveru za konfiguraciju i primenjuju je. Ako ste radili s Ansible-om, tamo se koristi drugačiji, push-model: administrator pokreće proces primene konfiguracije, klijenti sami ne primenjuju ništa.

Pri mrežnoj interakciji koristi se dvosmerno TLS-enkripcija: server i klijent imaju svoje privatne ključeve i odgovarajuće sertifikate. Obično server izdaje sertifikate za klijente, ali u principu je moguće koristiti i eksterni CA.

Upoznavanje s manifestima

U terminologiji Puppeta k papet-serveru priključuju se nodove (nodes). Konfiguracija za nodove se piše u manifestima na specijalnom programskom jeziku – Puppet DSL.

Puppet DSL je deklarativni jezik. Na njemu se opisuje željeno stanje node u obliku deklaracija pojedinačnih resursa, na primer:

  • Datoteka postoji, i ima određeni sadržaj.
  • Paket je instaliran.
  • Servis je pokrenut.

Resursi mogu biti međusobno povezani:

  • Postoje zavisnosti, one utiču na redosled primene resursa.
    Na primer, "prvo instaliraj paket, zatim izmeni konfiguracionu datoteku, a posle pokreni servis".
  • Postoje obaveštenja — ako se resurs promeni, šalje obaveštenja resursima koji su na njega potpisani.
    Na primer, ako se menja konfiguraciona datoteka, servis se može automatski restartovati.

Pored toga, u Puppet DSL postoje funkcije i promenljive, kao i uslovni operatori i selektori. Takođe su podržani različiti mehanizmi šablonizacije – EPP i ERB.

Puppet je napisan na Ruby-ju, tako da su mnoge konstrukcije i termini preuzeti odatle. Ruby omogućava proširivanje Puppeta – dodavanje složene logike, novih tipova resursa, funkcija.

Tokom rada Puppet-a, manifesti za svaku konkretnu nodu na serveru se kompajluju u direktorijum. Katalog — to je lista resursa i njihovih međusobnih veza nakon izračunavanja vrednosti funkcija, promenljivih i razrešavanja uslovnih operatora.

Sintaksa i stil kodiranja

Evo delova zvanične dokumentacije koji će pomoći da se razjasni sintaksa, ako dati primeri budu nedovoljni:

Evo primer kako izgledaju manifesti:

# Комментарии пишутся, как и много где, после решётки.
#
# Описание конфигурации ноды начинается с ключевого слова node,
# за которым следует селектор ноды — хостнейм (с доменом или без)
# или регулярное выражение для хостнеймов, или ключевое слово default.
#
# После этого в фигурных скобках описывается собственно конфигурация ноды.
#
# Одна и та же нода может попасть под несколько селекторов. Про приоритет
# селекторов написано в статье про синтаксис описания нод.
node 'hostname', 'f.q.d.n', /regexp/ {
  # Конфигурация по сути является перечислением ресурсов и их параметров.
  #
  # У каждого ресурса есть тип и название.
  #
  # Внимание: не может быть двух ресурсов одного типа с одинаковыми названиями!
  #
  # Описание ресурса начинается с его типа. Тип пишется в нижнем регистре.
  # Про разные типы ресурсов написано ниже.
  #
  # После типа в фигурных скобках пишется название ресурса, потом двоеточие,
  # дальше идёт опциональное перечисление параметров ресурса и их значений.
  # Значения параметров указываются через т.н. hash rocket (=>).
  resource { 'title':
    param1 => value1,
    param2 => value2,
    param3 => value3,
  }
}

Praznine i prelomi linije nisu obavezni deo manifesta, međutim, postoji preporučeni stil vodič. Kratak pregled:

  • Dvostruki razmaci, tabovi se ne koriste.
  • Vitičaste zagrade se odvajaju razmakom, dvotačka se ne oddvaja razmakom.
  • Zarezi posle svakog parametra, uključujući i poslednji. Svaki parametar je na odvojnoj liniji. Iznimka se pravi za slučaj bez parametara i jednog parametra: može se pisati u jednoj liniji i bez zareza (t.j. resource { 'title': } i resource { 'title': param => value }).
  • Strelice kod parametara treba da budu na istom nivou.
  • Strelice međusobnih veza resursa pišu se pre njih.

Lokacija fajlova na Puppet serveru

Za dalja objašnjenja, uvešću pojam „korenski direktorijum“. Korenski direktorijum je direktorijum u kojem se nalazi Puppet konfiguracija za konkretnu nodu.

Korenski direktorijum se razlikuje u zavisnosti od verzije Puppet-a i korišćenja okruženja. Okruženja su nezavisne zbirke konfiguracija koje se čuvaju u odvojenim direktorijumima. Obično se koriste u kombinaciji sa Git-om, u tom slučaju se okruženja kreiraju iz grana Gita. Prema tome, svaka nod se nalazi u tom ili onom okruženju. Ovo se konfiguriše na samoj nodu, ili u ENC-u, o čemu ću govoriti u sledećem članku.

  • U trećoj verziji („stari Puppet“) osnovni direktorijum je bio /etc/puppet. Korišćenje okruženja je opciono — mi, na primer, ih ne koristimo sa starim Puppet-om. Ako se okruženja koriste, onda se obično čuvaju u /etc/puppet/environments, osnovni direktorijum će biti direktorijum okruženja. Ako se okruženja ne koriste, osnovni direktorijum će biti osnovni.
  • Počevši od četvrte verzije („novi Puppet“) korišćenje okruženja je postalo obavezno, a osnovni direktorijum je premesten u /etc/puppetlabs/code. Okolina se čuva u /etc/puppetlabs/code/environments, korenska direktorij — direktorij okoline.

U korenskoj direktoriji mora biti poddirektorij manifests, u kojem se nalaze jedan ili više manifestacija sa opisom nodova. Osim toga, tu mora biti i poddirektorij modules, u kojem se nalaze moduli. Šta su moduli, reći ću malo kasnije. Također, u starom Papetu može biti i poddirektorij files, u kojem se nalaze razni fajlovi koje kopiramo na nodove. U novom Papetu svi fajlovi su prebačeni u module.

Fajlovi manifestacija imaju ekstenziju .pp.

Par primjera iz prakse

Opis nodova i resursa na njima

Na nodu server1.testdomain mora biti kreiran fajl /etc/issue sa sadržajem Debian GNU/Linux n l. Fajl mora pripadati korisniku i grupi root, pristupna prava moraju biti 644.

Pišemo manifest:

node 'server1.testdomain' {   # blok konfiguracije koji se odnosi na nod server1.testdomain
    file { ' /etc/issue':   # opisujemo fajl /etc/issue
        ensure  => present,   # ovaj fajl mora postojati
        content => 'Debian GNU/Linux n l',   # sadržaj koji mora imati
        owner   => root,   # korisnik-vlasnik
        group   => root,   # grupa-vlasnik
        mode    => '0644',   # prava na fajl. Postavljena su kao string (u navodnicima), jer inače će broj s 0 na početku biti interpretiran kao zapis u oktalnom sistemu, i sve će ići naopako
    }
}

Međuzavisnosti resursa na nodu

Na nodu server2.testdomain mora imati pokrenut nginx, koji radi sa unaprijed pripremljenom konfiguracijom.

Dekomponujemo zadatak:

  • Treba da bude instaliran paket nginx.
  • Treba da budu kopirani konfiguracijski fajlovi sa servera.
  • Treba da bude pokrenut servis nginx.
  • U slučaju ažuriranja konfiguracije, potrebno je restartovati servis.

Pišemo manifest:

node 'server2.testdomain' {   # blok konfiguracije koji se odnosi na nodu server2.testdomain
    package { 'nginx':   # opisujemo paket nginx
        ensure => installed,   # on mora biti instaliran
    }
  # Direktna strelica (->) označava da resurs ispod mora
  # biti kreiran nakon resursa opisanog iznad.
  # Takve zavisnosti su tranzitivne.
    -> file { '/etc/nginx':   # opisujemo datoteku /etc/nginx
        ensure  => directory,   # to treba biti direktorij
        source  => 'puppet:///modules/example/nginx-conf',   # sadržaj treba preuzeti sa puppet servera na navedenoj adresi
        recurse => true,   # kopiraj datoteke rekurzivno
        purge   => true,   # treba ukloniti suvišne datoteke (one koje nisu u izvoru)
        force   => true,   # ukloni suvišne direktorije
    }
  # Talasasta strelica (~>) označava da resurs ispod mora
  # pratiti promene resursa opisanog iznad.
  # Talasasta strelica uključuje direktnu (->).
    ~> service { 'nginx':   # opisujemo servis nginx
        ensure => running,   # on mora biti pokrenut
        enable => true,   # treba ga automatski pokrenuti pri startovanju sistema
    }
  # Kada resurs tipa service primi obaveštenje,
  # odgovarajući servis se ponovo pokreće.
}

Da bi ovo radilo, potrebno je otprilike ovakvo rasporedjivanje datoteka na puppet serveru:

/etc/puppetlabs/code/environments/production/ # (это для нового Паппета, для старого корневой директорией будет /etc/puppet)
├── manifests/
│   └── site.pp
└── modules/
    └── example/
        └── files/
            └── nginx-conf/
                ├── nginx.conf
                ├── mime.types
                └── conf.d/
                    └── some.conf

Tipovi resursa

Potpun spisak podržanih tipova resursa nalazi se u dokumentaciji, ovde ću opisati pet osnovnih tipova koji su u mojoj praksi dovoljni za rešavanje većine zadataka.

file

Upravlja datotekama, direktorijima, simboličkim linkovima, njihovim sadržajem, pravima pristupa.

Parametri:

  • naziv resursa — put do datoteke (opciono)
  • path — put do datoteke (ako nije zadat u nazivu)
  • ensure — tip datoteke:
    • absent — ukloni datoteku
    • present — mora biti datoteka bilo kog tipa (ako datoteka ne postoji — biće kreirana obična datoteka)
    • file — obična datoteka
    • directory — direktorij
    • link — simbolički link
  • content — sadržaj datoteke (odgovara samo za obične datoteke, ne može se koristiti zajedno sa izvor ili cilj)
  • izvor — link na putanju iz koje treba kopirati sadržaj datoteke (ne može se koristiti zajedno sa content ili cilj). Može biti zadat i u obliku URI sa shemom puppet: (tada će se koristiti datoteke sa puppet servera), kao i sa shemom http: (nadam se da je jasno šta će u tom slučaju biti), i čak sa shemom file: ili u obliku apsolutnog puta bez sheme (tada će se koristiti datoteka sa lokalnog FS na nodu)
  • cilj — gdje treba da upućuje symlink (ne može se koristiti zajedno sa content ili izvor)
  • owner — korisnik kojem treba da pripada fajl
  • grupa — grupa kojoj treba da pripada fajl
  • mode — prava na fajl (u obliku stringa)
  • recurse — uključuje rekurzivnu obradu direktorija
  • purge — uključuje brisanje fajlova koji nisu opisani u Puppet-u
  • force — uključuje brisanje direktorija koji nisu opisani u Puppet-u

package

Instalira i uklanja pakete. Može obraditi obaveštenja — ponovo instalira paket ako je parametar postavljen reinstall_on_refresh.

Parametri:

  • naziv resursa — naziv paketa (opcionalno)
  • name — naziv paketa (ako nije dato u nazivu)
  • provider — menadžer paketa koji treba da se koristi
  • ensure — željeno stanje paketa:
    • present, installed — instalirana bilo koja verzija
    • latest — instalirana najnovija verzija
    • absent — uklonjen (apt-get remove)
    • purged — uklonjen zajedno sa konfiguracionim fajlovima (apt-get purge)
    • held — verzija paketa je blokirana (apt-mark hold)
    • bilo koja druga string — instalirana navedena verzija
  • reinstall_on_refresh — ako true, onda će paket biti ponovo instaliran kad dobijete obaveštenje. Korisno za distribucije koje se zasnivaju na izvoru, gde ponovna izgradnja paketa može biti neophodna prilikom promene parametara izgradnje. Podrazumevano false.

service

Upravlja servisima. Može obraditi obaveštenja — ponovo pokreće servis.

Parametri:

  • naziv resursa — servis kojim treba upravljati (opcionalno)
  • name — servis kojim treba upravljati (ako nije dato u nazivu)
  • ensure — željeno stanje servisa:
    • running — pokrenut
    • stopped — zaustavljen
  • enable — upravlja mogućnošću pokretanja servisa:
    • true — uključeno automatsko pokretanje (systemctl enable)
    • mask — maskiran (systemctl mask)
    • false — isključeno automatsko pokretanje (systemctl disable)
  • restart — komanda za ponovno pokretanje servisa
  • status — komanda za proveru statusa servisa
  • hasrestart — navesti da li init skripta servisa podržava ponovno pokretanje. Ako false i je parametar naveden restart — koristi se vrednost tog parametra. Ako false i parametar restart nije naveden — servis se zaustavlja i ponovo pokreće za ponovno pokretanje (ali u systemd se koristi komanda systemctl restart).
  • hasstatus — navesti da li init skripta servisa podržava komandu status. Ako false, onda se koristi vrednost parametra status. Podrazumevano true.

exec

Pokreće spoljne komande. Ako se ne navode parametri creates, onlyif, unless ili refreshonly, komanda će se pokrenuti pri svakoj iteraciji Pappeta. Može obraditi obaveštenja — pokreće komandu.

Parametri:

  • naziv resursa — komanda koju treba izvršiti (opcionalno)
  • command — komanda koja treba da se izvrši (ako nije zadato u imenu)
  • path — putevi u kojima se traži izvršna datoteka
  • onlyif — ako se komanda navedena u ovom parametru završi sa nul-kodom povratka, izvršiće se glavna komanda
  • unless — ako se komanda navedena u ovom parametru završi sa nenul-kodom povratka, izvršiće se glavna komanda
  • creates — ako navedena datoteka u ovom parametru ne postoji, izvršiće se glavna komanda
  • refreshonly — ako true, komanda će se pokrenuti samo ako ovaj exec primi obaveštenje od drugih resursa
  • cwd — direktorijum iz kojeg se pokreće komanda
  • user — korisnik koji pokreće komandu
  • provider — pomoću čega pokrenuti komandu:
    • posix — samo se kreira podproces, obavezno navesti path
    • shell — komanda se pokreće u shell-u /bin/sh, može se ne navesti path, može se koristiti globbing, cevi i druge karakteristike shell-a. Obično se automatski određuje, ako postoje specijalni simboli (|, ;, &&, || i tako dalje).

cron

Upravlja krondžobovima.

Parametri:

  • naziv resursa — samo neki identifikator
  • ensure — stanje krondžoba:
    • present — kreirati, ako ne postoji
    • absent — obrisati, ako postoji
  • command — koju komandu pokrenuti
  • okruženje — u kojem okruženju pokrenuti komandu (lista varijabli okruženja i njihovih vrednosti kroz =)
  • user — od kog korisnika pokrenuti komandu
  • minute, sat, dan u nedelji, mesec, dan u mesecu — kada pokrenuti krondžob. Ako neki od ovih atributa nije naveden, njegova vrednost u krontabu biće *.

U Puppet 6.0 cron kao što je uklonjeno iz kutije u puppetserver-u, zato nema dokumentacije na opštem sajtu. Ali on postoji u kutiji u puppet-agent-u, zato ga nije potrebno instalirati odvojeno. Dokumentaciju o njemu možete pogledati u dokumentaciji za petu verziju Puppeta, or na GitHub-u.

O resursima uopšte

Zahtevi za jedinstvenost resursa

Najčešća greška sa kojom se susrećemo — Dupla deklaracija. Ova greška se javlja kada u direktorijum dospeju dva ili više resursa istog tipa sa istim imenom.

Zato ću još jednom reći: u manifestima za jednu nodu ne bi trebalo da ima resursa istog tipa sa istim imenom (title)!

Ponekad postoji potreba da se instaliraju paketi sa istim imenom, ali različitim paket-menadžerima. U tom slučaju, potrebno je koristiti parametar name, kako bi se izbegla greška:

package { 'ruby-mysql':
  ensure   => installed,
  name     => 'mysql',
  provider => 'gem',
}
package { 'python-mysql':
  ensure   => installed,
  name     => 'mysql',
  provider => 'pip',
}

U drugim vrstama resursa postoje slične opcije koje pomažu da se izbegne dupliciranje, — name u service, command u exec, i tako dalje.

Metaparametri

Neki posebni parametri postoje za svaki tip resursa, bez obzira na njegovu suštinu.

Potpuni spisak metaparametara u dokumentaciji Puppet.

Kratak spisak:

  • require — u ovom parametru se navodi od kojih resursa zavisi dati resurs.
  • before — u ovom parametru se navodi koji resursi zavise od datog resursa.
  • subscribe — u ovom parametru se navodi od kojih resursa dobija obaveštenja dati resurs.
  • notify — u ovom parametru se navodi koji resursi dobijaju obaveštenja od datog resursa.

Svi navedeni metaparametri prihvataju ili jednu referencu na resurs, ili niz referenci u kvadratnim zagradama.

Reference na resurse

Referenca na resurs — to je jednostavno pominjanje resursa. Koriste se uglavnom za navođenje zavisnosti. Referenca na nepostojeći resurs izazivaće grešku prilikom kompajliranja.

Sintaksa za referencu je sledeća: tip resursa s velikim slovom (ako naziv tipa sadrži dvostruka dvotačku, svaka deo naziva između dvostrukih dvotačaka piše se s velikim slovom), zatim u kvadratnim zagradama naziv resursa (s obzirom na to, veličina slova se ne menja!). Prostor ne sme biti, kvadratne zagrade se pišu odmah nakon naziva tipa.

Primer:

file { '/file1': ensure => present }
file { '/file2':
  ensure => directory,
  before => File['/file1'],
}
file { '/file3': ensure => absent }
File['/file1'] -> File['/file3']

Zavisnosti i obaveštenja

Dokumentacija je ovde.

Kao što je već rečeno, jednostavne zavisnosti između resursa su tranzitivne. Inače, budite oprezni prilikom navođenja zavisnosti — može doći do cikličnih zavisnosti, što izaziva grešku prilikom kompajliranja.

Za razliku od zavisnosti, obaveštenja nisu tranzitivna. Za obaveštenja važe sledeća pravila:

  • Ako resurs dobije obaveštenje, on se ažurira. Radnje prilikom ažuriranja zavise od tipa resursa — exec pokreće komandu, service ponovo pokreće servis, package ponovo instalira paket. Ako za resurs nije definisana radnja prilikom ažuriranja, tada se ništa ne događa.
  • U jednom prolazu Puppet resurs se ažurira najviše jednom. To je moguće jer obaveštenja uključuju zavisnosti, a graf zavisnosti ne sadrži cikluse.
  • Ako Puppet menja stanje resursa, resurs šalje obaveštenja svim resursima koji su na njega prijavljeni.
  • Ako se resurs ažurira, šalje obaveštenja svim resursima koji su na njega prijavljeni.

Obrada neodređenih parametara

Općenito, ako neki parametar resursa nema podrazumevanu vrednost i taj parametar nije naveden u manifestu, Puppet neće menjati tu osobinu odgovarajućeg resursa na čvoru. Na primer, ako resurs tipa file nije naveden parametar owner, Puppet neće menjati vlasnika odgovarajuće datoteke.

Upoznavanje sa klasama, promenljivim i definicijama

Pretpostavimo da imamo nekoliko čvorova na kojima postoji identičan deo konfiguracije, ali postoje i razlike – inače bismo sve to mogli opisati u jednom bloku node {}. Naravno, možemo jednostavno kopirati identične delove konfiguracije, ali u opštem slučaju to je loše rešenje – konfiguracija se širi, a prilikom promene zajedničkog dela konfiguracije moraćemo da menjamo isto na više mesta. Pri tome lako može doći do greške, i uopšte, princip DRY (ne ponavljaj se) nije bez razloga izmišljen.

Za rešavanje ovog problema postoji konstrukcija, kao što je klasa.

Klase

takođe čuva vreme i datum, i sve njihove komponente. Stoga je objekt sa složenijom strukturom, iz kojeg je lako izvući bilo koju komponentu datuma i vremena jer suštinski – to je imenovani blok Puppet koda. Klase su potrebne za ponovnu upotrebu koda.

Prvo, klasu treba opisati. Sam opis ne dodaje nikakve resurse nigde. Klasa se opisuje u manifestima:

# Описание класса начинается с ключевого слова class и его названия.
# Дальше идёт тело класса в фигурных скобках.
class example_class {
    ...
}

Nakon toga klasa se može koristiti:

# первый вариант использования — в стиле ресурса с типом class
class { 'example_class': }
# второй вариант использования — с помощью функции include
include example_class
# про отличие этих двух вариантов будет рассказано дальше

Primer iz prethodnog zadatka – izvući ćemo instalaciju i podešavanje nginx-a u klasu:

class nginx_example {
    package { 'nginx':
        ensure => installed,
    }
    -> file { '/etc/nginx':
        ensure => directory,
        source => 'puppet:///modules/example/nginx-conf',
        recurse => true,
        purge  => true,
        force  => true,
    }
    ~> service { 'nginx':
        ensure => running,
        enable => true,
    }
}

node 'server2.testdomain' {
    include nginx_example
}

Varijable

Klasa iz prethodnog primera nije fleksibilna, jer uvek donosi istu konfiguraciju nginx-a. Hajde da učinimo putanju do konfiguracije promenljivom, tako da se ova klasa može koristiti za instalaciju nginx-a sa bilo kojom konfiguracijom.

To se može uraditi uz pomoć promenljivih.

Pažnja: promenljive u Puppet-u su nepromenljive!

Osim toga, varijabla se može koristiti samo nakon što je deklarisana, inače će vrednost varijable biti undef.

Primer rada sa varijablama:

# создание переменных
$variable = 'value'
$var2 = 1
$var3 = true
$var4 = undef
# использование переменных
$var5 = $var6
file { '/tmp/text': content => $variable }
# интерполяция переменных — раскрытие значения переменных в строках. Работает только в двойных кавычках!
$var6 = "Variable with name variable has value ${variable}"

U Puppet-u postoji imenski prostori, a varijable imaju oblast vidljivosti: varijabla sa istim imenom može biti definisana u različitim imenskim prostorima. Kada se traži vrednost varijable, ona se prvo traži u trenutnom imenskom prostoru, zatim u obuhvatnom i tako dalje.

Primeri imenskih prostora:

  • globalni — ovde dolaze varijable van opisa klase ili noda;
  • imenski prostor node u opisu node;
  • imenski prostor klase u opisu klase.

Da bismo izbegli dvostruko tumačenje prilikom pristupa varijabli, možemo naznačiti imenski prostor u imenu varijable:

# переменная без пространства имён
$var
# переменная в глобальном пространстве имён
$::var
# переменная в пространстве имён класса
$classname::var
$::classname::var

Dogovorimo se da putanja do konfiguracije nginx leži u varijabli $nginx_conf_source. Tada će klasa izgledati ovako:

class nginx_example {
    package { 'nginx':
        ensure => installed,
    }
    -> file { '\/etc\/nginx':
        ensure => directory,
        source => $nginx_conf_source,   # ovde koristimo varijablu umesto fiksne string vrednosti
        recure => true,
        purge  => true,
        force  => true,
    }
    ~> service { 'nginx':
        ensure => running,
        enable => true,
    }
}

node 'server2.testdomain' {
    $nginx_conf_source = 'puppet:\/\/modules\/example\/nginx-conf'
    include nginx_example
}

Međutim, dati primer je loš jer postoji neka "tajna informacija" o tome da se unutar klase koristi varijabla sa tim imenom. Mnogo je ispravnije učiniti ovu informaciju zajedničkom — klase mogu imati parametre.

Parametri klase — to su varijable u imenskom prostoru klase, definišu se u zaglavlju klase i mogu se koristiti kao obične varijable unutar tela klase. Vrednosti parametara se definišu prilikom korišćenja klase u manifestu.

Parametru se može postaviti podrazumevana vrednost. Ako parametar nema podrazumevanu vrednost i vrednost nije navedena prilikom korišćenja, to će izazvati grešku prilikom kompilacije.

Hajde da parametrizujemo klasu iz prethodnog primera i dodamo dva parametra: prvi, obavezan — putanju do konfiguracije, i drugi, neobavezan — naziv paketa sa nginx (u Debian-u, na primer, postoje paketi nginx, nginx-light, nginx-full).

# переменные описываются сразу после имени класса в круглых скобках
class nginx_example (
  $conf_source,
  $package_name = 'nginx-light', # параметр со значением по умолчанию
) {
  package { $package_name:
    ensure => installed,
  }
  -> file { '/etc/nginx':
    ensure  => directory,
    source  => $conf_source,
    recurse => true,
    purge   => true,
    force   => true,
  }
  ~> service { 'nginx':
    ensure => running,
    enable => true,
  }
}

node 'server2.testdomain' {
  # если мы хотим задать параметры класса, функция include не подойдёт* — нужно использовать resource-style declaration
  # *на самом деле подойдёт, но про это расскажу в следующей серии. Ключевое слово "Hiera".
  class { 'nginx_example':
    conf_source => 'puppet:///modules/example/nginx-conf',   # задаём параметры класса точно так же, как параметры для других ресурсов
  }
}

U Puppet-u su varijable tipizirane. Postoje mnoge vrste podataka. Tipovi podataka obično se koriste za validaciju vrednosti parametara koji se prosleđuju klasama i definicijama. Ako prosleđeni parametar ne odgovara navedenom tipu, doći će do greške pri kompajliranju.

Tip se piše neposredno ispred imena parametra:

class example (
  String $param1,
  Integer $param2,
  Array $param3,
  Hash $param4,
  Hash[String, String] $param5,
) {
  ...
}

Klase: include classname vs class{‘classname’:}

Svaka klasa je resurs tipa class. Kao i u slučaju sa bilo kojim drugim tipovima resursa, na jednoj nodi ne mogu postojati dva instance iste klase.

Ako pokušate dodati klasu na istu nodu dva puta koristeći class { 'classname':} (bez obzira na to da li su parametri različiti ili identični), doći će do greške pri kompajliranju. Ipak, u slučaju korišćenja klase u stilu resursa, možete odmah u manifestu eksplicitno postaviti sve njene parametre.

Međutim, ako koristite include, klasu možete dodavati koliko god puta želite. Suština je da include — idempotentna funkcija koja proverava da li je klasa dodata u direktorijum. Ako klasa nije u direktorijumu — dodaje je, a ako već postoji, ništa ne radi. Ali u slučaju korišćenja include ne možete postaviti parametre klase prilikom deklaracije klase — svi obavezni parametri moraju biti postavljeni u spoljnim izvorima podataka — Hiera ili ENC. O njima ćemo razgovarati u sledećem članku.

Defini

Kao što je rečeno u prethodnom bloku, ista klasa ne može postojati na nodi više od jednog puta. Međutim, u nekim slučajevima je potrebno imati mogućnost primene istog bloka koda sa različitim parametrima na jednoj nodi. Drugim rečima, postoji potreba za sopstvenim tipom resursa.

Na primer, da bismo instalirali PHP modul, u Avitu radimo sledeće:

  1. Instaliramo paket sa ovim modulom.
  2. Kreiramo konfiguracioni fajl za ovaj modul.
  3. Kreiramo simboličku vezu ka konfiguraciji za php-fpm.
  4. Kreiramo simboličku vezu ka konfiguraciji za php cli.

U takvim slučajevima koristi se konstrukcija poput defin (define, defined type, defined resource type). Defin je sličan klasi, ali postoje razlike: prvo, svaki defin je tip resursa, a ne resurs; drugo, svaki defin ima neimplicitni parametar $title, gde se smešta ime resursa prilikom njegove deklaracije. Kao i u slučaju klasa, defin prvo treba opisati, a zatim ga možete koristiti.

P pojednostavljen primjer s modulom za PHP:

define php74::module (
  $php_module_name = $title,
  $php_package_name = "php7.4-${title}",
  $version = 'installed',
  $priority = '20',
  $data = "extension=${title}.son",
  $php_module_path = ' /etc/php/7.4/mods-available ',
) {
  package { $php_package_name:
    ensure          => $version,
    install_options => ['-o', 'DPkg::NoTriggers=true'],  # Debian php paketi sami stvaraju simlinkove i restartuju php-fpm servis - to nam nije potrebno, jer upravljamo i simlinkovima i servisom pomoću PUPPET-a
  }
  -> file { "${php_module_path}/${php_module_name}.ini":
    ensure  => $ensure,
    content => $data,
  }
  file { "/etc/php/7.4/cli/conf.d/${priority}-${php_module_name}.ini":
    ensure  => link,
    target  => "${php_module_path}/${php_module_name}.ini",
  }
  file { "/etc/php/7.4/fpm/conf.d/${priority}-${php_module_name}.ini":
    ensure  => link,
    target  => "${php_module_path}/${php_module_name}.ini",
  }
}

node server3.testdomain {
  php74::module { 'sqlite3': }
  php74::module { 'amqp': php_package_name => 'php-amqp' }
  php74::module { 'msgpack': priority => '10' }
}

U definiciji je najlakše uhvatiti grešku 'Duplicate declaration'. To se događa ako definicija ima resurs s konstantnim imenom i na nekom čvoru dva ili više instanci te definicije.

Zaštititi se od toga je jednostavno: svi resursi unutar definicije moraju imati imena koja zavise od $title. Kao alternativu — idempotentno dodavanje resursa, u najjednostavnijem slučaju je dovoljno iznijeti zajedničke resurse za sve instance definicije u poseban razred i uključiti taj razred u definiciju — funkcija include je idempotentna.

Postoje i drugi načini da se postigne idempotentnost prilikom dodavanja resursa, a to su korištenje funkcija defined i ensure_resources, ali ću o tome govoriti u sljedećoj epizodi.

Zavisnosti i obavijesti za razrede i definicije

Razredi i definicije dodaju sljedeća pravila za obradu zavisnosti i obavijesti:

  • zavisnost od razreda/definicije dodaje zavisnosti svih resursa razreda/definicije;
  • zavisnost razreda/definicije dodaje zavisnosti svim resursima razreda/definicije;
  • obavijest razreda/definicije obavještava sve resurse razreda/definicije;
  • pretplata na razred/definiciju pretplaćuje na sve resurse razreda/definicije.

Uslovni operatori i selektori

Dokumentacija je ovde.

if

Tu je sve jednostavno:

if IZRAZ1 {
  ...
} elsif IZRAZ2 {
  ...
} else {
  ...
}

unless

unless — to je if obrnuto: blok koda će se izvršiti ako je izraz lažan.

unless IZRAZ {
  ...
}

case

Tu također ništa komplikovano. Kao vrijednosti možete koristiti obične vrijednosti (stringove, brojeve i tako dalje), regularne izraze, kao i tipove podataka.

case IZRAZHAENIE {
  VREDNOST1: { ... }
  VREDNOST2, VREDNOST3: { ... }
  default: { ... }
}

Selektori

Selektor je jezična konstrukcija, koja je slična case, ali umjesto izvršavanja bloka koda vraća vrijednost.

$var = $othervar ? { 'val1' => 1, 'val2' => 2, default => 3 }

Moduli

Kada je konfiguracija mala, lako ju je držati u jednom manifestu. No, što više konfiguracije opisujemo, to više klasa i nodova postaje u manifestu, raste i postaje nezgodno raditi s njom.

Pored toga, postoji problem ponovne upotrebe koda – kada je sav kod u jednom manifestu, teško je dijeliti taj kod s drugima. Kako bi riješio ta dva problema, Puppet ima entitet poznat kao moduli.

Moduli – to su setovi klasa, definicija i drugih Puppet entiteta smještenih u posebnoj direktoriji. Drugim riječima, modul je neovisni dio Puppet logike. Na primjer, može postojati modul za rad s nginx-om, a on će sadržavati samo ono što je potrebno za rad s nginx-om, a može postojati i modul za rad s PHP-om, i tako dalje.

Moduli se verzioniraju, a također podržavaju zavisnosti između modula. Postoji otvoreni repozitorij modula – Puppet Forge.

Na Puppet serveru moduli se nalaze u poddirektoriji modules u korijenskoj direktoriji. Unutar svakog modula postoji standardna shema direktorija – manifests, files, templates, lib i tako dalje.

Struktura datoteka u modulu

U korijenu modula mogu biti sljedeće direktorije s opisnim nazivima:

  • manifests – u kojoj se nalaze manifesti
  • files – u kojoj se nalaze datoteke
  • templates – u kojoj se nalaze predlošci
  • lib – u kojoj se nalazi Ruby kod

Ovo nije potpuni spisak direktorija i datoteka, ali za ovaj članak je to trenutno dovoljno.

Nazivi resursa i imena datoteka u modulu

Dokumentacija je ovde.

Resursi (klase, definicije) u modulu ne mogu se nazvati kako god žele. Pored toga, postoji direktna povezanost između naziva resursa i imena datoteke u kojoj će Puppet tražiti opis tog resursa. Ako se krše pravila imenovanja, Puppet jednostavno neće pronaći opis resursa, što će rezultirati greškom pri kompilaciji.

Pravila su jednostavna:

  • Svi resursi u modulu moraju biti u imenskom prostoru modula. Ako se modul zove foo, tada svi resursi u njemu moraju biti nazvani foo::, ili jednostavno foo.
  • Resurs s nazivom modula mora biti u datoteci init.pp.
  • Za ostale resurse shema imenovanja datoteka je sljedeća:
    • prefiks s imenom modula se odbacuje
    • sva dvostruka dvotačke, ako ih ima, zamjenjuju se sa kosim crticama
    • dodaje se ekstenzija .pp

Pokazaću na primjeru. Pretpostavimo da pišem modul nginx. U njemu se nalaze sljedeći resursi:

  • klasa nginx opisano u manifestu init.pp;
  • klasa nginx::service opisano u manifestu service.pp;
  • defin nginx::server opisano u manifestu server.pp;
  • defin nginx::server::location opisano u manifestu server/location.pp.

Šabloni

Sigurno znate šta su šabloni, neću ovdje detaljno objašnjavati. Ali za svaki slučaj ostavljam link na Wikipediju.

Kako koristiti šablone: vrijednost šablona može se otkriti pomoću funkcije template, kojoj se proslijedi put do šablona. Za resurse tipa file koristimo zajedno sa parametrima content. Na primjer, ovako:

file { '/tmp/example': content => template('modulename/templatename.erb')

Put u obliku / podrazumijeva datoteku /modules//templates/.

Osim toga, postoji funkcija inline_template — njoj se prosledi tekst šablona, a ne ime datoteke.

Unutar šablona mogu se koristiti sve Puppet varijable u trenutnom opsegu.

Puppet podržava šablone u ERB i EPP formatu:

Ukratko o ERB

Kontrolne strukture:

  • <%= ВЫРАЖЕНИЕ %> — umetnite vrijednost izraza
  • <% ВЫРАЖЕНИЕ %> — izračunajte vrijednost izraza (ne umetajući je). Tu obično idu uslovni operatori (if), petlje (each).
  • <%# КОММЕНТАРИЙ %>

Izrazi u ERB pišu se na Ruby-u (inače, ERB je Embedded Ruby).

Da biste pristupili varijablama iz manifesta, morate dodati @ na ime varijable. Da biste uklonili novi red koji se pojavljuje nakon kontrolne strukture, trebate koristiti zatvarajući tag -%>.

Primjer korištenja šablona

Pretpostavimo da pišem modul za upravljanje ZooKeeper-om. Klasa koja je odgovorna za stvaranje konfiguracije izgleda ovako:

class zookeeper::configure (
  Array[String] $nodes,
  Integer $port_client,
  Integer $port_quorum,
  Integer $port_leader,
  Hash[String, Any] $properties,
  String $datadir,
) {
  file { '/etc/zookeeper/conf/zoo.cfg':
    ensure  => present,
    content => template('zookeeper/zoo.cfg.erb'),
  }
}

A odgovarajući mu šablon zoo.cfg.erb — izgleda ovako:

0 -%>

server.=::;



dataDir=


=

Činjenice i ugrađene varijable

Često specifični deo konfiguracije zavisi od trenutnih događaja na čvoru. Na primer, u zavisnosti od toga koja verzija Debiana je instalirana, potrebno je instalirati odgovarajuću verziju paketa. Možete ručno pratiti sve ovo prepisujući manifeste u slučaju promene čvorova. Međutim, to nije ozbiljan pristup, automatizacija je mnogo bolja.

Za dobijanje informacija o čvorovima u Puppet-u, postoji mehanizam poznat kao fakti. Fakti su informacije o čvoru dostupne u manifestima kao obične varijable u globalnom imenskom prostoru. Na primer, ime host-a, verzija operativnog sistema, arhitektura procesora, lista korisnika, lista mrežnih interfejsa i njihovi adresa, i još mnogo, mnogo toga. Fakti su dostupni u manifestima i šablonima kao obične varijable.

Primer rada sa faktima:

notify { "Pokreće se OS ${facts['os']['name']} verzija ${facts['os']['release']['full']}": }
# resurs tipa notify jednostavno ispisuje poruku u log

Formalno rečeno, svaki fakt ima ime (string) i vrednost (različiti tipovi su dostupni: stringovi, nizovi, rečnici). Ima set ugrađenih faktora. Takođe možete pisati svoje. Skupljači faktora se opisuju kao funkcije u Ruby-ju, ili kao izvršne datoteke. Takođe, fakti se mogu predstavljati u obliku tekstualnih datoteka sa podacima na čvorovima.

Tokom rada Puppet agent prvo prebacuje sve dostupne skupljače faktora sa Puppet servera na čvor, zatim ih pokreće i šalje skupljene činjenice nazad na server; tek nakon toga server počinje da kompiliše katalog.

Fakti u obliku izvršnih datoteka

Ovi fakti se smeštaju u module u direktorijum facts.d. Naravno, datoteke moraju biti izvršne. Kada se pokreću, treba da ispisuju informacije na standardni izlaz ili u YAML formatu ili u formatu "ključeva=vrednost".

Ne zaboravite, fakti se primenjuju na sve čvorove koji su pod upravljanjem Puppet servera na kojem se distribuiše vaš modul. Stoga se u skripti pobrinite da u sistemu postoje svi neophodni programi i datoteke za rad vašeg fakta.

#!/bin/sh
echo "testfact=success"
#!/bin/sh
echo '{"testyamlfact":"success"}'

Fakti u Ruby-ju

Ovi fakti se smeštaju u module u direktorijum lib/facter.

# всё начинается с вызова функции Facter.add с именем факта и блоком кода
Facter.add('ladvd') do
# в блоках confine описываются условия применимости факта — код внутри блока должен вернуть true, иначе значение факта не вычисляется и не возвращается
  confine do
    Facter::Core::Execution.which('ladvdc') # проверим, что в PATH есть такой исполняемый файл
  end
  confine do
    File.socket?('/var/run/ladvd.sock') # проверим, что есть такой UNIX-domain socket
  end
# в блоке setcode происходит собственно вычисление значения факта
  setcode do
    hash = {}
    if (out = Facter::Core::Execution.execute('ladvdc -b'))
      out.split.each do |l|
        line = l.split('=')
        next if line.length != 2
        name, value = line
        hash[name.strip.downcase.tr(' ', '_')] = value.strip.chomp(''').reverse.chomp(''').reverse
      end
    end
    hash  # значение последнего выражения в блоке setcode является значением факта
  end
end

Tekstovni fakti

Ovi fakti se smeštaju na čvorove u direktorijum /etc/facter/facts.d u starom Puppetu ili /etc/puppetlabs/facts.d u novom Puppetu.

examplefact=examplevalue
---
examplefact2: examplevalue2
anotherfact: anothervalue

Pristupanje faktima

Fakte možete kontaktirati na dva načina:

  • preko rečnika $facts: $facts['fqdn'];
  • koristeći ime fakta kao ime varijable: $fqdn.

Najbolje je koristiti rečnik $facts, a još bolje je navesti globalni imenik ($::facts).

Evo odgovarajućeg dela dokumentacije.

Ugrađene varijable

Pored činjenica, postoje i neke varijable, dostupne u globalnom imenskom prostoru.

  • trusted facts — varijable koje dolaze iz sertifikata klijenta (pošto se sertifikat obično izdaje na puppet-serveru, agent ne može samo tako zameniti svoj sertifikat, pa su varijable «dovoljne»: naziv sertifikata, ime hosta i domena, ekstenzije iz sertifikata.
  • server facts — varijable koje se odnose na informacije o serveru — verzija, ime, IP adresa servera, okruženje.
  • agent facts — varijable koje direktno dodaje puppet-agent, a ne facter — naziv sertifikata, verzija agenta, verzija puppeta.
  • master variables — varijable puppetamstera (sic!). Tu su otprilike iste stvari kao u server facts, plus su dostupne vrednosti konfiguracionih parametara.
  • compiler variables — varijable kompajlera koje se razlikuju u svakoj oblasti vidljivosti: ime trenutnog modula i ime modula u kojem je došlo do pristupa trenutnom objektu. Mogu se koristiti, na primer, da proverite da vaši privatni klasa ne koriste direktno druge module.

Dopuna 1: kako ovo sve pokrenuti i debagovati?

U članku je bilo mnogo primera puppet-koda, ali nije rečeno kako se taj kod pokreće. Pa, ispravljaću se.

Za rad Puppet-a dovoljan je agent, ali za većinu slučajeva biće potreban i server.

Agent

Minimalno od pete verzije paketi puppet-agent iz službenog repozitorijuma Puppetlabs sadrže sve zavisnosti (ruby i odgovarajuće gem-ove), pa nema problema sa instalacijom (govorim o Debian-based distribucijama — RPM-based distribucije ne koristimo).

U najjednostavnijem slučaju za primenu puppet-konfiguracije dovoljno je pokrenuti agenta u beservernom režimu: uz pretpostavku da je puppet-kod kopiran na nodu, pokrećete puppet apply:

atikhonov@atikhonov ~/puppet-test $ cat helloworld.pp 
node default {
    notify { 'Hello world!': }
}
atikhonov@atikhonov ~/puppet-test $ puppet apply helloworld.pp 
Notice: Compiled catalog for atikhonov.localdomain in environment production in 0.01 seconds
Notice: Hello world!
Notice: /Stage[main]/Main/Node[default]/Notify[Hello world!]/message: defined 'message' as 'Hello world!'
Notice: Applied catalog in 0.01 seconds

Bolje je, naravno, podići server i pokrenuti agente na nodovima u demonu - tada će svakih pola sata primeniti konfiguraciju preuzetu sa servera.

Možete imitirati push-model rada - ući na željenu nodu i pokrenuti sudo puppet agent -t. Ključ -t (--test) zapravo uključuje nekoliko opcija koje se mogu uključiti i pojedinačno. Među tim opcijama su sledeće:

  • ne raditi u režimu demona (po defaultu agent se pokreće u režimu demona);
  • završiti rad nakon primene kataloga (po defaultu agent nastavlja rad i primenjuje konfiguraciju svakih pola sata);
  • pisati detaljan log rada;
  • prikazivati promene u datotekama.

Agent ima režim rada bez promena - može se koristiti kada niste sigurni da ste napisali ispravnu konfiguraciju i želite da proverite šta će agent promeniti tokom rada. Ovaj režim se uključuje parametrima --noop u komandnoj liniji: sudo puppet agent -t --noop.

Pored toga, može se uključiti debug log rada - u njemu puppet beleži sve radnje koje preduzima: o resursu koji trenutno obrađuje, o parametrima tog resursa, o tome koje programe pokreće. Naravno, to je parametar --debug.

Server

Potpunu konfiguraciju puppetservera i deploy koda na njega u ovom članku neću razmatrati, reći ću samo da se iz kutije instalira potpuno funkcionalna verzija servera, koja ne zahteva dodatne konfiguracije za rad u uslovima malog broja nodova (recimo, do sto). Veći broj nodova već zahteva tuning - po defaultu puppetserver pokreće ne više od četiri radnika, za veću efikasnost treba povećati njihov broj i ne zaboraviti povećati limite memorije, inače će većinu vremena server vršiti garbage collect.

Deploy koda - ako vam je potrebna brza i jednostavna opcija, pogledajte (na r10k)[https://github.com/puppetlabs/r10k], za male instalacije biće sasvim dovoljno.

Dopuna 2: preporuke za pisanje koda

  1. Iznesite svu logiku u klase i definicije.
  2. Držite klase i definicije u modulima, a ne u manifestima sa opisima nodova.
  3. Koristite činjenice.
  4. Ne pravite if-ove po hostname-ima.
  5. Ne ustručavajte se dodavati parametre za klase i definicije — to je bolje nego nejasna logika sakrivena u telu klase/definicije.

Zašto preporučujem ovakav pristup — objasniću u sledećem članku.

Zaključak

Time završavamo sa uvodom. U sledećem članku ću govoriti o Hiera, ENC i PuppetDB.

Samo registrovani korisnici mogu učestvovati u anketi. Prijavite se, molim vas.

U stvari, materijala ima mnogo više — mogu napisati članke na sledeće teme, glasajte o čemu biste želeli da čitate:

  • 59,1%Napredne puppet konstrukcije — neki sledeći nivo: petlje, mapiranje i druge lambda izraze, kolektore resursa, eksportovane resurse i međuhostno interakciju putem PUPPETA, oznake, provajdere, apstraktne tipove podataka.
  • 31,8%"Ja sam admin kod mame" ili kako smo u Avitu spojili nekoliko Puppet servera različitih verzija, pa i deo o administraciji Puppet servera.
  • 81,8%Kako pišemo Puppet kod: alatna obloge, dokumentacija, testiranje, CI/CD.

Glasalo je 22 korisnika. Oprezno su pristala 9 korisnika.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster