🥇 Veel üks varukoopia – rohkem kui skript, lihtsam kui süsteem

Varundusüsteeme on palju, kuid mida teha, kui hallatavad serverid on hajutatud erinevatesse piirkondadesse ja klientidesse ning tuleb kasutada operatsioonisüsteemi vahendeid?

Tere päevast, Habr!
Minu nimi on Natalia. Olen rakenduste administraatorite grupi juht NPO „Krysta” juures. Me oleme Ops meie ettevõtte projektigruppide jaoks. Meie olukord on üsna eriline: paigaldame ja toetame meie tarkvara nii meie ettevõtte serverites kui ka klientide serverites. Samas ei ole serveri täielik varundamine vajalik. Olulised on vaid „olulised andmed”: andmebaasid ja eraldi failisüsteemi kataloogid. Loomulikult on klientidel oma varundamise eeskirjad (või mitte) ja nad pakuvad sageli mingit välist salvestusruumi varukoopiate talletamiseks. Sel juhul tagame varukoopia loomise järel selle edastamise välisse salvestusruumi.

Mõnda aega kasutasime varundamise eesmärkidel bash-skripti, kuid koos seadistuste valikute kasvuga kasvas ka selle skripti keerukus ning ühel ilusal hetkel jõudsime järeldusele, et on aeg see „põhjalikult hävitada ja seejärel...”.

Valmislahendused ei sobinud erinevatel põhjustel: vajadus varunduste detsentraliseerimiseks, varunduste kohustuslik kohalike klientide hoidmine, keeruline seadistamine, importimise asendamine, juurdepääsu piirangud.

Meie arvates oli lihtsam kirjutada midagi enda jaoks. Soovisime luua midagi, mis teeniks meid järgmise N aasta jooksul, kuid võimaldaks potentsiaalset laienemist rakendamisalasse.

Ülesande tingimused olid järgmised:

baasvarunduse instants on autonoomne, töötab kohapeal
varukoopiate ja logide hoidmine toimub alati kliendi võrgus
instants koosneb moodulitest – omamoodi „ehituskast”
on vajalik ühilduvus kasutatavate Linuxi distributsioonidega, sealhulgas vanadega, soovitav on potentsiaalne platvormidevaheline töö
instantsiga tööks piisab SSH-juurdepääsust, täiendavate sadamate avamine pole kohustuslik
maksimaalne seadistamise ja kasutamise lihtsus
võimalik (aga mitte kohustuslik) on eraldi instantsi olemasolu, mis võimaldab keskelt vaadata varunduste olekut erinevatelt serveritelt

Kuidas me selle saavutame, saab vaadata siit: github.com/javister/krista-backup
Rakendus on kirjutatud python3-s; töötab Debianil, Ubuntu'l, CentOS'il ja AstraLinux 1.6-l.

Dokumentatsioon on saadaval hoidla docs kataloogis.

Peamised mõisted, millega süsteem opereerib:
action – tegevus, mis teostab ühe aatomaarse operatsiooni (andmebaasi varukoopia, katalooge varundamine, üleviimine kataloogist A katalooge B jne). Olemasolevad tegevused asuvad kataloogis core/actions
task – ülesanne, tegevuste komplekt, mis kirjeldab ühte loogilist 'varundamise ülesannet'
schedule – ajakava, ülesannete komplekt koos volitustega ülesande teostamise ajastamiseks

Varukoopia konfigureerimine salvestatakse yaml-failis; konfi üldine struktuur:

üldised seadistused
tegevuste jaotuses: kirjeldus tegevustest, mida sellel serveril kasutatakse
ajakava jaotuses: kõigi ülesannete (tegevuste komplektide) ja nende käivitamise ajakava, kui selline käivitamine on vajalik

Konfi näidis on saadaval siin

Praegusel hetkel oskab rakendus teha järgmist:

toe all on meie jaoks olulised toimingud: PostgreSQL varukoopia pg_dump'i kaudu, failisüsteemi katalooge varundamine tar'iga; toimingud välise salvestusruumiga; rsync kataloogide vahel; varukoopiate rotatsioon (vanade koopiate kustutamine)
välist skripti kutsumine

erandlik ülesanne käsitsi täitmine

/opt/KristaBackup/KristaBackup.py run make_full_dump

võib lisada (või eemaldada) crontab's eraldi ülesande või kogu ajakava
```
/opt/KristaBackup/KristaBackup.py enable all
```
varukoopia tulemuste põhjal triggerefaili genereerimine. See funktsioon on kasulik koos Zabbixiga varukoopiate jälgimiseks

võib töötada taustal webapi või web režiimis

/opt/KristaBackup/KristaBackup.py web start [--api]

Režiimide vahe: webapi-s puudub tegelik veebiliides, kuid rakendus vastab teise instantsi päringutele. Web režiimi jaoks tuleb installida flask ja mõned täiendavad paketid, mis ei ole igal pool aktsepteeritavad, näiteks sertifitseeritud AstraLinux SE-l.

Veebiliidese kaudu saab vaadata ühendatud serverite varukoopiate seisundit ja logisid: 'veeb-instants' pärib andmed 'varukoopiate instantsidelt' API kaudu. Veebi juurdepääs nõuab autentimist, webapi juurdepääs – ei.

Ebaõige varukoopia logid on märgistatud värvidega: warning – kollane, error – punane.

Kui administraatorile pole vajalik parametrid mällu jätta ja serverite OS-id on homogeenilised, saab faili kompileerida ja levitada valmis paketti.

Levime seda utiliiti peamiselt läbi Ansible'i, esmalt väiksematele vähem olulistele serveritele, ja pärast testimist kõigile teistele.

Kokkuvõttes saime kompaktse iseseisva kopeerimisutili, mis on automatiseeritav ja sobib kasutamiseks isegi vähese kogemusega administraatoritele. Meile meeldib – ehk sobib ka teile?

Allikas: habr.com

Veel üks varukoopia — rohkem kui skript ja lihtsam kui süsteem.