🥇PostgreSQL-i inkrementaalsed varukoopiad pgbackrestiga — noore arendaja koolitus

Märkus

Ma olen arendaja. Kirjutan koodi ja suhtlen andmebaasiga ainult kasutajana. Ma ei pretendeeri mingil juhul süsteemiadministratori, veel vähem DBA ametikohale. Aga...

Nii juhtus, et mul tuli organiseerida PostgreSQL andmebaasi varundamine. Ilma igasuguste pilveteenusteta — hoidke SSH ja tehke, et kõik töötaks ning ei paluks raha. Mida me sellistes olukordades teeme? Õige, paneme pg_dump'i cron'i, varundame iga päev kõik arhiivi ja kui asi läheb täiesti käest ära, saadame selle arhiivi kuhugi kaugele.

Seekord oli keerukus selles, et plaane oli, et andmebaas peaks kasvama umbes +100 MB päevas. Loomulikult, juba paar nädalat hiljem kaob soov kõik pg_dump'iga varundada. Siin tulevad abiks inkrementaalsed varukoopiad.

Huvitav? Tere tulemast katte alla.

Inkrementaalne varukoopia on reserveerimise liik, kus ei kopeerita kõiki allika faile, vaid ainult uusi ja muudetud faile alates eelneva koopia loomise hetkest.

Nagu iga arendaja, kes sel hetkel ei soovinud vinjettide peensustesse süveneda, tahtsin leida roheline nupp. Teate küll, nagu AWS-is, DigitalOceanis: vajutad ühte nuppu — saad replikatsiooni, vajutad teist — seadistad varukoopiad, kolmandat — kõik tagasi paar tundi. Nuppu ja ilusat GUI tööriista ma ei leidnud. Kui te teate sellist (tasuta või odavat) — kirjutage sellest kommentaarides.

Otsides leidsin kaks tööriista. pgbarman ja pgbackrest. Esimese puhul ei läinud mul lihtsalt hästi (väga napp dokumentatsioon, proovisin kõike üles seada vanade manuaalide järgi), aga teise dokumentatsioon osutus tasemele, kuigi mitte ilma puudusteta. Selleks, et lihtsustada töö tegemist neile, kes sellise ülesande ette võtavad, kirjutasin selle artikli.

Seda artiklit lugedes õpite tegema inkrementaalset varukoopiat, säilitama neid eemal asuvas serveris (varukoopiate repository's) ja taastama neid juhul, kui andmed on kadunud või on probleeme peamisel serveril.

Ettevalmistus

Manuaali kordamiseks vajate kahte VPS-i. Esimene on salvestus (repository, kuhu varukoopiad paigutatakse), teine on siis PostgreSQL server (minu puhul PostgreSQL 11 versioon).

Eeldatakse, et postgres serveris on teil root, sudo kasutaja, postgres kasutaja ja postgres on paigaldatud (postgres kasutaja luuakse automaatselt postgresql-i installimisel), ning repository serveris on root ja sudo kasutaja (manuaalis kasutatakse kasutajanime pgbackrest).

Kuna soovin, et teil oleks vähem probleeme juhendi järgimisel — kursiivis märgin, kus, millise kasutaja ja milliste õigustega ma käsku täitsin artikli kirjutamise ja kontrollimise ajal.

pgbackresti installimine

Repository (kasutaja pgbackrest):

1. Laadime alla pgbackresti arhiivi ja viime selle sisu kausta /build:

sudo mkdir /build
sudo wget -q -O - 
       https://github.com/pgbackrest/pgbackrest/archive/release/2.18.tar.gz | 
       sudo tar zx -C /build

2. Paigaldame vajalikud sõltuvused:

sudo apt-get update
sudo apt-get install build-essential libssl-dev libxml2-dev libperl-dev zlib1g-dev 
       libpq-dev

3. Kogume pgbackresti:

cd /build/pgbackrest-release-2.18/src && sudo ./configure
sudo make -s -C /build/pgbackrest-release-2.18/src

4. Kopeerime käivitatava faili kausta /usr/bin:

sudo cp /build/pgbackrest-release-2.18/src/pgbackrest /usr/bin
sudo chmod 755 /usr/bin/pgbackrest

5. Pgbackrest nõuab perl'i. Paigaldame:

sudo apt-get install perl

6. Loome logide jaoks kaustad, anname neile vajalikud õigused:

sudo mkdir -p -m 770 /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo mkdir -p /etc/pgbackrest
sudo mkdir -p /etc/pgbackrest/conf.d
sudo touch /etc/pgbackrest/pgbackrest.conf
sudo chmod 640 /etc/pgbackrest/pgbackrest.conf
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

7. Kontrollime:

pgbackrest versioon

Postgres server (sudo kasutaja või root):

pgbackresti installimise protsess postgres serveris on analoogeine repository serveris toimuvale installimise protsessile (jah, pgbackrest peab olema mõlemal serveril), kuid 6. punktis asendame teise ja viimase käsu:

sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

asendame järgnevaga:

sudo chown postgres:postgres /var/log/pgbackrest
sudo chown postgres:postgres /etc/pgbackrest/pgbackrest.conf

Serverite vahelise suhtluse seadistamine passwordless SSH kaudu

Et pgbackrest korrektselt töötaks, on oluline seadistada suhtlus postgres serveri ja repository vahel võti-faili kaudu.

Repository (kasutaja pgbackrest):

Loome võtmete paari:

mkdir -m 750 /home/pgbackrest/.ssh
ssh-keygen -f /home/pgbackrest/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

Tähelepanu! Ülaltoodud käsud tuleb täita ilma sudo-ta.

Postgres server (sudo kasutaja või root):

Loome võtmete paari:

sudo -u postgres mkdir -m 750 -p /var/lib/postgresql/.ssh
sudo -u postgres ssh-keygen -f /var/lib/postgresql/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

Repository (sudo kasutaja):

Kopeerime postgres serveri avaliku võtme repository serverisse:

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@ cat /var/lib/postgresql/.ssh/id_rsa.pub) | 
       sudo -u pgbackrest tee -a /home/pgbackrest/.ssh/authorized_keys

Selle sammul palutakse root kasutaja parooli. Sisestama peab just postgres serveri root kasutaja parooli!

Postgres server (sudo kasutaja):

Kopeerime repo avaliku võtme postgres serverile:

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@ cat /home/pgbackrest/.ssh/id_rsa.pub) | 
       sudo -u postgres tee -a /var/lib/postgresql/.ssh/authorized_keys

Selle sammul palutakse root kasutaja parooli. Sisestama peab just repo root kasutaja parooli!

Kontrollime:

Repo (root kasutaja, katse puhtuse nimel):

sudo -u pgbackrest ssh postgres@

Postgres server (root kasutaja, katse puhtuse nimel):

sudo -u postgres ssh pgbackrest@

Veendume, et pääseme probleemideta juurde.

Postgres serveri seadistamine

Postgres server (sudo kasutaja või root):

1. Lubame 'koputamise' postgres serverile välistelt IP-delt. Selleks redigeerime faili postgresql.conf (asub kaustas /etc/postgresql/11/main), lisades sinna järgmise rea:

listen_addresses = '*'

Kui selline rida juba eksisteerib — kas kommenteerime selle lahti või seadistame parameetri väärtuse ‘*’.

Failis pg_hba.conf (asub samuti kaustas /etc/postgresql/11/main) lisame järgmised read:

hostssl  all  all  0.0.0.0/0  md5
host  all  all  0.0.0.0/0  md5

kus:

hostssl/host - ühendame SSL-i kaudu (või mitte)
all - lubame ühenduse kõigi andmebaasidega
all - kasutajanimi, kellele lubame ühenduse (kõigile)
0.0.0.0/0 - võrgumask, mille kaudu saab ühendust võtta
md5 - parooli krüpteerimise meetod

2. Teeme vajalikud seadistused postgresql.conf (see asub kaustas /etc/postgresql/11/main) pgbackrest tööks:

archive_command = 'pgbackrest --stanza=main archive-push %p' # Kus main - klastri nimi. Postgres'i installimisel luuakse automaatselt klaster main.
archive_mode = on
max_wal_senders = 3
wal_level = replica

3. Teeme vajalikud seadistused pgbackrest konfiguratsioonifailis (/etc/pgbackrest/pgbackrest.conf):

[main]
pg1-path=/var/lib/postgresql/11/main

[global]
log-level-file=detail
repo1-host=

4. Taaskäivitame postgresql:

sudo service postgresql restart

Repo-serveri seadistamine

Repo (pgbackrest kasutaja):

Teeme vajalikud seadistused konfiguratsioonifailis pgbackrest
(/etc/pgbackrest/pgbackrest.conf):

[main]
pg1-host=
pg1-path=/var/lib/postgresql/11/main

[global]
repo1-path=/var/lib/pgbackrest
repo1-retention-full=2 # Parameeter, mis näitab, kui kaua säilitada täiskoopiaid. See tähendab, et kui teil on kaks täiskoopiat ja loote järgmise kolmanda - siis eemaldatakse esimesed kaks koos inkrementidega.
start-fast=y # Alustab kohe varundamist, selle parameetri kohta saate lugeda siit https://postgrespro.ru/docs/postgrespro/9.5/continuous-archiving

Lao loomine

Repo (pgbackrest kasutaja):

Loome uue lao klastri jaoks main:

sudo mkdir -m 770 /var/lib/pgbackrest
sudo chown -R pgbackrest /var/lib/pgbackrest/
sudo -u pgbackrest pgbackrest --stanza=main stanza-create

Kontrollimine

Postgres server (sudo kasutaja või root):

Kontrollime postgres serveris:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info check

Repo (pgbackrest kasutaja):

Kontrollime repository serveris:

sudo -u pgbackrest pgbackrest --stanza=main --log-level-console=info check

Veenduge, et väljaandes on rida «check command end: completed successfully».

Kurnatud? Liigume huvitavama osa juurde.

Teeme varukoopia

Repo (pgbackrest kasutaja):

1. Teeme varukoopia:

sudo -u pgbackrest pgbackrest --stanza=main backup

2. Veenduge, et varukoopia on loodud:

ls /var/lib/pgbackrest/backup/main/

Pgbackrest loob esimese täiskoopia. Soovi korral võite varukoopia käivitada uuesti, et veenduda, et süsteem loob inkrementaalse varukoopia.

Kui soovite uuesti teha täiskoopia, lisage lisalipp:

sudo -u pgbackrest pgbackrest --stanza=main --type=full backup

Kui soovite konsoolis detailset väljundit, siis lisage ka:

sudo -u pgbackrest pgbackrest --stanza=main --type=full --log-level-console=info backup

Taastame varukoopia

Postgres server (sudo kasutaja või root):

1. Peatame töötava klastri:

sudo pg_ctlcluster 11 main stop

2. Taastame varukoopiast:

sudo -u postgres pgbackrest --stanza=main --delta restore

3. Käivitame klastri:

sudo pg_ctlcluster 11 main start

Pärast varukoopia taastamist peame tegema uue varukoopia:

Repo (pgbackrest kasutaja):

sudo pgbackrest --stanza=main backup

Sellega on kõik. Lõpetuseks tahan meelde tuletada, et ma ei püüa mitte mingil moel esitleda end senior dba'na ja võimaluse korral kasutan kindlasti pilve. Hetkel hakkan ise uurima erinevaid teemasid nagu varukoopiad, replikatsioonid, monitooring jne ning kirjutama väikeseid aruandeid, et anda oma panus kogukonda ja jätta endale väikesed märkmed.

Järgnevates artiklites püüan rääkida täiendavatest funktsioonidest — andmete taastamine puhtale klastrile, varukoopiate krüptimine ja avaldamine S3-s, varukoopiad läbi rsync.

Allikas: habr.com