Inkrementella backuper av postgresql med pgbackrest — en nybörjarkurs från utvecklaren

Disclaimer

Jag är utvecklare. Jag skriver kod och interagerar med databasen endast som användare. Jag gör absolut inte anspråk på att vara systemadministratör eller, ännu mer, DBA. Men...

Det så att jag behövde organisera backup av en PostgreSQL-databas. Inga moln – håll SSH och se till att allt fungerar utan att be om pengar. Vad gör vi i sådana fall? Rätt, vi lägger pg_dump i cron, tar en backup varje dag i ett arkiv och om vi går helt fel skickar vi det här arkivet någonstans långt bort.

Den här gången var det svårt eftersom databasen enligt planen skulle växa med cirka ± 100 MB per dag. Naturligtvis, efter ett par veckor kommer önskan att backupa allt med pg_dump att försvinna. Här kommer inkrementella backuper till hjälp.

Intressant? Välkommen under kat.

Inkrementell backup är en typ av säkerhetskopia där inte alla filer från källan kopieras, utan endast nya och ändrade sedan den senaste kopian skapades.

Som vilken utvecklare som helst, som ABSOLUT inte ville (vid den tiden) sätta sig in i detaljerna i PostgreSQL, ville jag hitta den gröna knappen. Ni vet, som i AWS, DigitalOcean: tryck på en knapp – du får replikering, tryck på den andra – du ställer in backuper, den tredje – allt återställs ett par timmar tillbaka. Jag hittade inga knappar eller någon vacker GUI-verktyg. Om ni känner till något sådant (gratis eller billigt) – skriv gärna en kommentar.

Efter att ha googlat hittade jag två verktyg pgbarman och pgbackrest. Med det första fick jag bara inte till det (mycket bristfällig dokumentation, försökte allt efter gamla manualer), men med det andra var dokumentationen på rätt nivå, om än med brister. Denna artikel skrevs för att förenkla arbetet för dem som ställs inför en liknande uppgift.

Genom att läsa denna artikel kommer du att lära dig att göra inkrementella backuper, spara dem på en fjärrserver (backup-repository) och återställa dem vid dataförlust eller andra problem på huvudservern.

Förberedelse

För att följa manualen behöver du två VPS:er. Den första kommer att vara lagringsplatsen (repository där backuperna kommer att ligga), och den andra är själva servern med PostgreSQL (i mitt fall version 11 av PostgreSQL).

Det förutsätts att du har root, en sudo-användare, postgres-användaren och att postgres är installerad på servern med postgres (postgres-användaren skapas automatiskt vid installationen av postgresql), och på repository-servern finns root och en sudo-användare (i manualen kommer användarnamnet pgbackrest att användas).

För att du ska stöta på färre problem när du följer instruktionerna — skriver jag i kursiv stil var, med vilken användare och med vilka rättigheter jag utförde kommandot under skrivandet och granskningen av artikeln.

Installation av pgbackrest

Repository (användare pgbackrest):

1. Ladda ner arkivet med pgbackrest och flytta dess innehåll till mappen /build:

sudo mkdir /build
sudo wget -q -O - 
       https://github.com/pgbackrest/pgbackrest/archive/release/2.18.tar.gz | 
       sudo tar zx -C /build

2. Installera de nödvändiga beroenden för byggandet:

sudo apt-get update
sudo apt-get install build-essential libssl-dev libxml2-dev libperl-dev zlib1g-dev 
       libpq-dev

3. Bygg pgbackrest:

cd /build/pgbackrest-release-2.18/src && sudo ./configure
sudo make -s -C /build/pgbackrest-release-2.18/src

4. Kopiera den körbara filen till katalogen /usr/bin:

sudo cp /build/pgbackrest-release-2.18/src/pgbackrest /usr/bin
sudo chmod 755 /usr/bin/pgbackrest

5. Pgbackrest kräver att perl är installerad. Installera:

sudo apt-get install perl

6. Skapa kataloger för loggar, ge dem specifika rättigheter:

sudo mkdir -p -m 770 /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo mkdir -p /etc/pgbackrest
sudo mkdir -p /etc/pgbackrest/conf.d
sudo touch /etc/pgbackrest/pgbackrest.conf
sudo chmod 640 /etc/pgbackrest/pgbackrest.conf
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

7. Kontrollera:

pgbackrest version

Postgres-server (sudo-användare eller root):

Installationsprocessen för pgbackrest på servern med postgres är liknande installationsprocessen på repositoryn (ja, pgbackrest måste installeras på båda servrarna), men i punkt 6 ska den andra och sista kommandon:

sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

ersättas med:

sudo chown postgres:postgres /var/log/pgbackrest
sudo chown postgres:postgres /etc/pgbackrest/pgbackrest.conf

Konfigurera interaktionen mellan servrar via passwordless SSH

För att pgbackrest ska fungera korrekt, måste du konfigurera interaktionen mellan postgres-servern och repositoryn med en nyckel-fil.

Repository (användare pgbackrest):

Skapa ett nyckelpar:

mkdir -m 750 /home/pgbackrest/.ssh
ssh-keygen -f /home/pgbackrest/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

Varning! De ovanstående kommandona utförs utan sudo.

Postgres-server (sudo-användare eller root):

Skapa ett nyckelpar:

sudo -u postgres mkdir -m 750 -p /var/lib/postgresql/.ssh
sudo -u postgres ssh-keygen -f /var/lib/postgresql/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

Repository (sudo-användare):

Kopiera den offentliga nyckeln från postgres-servern till repository-servern:

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@ cat /var/lib/postgresql/.ssh/id_rsa.pub) | 
       sudo -u pgbackrest tee -a /home/pgbackrest/.ssh/authorized_keys

Det kommer att be om lösenordet för root-användaren. Du måste ange root-lösenordet för postgres-servern!

Postgres-server (sudo-användare):

Vi kopierar den offentliga nyckeln från repositoryt till postgres-servern:

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@ cat /home/pgbackrest/.ssh/id_rsa.pub) | 
       sudo -u postgres tee -a /var/lib/postgresql/.ssh/authorized_keys

Det kommer att be om lösenordet för root-användaren. Du måste ange root-lösenordet för repositoryt!

Kontrollerar:

Repository (root-användare, för att hålla det rent):

sudo -u pgbackrest ssh postgres@

Postgres-server (root-användare, för att hålla det rent):

sudo -u postgres ssh pgbackrest@

Vi säkerställer att vi får åtkomst utan problem.

Konfigurering av postgres-server

Postgres-server (sudo-användare eller root):

1. Vi tillåter att externa IP-adresser kan ansluta till postgres-servern. För detta redigerar vi filen postgresql.conf (finns i mappen /etc/postgresql/11/main), genom att lägga till raden:

listen_addresses = '*'

Om en sådan rad redan finns — kommentera den då eller ställ in parametrens värde som ‘*’.

I filen pg_hba.conf (finns också i mappen /etc/postgresql/11/main) lägger vi till följande rader:

hostssl  all  all  0.0.0.0/0  md5
host  all  all  0.0.0.0/0  md5

där:

hostssl/host - vi ansluter via SSL (eller inte)
alla - tillåter anslutning till alla databaser
alla - användarnamnet som tillåts ansluta (alla)
0.0.0.0/0 - nätmasken från vilken man kan ansluta
md5 - metoden för lösenordskryptering

2. Vi gör de nödvändiga inställningarna i postgresql.conf (den ligger i mappen /etc/postgresql/11/main) för att pgbackrest ska fungera:

archive_command = 'pgbackrest --stanza=main archive-push %p' # Där main är namnet på klustret. Vid installation av postgres skapas automatisk klustret main.
archive_mode = on
max_wal_senders = 3
wal_level = replica

3. Vi gör de nödvändiga inställningarna i konfigurationsfilen för pgbackrest (/etc/pgbackrest/pgbackrest.conf):

[main]
pg1-path=/var/lib/postgresql/11/main

[global]
log-level-file=detail
repo1-host=

4. Vi startar om postgresql:

sudo service postgresql restart

Konfigurering av repository-servern

Repository (pgbackrest användare):

Vi gör de nödvändiga inställningarna i konfigurationsfilen pgbackrest
(/etc/pgbackrest/pgbackrest.conf):

[main]
pg1-host=
pg1-path=/var/lib/postgresql/11/main

[global]
repo1-path=/var/lib/pgbackrest
repo1-retention-full=2 # Parameter som anger hur många fullständiga säkerhetskopior som ska sparas. Det vill säga, om du har två fullständiga säkerhetskopior och skapar en tredje - kommer de två första att raderas tillsammans med inkrementen.
start-fast=y # Påbörjar säkerhetskopiering omedelbart, du kan läsa om denna parameter här https://postgrespro.ru/docs/postgrespro/9.5/continuous-archiving

Skapa lagring

Repository (pgbackrest användare):

Vi skapar ett nytt lagringsutrymme för klustret main:

sudo mkdir -m 770 /var/lib/pgbackrest
sudo chown -R pgbackrest /var/lib/pgbackrest/
sudo -u pgbackrest pgbackrest --stanza=main stanza-create

Kontroll

Postgres-server (sudo-användare eller root):

Kontrollerar på postgres-servern:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info check

Repository (pgbackrest användare):

Kontrollerar på lagringsservern:

sudo -u pgbackrest pgbackrest --stanza=main --log-level-console=info check

Vi ser till att vi ser raden "check command end: completed successfully" i utskriften.

Trött? Vi går vidare till det mest intressanta.

Gör en säkerhetskopiering

Repository (pgbackrest användare):

1. Utför säkerhetskopiering:

sudo -u pgbackrest pgbackrest --stanza=main backup

2. Vi försäkrar oss om att säkerhetskopian har skapats:

ls /var/lib/pgbackrest/backup/main/

Pgbackrest kommer att skapa den första fullständiga säkerhetskopian. Om du vill kan du köra säkerhetskopieringskommandot igen och bekräfta att systemet skapar en inkrementell säkerhetskopian.

Om du vill göra en fullständig säkerhetskopian igen, ange då en extra flagga:

sudo -u pgbackrest pgbackrest --stanza=main --type=full backup

Om du vill ha detaljerad utskrift i terminalen, ange också:

sudo -u pgbackrest pgbackrest --stanza=main --type=full --log-level-console=info backup

Återställ säkerhetskopian

Postgres-server (sudo-användare eller root):

1. Stänger av det aktuella klustret:

sudo pg_ctlcluster 11 main stop

2. Återställ från säkerhetskopian:

sudo -u postgres pgbackrest --stanza=main --delta restore

3. Starta klustret:

sudo pg_ctlcluster 11 main start

Efter att säkerhetskopian har återställts behöver vi göra en ny säkerhetskopiering:

Repository (pgbackrest användare):

sudo pgbackrest --stanza=main backup

Detta är allt. Som avslutning vill jag påminna om att jag på inget sätt försöker framstå som en senior DBA och vid minsta möjlighet kommer jag att använda molntjänster. Just nu börjar jag själv studera olika ämnen som säkerhetskopiering, replikering, övervakning osv. och skriver små rapporter om resultaten för att bidra till gemenskapen och skapa små minnen för mig själv.

I kommande artiklar tänker jag berätta om ytterligare funktioner - återställning av data till ett rent kluster, kryptering av säkerhetskopior och publicering på S3, säkerhetskopior via rsync.

Källa: habr.com