🥇Vi presenterar wal-g PostgreSQL backup-systemet

WAL-G är ett enkelt och effektivt verktyg för att säkerhetskopiera PostgreSQL till molnen. När det gäller dess huvudsakliga funktionalitet är det arvtagaren till det populära verktyget WAL-E, men omskriven i Go. Men det finns en viktig nyhet i WAL-G - deltakopior. delta kopior WAL-G lagra sidor med filer som har ändrats sedan den tidigare säkerhetskopieringsversionen. WAL-G implementerar en hel del tekniker för att parallellisera säkerhetskopieringar. WAL-G är mycket snabbare än WAL-E.

Detaljer om hur wal-g fungerar finns i artikeln: Vi överklocka backupen. Yandex föreläsning

S3-lagringsprotokollet har blivit populärt för att lagra data. En av fördelarna med S3 är möjligheten att komma åt via API, vilket gör att du kan organisera flexibel interaktion med lagringen, inklusive offentlig läsåtkomst, medan uppdatering av information i lagringen endast sker av behöriga personer.

Det finns flera offentliga och privata lagringsimplementeringar som använder S3-protokollet. Idag kommer vi att titta på en populär lösning för att organisera liten förvaring - Minio.

En enda PostgreSQL-server är bra för att testa wal-g, och Minio används som ersättning för S3.

Minio server

Minio installation

yum -y install yum-plugin-copr
yum copr enable -y lkiesow/minio
yum install -y minio

Redigera AccessKey och SecretKey i /etc/minio/minio.conf

vi /etc/minio/minio.conf

Om du inte kommer att använda nginx före Minio, måste du ändra

--address 127.0.0.1:9000

--address 0.0.0.0:9000

Startar Minio

systemctl start minio

Gå till Minios webbgränssnitt http://ip-адрес-сервера-minio:9000 och skapa en hink (till exempel pg-backups).

DB-server

WAL-G i rpm monteras av mig (Anton Patsev). Github, Fedora COPR.

Vem som inte har ett RPM-baserat system, använd tjänstemannen instruktion genom installation.

Tillsammans med binären wal-g innehåller rpm skript som importerar variabler från filen /etc/wal-gd/server-s3.conf.

backup-fetch.sh
backup-list.sh
backup-push.sh
wal-fetch.sh
wal-g-run.sh
wal-push.sh

Installera Walg.

yum -y install yum-plugin-copr
yum copr enable -y antonpatsev/wal-g
yum install -y wal-g

Kontrollerar wal-g version.

wal-g --version
wal-g version v0.2.14

Redigera /etc/wal-gd/server-s3.conf efter dina behov.

Konfigurationsfilerna och datafilerna som används av ett databaskluster lagras traditionellt tillsammans i klusterdatakatalogen, vanligen kallad PGDATA

#!/bin/bash

export PG_VER="9.6"

export WALE_S3_PREFIX="s3://pg-backups" # бакет, который мы создали в S3
export AWS_ACCESS_KEY_ID="xxxx" # AccessKey из /etc/minio/minio.conf 
export AWS_ENDPOINT="http://ip-адрес-сервера-minio:9000"
export AWS_S3_FORCE_PATH_STYLE="true"
export AWS_SECRET_ACCESS_KEY="yyyy" # SecretKey из /etc/minio/minio.conf

export PGDATA=/var/lib/pgsql/$PG_VER/data/
export PGHOST=/var/run/postgresql/.s.PGSQL.5432 # Сокет для подключения к PostgreSQL

export WALG_UPLOAD_CONCURRENCY=2 # Кол-во потоков для закачки 
export WALG_DOWNLOAD_CONCURRENCY=2 # Кол-во потоков для скачивания
export WALG_UPLOAD_DISK_CONCURRENCY=2 # Кол-во потоков на диске для закачки
export WALG_DELTA_MAX_STEPS=7
export WALG_COMPRESSION_METHOD=brotli # Какой метод сжатия использовать.

När du konfigurerar WAL-G anger du WALG_DELTA_MAX_STEPS - antalet steg som deltabackupen är maximalt från basbackupen, och specificerar deltakopieringspolicyn. Antingen gör du en kopia från det senaste befintliga deltat, eller så gör du ett delta från den ursprungliga fullständiga säkerhetskopian. Detta är nödvändigt om samma komponent i databasen alltid ändras i din databas, samma data ändras ständigt.

Installation av databasen.

yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.
noarch.rpm
yum install -y postgresql96 postgresql96-server mc

Vi initierar databasen.

/usr/pgsql-9.6/bin/postgresql96-setup initdb
Initializing database ... OK

Om du testar på en server måste du konfigurera om parametern wal_level för att arkivera för PostgreSQL mindre än version 1, och replika för PostgreSQL version 10 och äldre.

wal_level = archive

Låt oss säkerhetskopiera WAL-arkiv var 60:e sekund med PostgreSQL själv. På prod kommer du att ha ett annat archive_timeout-värde.

archive_mode = on
archive_command = '/usr/local/bin/wal-push.sh %p'
archive_timeout = 60 # Каждые 60 секунд будет выполнятся команда archive_command.

Startar PostgreSQL

systemctl start postgresql-9.6

I en separat konsol tittar vi på PostgreSQL-loggarna efter fel: (ändra postgresql-Wed.log till den nuvarande).

tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Låt oss gå till psql.

su - postgres
psql

Skapa en databas i psql

Skapa en tabell i databasen test1.

create database test1;

Byt till databastestet.

postgres=# c test1;

Vi skapar tabellen indexing_table.

test1=# CREATE TABLE indexing_table(created_at TIMESTAMP WITH TIME ZONE DEFAULT NOW());

Lägger till data.

Vi börjar infoga data. Vi väntar i 10-20 minuter.

#!/bin/bash
# postgres
while true; do
psql -U postgres -d test1 -c "INSERT INTO indexing_table(created_at) VALUES (CURRENT_TIMESTAMP);"
sleep 60;
done

Se till att göra en fullständig säkerhetskopia.

su - postgres
/usr/local/bin/backup-push.sh

Vi tittar på posterna i tabellen i databasen test1

select * from indexing_table;
2020-01-29 09:41:25.226198+
2020-01-29 09:42:25.336989+
2020-01-29 09:43:25.356069+
2020-01-29 09:44:25.37381+
2020-01-29 09:45:25.392944+
2020-01-29 09:46:25.412327+
2020-01-29 09:47:25.432564+
2020-01-29 09:48:25.451985+
2020-01-29 09:49:25.472653+
2020-01-29 09:50:25.491974+
2020-01-29 09:51:25.510178+

Strängen är den aktuella tiden.

Se listan över fullständiga säkerhetskopior

/usr/local/bin/backup-list.sh

Återhämtningstestning

Full återhämtning med rullande all tillgänglig WAL.

Stoppa Postgresql.

Ta bort allt från mappen /var/lib/pgsql/9.6/data.

Kör skriptet /usr/local/bin/backup-fetch.sh som postgres-användare.

su - postgres
/usr/local/bin/backup-fetch.sh

Säkerhetskopieringen är klar.

Lägg till recovery.conf i mappen /var/lib/pgsql/9.6/data med följande innehåll.

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'

Vi startar PostgreSQL. PostgreSQL kommer att starta återställningsprocessen från de arkiverade WAL:erna, och först då öppnas databasen.

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Återhämtning under en viss tid.

Om vi vill återställa databasen upp till en viss minut lägger vi till parametern recovery_target_time till recovery.conf - vi anger vid vilken tidpunkt databasen ska återställas.

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'
recovery_target_time = '2020-01-29 09:46:25'

Efter återställning, titta på tabellen indexing_table

 2020-01-29 09:41:25.226198+00
 2020-01-29 09:42:25.336989+00
 2020-01-29 09:43:25.356069+00
 2020-01-29 09:44:25.37381+00
 2020-01-29 09:45:25.392944+00

Vi startar PostgreSQL. PostgreSQL kommer att starta återställningsprocessen från de arkiverade WAL:erna, och först då öppnas databasen.

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

testning

Generera en 1GB databas enligt beskrivningen här https://gist.github.com/ololobus/5b25c432f208d7eb31051a5f238dffff

Begär storleken på hinken efter att ha genererat 1 GB data.

postgres=# SELECT pg_size_pretty(pg_database_size('test1'));
pg_size_pretty
----------------
1003 MB

s4cmd är ett gratis kommandoradsverktyg för att arbeta med data som finns i Amazon S3-lagring. Verktyget är skrivet i programmeringsspråket python, och på grund av detta kan det användas i både Windows och Linux operativsystem.

Installerar s4cmd

pip install s4cmd

LZ4

s4cmd --endpoint-url=http://ip-адрес-сервера-minio:9000 --access-key=xxxx --secret-key=yyyy du -r s3://pg-backups
840540822       s3://pg-backups/wal_005/
840 МБ в формате lz4 только WAL логов

Полный бекап с lz4 - 1GB данных
time backup_push.sh
real 0m18.582s

Размер S3 бакета после полного бекапа

581480085       s3://pg-backups/basebackups_005/
842374424   s3://pg-backups/wal_005
581 МБ занимает полный бекап

LZMA

После генерации 1ГБ данных
338413694       s3://pg-backups/wal_005/
338 мб логов в формате lzma

Время генерации полного бекапа
time backup_push.sh
real    5m25.054s

Размер бакета в S3
270310495       s3://pg-backups/basebackups_005/
433485092   s3://pg-backups/wal_005/

270 мб занимает полный бекап в формате lzma

Brotli

После генерации 1ГБ данных
459229886       s3://pg-backups/wal_005/
459 мб логов в формате brotli

Время генерации полного бекапа
real    0m23.408s

Размер бакета в S3
312960942       s3://pg-backups/basebackups_005/
459309262   s3://pg-backups/wal_005/

312 мб занимает полный бекап в формате brotli

Jämförelse av resultat på diagrammet.

Som du kan se är Brotli i storlek jämförbar med LZMA, men säkerhetskopieringen utförs i LZ4-tid.

Chatt för det rysktalande PostgreSQL-communityt: https://t.me/pgsql

Vänligen ge en stjärna till Github om du använder wal-g

Källa: will.com

Introduktion till wal-g PostgreSQL backup-system