🥇Úvod do systému zálohovania wal-g pre PostgreSQL

WAL-G — jednoduchý a efektívny nástroj na zálohovanie PostgreSQL do cloudu. Z hľadiska svojej hlavnej funkčnosti je nástupcom populárneho nástroja WAL-E, ale prepísaný v Go. Ale WAL-G má jednu dôležitú novú funkciu — delta-kópie. Delta-kópie WAL-G uchovávajú stránky súborov, ktoré sa zmenili od predchádzajúcej verzie zálohy. WAL-G implementuje množstvo technológií pre paralelizáciu záloh. WAL-G funguje oveľa rýchlejšie ako WAL-E.

Podrobnosti o fungovaní wal-g si môžete prečítať v článku: Zrýchľujeme zálohu. Prednáška Yandexu

Protokol S3 sa stal populárnym na ukladanie dát. Jednou z výhod S3 je možnosť prístupu cez API, čo umožňuje flexibilné interakcie so skladom, vrátane verejného prístupu na čítanie, pričom aktualizácie informácií v sklade vykonávajú iba oprávnené osoby.

Existuje niekoľko otvorených aj súkromných implementácií skladov pracujúcich na protokole S3. Dnes si predstavíme populárne riešenie na organizovanie malých skladov — Minio.

Na testovanie wal-g bude stačiť jeden server PostgreSQL a ako alternatíva k S3 sa použije Minio.

Server Minio

Inštalácia Minio

yum -y install yum-plugin-copr
yum copr enable -y lkiesow/minio
yum install -y minio

Opraviť AccessKey a SecretKey v /etc/minio/minio.conf

vi /etc/minio/minio.conf

Ak nebudete používať nginx pred Minio, treba zmeniť

--address 127.0.0.1:9000

--address 0.0.0.0:9000

Spúšťame Minio

systemctl start minio

Prihlásime sa do webového rozhrania Minio http://ip-adresa-servera-minio:9000 a vytvoríme bucket (napríklad pg-backups).

Server DB

WAL-G v rpm skladám ja (Anton Pacev). Github, Fedora COPR.

Pre tých, ktorí nemajú systém založený na RPM, použite oficiálnu návod na inštaláciu.

Spolu s binárkou wal-g v rpm sú prítomné skripty, ktoré importujú premenné zo súboru /etc/wal-g.d/server-s3.conf.

backup-fetch.sh
backup-list.sh
backup-push.sh
wal-fetch.sh
wal-g-run.sh
wal-push.sh

Inštalujeme wal-g.

yum -y install yum-plugin-copr
yum copr enable -y antonpatsev/wal-g
yum install -y wal-g

Kontrolujeme verziu wal-g.

wal-g --version
wal-g verzia v0.2.14

Upravte /etc/wal-g.d/server-s3.conf podľa svojich potrieb.

Konfiguračné súbory a súbory dát používané klastrom databázy sa tradične uchovávajú spolu v adresári dát klastra, ktorý sa zvyčajne nazýva PGDATA

#!/bin/bash

export PG_VER="9.6"

export WALE_S3_PREFIX="s3://pg-backups" # бакет, который мы создали в S3
export AWS_ACCESS_KEY_ID="xxxx" # AccessKey из /etc/minio/minio.conf 
export AWS_ENDPOINT="http://ip-адрес-сервера-minio:9000"
export AWS_S3_FORCE_PATH_STYLE="true"
export AWS_SECRET_ACCESS_KEY="yyyy" # SecretKey из /etc/minio/minio.conf

export PGDATA=/var/lib/pgsql/$PG_VER/data/
export PGHOST=/var/run/postgresql/.s.PGSQL.5432 # Сокет для подключения к PostgreSQL

export WALG_UPLOAD_CONCURRENCY=2 # Кол-во потоков для закачки 
export WALG_DOWNLOAD_CONCURRENCY=2 # Кол-во потоков для скачивания
export WALG_UPLOAD_DISK_CONCURRENCY=2 # Кол-во потоков на диске для закачки
export WALG_DELTA_MAX_STEPS=7
export WALG_COMPRESSION_METHOD=brotli # Какой метод сжатия использовать.

Pri nastavení WAL-G uvádzate WALG_DELTA_MAX_STEPS — počet krokov, o ktoré sa maximálne odchyľuje dDelta záloha od základnej zálohy, a určujete politiku delta kópie. Buď vytvárate kópiu z poslednej existujúcej delta kópie, alebo robíte delta od pôvodnej plnej zálohy. To je potrebné v prípade, že v databáze sa vždy mení tá istá súčasť DB, tie isté dáta sa neustále menia.

Inštalujeme databázu.

yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm

yum install -y postgresql96 postgresql96-server mc

Inicializujeme DB.

/usr/pgsql-9.6/bin/postgresql96-setup initdb
Initializing database ... OK

Ak testujete na jednom serveri, musíte prekonfigurovať parameter wal_level na archive pre PostgreSQL verzie nižšej ako 10, a replica pre PostgreSQL verzie 10 a vyššej.

wal_level = archive

Urobíme zálohovanie WAL archívov každých 60 sekúnd pomocou samotného PostgreSQL. Na produkcii budete mať inú hodnotu archive_timeout.

archive_mode = on
archive_command = '/usr/local/bin/wal-push.sh %p'
archive_timeout = 60 # Každých 60 sekúnd sa vykoná príkaz archive_command.

Spúšťame PostgreSQL

systemctl start postgresql-9.6

Na samostatnom termináli sledujeme logy PostgreSQL na prítomnosť chýb: (postgresql-Wed.log zmeňte na aktuálny).

tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Prihlásime sa do psql.

su - postgres
psql

V psql vytvárame databázu.

Vytvárame tabuľku v DB test1.

create database test1;

Prepneme sa na databázu test.

postgres=# c test1;

Vytvárame tabuľku indexing_table.

test1=# CREATE TABLE indexing_table(created_at TIMESTAMP WITH TIME ZONE DEFAULT NOW());

Pridávanie dát.

Spúšťame vkladanie dát. Čakáme 10-20 minút.

#!/bin/bash
# postgres
while true; do
psql -U postgres -d test1 -c "INSERT INTO indexing_table(created_at) VALUES (CURRENT_TIMESTAMP);"
sleep 60;
done

Určite robíme plnú zálohu.

su - postgres
/usr/local/bin/backup-push.sh

Pozrieme si záznamy v tabuľke v DB test1

select * from indexing_table;
2020-01-29 09:41:25.226198+
2020-01-29 09:42:25.336989+
2020-01-29 09:43:25.356069+
2020-01-29 09:44:25.37381+
2020-01-29 09:45:25.392944+
2020-01-29 09:46:25.412327+
2020-01-29 09:47:25.432564+
2020-01-29 09:48:25.451985+
2020-01-29 09:49:25.472653+
2020-01-29 09:50:25.491974+
2020-01-29 09:51:25.510178+

Riadok je to aktuálny čas.

Sledujeme zoznam plných záloh

/usr/local/bin/backup-list.sh

Testovanie obnovenia

Plné obnovenie s aplikovaním všetkých dostupných WAL.

Zastavujeme PostgreSQL.

Odstraňujeme všetko z priečinka /var/lib/pgsql/9.6/data.

Spúšťame skript /usr/local/bin/backup-fetch.sh od používateľa postgres.

su - postgres
/usr/local/bin/backup-fetch.sh

Extrakcia zálohy dokončená.

Pridávame recovery.conf do priečinka /var/lib/pgsql/9.6/data s nasledujúcim obsahom.

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'

Spúšťame PostgreSQL. PostgreSQL spustí proces obnovy z archívnych WAL, a až potom sa databáza otvorí.

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Obnovenie na určitý čas.

Ak chceme obnoviť databázu do určitého času, do recovery.conf pridáme parameter recovery_target_time — uvádzame, do ktorého času chceme obnoviť databázu.

restore_command = 'usr/local/bin/wal-fetch.sh "%f" "%p"'
recovery_target_time = '2020-01-29 09:46:25'

Po obnovení sa pozrieme na tabuľku indexing_table

 2020-01-29 09:41:25.226198+00
 2020-01-29 09:42:25.336989+00
 2020-01-29 09:43:25.356069+00
 2020-01-29 09:44:25.37381+00
 2020-01-29 09:45:25.392944+00

Spúšťame PostgreSQL. PostgreSQL spustí proces obnovy z archívnych WAL, a až potom sa databáza otvorí.

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Testovanie

Generujeme databázu s veľkosťou 1 GB, ako je opísané tu https://gist.github.com/ololobus/5b25c432f208d7eb31051a5f238dffff

Žiadame o veľkosť bucketu po generovaní 1 GB dát.

postgres=# SELECT pg_size_pretty(pg_database_size('test1'));
pg_size_pretty
----------------
1003 MB

s4cmd — bezplatný príkazový nástroj na prácu s údajmi uloženými v úložisku Amazon S3. Nástroj je naprogramovaný v jazyku Python, a preto ho je možné používať na operačných systémoch Windows aj Linux.

Inštalujeme s4cmd

pip install s4cmd

LZ4

s4cmd --endpoint-url=http://ip-adresa-servera-minio:9000 --access-key=xxxx --secret-key=yyyy du -r s3://pg-backups
840540822       s3://pg-backups/wal_005/
840 MB vo formáte lz4 len WAL logov

Úplná záloha s lz4 - 1 GB dát
time backup_push.sh
real 0m18.582s

Veľkosť S3 bucketu po úplnej zálohe

581480085       s3://pg-backups/basebackups_005/
842374424   s3://pg-backups/wal_005
581 MB zaberá úplná záloha

LZMA

Po generovaní 1 GB dát
338413694       s3://pg-backups/wal_005/
338 MB logov vo formáte lzma

Čas generovania úplnej zálohy
time backup_push.sh
real    5m25.054s

Veľkosť bucketu v S3
270310495       s3://pg-backups/basebackups_005/
433485092   s3://pg-backups/wal_005/

270 MB zaberá úplná záloha vo formáte lzma

Brotli

Po generovaní 1 GB dát
459229886       s3://pg-backups/wal_005/
459 MB logov vo formáte brotli

Čas generovania úplnej zálohy
real    0m23.408s

Veľkosť bucketu v S3
312960942       s3://pg-backups/basebackups_005/
459309262   s3://pg-backups/wal_005/

312 MB zaberá úplná záloha vo formáte brotli

Porovnanie výsledkov na grafe.

Ako vidíme, Brotli je veľkostne porovnateľný s LZMA, ale záloha sa vykonáva časom LZ4.

Chat rusky hovoriacej komunity PostgreSQL: https://t.me/pgsql

Prosím, dajte hviezdičku na GitHub, ak používate wal-g

Zdroj: habr.com