ProHoster > Blog > podávání > Úvod do zálohovacího systému wal-g PostgreSQL

Úvod do zálohovacího systému wal-g PostgreSQL

WAL-G je jednoduchý a efektivní nástroj pro zálohování PostgreSQL do cloudu. Z hlediska své hlavní funkčnosti je dědicem oblíbeného nástroje WAL-E, ale přepsáno v Go. Ale ve WAL-G je jedna důležitá novinka – delta kopie. delta kopie WAL-G ukládat stránky souborů, které se od předchozí verze zálohy změnily. WAL-G implementuje poměrně hodně technologií pro paralelizaci záloh. WAL-G je mnohem rychlejší než WAL-E.

Podrobnosti o tom, jak wal-g funguje, najdete v článku: Přetaktujeme zálohu. Přednáška Yandex

Protokol úložiště S3 se stal populárním pro ukládání dat. Jednou z výhod S3 je možnost přístupu přes API, což umožňuje organizovat flexibilní interakci s úložištěm, včetně veřejného přístupu pro čtení, přičemž aktualizace informací v úložišti probíhá pouze oprávněnými osobami.

Existuje několik implementací veřejného a soukromého úložiště, které používají protokol S3. Dnes se podíváme na oblíbené řešení pro organizaci malého úložiště – Minio.

Jediný PostgreSQL server je vhodný pro testování wal-g a Minio se používá jako náhrada za S3.

Minio server

Instalace Minio

yum -y install yum-plugin-copr
yum copr enable -y lkiesow/minio
yum install -y minio

Upravte AccessKey a SecretKey v /etc/minio/minio.conf

vi /etc/minio/minio.conf

Pokud nebudete používat nginx před Minio, musíte to změnit

--address 127.0.0.1:9000

--address 0.0.0.0:9000

Spuštění Minio

systemctl start minio

Přejděte do webového rozhraní Minio http://ip-адрес-сервера-minio:9000 a vytvořte sektor (například pg-backups).

DB server

WAL-G v otáčkách montuji já (Anton Patsev). GitHub, Fedora COPR.

Kdo nemá systém založený na RPM, použijte oficiální instrukce instalací.

Spolu s binárním souborem wal-g obsahuje rpm skripty, které importují proměnné ze souboru /etc/wal-gd/server-s3.conf.

backup-fetch.sh
backup-list.sh
backup-push.sh
wal-fetch.sh
wal-g-run.sh
wal-push.sh

Nainstalujte walg.

yum -y install yum-plugin-copr
yum copr enable -y antonpatsev/wal-g
yum install -y wal-g

Kontrola verze wal-g.

wal-g --version
wal-g version v0.2.14

Upravte /etc/wal-gd/server-s3.conf podle svých potřeb.

Konfigurační soubory a datové soubory používané databázovým klastrem jsou tradičně uloženy společně v datovém adresáři klastru, běžně označovaném jako PGDATA

#!/bin/bash

export PG_VER="9.6"

export WALE_S3_PREFIX="s3://pg-backups" # бакет, который мы создали в S3
export AWS_ACCESS_KEY_ID="xxxx" # AccessKey из /etc/minio/minio.conf 
export AWS_ENDPOINT="http://ip-адрес-сервера-minio:9000"
export AWS_S3_FORCE_PATH_STYLE="true"
export AWS_SECRET_ACCESS_KEY="yyyy" # SecretKey из /etc/minio/minio.conf

export PGDATA=/var/lib/pgsql/$PG_VER/data/
export PGHOST=/var/run/postgresql/.s.PGSQL.5432 # Сокет для подключения к PostgreSQL

export WALG_UPLOAD_CONCURRENCY=2 # Кол-во потоков для закачки 
export WALG_DOWNLOAD_CONCURRENCY=2 # Кол-во потоков для скачивания
export WALG_UPLOAD_DISK_CONCURRENCY=2 # Кол-во потоков на диске для закачки
export WALG_DELTA_MAX_STEPS=7
export WALG_COMPRESSION_METHOD=brotli # Какой метод сжатия использовать.

Při konfiguraci WAL-G zadáte WALG_DELTA_MAX_STEPS – počet kroků, po které je rozdílová záloha maximální ze základní zálohy, a určíte zásadu rozdílového kopírování. Buď vytvoříte kopii z poslední existující delty, nebo vytvoříte deltu z původní plné zálohy. To je nutné v případě, kdy se ve vaší databázi stále mění stejná komponenta databáze, neustále se mění stejná data.

Instalace databáze.

yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.
noarch.rpm
yum install -y postgresql96 postgresql96-server mc

Inicializujeme databázi.

/usr/pgsql-9.6/bin/postgresql96-setup initdb
Initializing database ... OK

Pokud testujete na 1 serveru, musíte překonfigurovat parametr wal_level na archivaci pro PostgreSQL nižší než verze 10 a repliku pro PostgreSQL verze 10 a starší.

wal_level = archive

Pojďme zálohovat archivy WAL každých 60 sekund pomocí samotného PostgreSQL. Na prod budete mít jinou hodnotu archive_timeout.

archive_mode = on
archive_command = '/usr/local/bin/wal-push.sh %p'
archive_timeout = 60 # Каждые 60 секунд будет выполнятся команда archive_command.

Spuštění PostgreSQL

systemctl start postgresql-9.6

V samostatné konzoli se podíváme na chyby v protokolech PostgreSQL: (změňte postgresql-Wed.log na aktuální).

tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Pojďme na psql.

su - postgres
psql

Vytvořte databázi v psql

Vytvořte tabulku v databázi test1.

create database test1;

Přepněte na test databáze.

postgres=# c test1;

Vytvoříme tabulku indexing_table.

test1=# CREATE TABLE indexing_table(created_at TIMESTAMP WITH TIME ZONE DEFAULT NOW());

Přidávání dat.

Začneme vkládat data. Čekáme 10-20 minut.

#!/bin/bash
# postgres
while true; do
psql -U postgres -d test1 -c "INSERT INTO indexing_table(created_at) VALUES (CURRENT_TIMESTAMP);"
sleep 60;
done

Nezapomeňte vytvořit úplnou zálohu.

su - postgres
/usr/local/bin/backup-push.sh

Podíváme se na záznamy v tabulce v databázi test1

select * from indexing_table;
2020-01-29 09:41:25.226198+
2020-01-29 09:42:25.336989+
2020-01-29 09:43:25.356069+
2020-01-29 09:44:25.37381+
2020-01-29 09:45:25.392944+
2020-01-29 09:46:25.412327+
2020-01-29 09:47:25.432564+
2020-01-29 09:48:25.451985+
2020-01-29 09:49:25.472653+
2020-01-29 09:50:25.491974+
2020-01-29 09:51:25.510178+

Řetězec je aktuální čas.

Podívejte se na seznam úplných záloh

/usr/local/bin/backup-list.sh

Testování zotavení

Úplné obnovení s rolováním všech dostupných WAL.

Zastavte Postgresql.

Smažte vše ze složky /var/lib/pgsql/9.6/data.

Spusťte skript /usr/local/bin/backup-fetch.sh jako uživatel postgres.

su - postgres
/usr/local/bin/backup-fetch.sh

Extrakce zálohy byla dokončena.

Přidejte recovery.conf do složky /var/lib/pgsql/9.6/data s následujícím obsahem.

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'

Spouštíme PostgreSQL. PostgreSQL zahájí proces obnovy z archivovaných WAL a teprve poté se otevře databáze. 

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Zotavení po určitou dobu.

Chceme-li obnovit databázi do určité minuty, pak do recovery.conf přidáme parametr recovery_target_time - uvedeme, kdy obnovit databázi.

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'
recovery_target_time = '2020-01-29 09:46:25'

Po obnovení se podívejte na tabulku indexing_table

 2020-01-29 09:41:25.226198+00
 2020-01-29 09:42:25.336989+00
 2020-01-29 09:43:25.356069+00
 2020-01-29 09:44:25.37381+00
 2020-01-29 09:45:25.392944+00

Spouštíme PostgreSQL. PostgreSQL zahájí proces obnovy z archivovaných WAL a teprve poté se otevře databáze. 

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Testování

Generování 1GB databáze, jak je popsáno zde https://gist.github.com/ololobus/5b25c432f208d7eb31051a5f238dffff

Požadavek na velikost bloku po vygenerování 1 GB dat.

postgres=# SELECT pg_size_pretty(pg_database_size('test1'));
pg_size_pretty
----------------
1003 MB

s4cmd je bezplatný nástroj příkazového řádku pro práci s daty uloženými v úložišti Amazon S3. Utilita je napsána v programovacím jazyce python a díky tomu ji lze použít v operačních systémech Windows i Linux.

Instalace s4cmd

pip install s4cmd

LZ4

s4cmd --endpoint-url=http://ip-адрес-сервера-minio:9000 --access-key=xxxx --secret-key=yyyy du -r s3://pg-backups
840540822       s3://pg-backups/wal_005/
840 МБ в формате lz4 только WAL логов

Полный бекап с lz4 - 1GB данных
time backup_push.sh
real 0m18.582s

Размер S3 бакета после полного бекапа

581480085       s3://pg-backups/basebackups_005/
842374424   s3://pg-backups/wal_005
581 МБ занимает полный бекап

LZMA

После генерации 1ГБ данных
338413694       s3://pg-backups/wal_005/
338 мб логов в формате lzma

Время генерации полного бекапа
time backup_push.sh
real    5m25.054s

Размер бакета в S3
270310495       s3://pg-backups/basebackups_005/
433485092   s3://pg-backups/wal_005/

270 мб занимает полный бекап в формате lzma

Brotli

После генерации 1ГБ данных
459229886       s3://pg-backups/wal_005/
459 мб логов в формате brotli

Время генерации полного бекапа
real    0m23.408s

Размер бакета в S3
312960942       s3://pg-backups/basebackups_005/
459309262   s3://pg-backups/wal_005/

312 мб занимает полный бекап в формате brotli

Porovnání výsledků na grafu.

Úvod do zálohovacího systému wal-g PostgreSQL

Jak vidíte, Brotli je velikostí srovnatelný s LZMA, ale záloha se provádí v čase LZ4.

Chat rusky mluvící komunity PostgreSQL: https://t.me/pgsql

Pokud používáte, dejte hvězdu Github wal-g

Zdroj: www.habr.com

Přidat komentář