🥇 Представљамо вал-г ПостгреСКЛ систем резервних копија

ВАЛ-Г је једноставан и ефикасан алат за прављење резервних копија ПостгреСКЛ-а у облаку. У погледу своје главне функционалности, он је наследник популарног алата ВАЛ-Е, али преписан у Го. Али постоји једна важна нова карактеристика у ВАЛ-Г - делта копије. делта копије ВАЛ-Г складишти странице датотека које су се промениле од претходне верзије резервне копије. ВАЛ-Г имплементира доста технологија за паралелно прављење резервних копија. ВАЛ-Г је много бржи од ВАЛ-Е.

Детаљи о томе како вал-г функционише могу се наћи у чланку: Оверклокујемо резервну копију. Иандек предавање

С3 протокол за складиштење постао је популаран за складиштење података. Једна од предности С3 је могућност приступа преко АПИ-ја, што вам омогућава да организујете флексибилну интеракцију са складиштем, укључујући јавни приступ за читање, док ажурирање информација у складишту врши само овлашћена лица.

Постоји неколико имплементација јавног и приватног складишта које користе С3 протокол. Данас ћемо погледати популарно решење за организовање малих складишта - Минио.

Један ПостгреСКЛ сервер је у реду за тестирање вал-г-а, а Минио се користи као замена за С3.

Минио сервер

Минио инсталација

yum -y install yum-plugin-copr
yum copr enable -y lkiesow/minio
yum install -y minio

Уредите АццессКеи и СецретКеи у /етц/минио/минио.цонф

vi /etc/minio/minio.conf

Ако нећете користити нгинк пре Миниа, онда морате да промените

--address 127.0.0.1:9000

--address 0.0.0.0:9000

Покретање Миниа

systemctl start minio

Идите на Минио веб интерфејс http://ip-адрес-сервера-minio:9000 и креирајте канту (на пример, пг-бацкупс).

ДБ сервер

ВАЛ-Г у рпм сам саставио (Антон Патсев). Гитхуб, Федора ЦОПР.

Ко нема систем заснован на РПМ-у, нека се послужи службеним инструкција уградњом.

Заједно са вал-г бинарном, рпм садржи скрипте које увозе променљиве из датотеке /етц/вал-гд/сервер-с3.цонф.

backup-fetch.sh
backup-list.sh
backup-push.sh
wal-fetch.sh
wal-g-run.sh
wal-push.sh

Инсталл валг.

yum -y install yum-plugin-copr
yum copr enable -y antonpatsev/wal-g
yum install -y wal-g

Проверавам вал-г верзију.

wal-g --version
wal-g version v0.2.14

Уредите /етц/вал-гд/сервер-с3.цонф према својим потребама.

Конфигурационе датотеке и датотеке са подацима које користи кластер базе података традиционално се чувају заједно у директоријуму података кластера, који се обично назива PGDATA

#!/bin/bash

export PG_VER="9.6"

export WALE_S3_PREFIX="s3://pg-backups" # бакет, который мы создали в S3
export AWS_ACCESS_KEY_ID="xxxx" # AccessKey из /etc/minio/minio.conf 
export AWS_ENDPOINT="http://ip-адрес-сервера-minio:9000"
export AWS_S3_FORCE_PATH_STYLE="true"
export AWS_SECRET_ACCESS_KEY="yyyy" # SecretKey из /etc/minio/minio.conf

export PGDATA=/var/lib/pgsql/$PG_VER/data/
export PGHOST=/var/run/postgresql/.s.PGSQL.5432 # Сокет для подключения к PostgreSQL

export WALG_UPLOAD_CONCURRENCY=2 # Кол-во потоков для закачки 
export WALG_DOWNLOAD_CONCURRENCY=2 # Кол-во потоков для скачивания
export WALG_UPLOAD_DISK_CONCURRENCY=2 # Кол-во потоков на диске для закачки
export WALG_DELTA_MAX_STEPS=7
export WALG_COMPRESSION_METHOD=brotli # Какой метод сжатия использовать.

Када конфигуришете ВАЛ-Г, наведете ВАЛГ_ДЕЛТА_МАКС_СТЕПС - број корака за које је делта резервна копија максимална у односу на основну резервну копију и наведете политику делта копије. Или направите копију из последње постојеће делте, или направите делту од оригиналне пуне резервне копије. Ово је неопходно у случају када се иста компонента базе података увек мења у вашој бази података, исти подаци се стално мењају.

Инсталирање базе података.

yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.
noarch.rpm
yum install -y postgresql96 postgresql96-server mc

Иницијализујемо базу података.

/usr/pgsql-9.6/bin/postgresql96-setup initdb
Initializing database ... OK

Ако тестирате на 1 серверу, онда морате поново да конфигуришете параметар вал_левел да архивирате за ПостгреСКЛ мање од верзије 10 и реплику за ПостгреСКЛ верзију 10 и старију.

wal_level = archive

Хајде да направимо резервну копију ВАЛ архива сваких 60 секунди користећи сам ПостгреСКЛ. На прод, имаћете другачију вредност арцхиве_тимеоут.

archive_mode = on
archive_command = '/usr/local/bin/wal-push.sh %p'
archive_timeout = 60 # Каждые 60 секунд будет выполнятся команда archive_command.

Покретање ПостгреСКЛ-а

systemctl start postgresql-9.6

У посебној конзоли гледамо у ПостгреСКЛ евиденцију грешака: (промените постгрескл-Вед.лог у тренутни).

tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Идемо на пскл.

su - postgres
psql

Направите базу података у пскл-у

Направите табелу у бази података тест1.

create database test1;

Пређите на тест базе података.

postgres=# c test1;

Креирамо табелу индекинг_табле.

test1=# CREATE TABLE indexing_table(created_at TIMESTAMP WITH TIME ZONE DEFAULT NOW());

Додавање података.

Почињемо да уносимо податке. Чекамо 10-20 минута.

#!/bin/bash
# postgres
while true; do
psql -U postgres -d test1 -c "INSERT INTO indexing_table(created_at) VALUES (CURRENT_TIMESTAMP);"
sleep 60;
done

Обавезно направите потпуну резервну копију.

su - postgres
/usr/local/bin/backup-push.sh

Гледамо записе у табели у тесту базе података1

select * from indexing_table;
2020-01-29 09:41:25.226198+
2020-01-29 09:42:25.336989+
2020-01-29 09:43:25.356069+
2020-01-29 09:44:25.37381+
2020-01-29 09:45:25.392944+
2020-01-29 09:46:25.412327+
2020-01-29 09:47:25.432564+
2020-01-29 09:48:25.451985+
2020-01-29 09:49:25.472653+
2020-01-29 09:50:25.491974+
2020-01-29 09:51:25.510178+

Низ је тренутно време.

Погледајте листу потпуних резервних копија

/usr/local/bin/backup-list.sh

Тестирање опоравка

Потпуни опоравак са окретањем свих доступних ВАЛ-а.

Зауставите Постгрескл.

Избришите све из фасцикле /вар/либ/пгскл/9.6/дата.

Покрените /уср/лоцал/бин/бацкуп-фетцх.сх скрипту као постгрес корисник.

su - postgres
/usr/local/bin/backup-fetch.sh

Екстракција резервне копије је завршена.

Додајте рецовери.цонф у фасциклу /вар/либ/пгскл/9.6/дата са следећим садржајем.

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'

Покрећемо ПостгреСКЛ. ПостгреСКЛ ће покренути процес опоравка из архивираних ВАЛ-ова и тек тада ће се отворити база података.

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Опоравак на одређено време.

Ако желимо да вратимо базу података до одређеног минута, онда у рецовери.цонф додајемо параметар рецовери_таргет_тиме - означавамо у које време треба вратити базу података.

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'
recovery_target_time = '2020-01-29 09:46:25'

Након опоравка, погледајте табелу индекинг_табле

 2020-01-29 09:41:25.226198+00
 2020-01-29 09:42:25.336989+00
 2020-01-29 09:43:25.356069+00
 2020-01-29 09:44:25.37381+00
 2020-01-29 09:45:25.392944+00

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Тестирање

Генерисање базе података од 1 ГБ као што је овде описано https://gist.github.com/ololobus/5b25c432f208d7eb31051a5f238dffff

Захтева се величина сегмента након генерисања 1 ГБ података.

postgres=# SELECT pg_size_pretty(pg_database_size('test1'));
pg_size_pretty
----------------
1003 MB

с4цмд је бесплатна алатка командне линије за рад са подацима који се налазе у Амазон С3 складишту. Услужни програм је написан у програмском језику Питхон, и због тога се може користити и у Виндовс и Линук оперативним системима.

Инсталирање с4цмд

pip install s4cmd

ЛЗКСНУМКС

s4cmd --endpoint-url=http://ip-адрес-сервера-minio:9000 --access-key=xxxx --secret-key=yyyy du -r s3://pg-backups
840540822       s3://pg-backups/wal_005/
840 МБ в формате lz4 только WAL логов

Полный бекап с lz4 - 1GB данных
time backup_push.sh
real 0m18.582s

Размер S3 бакета после полного бекапа

581480085       s3://pg-backups/basebackups_005/
842374424   s3://pg-backups/wal_005
581 МБ занимает полный бекап

ЛЗМА

После генерации 1ГБ данных
338413694       s3://pg-backups/wal_005/
338 мб логов в формате lzma

Время генерации полного бекапа
time backup_push.sh
real    5m25.054s

Размер бакета в S3
270310495       s3://pg-backups/basebackups_005/
433485092   s3://pg-backups/wal_005/

270 мб занимает полный бекап в формате lzma

Бротли

После генерации 1ГБ данных
459229886       s3://pg-backups/wal_005/
459 мб логов в формате brotli

Время генерации полного бекапа
real    0m23.408s

Размер бакета в S3
312960942       s3://pg-backups/basebackups_005/
459309262   s3://pg-backups/wal_005/

312 мб занимает полный бекап в формате brotli

Поређење резултата на графикону.

Као што видите, Бротли је упоредив по величини са ЛЗМА, али резервна копија се врши у ЛЗ4 времену.

Ћаскање руског говорног подручја ПостгреСКЛ заједнице: https://t.me/pgsql

Молимо да дате звездицу Гитхуб-у ако користите вал-г

Извор: ввв.хабр.цом

Увод у вал-г ПостгреСКЛ систем резервних копија