Падрабязнасці працы wal-g можна прачытаць у артыкуле:
Пратакол захоўвання S3 стаў папулярным для захоўвання дадзеных. Адна з пераваг S3 – магчымасць доступу праз API, што дазваляе арганізаваць гнуткае ўзаемадзеянне са сховішчам, уключаючы публічны доступ на чытанне, у той час як абнаўленне інфармацыі ў сховішча адбываецца толькі аўтарызаванымі асобамі.
Існуе некалькі як адчыненых, так і дзеляў рэалізацый сховішчаў, якія працуюць па пратаколе S3. Сёння мы разгледзім папулярнае рашэнне для арганізацыі малых сховішчаў - Minio.
Для тэсціравання wal-g падыдзе адзін сервер PostgreSQL, а ў якасці замены S3 выкарыстоўваецца Minio.
Сервер Minio
Ўстаноўка Minio
yum -y install yum-plugin-copr
yum copr enable -y lkiesow/minio
yum install -y minio
Кіруем AccessKey і SecretKey у /etc/minio/minio.conf
vi /etc/minio/minio.conf
Калі вы не будзеце выкарыстоўваць nginx перад Minio, тое трэба змяніць
--address 127.0.0.1:9000
--address 0.0.0.0:9000
Запускаем Minio
systemctl start minio
Заходзім у web-інтэрфейс Minio
Сервер БД
WAL-G у rpm збіраю я (Антон Пацаў).
У каго не RPM-based сістэма выкарыстоўвайце афіцыйную
Разам з бінарнікам wal-g у rpm прысутнічаюць скрыпты, якія імпартуюць зменныя з файла /etc/wal-gd/server-s3.conf.
backup-fetch.sh
backup-list.sh
backup-push.sh
wal-fetch.sh
wal-g-run.sh
wal-push.sh
Усталёўваны wal-g.
yum -y install yum-plugin-copr
yum copr enable -y antonpatsev/wal-g
yum install -y wal-g
Правяраем версію wal-g.
wal-g --version
wal-g version v0.2.14
Рэдагуем /etc/wal-gd/server-s3.conf па сваіх патрэбах.
Файлы канфігурацыі і файлы дадзеных, якія выкарыстоўваюцца кластарам базы дадзеных, традыцыйна захоўваюцца разам у каталогу дадзеных кластара, які звычайна называюць PGDATA
#!/bin/bash
export PG_VER="9.6"
export WALE_S3_PREFIX="s3://pg-backups" # бакет, который мы создали в S3
export AWS_ACCESS_KEY_ID="xxxx" # AccessKey из /etc/minio/minio.conf
export AWS_ENDPOINT="http://ip-адрес-сервера-minio:9000"
export AWS_S3_FORCE_PATH_STYLE="true"
export AWS_SECRET_ACCESS_KEY="yyyy" # SecretKey из /etc/minio/minio.conf
export PGDATA=/var/lib/pgsql/$PG_VER/data/
export PGHOST=/var/run/postgresql/.s.PGSQL.5432 # Сокет для подключения к PostgreSQL
export WALG_UPLOAD_CONCURRENCY=2 # Кол-во потоков для закачки
export WALG_DOWNLOAD_CONCURRENCY=2 # Кол-во потоков для скачивания
export WALG_UPLOAD_DISK_CONCURRENCY=2 # Кол-во потоков на диске для закачки
export WALG_DELTA_MAX_STEPS=7
export WALG_COMPRESSION_METHOD=brotli # Какой метод сжатия использовать.
Пры наладзе WAL-G вы паказваеце WALG_DELTA_MAX_STEPS — колькасць крокаў, на якія максімальна абароніць ад base-бэкапу дэльта-бэкап, і паказваеце палітыку дэльта-копіі. Або вы робіце копію з апошняй існуючай дэльты, або робіце дэльту ад першапачатковага поўнага бэкапу. Гэта трэба на той выпадак, калі ў вас у базе дадзеных заўсёды змяняецца адзін і той жа складнік БД, адны і тыя ж дадзеныя ўвесь час змяняюцца.
Усталёўваны БД.
yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.
noarch.rpm
yum install -y postgresql96 postgresql96-server mc
Ініцыялізуем бд.
/usr/pgsql-9.6/bin/postgresql96-setup initdb
Initializing database ... OK
Калі вы тэстуеце на 1 серверы, то трэба пераналадзіць параметр wal_level на archive для PostgreSQL менш за 10 версіі, і replica для PostgreSQL 10 версіі і старэй.
wal_level = archive
Зробім бекапіраванне WAL архіваў кожныя 60 секунд з дапамогай самога PostgreSQL. На продзе ў вас будзе іншае значэнне archive_timeout.
archive_mode = on
archive_command = '/usr/local/bin/wal-push.sh %p'
archive_timeout = 60 # Каждые 60 секунд будет выполнятся команда archive_command.
Стартуем PostgreSQL
systemctl start postgresql-9.6
У асобнай кансолі глядзім логі PostgreSQL на прадмет памылак: (postgresql-Wed.log змяняеце на бягучы).
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log
Заходзім у psql.
su - postgres
psql
У psql ствараем БД.
Ствараем табліцу ў бд test1.
create database test1;
Пераключаемся на бд test.
postgres=# c test1;
Ствараем табліцу indexing_table.
test1=# CREATE TABLE indexing_table(created_at TIMESTAMP WITH TIME ZONE DEFAULT NOW());
Даданне даных.
Запускаем устаўку дадзеных. Чакаем 10-20 хвілін.
#!/bin/bash
# postgres
while true; do
psql -U postgres -d test1 -c "INSERT INTO indexing_table(created_at) VALUES (CURRENT_TIMESTAMP);"
sleep 60;
done
Абавязкова які робіцца поўны бекап.
su - postgres
/usr/local/bin/backup-push.sh
Глядзім запісы ў табліцы ў бд test1
select * from indexing_table;
2020-01-29 09:41:25.226198+
2020-01-29 09:42:25.336989+
2020-01-29 09:43:25.356069+
2020-01-29 09:44:25.37381+
2020-01-29 09:45:25.392944+
2020-01-29 09:46:25.412327+
2020-01-29 09:47:25.432564+
2020-01-29 09:48:25.451985+
2020-01-29 09:49:25.472653+
2020-01-29 09:50:25.491974+
2020-01-29 09:51:25.510178+
Радок гэты бягучы час.
Глядзім спіс поўных бекапаў
/usr/local/bin/backup-list.sh
Тэставанне аднаўлення
Поўнае аднаўленне з накатваем усіх даступных WAL.
Спыняем Postgresql.
Выдаляем усё з тэчкі /var/lib/pgsql/9.6/data.
Запускаем скрыпт /usr/local/bin/backup-fetch.sh ад карыстальніка postgres.
su - postgres
/usr/local/bin/backup-fetch.sh
Backup атрыманне complete.
Дадаем recovery.conf у тэчку /var/lib/pgsql/9.6/data з наступным змесцівам.
restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'
Запускаем PostgreSQL. PostgreSQL запусціць працэс recovery з архіўных WAL, і толькі потым база адкрыецца.
systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log
Аднаўленне на пэўны час.
Калі жадаем аднавіць базу да вызначанай хвіліны, то ў recovery.conf дадаем параметр recovery_target_time — паказваем на які час аднавіць базу.
restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'
recovery_target_time = '2020-01-29 09:46:25'
Пасля аднаўлення глядзім на табліцу indexing_table
2020-01-29 09:41:25.226198+00
2020-01-29 09:42:25.336989+00
2020-01-29 09:43:25.356069+00
2020-01-29 09:44:25.37381+00
2020-01-29 09:45:25.392944+00
Запускаем PostgreSQL. PostgreSQL запусціць працэс recovery з архіўных WAL, і толькі потым база адкрыецца.
systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log
Тэставанне
Які генеруецца 1GB базу дадзеных як апісана тут
Запытваем памер бакета пасля генерацыі 1GB дадзеных.
postgres=# SELECT pg_size_pretty(pg_database_size('test1'));
pg_size_pretty
----------------
1003 MB
s4cmd - бясплатная прылада каманднага радка для працы з дадзенымі, размешчанымі ў сховішча Amazon S3. Утыліта напісана на мове праграмавання python, і дзякуючы гэтаму можа выкарыстоўвацца ў аперацыйных сістэмах і Windows, і Linux.
Усталёўваны s4cmd
pip install s4cmd
LZ4
s4cmd --endpoint-url=http://ip-адрес-сервера-minio:9000 --access-key=xxxx --secret-key=yyyy du -r s3://pg-backups
840540822 s3://pg-backups/wal_005/
840 МБ в формате lz4 только WAL логов
Полный бекап с lz4 - 1GB данных
time backup_push.sh
real 0m18.582s
Размер S3 бакета после полного бекапа
581480085 s3://pg-backups/basebackups_005/
842374424 s3://pg-backups/wal_005
581 МБ занимает полный бекап
LZMA
После генерации 1ГБ данных
338413694 s3://pg-backups/wal_005/
338 мб логов в формате lzma
Время генерации полного бекапа
time backup_push.sh
real 5m25.054s
Размер бакета в S3
270310495 s3://pg-backups/basebackups_005/
433485092 s3://pg-backups/wal_005/
270 мб занимает полный бекап в формате lzma
Brotli
После генерации 1ГБ данных
459229886 s3://pg-backups/wal_005/
459 мб логов в формате brotli
Время генерации полного бекапа
real 0m23.408s
Размер бакета в S3
312960942 s3://pg-backups/basebackups_005/
459309262 s3://pg-backups/wal_005/
312 мб занимает полный бекап в формате brotli
Параўнанне вынікаў на графіцы.
Як бачым, што Brotli супастаўны па памеры з LZMA, але бекап выконваецца за час LZ4.
Чат рускамоўнай супольнасці PostgreSQL:
Пастаўце, калі ласка, зорку на Github, калі вы карыстаецеся
Крыніца: habr.com