Детали за тоа како функционира wal-g може да се најдат во статијата:
Протоколот за складирање S3 стана популарен за складирање податоци. Една од предностите на S3 е можноста за пристап преку API, што ви овозможува да организирате флексибилна интеракција со складиштето, вклучувајќи пристап за јавно читање, додека ажурирањето на информациите во складиштето се случува само од овластени лица.
Постојат неколку јавни и приватни имплементации за складирање кои го користат протоколот S3. Денес ќе разгледаме популарно решение за организирање на мало складирање - Minio.
Еден PostgreSQL сервер е добар за тестирање на wal-g, а Minio се користи како замена за S3.
Минио сервер
Минио инсталација
yum -y install yum-plugin-copr
yum copr enable -y lkiesow/minio
yum install -y minio
Уредете ги AccessKey и SecretKey во /etc/minio/minio.conf
vi /etc/minio/minio.conf
Ако нема да користите nginx пред Minio, тогаш треба да промените
--address 127.0.0.1:9000
--address 0.0.0.0:9000
Лансирање Minio
systemctl start minio
Одете во веб-интерфејсот на Minio
DB сервер
WAL-G во вртежи во минута е склопен од мене (Антон Патсев).
Кој нема систем базиран на RPM, користете го официјалниот
Заедно со бинарната wal-g, rpm содржи скрипти кои увезуваат променливи од датотеката /etc/wal-gd/server-s3.conf.
backup-fetch.sh
backup-list.sh
backup-push.sh
wal-fetch.sh
wal-g-run.sh
wal-push.sh
Инсталирајте walg.
yum -y install yum-plugin-copr
yum copr enable -y antonpatsev/wal-g
yum install -y wal-g
Се проверува верзијата wal-g.
wal-g --version
wal-g version v0.2.14
Уредете го /etc/wal-gd/server-s3.conf според вашите потреби.
Конфигурациските датотеки и датотеките со податоци што ги користи кластерот со бази на податоци традиционално се складираат заедно во директориумот со податоци на кластерот, вообичаено познат како PGDATA
#!/bin/bash
export PG_VER="9.6"
export WALE_S3_PREFIX="s3://pg-backups" # бакет, который мы создали в S3
export AWS_ACCESS_KEY_ID="xxxx" # AccessKey из /etc/minio/minio.conf
export AWS_ENDPOINT="http://ip-адрес-сервера-minio:9000"
export AWS_S3_FORCE_PATH_STYLE="true"
export AWS_SECRET_ACCESS_KEY="yyyy" # SecretKey из /etc/minio/minio.conf
export PGDATA=/var/lib/pgsql/$PG_VER/data/
export PGHOST=/var/run/postgresql/.s.PGSQL.5432 # Сокет для подключения к PostgreSQL
export WALG_UPLOAD_CONCURRENCY=2 # Кол-во потоков для закачки
export WALG_DOWNLOAD_CONCURRENCY=2 # Кол-во потоков для скачивания
export WALG_UPLOAD_DISK_CONCURRENCY=2 # Кол-во потоков на диске для закачки
export WALG_DELTA_MAX_STEPS=7
export WALG_COMPRESSION_METHOD=brotli # Какой метод сжатия использовать.
Кога го конфигурирате WAL-G, го одредувате WALG_DELTA_MAX_STEPS - бројот на чекори што резервната делта е максимален од основната резервна копија и ја одредувате политиката за делта копирање. Или правите копија од последната постоечка делта, или правите делта од оригиналната целосна резервна копија. Ова е неопходно во случај кога истата компонента на базата постојано се менува во вашата база на податоци, истите податоци постојано се менуваат.
Инсталирање на базата на податоци.
yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.
noarch.rpm
yum install -y postgresql96 postgresql96-server mc
Ја иницијализираме базата на податоци.
/usr/pgsql-9.6/bin/postgresql96-setup initdb
Initializing database ... OK
Ако тестирате на 1 сервер, тогаш треба повторно да го конфигурирате параметарот wal_level да архивира за PostgreSQL помала од верзијата 10 и реплика за PostgreSQL верзија 10 и постара.
wal_level = archive
Ајде да правиме резервни копии на архивите на WAL на секои 60 секунди користејќи го самиот PostgreSQL. На прод, ќе имате различна вредност на archive_timeout.
archive_mode = on
archive_command = '/usr/local/bin/wal-push.sh %p'
archive_timeout = 60 # Каждые 60 секунд будет выполнятся команда archive_command.
Стартување на PostgreSQL
systemctl start postgresql-9.6
Во посебна конзола, ги разгледуваме дневниците на PostgreSQL за грешки: (променете го postgresql-Wed.log на тековниот).
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log
Ајде да одиме на psql.
su - postgres
psql
Направете база на податоци во psql
Направете табела во тестот на базата на податоци1.
create database test1;
Префрлете се на тестот за базата на податоци.
postgres=# c test1;
Ја креираме табелата indexing_table.
test1=# CREATE TABLE indexing_table(created_at TIMESTAMP WITH TIME ZONE DEFAULT NOW());
Додавање податоци.
Почнуваме да вметнуваме податоци. Чекаме 10-20 минути.
#!/bin/bash
# postgres
while true; do
psql -U postgres -d test1 -c "INSERT INTO indexing_table(created_at) VALUES (CURRENT_TIMESTAMP);"
sleep 60;
done
Не заборавајте да направите целосна резервна копија.
su - postgres
/usr/local/bin/backup-push.sh
Ги гледаме записите во табелата во тестот на базата на податоци1
select * from indexing_table;
2020-01-29 09:41:25.226198+
2020-01-29 09:42:25.336989+
2020-01-29 09:43:25.356069+
2020-01-29 09:44:25.37381+
2020-01-29 09:45:25.392944+
2020-01-29 09:46:25.412327+
2020-01-29 09:47:25.432564+
2020-01-29 09:48:25.451985+
2020-01-29 09:49:25.472653+
2020-01-29 09:50:25.491974+
2020-01-29 09:51:25.510178+
Низата е тековното време.
Погледнете ја листата на целосни резервни копии
/usr/local/bin/backup-list.sh
Тестирање за обновување
Целосно закрепнување со превртување на сите достапни WAL.
Стоп за Postgresql.
Избришете сè од папката /var/lib/pgsql/9.6/data.
Извршете ја скриптата /usr/local/bin/backup-fetch.sh како корисник на postgres.
su - postgres
/usr/local/bin/backup-fetch.sh
Извлекувањето резервна копија е завршено.
Додајте recovery.conf во папката /var/lib/pgsql/9.6/data со следнава содржина.
restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'
Почнуваме PostgreSQL. PostgreSQL ќе го започне процесот на обновување од архивираните WAL и само тогаш ќе се отвори базата на податоци.
systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log
Закрепнување за одредено време.
Ако сакаме да ја вратиме базата на податоци до одредена минута, тогаш го додаваме параметарот recovery_target_time на recovery.conf - укажуваме во кое време да ја вратиме базата на податоци.
restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'
recovery_target_time = '2020-01-29 09:46:25'
По закрепнувањето, погледнете ја табелата indexing_table
2020-01-29 09:41:25.226198+00
2020-01-29 09:42:25.336989+00
2020-01-29 09:43:25.356069+00
2020-01-29 09:44:25.37381+00
2020-01-29 09:45:25.392944+00
Почнуваме PostgreSQL. PostgreSQL ќе го започне процесот на обновување од архивираните WAL и само тогаш ќе се отвори базата на податоци.
systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log
Тестирање
Генерирање на база на податоци од 1 GB како што е опишано овде
Барање на големината на корпата по генерирање на 1GB податоци.
postgres=# SELECT pg_size_pretty(pg_database_size('test1'));
pg_size_pretty
----------------
1003 MB
s4cmd е бесплатна алатка за командна линија за работа со податоци што се наоѓаат во складиштето на Amazon S3. Алатката е напишана на програмскиот јазик python и поради тоа може да се користи и во оперативните системи Windows и Linux.
Инсталирање s4cmd
pip install s4cmd
LZ4
s4cmd --endpoint-url=http://ip-адрес-сервера-minio:9000 --access-key=xxxx --secret-key=yyyy du -r s3://pg-backups
840540822 s3://pg-backups/wal_005/
840 МБ в формате lz4 только WAL логов
Полный бекап с lz4 - 1GB данных
time backup_push.sh
real 0m18.582s
Размер S3 бакета после полного бекапа
581480085 s3://pg-backups/basebackups_005/
842374424 s3://pg-backups/wal_005
581 МБ занимает полный бекап
ЛЗМА
После генерации 1ГБ данных
338413694 s3://pg-backups/wal_005/
338 мб логов в формате lzma
Время генерации полного бекапа
time backup_push.sh
real 5m25.054s
Размер бакета в S3
270310495 s3://pg-backups/basebackups_005/
433485092 s3://pg-backups/wal_005/
270 мб занимает полный бекап в формате lzma
Brotli
После генерации 1ГБ данных
459229886 s3://pg-backups/wal_005/
459 мб логов в формате brotli
Время генерации полного бекапа
real 0m23.408s
Размер бакета в S3
312960942 s3://pg-backups/basebackups_005/
459309262 s3://pg-backups/wal_005/
312 мб занимает полный бекап в формате brotli
Споредба на резултатите на графиконот.
Како што можете да видите, Brotli е споредлив по големина со LZMA, но резервната копија се изведува во времето LZ4.
Разговор на заедницата PostgreSQL што зборува руски:
Ве молиме дајте му ѕвезда на Github ако користите
Извор: www.habr.com