ແນະນໍາລະບົບການສໍາຮອງ wal-g PostgreSQL

WAL-G ເປັນ​ເຄື່ອງ​ມື​ງ່າຍ​ດາຍ​ແລະ​ປະ​ສິດ​ທິ​ຜົນ​ສໍາ​ລັບ​ການ​ສໍາ​ຮອງ​ຂໍ້​ມູນ PostgreSQL ກັບ​ຟັງ​ໄດ້​. ໃນແງ່ຂອງຫນ້າທີ່ຕົ້ນຕໍຂອງມັນ, ມັນແມ່ນຜູ້ສືບທອດຂອງເຄື່ອງມືທີ່ນິຍົມ WAL-E, ແຕ່ຂຽນຄືນໃຫມ່ໃນ Go. ແຕ່ WAL-G ມີຄຸນສົມບັດໃຫມ່ທີ່ສໍາຄັນຫນຶ່ງ: ສໍາເນົາ delta. ສຳເນົາ Delta WAL-G ເກັບຮັກສາຫນ້າຂອງໄຟລ໌ທີ່ມີການປ່ຽນແປງນັບຕັ້ງແຕ່ສະບັບທີ່ຜ່ານມາຂອງການສໍາຮອງຂໍ້ມູນ. WAL-G ປະຕິບັດຫຼາຍເທກໂນໂລຍີສໍາລັບການສໍາຮອງຂໍ້ມູນຂະຫນານ. WAL-G ແມ່ນໄວກວ່າ WAL-E ຫຼາຍ.

ລາຍລະອຽດຂອງວິທີການເຮັດວຽກຂອງ wal-g ສາມາດພົບໄດ້ໃນບົດຄວາມ: ພວກເຮົາເລັ່ງການສໍາຮອງຂໍ້ມູນ. ການບັນຍາຍ Yandex

ໂປໂຕຄອນການເກັບຮັກສາ S3 ໄດ້ກາຍເປັນທີ່ນິຍົມສໍາລັບການເກັບຮັກສາຂໍ້ມູນ. ຫນຶ່ງໃນຂໍ້ດີຂອງ S3 ແມ່ນຄວາມສາມາດໃນການເຂົ້າເຖິງຜ່ານ API, ເຊິ່ງຊ່ວຍໃຫ້ທ່ານສາມາດຈັດລະບຽບການໂຕ້ຕອບທີ່ມີຄວາມຍືດຫຍຸ່ນກັບການເກັບຮັກສາ, ລວມທັງການເຂົ້າເຖິງການອ່ານສາທາລະນະ, ໃນຂະນະທີ່ການປັບປຸງຂໍ້ມູນໃນບ່ອນເກັບມ້ຽນແມ່ນເກີດຂື້ນໂດຍຜູ້ທີ່ໄດ້ຮັບອະນຸຍາດເທົ່ານັ້ນ.

ມີການປະຕິບັດການເກັບຮັກສາສາທາລະນະແລະເອກະຊົນຈໍານວນຫນຶ່ງທີ່ໃຊ້ໂປໂຕຄອນ S3. ມື້ນີ້ພວກເຮົາຈະເບິ່ງການແກ້ໄຂທີ່ນິຍົມສໍາລັບການຈັດວາງສະຖານທີ່ເກັບຮັກສາຂະຫນາດນ້ອຍ - Minio.

ເຄື່ອງແມ່ຂ່າຍ PostgreSQL ດຽວແມ່ນເຫມາະສົມສໍາລັບການທົດສອບ wal-g, ແລະ Minio ຖືກນໍາໃຊ້ເປັນການທົດແທນສໍາລັບ S3.

ເຊີບເວີ Minio

ການຕິດຕັ້ງ Minio

yum -y install yum-plugin-copr
yum copr enable -y lkiesow/minio
yum install -y minio

ການແກ້ໄຂ AccessKey ແລະ SecretKey ໃນ /etc/minio/minio.conf

vi /etc/minio/minio.conf

ຖ້າທ່ານຈະບໍ່ໃຊ້ nginx ກ່ອນ Minio, ຫຼັງຈາກນັ້ນທ່ານຈໍາເປັນຕ້ອງປ່ຽນ

--address 127.0.0.1:9000

--address 0.0.0.0:9000

ເປີດ Minio

systemctl start minio

ໄປທີ່ສ່ວນຕິດຕໍ່ເວັບ Minio http://ip-адрес-сервера-minio:9000 ແລະສ້າງ bucket (ຕົວຢ່າງ, pg-backups).

DB server

ຂ້ອຍປະກອບ WAL-G ໃນ rpm (Anton Patsev). GitHub, Fedora COPR.

ສໍາລັບຜູ້ທີ່ບໍ່ມີລະບົບ RPM, ໃຊ້ຢ່າງເປັນທາງການ ຄໍາແນະນໍາ ກ່ຽວກັບການຕິດຕັ້ງ.

ຄຽງຄູ່ກັບ wal-g binary, rpm ມີສະຄຣິບທີ່ນໍາເຂົ້າຕົວແປຈາກໄຟລ໌ /etc/wal-gd/server-s3.conf.

backup-fetch.sh
backup-list.sh
backup-push.sh
wal-fetch.sh
wal-g-run.sh
wal-push.sh

ຕິດຕັ້ງ wal-g.

yum -y install yum-plugin-copr
yum copr enable -y antonpatsev/wal-g
yum install -y wal-g

ການກວດສອບສະບັບຂອງ wal-g.

wal-g --version
wal-g version v0.2.14

ແກ້ໄຂ /etc/wal-gd/server-s3.conf ໃຫ້ເຫມາະສົມກັບຄວາມຕ້ອງການຂອງທ່ານ.

ໄຟລ໌ການຕັ້ງຄ່າ ແລະໄຟລ໌ຂໍ້ມູນທີ່ໃຊ້ໂດຍກຸ່ມຖານຂໍ້ມູນແມ່ນຖືກເກັບຮັກສາໄວ້ຮ່ວມກັນໃນລະບົບຂໍ້ມູນຂອງກຸ່ມ, ໂດຍທົ່ວໄປເອີ້ນວ່າ. PGDATA

#!/bin/bash

export PG_VER="9.6"

export WALE_S3_PREFIX="s3://pg-backups" # бакет, который мы создали в S3
export AWS_ACCESS_KEY_ID="xxxx" # AccessKey из /etc/minio/minio.conf 
export AWS_ENDPOINT="http://ip-адрес-сервера-minio:9000"
export AWS_S3_FORCE_PATH_STYLE="true"
export AWS_SECRET_ACCESS_KEY="yyyy" # SecretKey из /etc/minio/minio.conf

export PGDATA=/var/lib/pgsql/$PG_VER/data/
export PGHOST=/var/run/postgresql/.s.PGSQL.5432 # Сокет для подключения к PostgreSQL

export WALG_UPLOAD_CONCURRENCY=2 # Кол-во потоков для закачки 
export WALG_DOWNLOAD_CONCURRENCY=2 # Кол-во потоков для скачивания
export WALG_UPLOAD_DISK_CONCURRENCY=2 # Кол-во потоков на диске для закачки
export WALG_DELTA_MAX_STEPS=7
export WALG_COMPRESSION_METHOD=brotli # Какой метод сжатия использовать.

ເມື່ອຕັ້ງຄ່າ WAL-G, ທ່ານລະບຸ WALG_DELTA_MAX_STEPS - ຈໍານວນຂັ້ນຕອນທີ່ການສໍາຮອງຂໍ້ມູນ delta ແມ່ນຢູ່ໄກທີ່ສຸດຈາກການສໍາຮອງຂໍ້ມູນພື້ນຖານ, ແລະລະບຸນະໂຍບາຍການສໍາເນົາ delta. ບໍ່ວ່າທ່ານຈະເຮັດສໍາເນົາຈາກ delta ທີ່ຜ່ານມາ, ຫຼືທ່ານເຮັດ delta ຈາກການສໍາຮອງຂໍ້ມູນເຕັມຮູບແບບຕົ້ນສະບັບ. ນີ້ແມ່ນມີຄວາມຈໍາເປັນສໍາລັບກໍລະນີໃນເວລາທີ່ອົງປະກອບຖານຂໍ້ມູນດຽວກັນມີການປ່ຽນແປງສະເຫມີໃນຖານຂໍ້ມູນຂອງທ່ານ, ຂໍ້ມູນດຽວກັນມີການປ່ຽນແປງຢ່າງຕໍ່ເນື່ອງ.

ການຕິດຕັ້ງຖານຂໍ້ມູນ.

yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.
noarch.rpm
yum install -y postgresql96 postgresql96-server mc

ໃຫ້ເລີ່ມຕົ້ນຖານຂໍ້ມູນ.

/usr/pgsql-9.6/bin/postgresql96-setup initdb
Initializing database ... OK

ຖ້າທ່ານກໍາລັງທົດສອບໃນ 1 ເຊີບເວີ, ຫຼັງຈາກນັ້ນທ່ານຈໍາເປັນຕ້ອງປັບຄ່າພາລາມິເຕີ wal_level ເພື່ອເກັບໄວ້ສໍາລັບ PostgreSQL ຮຸ່ນຫນ້ອຍກວ່າ 10, ແລະ replica ສໍາລັບ PostgreSQL ຮຸ່ນ 10 ແລະເກົ່າກວ່າ.

wal_level = archive

ໃຫ້ backup WAL ເກັບໄວ້ທຸກ 60 ວິນາທີໂດຍໃຊ້ PostgreSQL ຕົວມັນເອງ. ໃນການຜະລິດທ່ານຈະມີມູນຄ່າ archive_timeout ທີ່ແຕກຕ່າງກັນ.

archive_mode = on
archive_command = '/usr/local/bin/wal-push.sh %p'
archive_timeout = 60 # Каждые 60 секунд будет выполнятся команда archive_command.

ມາເລີ່ມ PostgreSQL

systemctl start postgresql-9.6

ໃນ console ແຍກຕ່າງຫາກ, ພວກເຮົາເບິ່ງບັນທຶກ PostgreSQL ສໍາລັບຄວາມຜິດພາດ: (ປ່ຽນ postgresql-Wed.log ເປັນປັດຈຸບັນ).

tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

ໃຫ້ໄປທີ່ psql.

su - postgres
psql

ພວກເຮົາສ້າງຖານຂໍ້ມູນໃນ psql.

ສ້າງຕາຕະລາງໃນຖານຂໍ້ມູນ test1.

create database test1;

ສະຫຼັບກັບຖານຂໍ້ມູນການທົດສອບ.

postgres=# c test1;

ສ້າງຕາຕະລາງ indexing_table.

test1=# CREATE TABLE indexing_table(created_at TIMESTAMP WITH TIME ZONE DEFAULT NOW());

ກຳລັງເພີ່ມຂໍ້ມູນ.

ມາເລີ່ມການແຊກຂໍ້ມູນ. ພວກເຮົາລໍຖ້າ 10-20 ນາທີ.

#!/bin/bash
# postgres
while true; do
psql -U postgres -d test1 -c "INSERT INTO indexing_table(created_at) VALUES (CURRENT_TIMESTAMP);"
sleep 60;
done

ໃຫ້ແນ່ໃຈວ່າເຮັດການສໍາຮອງຂໍ້ມູນຢ່າງເຕັມທີ່.

su - postgres
/usr/local/bin/backup-push.sh

ພວກເຮົາເບິ່ງລາຍການທີ່ຢູ່ໃນຕາຕະລາງໃນຖານຂໍ້ມູນ test1

select * from indexing_table;
2020-01-29 09:41:25.226198+
2020-01-29 09:42:25.336989+
2020-01-29 09:43:25.356069+
2020-01-29 09:44:25.37381+
2020-01-29 09:45:25.392944+
2020-01-29 09:46:25.412327+
2020-01-29 09:47:25.432564+
2020-01-29 09:48:25.451985+
2020-01-29 09:49:25.472653+
2020-01-29 09:50:25.491974+
2020-01-29 09:51:25.510178+

ສະຕຣິງແມ່ນເວລາປະຈຸບັນ.

ພວກເຮົາເບິ່ງບັນຊີລາຍຊື່ຂອງການສໍາຮອງຂໍ້ມູນຢ່າງເຕັມທີ່

/usr/local/bin/backup-list.sh

ການທົດສອບການຟື້ນຕົວ

ການຟື້ນຕົວຢ່າງເຕັມທີ່ດ້ວຍການມ້ວນໃສ່ WAL ທີ່ມີຢູ່ທັງຫມົດ.

ການຢຸດເຊົາ Postgresql.

ພວກເຮົາລຶບທຸກຢ່າງອອກຈາກໂຟນເດີ /var/lib/pgsql/9.6/data.

ແລ່ນສະຄຣິບ /usr/local/bin/backup-fetch.sh ຈາກຜູ້ໃຊ້ postgres.

su - postgres
/usr/local/bin/backup-fetch.sh

ການສະກັດຂໍ້ມູນສຳຮອງສຳເລັດແລ້ວ.

ເພີ່ມ recovery.conf ໃສ່ໂຟນເດີ /var/lib/pgsql/9.6/data ທີ່ມີເນື້ອໃນຕໍ່ໄປນີ້.

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'

ເປີດຕົວ PostgreSQL. PostgreSQL ຈະເປີດຂະບວນການຟື້ນຕົວຈາກ WAL ທີ່ເກັບໄວ້, ແລະພຽງແຕ່ຫຼັງຈາກນັ້ນຖານຂໍ້ມູນຈະເປີດ.

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

ການຟື້ນຕົວເປັນເວລາທີ່ແນ່ນອນ.

ຖ້າພວກເຮົາຕ້ອງການຟື້ນຟູຖານຂໍ້ມູນໃນນາທີທີ່ແນ່ນອນ, ຫຼັງຈາກນັ້ນໃນ recovery.conf ພວກເຮົາເພີ່ມພາລາມິເຕີ recovery_target_time - ພວກເຮົາຊີ້ບອກວ່າເວລາໃດທີ່ຈະຟື້ນຟູຖານຂໍ້ມູນ.

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'
recovery_target_time = '2020-01-29 09:46:25'

ຫຼັງຈາກການຟື້ນຕົວ, ເບິ່ງຕາຕະລາງ indexing_table

 2020-01-29 09:41:25.226198+00
 2020-01-29 09:42:25.336989+00
 2020-01-29 09:43:25.356069+00
 2020-01-29 09:44:25.37381+00
 2020-01-29 09:45:25.392944+00

ເປີດຕົວ PostgreSQL. PostgreSQL ຈະເປີດຂະບວນການຟື້ນຕົວຈາກ WAL ທີ່ເກັບໄວ້, ແລະພຽງແຕ່ຫຼັງຈາກນັ້ນຖານຂໍ້ມູນຈະເປີດ.

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

ການທົດສອບ

ພວກເຮົາສ້າງຖານຂໍ້ມູນ 1GB ດັ່ງທີ່ໄດ້ອະທິບາຍຢູ່ທີ່ນີ້ https://gist.github.com/ololobus/5b25c432f208d7eb31051a5f238dffff

ພວກເຮົາຮ້ອງຂໍໃຫ້ມີຂະຫນາດຖັງຫຼັງຈາກສ້າງຂໍ້ມູນ 1GB.

postgres=# SELECT pg_size_pretty(pg_database_size('test1'));
pg_size_pretty
----------------
1003 MB

s4cmd — бесплатный инструмент командной строки для работы с данными, расположенными в хранилище Amazon S3. Утилита написана на языке программирования python, и благодаря этому может использоваться в операционных системах и Windowsແລະ Linux.

ຕິດຕັ້ງ s4cmd

pip install s4cmd

LZ4

s4cmd --endpoint-url=http://ip-адрес-сервера-minio:9000 --access-key=xxxx --secret-key=yyyy du -r s3://pg-backups
840540822       s3://pg-backups/wal_005/
840 МБ в формате lz4 только WAL логов

Полный бекап с lz4 - 1GB данных
time backup_push.sh
real 0m18.582s

Размер S3 бакета после полного бекапа

581480085       s3://pg-backups/basebackups_005/
842374424   s3://pg-backups/wal_005
581 МБ занимает полный бекап

LZMA

После генерации 1ГБ данных
338413694       s3://pg-backups/wal_005/
338 мб логов в формате lzma

Время генерации полного бекапа
time backup_push.sh
real    5m25.054s

Размер бакета в S3
270310495       s3://pg-backups/basebackups_005/
433485092   s3://pg-backups/wal_005/

270 мб занимает полный бекап в формате lzma

Brotli

После генерации 1ГБ данных
459229886       s3://pg-backups/wal_005/
459 мб логов в формате brotli

Время генерации полного бекапа
real    0m23.408s

Размер бакета в S3
312960942       s3://pg-backups/basebackups_005/
459309262   s3://pg-backups/wal_005/

312 мб занимает полный бекап в формате brotli

ການປຽບທຽບຜົນໄດ້ຮັບໃນກາຟ.

ດັ່ງທີ່ພວກເຮົາສາມາດເຫັນໄດ້, Brotli ແມ່ນທຽບເທົ່າກັບ LZMA, ແຕ່ການສໍາຮອງຂໍ້ມູນແມ່ນດໍາເນີນໃນເວລາ LZ4.

ການສົນທະນາຂອງຊຸມຊົນ PostgreSQL ທີ່ເວົ້າພາສາລັດເຊຍ: https://t.me/pgsql

ກະລຸນາໃຫ້ດາວໃນ Github ຖ້າທ່ານໃຊ້ wal-g

ແຫຼ່ງຂໍ້ມູນ: www.habr.com