ការណែនាំអំពីប្រព័ន្ធបម្រុងទុក wal-g PostgreSQL

WAL-G គឺជាឧបករណ៍ដ៏សាមញ្ញ និងមានប្រសិទ្ធភាពសម្រាប់ការបម្រុងទុក PostgreSQL ទៅកាន់ពពក។ នៅក្នុងលក្ខខណ្ឌនៃមុខងារចម្បងរបស់វាវាគឺជាអ្នកស្នងមរតកឧបករណ៍ដ៏ពេញនិយម WAL-Eប៉ុន្តែត្រូវបានសរសេរឡើងវិញនៅក្នុង Go ។ ប៉ុន្តែមានមុខងារថ្មីដ៏សំខាន់មួយនៅក្នុង WAL-G - ច្បាប់ចម្លង delta ។ ច្បាប់ចម្លង delta WAL-G រក្សាទុកទំព័រនៃឯកសារដែលបានផ្លាស់ប្តូរចាប់តាំងពីកំណែបម្រុងទុកមុន។ WAL-G អនុវត្តបច្ចេកវិទ្យាជាច្រើនសម្រាប់ការបម្រុងទុកស្របគ្នា។ WAL-G លឿនជាង WAL-E។

ព័ត៌មានលម្អិតអំពីរបៀបដែល Wal-g ដំណើរការអាចរកបាននៅក្នុងអត្ថបទ៖ យើងត្រួតលើការបម្រុងទុក។ ការបង្រៀន Yandex

ពិធីការការផ្ទុក S3 បានក្លាយជាការពេញនិយមសម្រាប់ការរក្សាទុកទិន្នន័យ។ គុណសម្បត្តិមួយក្នុងចំណោមគុណសម្បត្តិរបស់ S3 គឺសមត្ថភាពក្នុងការចូលប្រើតាមរយៈ API ដែលអនុញ្ញាតឱ្យអ្នករៀបចំអន្តរកម្មដែលអាចបត់បែនបានជាមួយនឹងកន្លែងផ្ទុក រួមទាំងការចូលអានជាសាធារណៈ ខណៈដែលការធ្វើបច្ចុប្បន្នភាពព័ត៌មាននៅក្នុងកន្លែងផ្ទុកកើតឡើងដោយអ្នកដែលមានការអនុញ្ញាតប៉ុណ្ណោះ។

មានការអនុវត្តការផ្ទុកសាធារណៈ និងឯកជនមួយចំនួនដែលប្រើពិធីការ S3 ។ សព្វថ្ងៃនេះយើងនឹងពិនិត្យមើលដំណោះស្រាយដ៏ពេញនិយមមួយសម្រាប់ការរៀបចំកន្លែងផ្ទុកតូច - Minio ។

ម៉ាស៊ីនមេ PostgreSQL តែមួយគឺល្អសម្រាប់ការសាកល្បង wal-g ហើយ Minio ត្រូវបានប្រើជាការជំនួសសម្រាប់ S3 ។

ម៉ាស៊ីនមេ Minio

ការដំឡើងខ្នាតតូច

yum -y install yum-plugin-copr
yum copr enable -y lkiesow/minio
yum install -y minio

កែសម្រួល AccessKey និង SecretKey ក្នុង /etc/minio/minio.conf

vi /etc/minio/minio.conf

ប្រសិនបើអ្នកនឹងមិនប្រើ nginx មុនពេល Minio ទេនោះអ្នកត្រូវផ្លាស់ប្តូរ

--address 127.0.0.1:9000

--address 0.0.0.0:9000

បើកដំណើរការ Minio

systemctl start minio

ចូលទៅកាន់ចំណុចប្រទាក់បណ្ដាញ Minio http://ip-адрес-сервера-minio:9000 និងបង្កើតធុងមួយ (ឧទាហរណ៍ pg-backups)។

ម៉ាស៊ីនមេ DB

WAL-G ក្នុង rpm ត្រូវបានផ្គុំដោយខ្ញុំ (Anton Patsev) ។ Github, Fedora COPR.

តើអ្នកណាដែលមិនមានប្រព័ន្ធផ្អែកលើ RPM សូមប្រើផ្លូវការ ការណែនាំ ដោយការដំឡើង។

រួមជាមួយនឹង wal-g binary, rpm មានស្គ្រីបដែលនាំចូលអថេរពីឯកសារ /etc/wal-gd/server-s3.conf ។

backup-fetch.sh
backup-list.sh
backup-push.sh
wal-fetch.sh
wal-g-run.sh
wal-push.sh

ដំឡើង wal-g ។

yum -y install yum-plugin-copr
yum copr enable -y antonpatsev/wal-g
yum install -y wal-g

កំពុងពិនិត្យមើលកំណែ wal-g ។

wal-g --version
wal-g version v0.2.14

កែសម្រួល /etc/wal-gd/server-s3.conf ទៅតាមតម្រូវការរបស់អ្នក។

ឯកសារកំណត់រចនាសម្ព័ន្ធ និងឯកសារទិន្នន័យដែលប្រើដោយចង្កោមមូលដ្ឋានទិន្នន័យត្រូវបានរក្សាទុកជាប្រពៃណីរួមគ្នានៅក្នុងថតទិន្នន័យចង្កោម ដែលជាទូទៅគេហៅថា PGDATA

#!/bin/bash

export PG_VER="9.6"

export WALE_S3_PREFIX="s3://pg-backups" # бакет, который мы создали в S3
export AWS_ACCESS_KEY_ID="xxxx" # AccessKey из /etc/minio/minio.conf 
export AWS_ENDPOINT="http://ip-адрес-сервера-minio:9000"
export AWS_S3_FORCE_PATH_STYLE="true"
export AWS_SECRET_ACCESS_KEY="yyyy" # SecretKey из /etc/minio/minio.conf

export PGDATA=/var/lib/pgsql/$PG_VER/data/
export PGHOST=/var/run/postgresql/.s.PGSQL.5432 # Сокет для подключения к PostgreSQL

export WALG_UPLOAD_CONCURRENCY=2 # Кол-во потоков для закачки 
export WALG_DOWNLOAD_CONCURRENCY=2 # Кол-во потоков для скачивания
export WALG_UPLOAD_DISK_CONCURRENCY=2 # Кол-во потоков на диске для закачки
export WALG_DELTA_MAX_STEPS=7
export WALG_COMPRESSION_METHOD=brotli # Какой метод сжатия использовать.

នៅពេលកំណត់រចនាសម្ព័ន្ធ WAL-G អ្នកបញ្ជាក់ WALG_DELTA_MAX_STEPS - ចំនួនជំហានដែលការបម្រុងទុកដីសណ្តគឺអតិបរមាពីការបម្រុងទុកមូលដ្ឋាន ហើយបញ្ជាក់គោលការណ៍ចម្លងដីសណ្ត។ ទាំងអ្នកធ្វើច្បាប់ចម្លងពីដីសណ្តដែលមានស្រាប់ចុងក្រោយ ឬអ្នកបង្កើត delta ពីការបម្រុងទុកពេញលេញដើម។ នេះគឺចាំបាច់ក្នុងករណីដែលសមាសធាតុដូចគ្នានៃមូលដ្ឋានទិន្នន័យតែងតែផ្លាស់ប្តូរនៅក្នុងមូលដ្ឋានទិន្នន័យរបស់អ្នក ទិន្នន័យដូចគ្នាកំពុងផ្លាស់ប្តូរជានិច្ច។

ការដំឡើងមូលដ្ឋានទិន្នន័យ។

yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.
noarch.rpm
yum install -y postgresql96 postgresql96-server mc

យើងចាប់ផ្តើមមូលដ្ឋានទិន្នន័យ។

/usr/pgsql-9.6/bin/postgresql96-setup initdb
Initializing database ... OK

ប្រសិនបើអ្នកកំពុងសាកល្បងនៅលើម៉ាស៊ីនមេ 1 នោះអ្នកត្រូវកំណត់រចនាសម្ព័ន្ធប៉ារ៉ាម៉ែត្រ wal_level ឡើងវិញដើម្បីទុកក្នុងប័ណ្ណសារសម្រាប់ PostgreSQL តិចជាងកំណែ 10 ហើយចម្លងសម្រាប់ PostgreSQL កំណែ 10 និងចាស់ជាងនេះ។

wal_level = archive

ចូរយើងបម្រុងទុក WAL ទុកជាឯកសាររៀងរាល់ 60 វិនាទីដោយប្រើ PostgreSQL ខ្លួនវាផ្ទាល់។ នៅលើផលិតផល អ្នកនឹងមានតម្លៃ archive_timeout ខុសគ្នា។

archive_mode = on
archive_command = '/usr/local/bin/wal-push.sh %p'
archive_timeout = 60 # Каждые 60 секунд будет выполнятся команда archive_command.

ចាប់ផ្តើម PostgreSQL

systemctl start postgresql-9.6

នៅក្នុងកុងសូលដាច់ដោយឡែកមួយ យើងមើលកំណត់ហេតុ PostgreSQL សម្រាប់កំហុស៖ (ផ្លាស់ប្តូរ postgresql-Wed.log ទៅបច្ចុប្បន្ន)។

tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

តោះទៅ psql ។

su - postgres
psql

បង្កើតមូលដ្ឋានទិន្នន័យក្នុង psql

បង្កើតតារាងក្នុងការធ្វើតេស្តមូលដ្ឋានទិន្នន័យ ១.

create database test1;

ប្តូរទៅការធ្វើតេស្តមូលដ្ឋានទិន្នន័យ។

postgres=# c test1;

យើងបង្កើតតារាង indexing_table ។

test1=# CREATE TABLE indexing_table(created_at TIMESTAMP WITH TIME ZONE DEFAULT NOW());

ការបន្ថែមទិន្នន័យ។

យើងចាប់ផ្តើមបញ្ចូលទិន្នន័យ។ យើងកំពុងរង់ចាំ 10-20 នាទី។

#!/bin/bash
# postgres
while true; do
psql -U postgres -d test1 -c "INSERT INTO indexing_table(created_at) VALUES (CURRENT_TIMESTAMP);"
sleep 60;
done

ត្រូវប្រាកដថាធ្វើការបម្រុងទុកពេញលេញ។

su - postgres
/usr/local/bin/backup-push.sh

យើងមើលកំណត់ត្រាក្នុងតារាងក្នុង database test1

select * from indexing_table;
2020-01-29 09:41:25.226198+
2020-01-29 09:42:25.336989+
2020-01-29 09:43:25.356069+
2020-01-29 09:44:25.37381+
2020-01-29 09:45:25.392944+
2020-01-29 09:46:25.412327+
2020-01-29 09:47:25.432564+
2020-01-29 09:48:25.451985+
2020-01-29 09:49:25.472653+
2020-01-29 09:50:25.491974+
2020-01-29 09:51:25.510178+

ខ្សែអក្សរគឺជាពេលវេលាបច្ចុប្បន្ន។

មើលបញ្ជីនៃការបម្រុងទុកពេញលេញ

/usr/local/bin/backup-list.sh

ការធ្វើតេស្តស្តារឡើងវិញ

ការងើបឡើងវិញពេញលេញជាមួយនឹងការរមៀល WAL ដែលមានទាំងអស់។

បញ្ឈប់ Postgresql ។

លុបអ្វីៗទាំងអស់ចេញពីថត /var/lib/pgsql/9.6/data ។

ដំណើរការស្គ្រីប /usr/local/bin/backup-fetch.sh ជាអ្នកប្រើប្រាស់ postgres ។

su - postgres
/usr/local/bin/backup-fetch.sh

ការទាញយកការបម្រុងទុកបានបញ្ចប់។

បន្ថែម recovery.conf ទៅក្នុងថតឯកសារ /var/lib/pgsql/9.6/data ដែលមានខ្លឹមសារដូចខាងក្រោម។

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'

យើងចាប់ផ្តើម PostgreSQL ។ PostgreSQL នឹងចាប់ផ្តើមដំណើរការសង្គ្រោះពី WALs ដែលបានទុកក្នុងប័ណ្ណសារ ហើយមានតែពេលនោះទេដែលមូលដ្ឋានទិន្នន័យនឹងបើក។

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

ការងើបឡើងវិញក្នុងរយៈពេលជាក់លាក់មួយ។

ប្រសិនបើយើងចង់ស្ដារមូលដ្ឋានទិន្នន័យរហូតដល់មួយនាទី នោះយើងបន្ថែមប៉ារ៉ាម៉ែត្រ recovery_target_time ទៅកាន់ recovery.conf - យើងបង្ហាញថានៅពេលណាដែលត្រូវស្ដារមូលដ្ឋានទិន្នន័យឡើងវិញ។

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'
recovery_target_time = '2020-01-29 09:46:25'

បន្ទាប់ពីការងើបឡើងវិញសូមមើលតារាង indexing_table

 2020-01-29 09:41:25.226198+00
 2020-01-29 09:42:25.336989+00
 2020-01-29 09:43:25.356069+00
 2020-01-29 09:44:25.37381+00
 2020-01-29 09:45:25.392944+00

យើងចាប់ផ្តើម PostgreSQL ។ PostgreSQL នឹងចាប់ផ្តើមដំណើរការសង្គ្រោះពី WALs ដែលបានទុកក្នុងប័ណ្ណសារ ហើយមានតែពេលនោះទេដែលមូលដ្ឋានទិន្នន័យនឹងបើក។

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

សាកល្បង

ការបង្កើតមូលដ្ឋានទិន្នន័យ 1GB ដូចដែលបានពិពណ៌នានៅទីនេះ https://gist.github.com/ololobus/5b25c432f208d7eb31051a5f238dffff

ស្នើសុំទំហំធុងទឹកបន្ទាប់ពីបង្កើតទិន្នន័យ 1GB ។

postgres=# SELECT pg_size_pretty(pg_database_size('test1'));
pg_size_pretty
----------------
1003 MB

s4cmd គឺជាឧបករណ៍បន្ទាត់ពាក្យបញ្ជាឥតគិតថ្លៃសម្រាប់ធ្វើការជាមួយទិន្នន័យដែលរស់នៅក្នុងឃ្លាំងផ្ទុក Amazon S3 ។ ឧបករណ៍ប្រើប្រាស់ត្រូវបានសរសេរជាភាសាសរសេរកម្មវិធី python ហើយដោយសារវាវាអាចប្រើបានទាំងប្រព័ន្ធប្រតិបត្តិការ Windows និង Linux ។

ការដំឡើង s4cmd

pip install s4cmd

LZ4 ។

s4cmd --endpoint-url=http://ip-адрес-сервера-minio:9000 --access-key=xxxx --secret-key=yyyy du -r s3://pg-backups
840540822       s3://pg-backups/wal_005/
840 МБ в формате lz4 только WAL логов

Полный бекап с lz4 - 1GB данных
time backup_push.sh
real 0m18.582s

Размер S3 бакета после полного бекапа

581480085       s3://pg-backups/basebackups_005/
842374424   s3://pg-backups/wal_005
581 МБ занимает полный бекап

LZMA ។

После генерации 1ГБ данных
338413694       s3://pg-backups/wal_005/
338 мб логов в формате lzma

Время генерации полного бекапа
time backup_push.sh
real    5m25.054s

Размер бакета в S3
270310495       s3://pg-backups/basebackups_005/
433485092   s3://pg-backups/wal_005/

270 мб занимает полный бекап в формате lzma

Brotli ។

После генерации 1ГБ данных
459229886       s3://pg-backups/wal_005/
459 мб логов в формате brotli

Время генерации полного бекапа
real    0m23.408s

Размер бакета в S3
312960942       s3://pg-backups/basebackups_005/
459309262   s3://pg-backups/wal_005/

312 мб занимает полный бекап в формате brotli

ការប្រៀបធៀបលទ្ធផលនៅលើតារាង។

ដូចដែលអ្នកអាចឃើញ Brotli មានទំហំប៉ុន LZMA ប៉ុន្តែការបម្រុងទុកត្រូវបានអនុវត្តនៅក្នុងពេលវេលា LZ4 ។

ការជជែករបស់សហគមន៍ PostgreSQL ដែលនិយាយភាសារុស្សី៖ https://t.me/pgsql

សូមផ្តល់ផ្កាយមួយទៅ Github ប្រសិនបើអ្នកប្រើ Wal-g

ប្រភព: www.habr.com