պարզ և արդյունավետ գործիք է PostgreSQL-ն ամպերում պահուստավորելու համար: Իր հիմնական ֆունկցիոնալության առումով այն հայտնի գործիքի ժառանգորդն է , բայց վերաշարադրված է Go-ում։ Բայց WAL-G-ում կա մեկ կարևոր նոր առանձնահատկություն՝ դելտա պատճենները: դելտա պատճենները պահել ֆայլերի էջերը, որոնք փոխվել են նախորդ կրկնօրինակի տարբերակից: WAL-G-ն կիրառում է բավականին շատ տեխնոլոգիաներ՝ կրկնօրինակումների զուգահեռացման համար։ WAL-G-ը շատ ավելի արագ է, քան WAL-E-ն:
Մանրամասները, թե ինչպես է աշխատում wal-g-ը, կարելի է գտնել հոդվածում.
S3 պահեստավորման արձանագրությունը հայտնի է դարձել տվյալների պահպանման համար: S3-ի առավելություններից մեկը API-ի միջոցով մուտք գործելու հնարավորությունն է, որը թույլ է տալիս կազմակերպել ճկուն փոխազդեցություն պահեստի հետ, ներառյալ հանրային ընթերցման հասանելիությունը, մինչդեռ պահեստում տեղեկատվության թարմացումը կատարվում է միայն լիազորված անձանց կողմից:
Կան մի քանի հանրային և մասնավոր պահեստավորման իրականացումներ, որոնք օգտագործում են S3 արձանագրությունը: Այսօր մենք կանդրադառնանք փոքր պահեստի կազմակերպման հանրաճանաչ լուծմանը՝ Minio-ին:
Մեկ PostgreSQL սերվերը լավ է wal-g-ի փորձարկման համար, և Minio-ն օգտագործվում է որպես S3-ի փոխարինում:
Minio սերվեր
Minio տեղադրում
yum -y install yum-plugin-copr
yum copr enable -y lkiesow/minio
yum install -y minioԽմբագրել AccessKey-ը և SecretKey-ը /etc/minio/minio.conf-ում
vi /etc/minio/minio.confԵթե դուք չեք օգտագործի nginx-ը Minio-ից առաջ, ապա պետք է փոխեք
--address 127.0.0.1:9000--address 0.0.0.0:9000Minio-ի գործարկում
systemctl start minioԳնացեք Minio վեբ ինտերֆեյս և ստեղծել դույլ (օրինակ՝ pg-backups):
DB սերվեր
WAL-G-ն rpm-ով հավաքվում է իմ կողմից (Անտոն Պացև): , .
Ով չունի RPM-ի վրա հիմնված համակարգ, օգտվի պաշտոնականից տեղադրմամբ։
Wal-g երկուականի հետ մեկտեղ rpm-ը պարունակում է սկրիպտներ, որոնք ներմուծում են փոփոխականներ /etc/wal-gd/server-s3.conf ֆայլից։
backup-fetch.sh
backup-list.sh
backup-push.sh
wal-fetch.sh
wal-g-run.sh
wal-push.shՏեղադրեք walg:
yum -y install yum-plugin-copr
yum copr enable -y antonpatsev/wal-g
yum install -y wal-gՍտուգվում է wal-g տարբերակը:
wal-g --version
wal-g version v0.2.14Խմբագրեք /etc/wal-gd/server-s3.conf ձեր կարիքներին համապատասխան:
Կազմաձևման ֆայլերը և տվյալների ֆայլերը, որոնք օգտագործվում են տվյալների բազայի կլաստերի կողմից, ավանդաբար միասին պահվում են կլաստերի տվյալների գրացուցակում, որը սովորաբար կոչվում է. PGDATA
#!/bin/bash
export PG_VER="9.6"
export WALE_S3_PREFIX="s3://pg-backups" # бакет, который мы создали в S3
export AWS_ACCESS_KEY_ID="xxxx" # AccessKey из /etc/minio/minio.conf
export AWS_ENDPOINT="http://ip-адрес-сервера-minio:9000"
export AWS_S3_FORCE_PATH_STYLE="true"
export AWS_SECRET_ACCESS_KEY="yyyy" # SecretKey из /etc/minio/minio.conf
export PGDATA=/var/lib/pgsql/$PG_VER/data/
export PGHOST=/var/run/postgresql/.s.PGSQL.5432 # Сокет для подключения к PostgreSQL
export WALG_UPLOAD_CONCURRENCY=2 # Кол-во потоков для закачки
export WALG_DOWNLOAD_CONCURRENCY=2 # Кол-во потоков для скачивания
export WALG_UPLOAD_DISK_CONCURRENCY=2 # Кол-во потоков на диске для закачки
export WALG_DELTA_MAX_STEPS=7
export WALG_COMPRESSION_METHOD=brotli # Какой метод сжатия использовать.
WAL-G-ը կարգավորելիս դուք նշում եք WALG_DELTA_MAX_STEPS - քայլերի քանակը, որ դելտա պահուստավորումը առավելագույնն է բազային կրկնօրինակումից, և նշեք դելտա պատճենման քաղաքականությունը: Կամ դուք պատճենում եք վերջին գոյություն ունեցող դելտայից, կամ պատրաստում եք դելտա բնօրինակի ամբողջական կրկնօրինակից: Սա անհրաժեշտ է այն դեպքում, երբ տվյալների բազայի նույն բաղադրիչը մշտապես փոփոխվում է ձեր տվյալների բազայում, նույն տվյալները անընդհատ փոխվում են։
Տվյալների բազայի տեղադրում.
yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.
noarch.rpm
yum install -y postgresql96 postgresql96-server mcՄենք նախաստորագրում ենք տվյալների բազան:
/usr/pgsql-9.6/bin/postgresql96-setup initdb
Initializing database ... OKԵթե դուք փորձարկում եք 1 սերվերի վրա, ապա դուք պետք է վերակազմավորեք wal_level պարամետրը, որպեսզի արխիվացնեք PostgreSQL 10-ից պակաս տարբերակի համար, և կրկնօրինակեք PostgreSQL 10 և ավելի հին տարբերակի համար:
wal_level = archiveԵկեք կրկնօրինակենք WAL արխիվները յուրաքանչյուր 60 վայրկյանը մեկ՝ օգտագործելով PostgreSQL-ը: Prod-ում դուք կունենաք archive_timeout այլ արժեք:
archive_mode = on
archive_command = '/usr/local/bin/wal-push.sh %p'
archive_timeout = 60 # Каждые 60 секунд будет выполнятся команда archive_command.Սկսում ենք PostgreSQL-ը
systemctl start postgresql-9.6Առանձին վահանակում մենք դիտարկում ենք PostgreSQL տեղեկամատյանները սխալների համար. (փոխել postgresql-Wed.log-ը ներկայիս):
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.logԵկեք գնանք psql-ին:
su - postgres
psqlՍտեղծեք տվյալների բազա psql-ում
Ստեղծեք աղյուսակ տվյալների բազայի test1-ում:
create database test1;Անցեք տվյալների բազայի թեստին:
postgres=# c test1;Մենք ստեղծում ենք աղյուսակը indexing_table.
test1=# CREATE TABLE indexing_table(created_at TIMESTAMP WITH TIME ZONE DEFAULT NOW());Տվյալների ավելացում:
Մենք սկսում ենք տվյալների տեղադրումը: Սպասում ենք 10-20 րոպե։
#!/bin/bash
# postgres
while true; do
psql -U postgres -d test1 -c "INSERT INTO indexing_table(created_at) VALUES (CURRENT_TIMESTAMP);"
sleep 60;
doneՀամոզվեք, որ ամբողջական կրկնօրինակում կատարեք:
su - postgres
/usr/local/bin/backup-push.shՄենք նայում ենք աղյուսակի գրառումներին տվյալների բազայի test1-ում
select * from indexing_table;
2020-01-29 09:41:25.226198+
2020-01-29 09:42:25.336989+
2020-01-29 09:43:25.356069+
2020-01-29 09:44:25.37381+
2020-01-29 09:45:25.392944+
2020-01-29 09:46:25.412327+
2020-01-29 09:47:25.432564+
2020-01-29 09:48:25.451985+
2020-01-29 09:49:25.472653+
2020-01-29 09:50:25.491974+
2020-01-29 09:51:25.510178+Շարանը ընթացիկ ժամանակն է:
Տես ամբողջական կրկնօրինակների ցանկը
/usr/local/bin/backup-list.shՎերականգնման փորձարկում
Ամբողջական վերականգնում բոլոր առկա WAL-ի գլորման միջոցով:
Դադարեցրեք Postgresql.
Ջնջել ամեն ինչ /var/lib/pgsql/9.6/data պանակից:
Գործարկեք /usr/local/bin/backup-fetch.sh սկրիպտը որպես postgres օգտվող:
su - postgres
/usr/local/bin/backup-fetch.shՊահուստային արդյունահանումն ավարտված է:
Ավելացնել recovery.conf /var/lib/pgsql/9.6/data պանակը հետևյալ բովանդակությամբ։
restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'Մենք սկսում ենք PostgreSQL-ը: PostgreSQL-ը կսկսի վերականգնման գործընթացը արխիվացված WAL-ներից, և միայն դրանից հետո կբացվի տվյալների բազան:
systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.logՎերականգնում որոշակի ժամանակով:
Եթե ցանկանում ենք վերականգնել տվյալների բազան մինչև որոշակի րոպե, ապա վերականգնման_target_time պարամետրը ավելացնում ենք recovery.conf-ին - նշում ենք, թե որ ժամին է պետք վերականգնել տվյալների բազան։
restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'
recovery_target_time = '2020-01-29 09:46:25'Վերականգնումից հետո նայեք աղյուսակի indexing_table-ին
2020-01-29 09:41:25.226198+00
2020-01-29 09:42:25.336989+00
2020-01-29 09:43:25.356069+00
2020-01-29 09:44:25.37381+00
2020-01-29 09:45:25.392944+00Մենք սկսում ենք PostgreSQL-ը: PostgreSQL-ը կսկսի վերականգնման գործընթացը արխիվացված WAL-ներից, և միայն դրանից հետո կբացվի տվյալների բազան:
systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.logՓորձարկում
1 ԳԲ տվյալների բազայի ստեղծում, ինչպես նկարագրված է այստեղ
Դույլի չափի պահանջ՝ 1 ԳԲ տվյալներ ստեղծելուց հետո:
postgres=# SELECT pg_size_pretty(pg_database_size('test1'));
pg_size_pretty
----------------
1003 MBs4cmd-ը հրամանի տողի անվճար գործիք է Amazon S3 պահեստում գտնվող տվյալների հետ աշխատելու համար: Կոմունալը գրված է python ծրագրավորման լեզվով, և դրա շնորհիվ այն կարող է օգտագործվել ինչպես Windows, այնպես էլ Linux օպերացիոն համակարգերում։
S4cmd-ի տեղադրում
pip install s4cmdLZ4
s4cmd --endpoint-url=http://ip-адрес-сервера-minio:9000 --access-key=xxxx --secret-key=yyyy du -r s3://pg-backups
840540822 s3://pg-backups/wal_005/
840 МБ в формате lz4 только WAL логов
Полный бекап с lz4 - 1GB данных
time backup_push.sh
real 0m18.582s
Размер S3 бакета после полного бекапа
581480085 s3://pg-backups/basebackups_005/
842374424 s3://pg-backups/wal_005
581 МБ занимает полный бекапԼԶՄԱ
После генерации 1ГБ данных
338413694 s3://pg-backups/wal_005/
338 мб логов в формате lzma
Время генерации полного бекапа
time backup_push.sh
real 5m25.054s
Размер бакета в S3
270310495 s3://pg-backups/basebackups_005/
433485092 s3://pg-backups/wal_005/
270 мб занимает полный бекап в формате lzmaԲրոտլի
После генерации 1ГБ данных
459229886 s3://pg-backups/wal_005/
459 мб логов в формате brotli
Время генерации полного бекапа
real 0m23.408s
Размер бакета в S3
312960942 s3://pg-backups/basebackups_005/
459309262 s3://pg-backups/wal_005/
312 мб занимает полный бекап в формате brotli
Արդյունքների համեմատությունը գծապատկերում:
Ինչպես տեսնում եք, Brotli-ն իր չափերով համեմատելի է LZMA-ի հետ, սակայն կրկնօրինակումն իրականացվում է LZ4 ժամանակով։
Ռուսալեզու PostgreSQL համայնքի զրույց.
Խնդրում ենք աստղ տալ Github-ին, եթե օգտագործում եք
Source: www.habr.com