ProHoster > blog > Amministrazzjoni > Introduzzjoni għas-sistema ta' backup wal-g PostgreSQL

Introduzzjoni għas-sistema ta' backup wal-g PostgreSQL

WAL-G hija għodda sempliċi u effettiva biex tappoġġja PostgreSQL fis-sħab. F'termini tal-funzjonalità ewlenija tagħha, hija l-werriet tal-għodda popolari WAL-E, iżda miktuba mill-ġdid f'Go. Iżda hemm karatteristika ġdida importanti f'WAL-G - kopji delta. kopji delta WAL-G aħżen paġni ta 'fajls li nbidlu mill-verżjoni backup preċedenti. WAL-G jimplimenta ħafna teknoloġiji għall-parallelizzazzjoni tal-backups. WAL-G huwa ħafna aktar mgħaġġel minn WAL-E.

Dettalji dwar kif jaħdem wal-g jistgħu jinstabu fl-artiklu: Aħna overclock il-backup. Yandex lecture

Il-protokoll tal-ħażna S3 sar popolari għall-ħażna tad-dejta. Wieħed mill-vantaġġi ta 'S3 huwa l-abbiltà li taċċessa permezz ta' API, li tippermettilek torganizza interazzjoni flessibbli mal-ħażna, inkluż aċċess pubbliku għall-qari, filwaqt li l-aġġornament tal-informazzjoni fil-ħażna jseħħ biss minn persuni awtorizzati.

Hemm diversi implimentazzjonijiet ta 'ħażna pubblika u privata li jużaw il-protokoll S3. Illum se nħarsu lejn soluzzjoni popolari għall-organizzazzjoni ta 'ħażna żgħira - Minio.

Server PostgreSQL wieħed huwa tajjeb għall-ittestjar ta 'wal-g, u Minio jintuża bħala sostitut għal S3.

Server Minio

Installazzjoni Minio

yum -y install yum-plugin-copr
yum copr enable -y lkiesow/minio
yum install -y minio

Editja AccessKey u SecretKey f'/etc/minio/minio.conf

vi /etc/minio/minio.conf

Jekk mhux se tuża nginx qabel Minio, allura trid tibdel

--address 127.0.0.1:9000

--address 0.0.0.0:9000

Tnedija ta' Minio

systemctl start minio

Mur fl-interface tal-web Minio http://ip-адрес-сервера-minio:9000 u toħloq barmil (per eżempju, pg-backups).

Server DB

WAL-G f'rpm huwa mmuntat minni (Anton Patsev). GitHub, Fedora COPR.

Min m'għandux sistema bbażata fuq RPM, uża l-uffiċjal istruzzjonijiet bl-installazzjoni.

Flimkien mal-binarju wal-g, rpm fih skripts li jimportaw varjabbli mill-fajl /etc/wal-gd/server-s3.conf.

backup-fetch.sh
backup-list.sh
backup-push.sh
wal-fetch.sh
wal-g-run.sh
wal-push.sh

Installa walg.

yum -y install yum-plugin-copr
yum copr enable -y antonpatsev/wal-g
yum install -y wal-g

Iċċekkja verżjoni wal-g.

wal-g --version
wal-g version v0.2.14

Editja /etc/wal-gd/server-s3.conf skont il-bżonnijiet tiegħek.

Il-fajls tal-konfigurazzjoni u l-fajls tad-dejta użati minn cluster tad-database huma tradizzjonalment maħżuna flimkien fid-direttorju tad-dejta tal-cluster, komunement imsejħa PGDATA

#!/bin/bash

export PG_VER="9.6"

export WALE_S3_PREFIX="s3://pg-backups" # бакет, который мы создали в S3
export AWS_ACCESS_KEY_ID="xxxx" # AccessKey из /etc/minio/minio.conf 
export AWS_ENDPOINT="http://ip-адрес-сервера-minio:9000"
export AWS_S3_FORCE_PATH_STYLE="true"
export AWS_SECRET_ACCESS_KEY="yyyy" # SecretKey из /etc/minio/minio.conf

export PGDATA=/var/lib/pgsql/$PG_VER/data/
export PGHOST=/var/run/postgresql/.s.PGSQL.5432 # Сокет для подключения к PostgreSQL

export WALG_UPLOAD_CONCURRENCY=2 # Кол-во потоков для закачки 
export WALG_DOWNLOAD_CONCURRENCY=2 # Кол-во потоков для скачивания
export WALG_UPLOAD_DISK_CONCURRENCY=2 # Кол-во потоков на диске для закачки
export WALG_DELTA_MAX_STEPS=7
export WALG_COMPRESSION_METHOD=brotli # Какой метод сжатия использовать.

Meta tikkonfigura WAL-G, tispeċifika WALG_DELTA_MAX_STEPS - in-numru ta 'passi li l-backup delta huwa massimu mill-backup bażi, u speċifika l-politika tal-kopja delta. Jew tagħmel kopja mill-aħħar delta eżistenti, jew tagħmel delta mill-backup sħiħ oriġinali. Dan huwa meħtieġ f'każ li meta l-istess komponent tad-database dejjem jinbidel fid-database tiegħek, l-istess data tinbidel kontinwament.

Installazzjoni tad-database.

yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.
noarch.rpm
yum install -y postgresql96 postgresql96-server mc

Aħna inizjalizzaw id-database.

/usr/pgsql-9.6/bin/postgresql96-setup initdb
Initializing database ... OK

Jekk qed tittestja fuq server 1, allura għandek bżonn tikkonfigura mill-ġdid il-parametru wal_level biex arkivja għal PostgreSQL inqas mill-verżjoni 10, u replika għal PostgreSQL verżjoni 10 u anzjani.

wal_level = archive

Ejja nagħmlu backup tal-arkivji WAL kull 60 sekonda billi tuża PostgreSQL innifsu. Fuq prod, ser ikollok valur ta' archive_timeout differenti.

archive_mode = on
archive_command = '/usr/local/bin/wal-push.sh %p'
archive_timeout = 60 # Каждые 60 секунд будет выполнятся команда archive_command.

Bidu ta' PostgreSQL

systemctl start postgresql-9.6

F'console separata, inħarsu lejn il-logs PostgreSQL għall-iżbalji: (biddlu postgresql-Wed.log għal dak attwali).

tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Ejja mmorru għal psql.

su - postgres
psql

Oħloq database fil-psql

Oħloq tabella fid-database test1.

create database test1;

Aqleb għat-test tad-database.

postgres=# c test1;

Aħna noħolqu t-tabella indexing_table.

test1=# CREATE TABLE indexing_table(created_at TIMESTAMP WITH TIME ZONE DEFAULT NOW());

Żieda tad-data.

Nibdew indaħħlu data. Qed nistennew 10-20 minuta.

#!/bin/bash
# postgres
while true; do
psql -U postgres -d test1 -c "INSERT INTO indexing_table(created_at) VALUES (CURRENT_TIMESTAMP);"
sleep 60;
done

Kun żgur li tagħmel backup sħiħ.

su - postgres
/usr/local/bin/backup-push.sh

Aħna nħarsu lejn ir-rekords fit-tabella fit-test tad-database1

select * from indexing_table;
2020-01-29 09:41:25.226198+
2020-01-29 09:42:25.336989+
2020-01-29 09:43:25.356069+
2020-01-29 09:44:25.37381+
2020-01-29 09:45:25.392944+
2020-01-29 09:46:25.412327+
2020-01-29 09:47:25.432564+
2020-01-29 09:48:25.451985+
2020-01-29 09:49:25.472653+
2020-01-29 09:50:25.491974+
2020-01-29 09:51:25.510178+

Is-sekwenza hija l-ħin kurrenti.

Ara l-lista ta' backups sħaħ

/usr/local/bin/backup-list.sh

Ittestjar ta' rkupru

Irkupru sħiħ bl-irrumblar kollha disponibbli WAL.

Waqqaf Postgresql.

Ħassar kollox mill-folder /var/lib/pgsql/9.6/data.

Mexxi l-iskript /usr/local/bin/backup-fetch.sh bħala l-utent tal-postgres.

su - postgres
/usr/local/bin/backup-fetch.sh

Estrazzjoni ta' backup kompluta.

Żid recovery.conf fil-folder /var/lib/pgsql/9.6/data bil-kontenut li ġej.

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'

Nibdew PostgreSQL. PostgreSQL se jibda l-proċess ta 'rkupru mill-WALs arkivjati, u allura biss se tiftaħ id-database. 

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Irkupru għal ċertu żmien.

Jekk irridu nirrestawraw id-database sa ċertu minuta, allura nżidu l-parametru recovery_target_time ma' recovery.conf - aħna nindikaw f'liema ħin nirrestawraw id-database.

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'
recovery_target_time = '2020-01-29 09:46:25'

Wara l-irkupru, ħares lejn it-tabella indexing_table

 2020-01-29 09:41:25.226198+00
 2020-01-29 09:42:25.336989+00
 2020-01-29 09:43:25.356069+00
 2020-01-29 09:44:25.37381+00
 2020-01-29 09:45:25.392944+00

Nibdew PostgreSQL. PostgreSQL se jibda l-proċess ta 'rkupru mill-WALs arkivjati, u allura biss se tiftaħ id-database. 

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Ittestjar

Ġenerazzjoni ta 'database 1GB kif deskritt hawn https://gist.github.com/ololobus/5b25c432f208d7eb31051a5f238dffff

Li titlob id-daqs tal-barmil wara li tiġġenera 1GB ta 'dejta.

postgres=# SELECT pg_size_pretty(pg_database_size('test1'));
pg_size_pretty
----------------
1003 MB

s4cmd hija għodda b'xejn tal-linja tal-kmand biex taħdem b'dejta li tirrisjedi fil-ħażna tal-Amazon S3. L-utilità hija miktuba fil-lingwa ta 'programmar python, u minħabba dan tista' tintuża kemm fis-sistemi operattivi Windows kif ukoll Linux.

Installazzjoni ta' s4cmd

pip install s4cmd

LZ4

s4cmd --endpoint-url=http://ip-адрес-сервера-minio:9000 --access-key=xxxx --secret-key=yyyy du -r s3://pg-backups
840540822       s3://pg-backups/wal_005/
840 МБ в формате lz4 только WAL логов

Полный бекап с lz4 - 1GB данных
time backup_push.sh
real 0m18.582s

Размер S3 бакета после полного бекапа

581480085       s3://pg-backups/basebackups_005/
842374424   s3://pg-backups/wal_005
581 МБ занимает полный бекап

LZMA

После генерации 1ГБ данных
338413694       s3://pg-backups/wal_005/
338 мб логов в формате lzma

Время генерации полного бекапа
time backup_push.sh
real    5m25.054s

Размер бакета в S3
270310495       s3://pg-backups/basebackups_005/
433485092   s3://pg-backups/wal_005/

270 мб занимает полный бекап в формате lzma

Brotli

После генерации 1ГБ данных
459229886       s3://pg-backups/wal_005/
459 мб логов в формате brotli

Время генерации полного бекапа
real    0m23.408s

Размер бакета в S3
312960942       s3://pg-backups/basebackups_005/
459309262   s3://pg-backups/wal_005/

312 мб занимает полный бекап в формате brotli

Tqabbil tar-riżultati fuq iċ-ċart.

Introduzzjoni għas-sistema ta' backup wal-g PostgreSQL

Kif tistgħu taraw, Brotli huwa komparabbli fid-daqs ma 'LZMA, iżda l-backup isir fil-ħin LZ4.

Chat tal-komunità PostgreSQL li titkellem ir-Russu: https://t.me/pgsql

Jekk jogħġbok agħti stilla lil Github jekk tuża wal-g

Sors: www.habr.com

Żid kumment