ProHoster > Blog > Pangangasiwa > Panimula sa wal-g PostgreSQL backup system

Panimula sa wal-g PostgreSQL backup system

WAL-G ay isang simple at epektibong tool para sa pag-back up ng PostgreSQL sa mga ulap. Sa mga tuntunin ng pangunahing pag-andar nito, ito ang tagapagmana ng sikat na tool WAL-E, ngunit muling isinulat sa Go. Ngunit mayroong isang mahalagang bagong tampok sa WAL-G - mga kopya ng delta. mga kopya ng delta WAL-G mag-imbak ng mga pahina ng mga file na nagbago mula noong nakaraang backup na bersyon. Ang WAL-G ay nagpapatupad ng napakaraming teknolohiya para sa parallelizing backups. Ang WAL-G ay mas mabilis kaysa sa WAL-E.

Ang mga detalye kung paano gumagana ang wal-g ay makikita sa artikulo: Overclock namin ang backup. Yandex lecture

Ang S3 storage protocol ay naging popular para sa pag-iimbak ng data. Ang isa sa mga bentahe ng S3 ay ang kakayahang mag-access sa pamamagitan ng API, na nagbibigay-daan sa iyong ayusin ang flexible na pakikipag-ugnayan sa storage, kabilang ang pampublikong read access, habang ang pag-update ng impormasyon sa storage ay nangyayari lamang ng mga awtorisadong tao.

Mayroong ilang mga pampubliko at pribadong pagpapatupad ng storage na gumagamit ng S3 protocol. Ngayon ay titingnan natin ang isang tanyag na solusyon para sa pag-aayos ng maliit na imbakan - Minio.

Ang isang server ng PostgreSQL ay mainam para sa pagsubok sa wal-g, at ang Minio ay ginagamit bilang kapalit para sa S3.

Minio Server

Pag-install ng minio

yum -y install yum-plugin-copr
yum copr enable -y lkiesow/minio
yum install -y minio

I-edit ang AccessKey at SecretKey sa /etc/minio/minio.conf

vi /etc/minio/minio.conf

Kung hindi ka gagamit ng nginx bago ang Minio, kailangan mong magbago

--address 127.0.0.1:9000

--address 0.0.0.0:9000

Inilunsad ang Minio

systemctl start minio

Pumunta sa Minio web interface http://ip-адрСс-сСрвСра-minio:9000 at gumawa ng bucket (halimbawa, pg-backups).

DB server

Ang WAL-G sa rpm ay binuo ko (Anton Patsev). Github, Fedora COPR.

Sino ang walang RPM-based system, gamitin ang opisyal tagubilin sa pamamagitan ng pag-install.

Kasama ng wal-g binary, naglalaman ang rpm ng mga script na nag-i-import ng mga variable mula sa /etc/wal-gd/server-s3.conf file.

backup-fetch.sh
backup-list.sh
backup-push.sh
wal-fetch.sh
wal-g-run.sh
wal-push.sh

I-install ang walg.

yum -y install yum-plugin-copr
yum copr enable -y antonpatsev/wal-g
yum install -y wal-g

Sinusuri ang bersyon ng wal-g.

wal-g --version
wal-g version v0.2.14

I-edit ang /etc/wal-gd/server-s3.conf sa iyong mga pangangailangan.

Ang mga configuration file at data file na ginagamit ng isang database cluster ay tradisyonal na nakaimbak nang magkasama sa cluster data directory, na karaniwang tinutukoy bilang PGDATA

#!/bin/bash

export PG_VER="9.6"

export WALE_S3_PREFIX="s3://pg-backups" # Π±Π°ΠΊΠ΅Ρ‚, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ ΠΌΡ‹ создали Π² S3
export AWS_ACCESS_KEY_ID="xxxx" # AccessKey ΠΈΠ· /etc/minio/minio.conf 
export AWS_ENDPOINT="http://ip-адрСс-сСрвСра-minio:9000"
export AWS_S3_FORCE_PATH_STYLE="true"
export AWS_SECRET_ACCESS_KEY="yyyy" # SecretKey ΠΈΠ· /etc/minio/minio.conf

export PGDATA=/var/lib/pgsql/$PG_VER/data/
export PGHOST=/var/run/postgresql/.s.PGSQL.5432 # Π‘ΠΎΠΊΠ΅Ρ‚ для ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ ΠΊ PostgreSQL

export WALG_UPLOAD_CONCURRENCY=2 # Кол-Π²ΠΎ ΠΏΠΎΡ‚ΠΎΠΊΠΎΠ² для Π·Π°ΠΊΠ°Ρ‡ΠΊΠΈ 
export WALG_DOWNLOAD_CONCURRENCY=2 # Кол-Π²ΠΎ ΠΏΠΎΡ‚ΠΎΠΊΠΎΠ² для скачивания
export WALG_UPLOAD_DISK_CONCURRENCY=2 # Кол-Π²ΠΎ ΠΏΠΎΡ‚ΠΎΠΊΠΎΠ² Π½Π° дискС для Π·Π°ΠΊΠ°Ρ‡ΠΊΠΈ
export WALG_DELTA_MAX_STEPS=7
export WALG_COMPRESSION_METHOD=brotli # Какой ΠΌΠ΅Ρ‚ΠΎΠ΄ сТатия ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ.

Kapag kino-configure ang WAL-G, tinukoy mo ang WALG_DELTA_MAX_STEPS - ang bilang ng mga hakbang na ang delta backup ay maximum mula sa base backup, at tukuyin ang delta copy policy. Maaaring gumawa ka ng kopya mula sa huling umiiral na delta, o gumawa ka ng delta mula sa orihinal na buong backup. Ito ay kinakailangan kung sakaling ang parehong bahagi ng database ay palaging nagbabago sa iyong database, ang parehong data ay patuloy na nagbabago.

Pag-install ng database.

yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.
noarch.rpm
yum install -y postgresql96 postgresql96-server mc

Sinisimulan namin ang database.

/usr/pgsql-9.6/bin/postgresql96-setup initdb
Initializing database ... OK

Kung ikaw ay sumusubok sa 1 server, kailangan mong muling i-configure ang wal_level na parameter upang i-archive para sa PostgreSQL na mas mababa sa bersyon 10, at replica para sa PostgreSQL na bersyon 10 at mas luma.

wal_level = archive

I-backup natin ang mga archive ng WAL tuwing 60 segundo gamit ang PostgreSQL mismo. Sa prod, magkakaroon ka ng ibang halaga ng archive_timeout.

archive_mode = on
archive_command = '/usr/local/bin/wal-push.sh %p'
archive_timeout = 60 # ΠšΠ°ΠΆΠ΄Ρ‹Π΅ 60 сСкунд Π±ΡƒΠ΄Π΅Ρ‚ выполнятся ΠΊΠΎΠΌΠ°Π½Π΄Π° archive_command.

Sinisimulan ang PostgreSQL

systemctl start postgresql-9.6

Sa isang hiwalay na console, tinitingnan namin ang mga PostgreSQL log para sa mga error: (palitan ang postgresql-Wed.log sa kasalukuyang).

tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Pumunta tayo sa psql.

su - postgres
psql

Lumikha ng isang database sa psql

Gumawa ng table sa database test1.

create database test1;

Lumipat sa pagsubok sa database.

postgres=# c test1;

Ginagawa namin ang table indexing_table.

test1=# CREATE TABLE indexing_table(created_at TIMESTAMP WITH TIME ZONE DEFAULT NOW());

Pagdaragdag ng data.

Nagsisimula kaming magpasok ng data. Naghihintay kami ng 10-20 minuto.

#!/bin/bash
# postgres
while true; do
psql -U postgres -d test1 -c "INSERT INTO indexing_table(created_at) VALUES (CURRENT_TIMESTAMP);"
sleep 60;
done

Tiyaking gumawa ng buong backup.

su - postgres
/usr/local/bin/backup-push.sh

Tinitingnan namin ang mga tala sa talahanayan sa pagsubok ng database1

select * from indexing_table;
2020-01-29 09:41:25.226198+
2020-01-29 09:42:25.336989+
2020-01-29 09:43:25.356069+
2020-01-29 09:44:25.37381+
2020-01-29 09:45:25.392944+
2020-01-29 09:46:25.412327+
2020-01-29 09:47:25.432564+
2020-01-29 09:48:25.451985+
2020-01-29 09:49:25.472653+
2020-01-29 09:50:25.491974+
2020-01-29 09:51:25.510178+

Ang string ay ang kasalukuyang oras.

Tingnan ang listahan ng buong backup

/usr/local/bin/backup-list.sh

Pagsusuri sa pagbawi

Buong pagbawi sa rolling lahat ng available na WAL.

Itigil ang Postgresql.

Tanggalin ang lahat mula sa /var/lib/pgsql/9.6/data folder.

Patakbuhin ang /usr/local/bin/backup-fetch.sh script bilang postgres user.

su - postgres
/usr/local/bin/backup-fetch.sh

Kumpleto na ang backup extraction.

Magdagdag ng recovery.conf sa /var/lib/pgsql/9.6/data folder na may sumusunod na content.

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'

Sinimulan namin ang PostgreSQL. Sisimulan ng PostgreSQL ang proseso ng pagbawi mula sa mga naka-archive na WAL, at pagkatapos lamang magbubukas ang database. 

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Pagbawi para sa isang tiyak na oras.

Kung gusto naming ibalik ang database hanggang sa isang tiyak na minuto, pagkatapos ay idagdag namin ang recovery_target_time na parameter sa recovery.conf - ipinapahiwatig namin kung anong oras ibabalik ang database.

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'
recovery_target_time = '2020-01-29 09:46:25'

Pagkatapos ng pagbawi, tingnan ang talahanayan indexing_table

 2020-01-29 09:41:25.226198+00
 2020-01-29 09:42:25.336989+00
 2020-01-29 09:43:25.356069+00
 2020-01-29 09:44:25.37381+00
 2020-01-29 09:45:25.392944+00

Sinimulan namin ang PostgreSQL. Sisimulan ng PostgreSQL ang proseso ng pagbawi mula sa mga naka-archive na WAL, at pagkatapos lamang magbubukas ang database. 

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Pagsubok

Bumubuo ng 1GB database gaya ng inilarawan dito https://gist.github.com/ololobus/5b25c432f208d7eb31051a5f238dffff

Paghiling ng laki ng bucket pagkatapos makabuo ng 1GB ng data.

postgres=# SELECT pg_size_pretty(pg_database_size('test1'));
pg_size_pretty
----------------
1003 MB

Ang s4cmd ay isang libreng command line tool para sa pagtatrabaho sa data na naninirahan sa Amazon S3 storage. Ang utility ay nakasulat sa python programming language, at dahil dito maaari itong magamit sa parehong Windows at Linux operating system.

Pag-install ng s4cmd

pip install s4cmd

LZ4

s4cmd --endpoint-url=http://ip-адрСс-сСрвСра-minio:9000 --access-key=xxxx --secret-key=yyyy du -r s3://pg-backups
840540822       s3://pg-backups/wal_005/
840 ΠœΠ‘ Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ lz4 Ρ‚ΠΎΠ»ΡŒΠΊΠΎ WAL Π»ΠΎΠ³ΠΎΠ²

ΠŸΠΎΠ»Π½Ρ‹ΠΉ Π±Π΅ΠΊΠ°ΠΏ с lz4 - 1GB Π΄Π°Π½Π½Ρ‹Ρ…
time backup_push.sh
real 0m18.582s

Π Π°Π·ΠΌΠ΅Ρ€ S3 Π±Π°ΠΊΠ΅Ρ‚Π° послС ΠΏΠΎΠ»Π½ΠΎΠ³ΠΎ Π±Π΅ΠΊΠ°ΠΏΠ°

581480085       s3://pg-backups/basebackups_005/
842374424   s3://pg-backups/wal_005
581 ΠœΠ‘ Π·Π°Π½ΠΈΠΌΠ°Π΅Ρ‚ ΠΏΠΎΠ»Π½Ρ‹ΠΉ Π±Π΅ΠΊΠ°ΠΏ

LZMA

ПослС Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ 1Π“Π‘ Π΄Π°Π½Π½Ρ‹Ρ…
338413694       s3://pg-backups/wal_005/
338 ΠΌΠ± Π»ΠΎΠ³ΠΎΠ² Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ lzma

ВрСмя Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ ΠΏΠΎΠ»Π½ΠΎΠ³ΠΎ Π±Π΅ΠΊΠ°ΠΏΠ°
time backup_push.sh
real    5m25.054s

Π Π°Π·ΠΌΠ΅Ρ€ Π±Π°ΠΊΠ΅Ρ‚Π° Π² S3
270310495       s3://pg-backups/basebackups_005/
433485092   s3://pg-backups/wal_005/

270 ΠΌΠ± Π·Π°Π½ΠΈΠΌΠ°Π΅Ρ‚ ΠΏΠΎΠ»Π½Ρ‹ΠΉ Π±Π΅ΠΊΠ°ΠΏ Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ lzma

Brotli

ПослС Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ 1Π“Π‘ Π΄Π°Π½Π½Ρ‹Ρ…
459229886       s3://pg-backups/wal_005/
459 ΠΌΠ± Π»ΠΎΠ³ΠΎΠ² Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ brotli

ВрСмя Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ ΠΏΠΎΠ»Π½ΠΎΠ³ΠΎ Π±Π΅ΠΊΠ°ΠΏΠ°
real    0m23.408s

Π Π°Π·ΠΌΠ΅Ρ€ Π±Π°ΠΊΠ΅Ρ‚Π° Π² S3
312960942       s3://pg-backups/basebackups_005/
459309262   s3://pg-backups/wal_005/

312 ΠΌΠ± Π·Π°Π½ΠΈΠΌΠ°Π΅Ρ‚ ΠΏΠΎΠ»Π½Ρ‹ΠΉ Π±Π΅ΠΊΠ°ΠΏ Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ brotli

Paghahambing ng mga resulta sa tsart.

Panimula sa wal-g PostgreSQL backup system

Tulad ng nakikita mo, ang Brotli ay maihahambing sa laki sa LZMA, ngunit ang pag-backup ay ginagawa sa oras ng LZ4.

Chat ng Russian-speaking PostgreSQL community: https://t.me/pgsql

Mangyaring bigyan ng star ang Github kung gagamit ka wal-g

Pinagmulan: www.habr.com

Magdagdag ng komento