ProHoster > Blog > Amministrazione > Introduzione à u sistema di salvezza wal-g PostgreSQL

Introduzione à u sistema di salvezza wal-g PostgreSQL

WAL-G hè un strumentu simplice è efficace per a copia di salvezza di PostgreSQL à i nuvuli. In quantu à a so funziunalità principale, hè l'erede di u strumentu populari WAL-E, ma riscritta in Go. Ma ci hè una nova funzione impurtante in WAL-G - copie delta. copie delta WAL-G almacenà e pagine di i fugliali chì anu cambiatu da a versione di salvezza precedente. WAL-G implementa assai tecnulugii per parallelizing backups. WAL-G hè assai più veloce di WAL-E.

I dettagli di cumu funziona wal-g ponu esse truvati in l'articulu: Overclockemu a copia di salvezza. Conferenza Yandex

U protocolu di almacenamento S3 hè diventatu populari per almacenà dati. Unu di i vantaghji di S3 hè a capacità di accede via API, chì vi permette di urganizà interazzione flexible cù l'almacenamiento, cumpresu l'accessu publicu di lettura, mentre chì l'aghjurnamentu di l'infurmazioni in u almacenamentu hè solu da e persone autorizate.

Ci hè parechje implementazioni di almacenamiento publicu è privatu chì utilizanu u protocolu S3. Oghje avemu vistu una suluzione populari per urganizà un picculu almacenamentu - Minio.

Un solu servitore PostgreSQL hè bonu per pruvà wal-g, è Minio hè utilizatu cum'è sustitutu per S3.

Minio Server

Installazione di Minio

yum -y install yum-plugin-copr
yum copr enable -y lkiesow/minio
yum install -y minio

Edite AccessKey è SecretKey in /etc/minio/minio.conf

vi /etc/minio/minio.conf

Se ùn avete micca aduprà nginx prima di Minio, allora avete bisognu di cambià

--address 127.0.0.1:9000

--address 0.0.0.0:9000

Lanciamentu di Minio

systemctl start minio

Andà à l'interfaccia web Minio http://ip-адрес-сервера-minio:9000 è crea un bucket (per esempiu, pg-backups).

servitore DB

WAL-G in rpm hè assemblatu da mè (Anton Patsev). Github, Fedora COPR.

Quale ùn hà micca un sistema basatu in RPM, utilizate l'ufficiale struzzione per installazione.

Inseme cù u binariu wal-g, rpm cuntene scripts chì importanu variabili da u schedariu /etc/wal-gd/server-s3.conf.

backup-fetch.sh
backup-list.sh
backup-push.sh
wal-fetch.sh
wal-g-run.sh
wal-push.sh

Installa walg.

yum -y install yum-plugin-copr
yum copr enable -y antonpatsev/wal-g
yum install -y wal-g

Verificà a versione wal-g.

wal-g --version
wal-g version v0.2.14

Edite /etc/wal-gd/server-s3.conf à i vostri bisogni.

I schedarii di cunfigurazione è i fugliali di dati utilizati da un cluster di basa di dati sò tradizionalmente almacenati inseme in u repertoriu di dati di cluster, comunmente chjamatu cum'è PGDATA

#!/bin/bash

export PG_VER="9.6"

export WALE_S3_PREFIX="s3://pg-backups" # бакет, который мы создали в S3
export AWS_ACCESS_KEY_ID="xxxx" # AccessKey из /etc/minio/minio.conf 
export AWS_ENDPOINT="http://ip-адрес-сервера-minio:9000"
export AWS_S3_FORCE_PATH_STYLE="true"
export AWS_SECRET_ACCESS_KEY="yyyy" # SecretKey из /etc/minio/minio.conf

export PGDATA=/var/lib/pgsql/$PG_VER/data/
export PGHOST=/var/run/postgresql/.s.PGSQL.5432 # Сокет для подключения к PostgreSQL

export WALG_UPLOAD_CONCURRENCY=2 # Кол-во потоков для закачки 
export WALG_DOWNLOAD_CONCURRENCY=2 # Кол-во потоков для скачивания
export WALG_UPLOAD_DISK_CONCURRENCY=2 # Кол-во потоков на диске для закачки
export WALG_DELTA_MAX_STEPS=7
export WALG_COMPRESSION_METHOD=brotli # Какой метод сжатия использовать.

Quandu cunfigurà WAL-G, specifica WALG_DELTA_MAX_STEPS - u numeru di passi chì a copia di salvezza delta hè massima da a copia di salvezza di basa, è specifica a pulitica di copia delta. O fate una copia da l'ultimu delta esistente, o fate un delta da a copia di salvezza completa originale. Questu hè necessariu in casu quandu u stessu cumpunente di a basa di dati hè sempre cambiante in a vostra basa di dati, a stessa dati hè cambiante constantemente.

Stallà a basa di dati.

yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.
noarch.rpm
yum install -y postgresql96 postgresql96-server mc

Avemu inizializatu a basa di dati.

/usr/pgsql-9.6/bin/postgresql96-setup initdb
Initializing database ... OK

Sè vo site a prova nantu à u servitore 1, allora avete bisognu di cunfigurà u paràmetru wal_level per archivià per PostgreSQL menu di a versione 10, è a replica per a versione 10 di PostgreSQL è più vechja.

wal_level = archive

Facemu una copia di salvezza di l'archivi WAL ogni 60 seconde utilizendu PostgreSQL stessu. In prod, averete un altru valore archive_timeout.

archive_mode = on
archive_command = '/usr/local/bin/wal-push.sh %p'
archive_timeout = 60 # Каждые 60 секунд будет выполнятся команда archive_command.

Cumincià PostgreSQL

systemctl start postgresql-9.6

In una cunsola separata, fighjemu i logs PostgreSQL per errori: (cambià postgresql-Wed.log à l'attuale).

tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Andemu à psql.

su - postgres
psql

Crea una basa di dati in psql

Crea una tabella in a basa di dati test1.

create database test1;

Cambia à a prova di basa di dati.

postgres=# c test1;

Creemu a table indexing_table.

test1=# CREATE TABLE indexing_table(created_at TIMESTAMP WITH TIME ZONE DEFAULT NOW());

Aghjunghjendu dati.

Cuminciamu à inserisce dati. Aspittemu 10-20 minuti.

#!/bin/bash
# postgres
while true; do
psql -U postgres -d test1 -c "INSERT INTO indexing_table(created_at) VALUES (CURRENT_TIMESTAMP);"
sleep 60;
done

Assicuratevi di fà una copia di salvezza completa.

su - postgres
/usr/local/bin/backup-push.sh

Fighjemu i registri in a tavula in a basa di dati test1

select * from indexing_table;
2020-01-29 09:41:25.226198+
2020-01-29 09:42:25.336989+
2020-01-29 09:43:25.356069+
2020-01-29 09:44:25.37381+
2020-01-29 09:45:25.392944+
2020-01-29 09:46:25.412327+
2020-01-29 09:47:25.432564+
2020-01-29 09:48:25.451985+
2020-01-29 09:49:25.472653+
2020-01-29 09:50:25.491974+
2020-01-29 09:51:25.510178+

A stringa hè l'ora attuale.

Vede a lista di backups cumpletu

/usr/local/bin/backup-list.sh

Test di ricuperazione

Recuperazione cumpleta cù rolling all available WAL.

Ferma Postgresql.

Eliminate tuttu da u cartulare /var/lib/pgsql/9.6/data.

Eseguite l'script /usr/local/bin/backup-fetch.sh cum'è l'utilizatore postgres.

su - postgres
/usr/local/bin/backup-fetch.sh

Estrazione di salvezza cumpleta.

Aghjunghjite recovery.conf à u cartulare /var/lib/pgsql/9.6/data cù u cuntenutu seguente.

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'

Cuminciamu PostgreSQL. PostgreSQL hà da inizià u prucessu di ricuperazione da i WAL archiviati, è solu allora a basa di dati apre. 

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Recuperazione per un certu tempu.

Se vulemu restaurà a basa di dati finu à un certu minutu, allora aghjunghjemu u paràmetru recovery_target_time à recovery.conf - indichemu à quale ora restaurà a basa di dati.

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'
recovery_target_time = '2020-01-29 09:46:25'

Dopu a ricuperazione, fighjate à a table indexing_table

 2020-01-29 09:41:25.226198+00
 2020-01-29 09:42:25.336989+00
 2020-01-29 09:43:25.356069+00
 2020-01-29 09:44:25.37381+00
 2020-01-29 09:45:25.392944+00

Cuminciamu PostgreSQL. PostgreSQL hà da inizià u prucessu di ricuperazione da i WAL archiviati, è solu allora a basa di dati apre. 

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Prucessioni

Generazione di una basa di dati 1GB cum'è descritta quì https://gist.github.com/ololobus/5b25c432f208d7eb31051a5f238dffff

Richiedendu a dimensione di u bucket dopu avè generatu 1GB di dati.

postgres=# SELECT pg_size_pretty(pg_database_size('test1'));
pg_size_pretty
----------------
1003 MB

s4cmd hè un strumentu di linea di cummandu gratuitu per travaglià cù e dati residenti in l'almacenamiento Amazon S3. L'utilità hè scritta in a lingua di prugrammazione python, è per quessa pò esse usata in i sistemi operativi Windows è Linux.

Installazione di s4cmd

pip install s4cmd

LZ4

s4cmd --endpoint-url=http://ip-адрес-сервера-minio:9000 --access-key=xxxx --secret-key=yyyy du -r s3://pg-backups
840540822       s3://pg-backups/wal_005/
840 МБ в формате lz4 только WAL логов

Полный бекап с lz4 - 1GB данных
time backup_push.sh
real 0m18.582s

Размер S3 бакета после полного бекапа

581480085       s3://pg-backups/basebackups_005/
842374424   s3://pg-backups/wal_005
581 МБ занимает полный бекап

LZMA

После генерации 1ГБ данных
338413694       s3://pg-backups/wal_005/
338 мб логов в формате lzma

Время генерации полного бекапа
time backup_push.sh
real    5m25.054s

Размер бакета в S3
270310495       s3://pg-backups/basebackups_005/
433485092   s3://pg-backups/wal_005/

270 мб занимает полный бекап в формате lzma

Brotli

После генерации 1ГБ данных
459229886       s3://pg-backups/wal_005/
459 мб логов в формате brotli

Время генерации полного бекапа
real    0m23.408s

Размер бакета в S3
312960942       s3://pg-backups/basebackups_005/
459309262   s3://pg-backups/wal_005/

312 мб занимает полный бекап в формате brotli

Comparazione di i risultati nantu à u graficu.

Introduzione à u sistema di salvezza wal-g PostgreSQL

Comu pudete vede, Brotli hè paragunabile in grandezza à LZMA, ma a copia di salvezza hè realizata in u tempu LZ4.

Chat di a cumunità di lingua russa PostgreSQL: https://t.me/pgsql

Per piacè dà una stella à Github se utilizate wal-g

Source: www.habr.com

Add a comment