🥇Predstavljamo wal-g PostgreSQL backup sistem

WAL-G je jednostavan i efikasan alat za pravljenje rezervnih kopija PostgreSQL-a u oblaku. U smislu svoje glavne funkcionalnosti, nasljednik je popularnog alata WAL-E, ali prepisan u Go. Ali postoji jedna važna nova karakteristika u WAL-G-u - delta kopije. delta kopije WAL-G pohraniti stranice datoteka koje su se promijenile od prethodne verzije sigurnosne kopije. WAL-G implementira dosta tehnologija za paraleliziranje sigurnosnih kopija. WAL-G je mnogo brži od WAL-E.

Detalji o tome kako wal-g radi možete pronaći u članku: Overklokujemo rezervnu kopiju. Yandex predavanje

S3 protokol za pohranu postao je popularan za pohranjivanje podataka. Jedna od prednosti S3 je mogućnost pristupa putem API-ja, koji vam omogućava da organizujete fleksibilnu interakciju sa skladištem, uključujući i javni pristup za čitanje, dok ažuriranje informacija u skladištu vrši samo ovlašćena lica.

Postoji nekoliko implementacija javne i privatne memorije koje koriste S3 protokol. Danas ćemo pogledati popularno rješenje za organiziranje malih skladišta - Minio.

Jedan PostgreSQL server je dobar za testiranje wal-g-a, a Minio se koristi kao zamena za S3.

Minio server

Mini instalacija

yum -y install yum-plugin-copr
yum copr enable -y lkiesow/minio
yum install -y minio

Uredite AccessKey i SecretKey u /etc/minio/minio.conf

vi /etc/minio/minio.conf

Ako nećete koristiti nginx prije Minia, onda morate promijeniti

--address 127.0.0.1:9000

--address 0.0.0.0:9000

Pokretanje Minia

systemctl start minio

Idite na Minio web interfejs http://ip-адрес-сервера-minio:9000 i kreirajte bucket (na primjer, pg-backups).

DB server

WAL-G u rpm sam sastavio (Anton Patsev). GitHub, Fedora COPR.

Ko nema sistem baziran na RPM, neka se posluži službenim uputstva instalacijom.

Zajedno sa wal-g binarnom, rpm sadrži skripte koje uvoze varijable iz /etc/wal-gd/server-s3.conf datoteke.

backup-fetch.sh
backup-list.sh
backup-push.sh
wal-fetch.sh
wal-g-run.sh
wal-push.sh

Instalirajte walg.

yum -y install yum-plugin-copr
yum copr enable -y antonpatsev/wal-g
yum install -y wal-g

Provjeravam wal-g verziju.

wal-g --version
wal-g version v0.2.14

Uredite /etc/wal-gd/server-s3.conf prema vašim potrebama.

Konfiguracijske datoteke i datoteke s podacima koje koristi klaster baze podataka tradicionalno se pohranjuju zajedno u direktorij podataka klastera, koji se obično naziva PGDATA

#!/bin/bash

export PG_VER="9.6"

export WALE_S3_PREFIX="s3://pg-backups" # бакет, который мы создали в S3
export AWS_ACCESS_KEY_ID="xxxx" # AccessKey из /etc/minio/minio.conf 
export AWS_ENDPOINT="http://ip-адрес-сервера-minio:9000"
export AWS_S3_FORCE_PATH_STYLE="true"
export AWS_SECRET_ACCESS_KEY="yyyy" # SecretKey из /etc/minio/minio.conf

export PGDATA=/var/lib/pgsql/$PG_VER/data/
export PGHOST=/var/run/postgresql/.s.PGSQL.5432 # Сокет для подключения к PostgreSQL

export WALG_UPLOAD_CONCURRENCY=2 # Кол-во потоков для закачки 
export WALG_DOWNLOAD_CONCURRENCY=2 # Кол-во потоков для скачивания
export WALG_UPLOAD_DISK_CONCURRENCY=2 # Кол-во потоков на диске для закачки
export WALG_DELTA_MAX_STEPS=7
export WALG_COMPRESSION_METHOD=brotli # Какой метод сжатия использовать.

Kada konfigurišete WAL-G, specificirate WALG_DELTA_MAX_STEPS - broj koraka za koje je delta sigurnosna kopija maksimalna u odnosu na osnovnu sigurnosnu kopiju i specificirate politiku delta kopiranja. Ili napravite kopiju iz posljednje postojeće delta, ili napravite delta od originalne pune sigurnosne kopije. Ovo je neophodno u slučaju kada se ista komponenta baze podataka uvijek mijenja u vašoj bazi podataka, isti podaci se stalno mijenjaju.

Instaliranje baze podataka.

yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.
noarch.rpm
yum install -y postgresql96 postgresql96-server mc

Inicijaliziramo bazu podataka.

/usr/pgsql-9.6/bin/postgresql96-setup initdb
Initializing database ... OK

Ako testirate na 1 serveru, tada morate ponovo konfigurirati parametar wal_level da arhivirate za PostgreSQL manje od verzije 10 i repliku za PostgreSQL verziju 10 i stariju.

wal_level = archive

Napravimo sigurnosnu kopiju WAL arhiva svakih 60 sekundi koristeći sam PostgreSQL. Na prod, imat ćete drugačiju vrijednost archive_timeout.

archive_mode = on
archive_command = '/usr/local/bin/wal-push.sh %p'
archive_timeout = 60 # Каждые 60 секунд будет выполнятся команда archive_command.

Pokretanje PostgreSQL-a

systemctl start postgresql-9.6

U zasebnoj konzoli gledamo PostgreSQL dnevnike za greške: (promijenite postgresql-Wed.log u trenutni).

tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Idemo na psql.

su - postgres
psql

Kreirajte bazu podataka u psql

Kreirajte tabelu u bazi podataka test1.

create database test1;

Prebacite se na test baze podataka.

postgres=# c test1;

Kreiramo tablicu indexing_table.

test1=# CREATE TABLE indexing_table(created_at TIMESTAMP WITH TIME ZONE DEFAULT NOW());

Dodavanje podataka.

Počinjemo sa unosom podataka. Čekamo 10-20 minuta.

#!/bin/bash
# postgres
while true; do
psql -U postgres -d test1 -c "INSERT INTO indexing_table(created_at) VALUES (CURRENT_TIMESTAMP);"
sleep 60;
done

Obavezno napravite potpunu sigurnosnu kopiju.

su - postgres
/usr/local/bin/backup-push.sh

Gledamo zapise u tabeli u testu baze podataka1

select * from indexing_table;
2020-01-29 09:41:25.226198+
2020-01-29 09:42:25.336989+
2020-01-29 09:43:25.356069+
2020-01-29 09:44:25.37381+
2020-01-29 09:45:25.392944+
2020-01-29 09:46:25.412327+
2020-01-29 09:47:25.432564+
2020-01-29 09:48:25.451985+
2020-01-29 09:49:25.472653+
2020-01-29 09:50:25.491974+
2020-01-29 09:51:25.510178+

Niz je trenutno vrijeme.

Pogledajte listu potpunih rezervnih kopija

/usr/local/bin/backup-list.sh

Testiranje oporavka

Potpuni oporavak uz okretanje svih dostupnih WAL-a.

Zaustavite Postgresql.

Izbrišite sve iz fascikle /var/lib/pgsql/9.6/data.

Pokrenite /usr/local/bin/backup-fetch.sh skriptu kao postgres korisnik.

su - postgres
/usr/local/bin/backup-fetch.sh

Ekstrakcija sigurnosne kopije je završena.

Dodajte recovery.conf u /var/lib/pgsql/9.6/data folder sa sljedećim sadržajem.

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'

Pokrećemo PostgreSQL. PostgreSQL će pokrenuti proces oporavka iz arhiviranih WAL-ova i tek tada će se otvoriti baza podataka.

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Oporavak na određeno vrijeme.

Ako želimo da vratimo bazu podataka do određenog minuta, tada u recovery.conf dodajemo parametar recovery_target_time - označavamo u koje vrijeme treba vratiti bazu podataka.

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'
recovery_target_time = '2020-01-29 09:46:25'

Nakon oporavka, pogledajte tabelu indexing_table

 2020-01-29 09:41:25.226198+00
 2020-01-29 09:42:25.336989+00
 2020-01-29 09:43:25.356069+00
 2020-01-29 09:44:25.37381+00
 2020-01-29 09:45:25.392944+00

Pokrećemo PostgreSQL. PostgreSQL će pokrenuti proces oporavka iz arhiviranih WAL-ova i tek tada će se otvoriti baza podataka.

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Testiranje

Generiranje baze podataka od 1 GB kao što je ovdje opisano https://gist.github.com/ololobus/5b25c432f208d7eb31051a5f238dffff

Zahtjev za veličinu segmenta nakon generiranja 1 GB podataka.

postgres=# SELECT pg_size_pretty(pg_database_size('test1'));
pg_size_pretty
----------------
1003 MB

s4cmd je besplatni alat komandne linije za rad s podacima koji se nalaze u Amazon S3 skladištu. Uslužni program je napisan u programskom jeziku Python, te se zbog toga može koristiti i u Windows i Linux operativnim sistemima.

Instaliranje s4cmd

pip install s4cmd

LZ4

s4cmd --endpoint-url=http://ip-адрес-сервера-minio:9000 --access-key=xxxx --secret-key=yyyy du -r s3://pg-backups
840540822       s3://pg-backups/wal_005/
840 МБ в формате lz4 только WAL логов

Полный бекап с lz4 - 1GB данных
time backup_push.sh
real 0m18.582s

Размер S3 бакета после полного бекапа

581480085       s3://pg-backups/basebackups_005/
842374424   s3://pg-backups/wal_005
581 МБ занимает полный бекап

LZMA

После генерации 1ГБ данных
338413694       s3://pg-backups/wal_005/
338 мб логов в формате lzma

Время генерации полного бекапа
time backup_push.sh
real    5m25.054s

Размер бакета в S3
270310495       s3://pg-backups/basebackups_005/
433485092   s3://pg-backups/wal_005/

270 мб занимает полный бекап в формате lzma

Brotli

После генерации 1ГБ данных
459229886       s3://pg-backups/wal_005/
459 мб логов в формате brotli

Время генерации полного бекапа
real    0m23.408s

Размер бакета в S3
312960942       s3://pg-backups/basebackups_005/
459309262   s3://pg-backups/wal_005/

312 мб занимает полный бекап в формате brotli

Poređenje rezultata na grafikonu.

Kao što vidite, Brotli je uporediv po veličini sa LZMA, ali se rezervna kopija izvodi u LZ4 vremenu.

Ćaskanje zajednice PostgreSQL na ruskom govornom području: https://t.me/pgsql

Molimo dajte zvjezdicu Githubu ako koristite wal-g

izvor: www.habr.com

Uvod u wal-g PostgreSQL sistem rezervnih kopija

Minio server

DB server

Pogledajte listu potpunih rezervnih kopija

Testiranje oporavka

Potpuni oporavak uz okretanje svih dostupnih WAL-a.

Oporavak na određeno vrijeme.

Testiranje

LZ4

LZMA

Brotli

Dodajte komentar

Uvod u wal-g PostgreSQL sistem rezervnih kopija

Minio server

DB server

Pogledajte listu potpunih rezervnih kopija

Testiranje oporavka

Potpuni oporavak uz okretanje svih dostupnih WAL-a.

Oporavak na određeno vrijeme.

Testiranje

LZ4

LZMA

Brotli

Dodajte komentar ÐžÑ,Ð¼ÐμÐ½Ð¸Ñ,ÑŒ Ð¾Ñ,Ð²ÐμÑ,

Dodajte komentar