🥇Wprowadzenie do systemu tworzenia kopii zapasowych wal-g w PostgreSQL

WAL-G — proste i skuteczne narzędzie do tworzenia kopii zapasowych PostgreSQL w chmurze. Pod względem podstawowej funkcjonalności jest następcą popularnego narzędzia WAL-E, ale przepisanym w Go. Jednak w WAL-G istnieje jedna ważna nowa funkcja — kopie różnicowe. Kopie różnicowe WAL-G przechowują strony plików, które zmieniły się od poprzedniej wersji kopii zapasowej. WAL-G implementuje wiele technologii do równoległego wykonywania kopii zapasowych. WAL-G działa znacznie szybciej niż WAL-E.

Szczegóły działania wal-g można przeczytać w artykule: Przyspieszamy backup. Wykład Yandexa

Protokół przechowywania S3 stał się popularny do przechowywania danych. Jedną z zalet S3 jest możliwość dostępu przez API, co pozwala na elastywne interakcje z przechowalnią, w tym publiczny dostęp do odczytu, podczas gdy aktualizacja informacji w przechowalni odbywa się tylko przez autoryzowane osoby.

Istnieje kilka zarówno otwartych, jak i prywatnych implementacji przechowalni działających w oparciu o protokół S3. Dziś omówimy popularne rozwiązanie do organizacji małych magazynów — Minio.

Do testowania wal-g wystarczy jeden serwer PostgreSQL, a Minio jest używane jako alternatywa dla S3.

Serwer Minio

Instalacja Minio

yum -y install yum-plugin-copr
yum copr enable -y lkiesow/minio
yum install -y minio

Zmieniamy AccessKey i SecretKey w /etc/minio/minio.conf

vi /etc/minio/minio.conf

Jeśli nie zamierzasz używać nginx przed Minio, musisz zmienić

--address 127.0.0.1:9000

--address 0.0.0.0:9000

Uruchamiamy Minio

systemctl start minio

Przechodzimy do interfejsu webowego Minio http://ip-adres-serwera-minio:9000 i tworzymy bucket (na przykład pg-backups).

Serwer bazy danych

WAL-G w rpm buduję ja (Anton Pacew). Podróż, którą przeszedłem, okazała się fascynującą wyprawą w przeszłość i cieszę się, że w końcu znalazłem rozwiązanie. Poza tym:, Fedora COPR.

Dla tych, którzy nie używają systemu opartego na RPM, korzystajcie z oficjalnej instrukcję instrukcji instalacji.

Razem z binarkiem wal-g w rpm znajdują się skrypty, które importują zmienne z pliku /etc/wal-g.d/server-s3.conf.

backup-fetch.sh
backup-list.sh
backup-push.sh
wal-fetch.sh
wal-g-run.sh
wal-push.sh

Instalujemy wal-g.

yum -y install yum-plugin-copr
yum copr enable -y antonpatsev/wal-g
yum install -y wal-g

Sprawdzamy wersję wal-g.

wal-g --version
wal-g version v0.2.14

Edytujemy /etc/wal-g.d/server-s3.conf według własnych potrzeb.

Pliki konfiguracyjne i pliki danych używane przez klaster bazy danych tradycyjnie przechowuje się razem w katalogu danych klastra, który zwykle nazywa się PGDATA

#!/bin/bash

export PG_VER="9.6"

export WALE_S3_PREFIX="s3://pg-backups" # бакет, который мы создали в S3
export AWS_ACCESS_KEY_ID="xxxx" # AccessKey из /etc/minio/minio.conf 
export AWS_ENDPOINT="http://ip-адрес-сервера-minio:9000"
export AWS_S3_FORCE_PATH_STYLE="true"
export AWS_SECRET_ACCESS_KEY="yyyy" # SecretKey из /etc/minio/minio.conf

export PGDATA=/var/lib/pgsql/$PG_VER/data/
export PGHOST=/var/run/postgresql/.s.PGSQL.5432 # Сокет для подключения к PostgreSQL

export WALG_UPLOAD_CONCURRENCY=2 # Кол-во потоков для закачки 
export WALG_DOWNLOAD_CONCURRENCY=2 # Кол-во потоков для скачивания
export WALG_UPLOAD_DISK_CONCURRENCY=2 # Кол-во потоков на диске для закачки
export WALG_DELTA_MAX_STEPS=7
export WALG_COMPRESSION_METHOD=brotli # Какой метод сжатия использовать.

Podczas konfiguracji WAL-G określasz WALG_DELTA_MAX_STEPS — maksymalną liczbę kroków, o które możesz się oddalić od bazowego kopii zapasowej w przypadku kopii delta, oraz definiujesz politykę kopii delta. Możesz zrobić kopię z ostatniej istniejącej delty lub zrobić deltę od pierwotnej pełnej kopii zapasowej. Jest to potrzebne, gdy w twojej bazie danych ciągle zmienia się ten sam element bazy danych, te same dane są przez cały czas zmieniane.

Instalujemy bazę danych.

yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm
yum install -y postgresql96 postgresql96-server mc

Inicjujemy bazę danych.

/usr/pgsql-9.6/bin/postgresql96-setup initdb
Initializing database ... OK

Jeśli testujesz na 1 serwerze, musisz przestawić parametr wal_level na archive dla PostgreSQL w wersji poniżej 10 oraz na replica dla PostgreSQL w wersji 10 i nowszych.

wal_level = archive

Zróbmy kopie zapasowe archiwów WAL co 60 sekund za pomocą samego PostgreSQL. Na produkcji będziesz miał inną wartość archive_timeout.

archive_mode = on
archive_command = '/usr/local/bin/wal-push.sh %p'
archive_timeout = 60 # Komenda archive_command zostanie wykonana co 60 sekund.

Uruchamiamy PostgreSQL

systemctl start postgresql-9.6

W osobnej konsoli sprawdzamy logi PostgreSQL pod kątem błędów: (postgresql-Wed.log zamieniasz na aktualny).

tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Wchodzimy do psql.

su - postgres
psql

W psql tworzymy bazę danych.

Tworzymy tabelę w bazie test1.

create database test1;

Przełączamy się na bazę test.

postgres=# c test1;

Tworzymy tabelę indexing_table.

test1=# CREATE TABLE indexing_table(created_at TIMESTAMP WITH TIME ZONE DEFAULT NOW());

Dodawanie danych.

Uruchamiamy wstawianie danych. Czekamy 10-20 minut.

#!/bin/bash
# postgres
while true; do
psql -U postgres -d test1 -c "INSERT INTO indexing_table(created_at) VALUES (CURRENT_TIMESTAMP);"
sleep 60;
done

Pamiętaj, aby wykonać pełną kopię zapasową.

su - postgres
/usr/local/bin/backup-push.sh

Sprawdzamy rekordy w tabeli w bazie test1

select * from indexing_table;
2020-01-29 09:41:25.226198+
2020-01-29 09:42:25.336989+
2020-01-29 09:43:25.356069+
2020-01-29 09:44:25.37381+
2020-01-29 09:45:25.392944+
2020-01-29 09:46:25.412327+
2020-01-29 09:47:25.432564+
2020-01-29 09:48:25.451985+
2020-01-29 09:49:25.472653+
2020-01-29 09:50:25.491974+
2020-01-29 09:51:25.510178+

Wiersz to aktualny czas.

Sprawdzamy listę pełnych kopii zapasowych

/usr/local/bin/backup-list.sh

Testowanie przywracania

Pełne przywracanie z zastosowaniem wszystkich dostępnych WAL.

Zatrzymujemy PostgreSQL.

Usuwamy wszystko z folderu /var/lib/pgsql/9.6/data.

Uruchamiamy skrypt /usr/local/bin/backup-fetch.sh jako użytkownik postgres.

su - postgres
/usr/local/bin/backup-fetch.sh

Ekstrakcja kopii zapasowej zakończona.

Dodajemy recovery.conf do folderu /var/lib/pgsql/9.6/data z następującą zawartością.

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'

Uruchamiamy PostgreSQL. PostgreSQL uruchomi proces przywracania z archiwalnych WAL, a dopiero potem baza się otworzy.

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Przywracanie do określonego czasu.

Jeśli chcemy przywrócić bazę danych do określonej minuty, w recovery.conf dodajemy parametr recovery_target_time — wskazujemy, na jaki moment przywrócić bazę.

restore_command = 'usr/local/bin/wal-fetch.sh "%f" "%p"'
recovery_target_time = '2020-01-29 09:46:25'

Po przywróceniu sprawdzamy tabelę indexing_table.

 2020-01-29 09:41:25.226198+00
 2020-01-29 09:42:25.336989+00
 2020-01-29 09:43:25.356069+00
 2020-01-29 09:44:25.37381+00
 2020-01-29 09:45:25.392944+00

Uruchamiamy PostgreSQL. PostgreSQL uruchomi proces przywracania z archiwalnych WAL, a dopiero potem baza się otworzy.

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

Testowanie

Generujemy bazę danych 1GB, jak opisano tutaj. https://gist.github.com/ololobus/5b25c432f208d7eb31051a5f238dffff

Sprawdzamy rozmiar kosza po wygenerowaniu 1GB danych.

postgres=# SELECT pg_size_pretty(pg_database_size('test1'));
pg_size_pretty
----------------
1003 MB

s4cmd — darmowe narzędzie wiersza poleceń do pracy z danymi w magazynie Amazon S3. Narzędzie jest napisane w języku programowania Python, dzięki czemu może być używane zarówno w systemach Windows, jak i Linux.

Instalujemy s4cmd.

pip install s4cmd

LZ4

s4cmd --endpoint-url=http://adres-ip-serwera-minio:9000 --access-key=xxxx --secret-key=yyyy du -r s3://pg-backups
840540822       s3://pg-backups/wal_005/
840 MB w formacie lz4 tylko logów WAL

Pełna kopia zapasowa z lz4 - 1GB danych
time backup_push.sh
real 0m18.582s

Rozmiar kosza S3 po pełnej kopii zapasowej

581480085       s3://pg-backups/basebackups_005/
842374424   s3://pg-backups/wal_005
581 MB zajmuje pełna kopia zapasowa.

LZMA

Po wygenerowaniu 1GB danych
338413694       s3://pg-backups/wal_005/
338 MB logów w formacie lzma

Czas generowania pełnej kopii zapasowej
time backup_push.sh
real    5m25.054s

Rozmiar kosza w S3
270310495       s3://pg-backups/basebackups_005/
433485092   s3://pg-backups/wal_005/

270 MB zajmuje pełna kopia zapasowa w formacie lzma.

Brotli

Po wygenerowaniu 1GB danych
459229886       s3://pg-backups/wal_005/
459 MB logów w formacie brotli

Czas generowania pełnej kopii zapasowej
real    0m23.408s

Rozmiar kosza w S3
312960942       s3://pg-backups/basebackups_005/
459309262   s3://pg-backups/wal_005/

312 MB zajmuje pełna kopia zapasowa w formacie brotli.

Porównanie wyników na wykresie.