Detalje o tome kako wal-g radi možete pronaći u članku:
S3 protokol za pohranu postao je popularan za pohranu podataka. Jedna od prednosti S3 je mogućnost pristupa putem API-ja, koji vam omogućuje organiziranje fleksibilne interakcije s pohranom, uključujući javni pristup čitanju, dok se ažuriranje informacija u pohrani događa samo od strane ovlaštenih osoba.
Postoji nekoliko implementacija javne i privatne pohrane koje koriste S3 protokol. Danas ćemo pogledati popularno rješenje za organiziranje malih skladišta - Minio.
Jedan PostgreSQL poslužitelj je dobar za testiranje wal-g-a, a Minio se koristi kao zamjena za S3.
Minio poslužitelj
Minio instalacija
yum -y install yum-plugin-copr
yum copr enable -y lkiesow/minio
yum install -y minio
Uredite AccessKey i SecretKey u /etc/minio/minio.conf
vi /etc/minio/minio.conf
Ako nećete koristiti nginx prije Minia, onda morate promijeniti
--address 127.0.0.1:9000
--address 0.0.0.0:9000
Pokretanje Minia
systemctl start minio
Idite na Minio web sučelje
DB poslužitelj
WAL-G u rpm sastavljam ja (Anton Patsev).
Tko nema sustav temeljen na RPM-u, koristi službeni
Uz wal-g binarnu datoteku, rpm sadrži skripte koje uvoze varijable iz /etc/wal-gd/server-s3.conf datoteke.
backup-fetch.sh
backup-list.sh
backup-push.sh
wal-fetch.sh
wal-g-run.sh
wal-push.sh
Instalirajte walg.
yum -y install yum-plugin-copr
yum copr enable -y antonpatsev/wal-g
yum install -y wal-g
Provjera wal-g verzije.
wal-g --version
wal-g version v0.2.14
Uredite /etc/wal-gd/server-s3.conf prema svojim potrebama.
Konfiguracijske i podatkovne datoteke koje koristi klaster baze podataka tradicionalno se pohranjuju zajedno u direktorij podataka klastera, koji se obično naziva PGDATA
#!/bin/bash
export PG_VER="9.6"
export WALE_S3_PREFIX="s3://pg-backups" # бакет, который мы создали в S3
export AWS_ACCESS_KEY_ID="xxxx" # AccessKey из /etc/minio/minio.conf
export AWS_ENDPOINT="http://ip-адрес-сервера-minio:9000"
export AWS_S3_FORCE_PATH_STYLE="true"
export AWS_SECRET_ACCESS_KEY="yyyy" # SecretKey из /etc/minio/minio.conf
export PGDATA=/var/lib/pgsql/$PG_VER/data/
export PGHOST=/var/run/postgresql/.s.PGSQL.5432 # Сокет для подключения к PostgreSQL
export WALG_UPLOAD_CONCURRENCY=2 # Кол-во потоков для закачки
export WALG_DOWNLOAD_CONCURRENCY=2 # Кол-во потоков для скачивания
export WALG_UPLOAD_DISK_CONCURRENCY=2 # Кол-во потоков на диске для закачки
export WALG_DELTA_MAX_STEPS=7
export WALG_COMPRESSION_METHOD=brotli # Какой метод сжатия использовать.
Kada konfigurirate WAL-G, specificirate WALG_DELTA_MAX_STEPS - broj koraka za koji je delta sigurnosna kopija maksimalna od osnovne sigurnosne kopije i specificirate politiku delta kopije. Ili napravite kopiju iz zadnje postojeće delte ili napravite deltu iz izvorne pune sigurnosne kopije. Ovo je potrebno u slučaju kada se ista komponenta baze podataka stalno mijenja u vašoj bazi, isti podaci se stalno mijenjaju.
Instalacija baze podataka.
yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.
noarch.rpm
yum install -y postgresql96 postgresql96-server mc
Inicijaliziramo bazu podataka.
/usr/pgsql-9.6/bin/postgresql96-setup initdb
Initializing database ... OK
Ako testirate na 1 poslužitelju, tada morate ponovno konfigurirati parametar wal_level za arhiviranje za PostgreSQL verziju manju od 10 i repliku za PostgreSQL verziju 10 i stariju.
wal_level = archive
Napravimo sigurnosnu kopiju WAL arhiva svakih 60 sekundi koristeći sam PostgreSQL. Na proizvodu ćete imati drugačiju vrijednost archive_timeout.
archive_mode = on
archive_command = '/usr/local/bin/wal-push.sh %p'
archive_timeout = 60 # Каждые 60 секунд будет выполнятся команда archive_command.
Pokretanje PostgreSQL-a
systemctl start postgresql-9.6
U zasebnoj konzoli gledamo zapise PostgreSQL-a radi pogrešaka: (promijenite postgresql-Wed.log u trenutni).
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log
Idemo na psql.
su - postgres
psql
Stvorite bazu podataka u psql-u
Napravite tablicu u bazi test1.
create database test1;
Prijeđite na test baze podataka.
postgres=# c test1;
Kreiramo tablicu indexing_table.
test1=# CREATE TABLE indexing_table(created_at TIMESTAMP WITH TIME ZONE DEFAULT NOW());
Dodavanje podataka.
Počinjemo unositi podatke. Čekamo 10-20 minuta.
#!/bin/bash
# postgres
while true; do
psql -U postgres -d test1 -c "INSERT INTO indexing_table(created_at) VALUES (CURRENT_TIMESTAMP);"
sleep 60;
done
Obavezno napravite punu sigurnosnu kopiju.
su - postgres
/usr/local/bin/backup-push.sh
Gledamo zapise u tablici u bazi podataka test1
select * from indexing_table;
2020-01-29 09:41:25.226198+
2020-01-29 09:42:25.336989+
2020-01-29 09:43:25.356069+
2020-01-29 09:44:25.37381+
2020-01-29 09:45:25.392944+
2020-01-29 09:46:25.412327+
2020-01-29 09:47:25.432564+
2020-01-29 09:48:25.451985+
2020-01-29 09:49:25.472653+
2020-01-29 09:50:25.491974+
2020-01-29 09:51:25.510178+
Niz je trenutno vrijeme.
Pogledajte popis potpunih sigurnosnih kopija
/usr/local/bin/backup-list.sh
Testiranje oporavka
Potpuni oporavak s pokretanjem svih dostupnih WAL-a.
Zaustavi Postgresql.
Izbrišite sve iz mape /var/lib/pgsql/9.6/data.
Pokrenite /usr/local/bin/backup-fetch.sh skriptu kao postgres korisnik.
su - postgres
/usr/local/bin/backup-fetch.sh
Izdvajanje sigurnosne kopije dovršeno.
Dodajte recovery.conf u mapu /var/lib/pgsql/9.6/data sa sljedećim sadržajem.
restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'
Pokrećemo PostgreSQL. PostgreSQL će pokrenuti proces oporavka iz arhiviranih WAL-ova, a tek tada će se otvoriti baza podataka.
systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log
Oporavak na određeno vrijeme.
Ako želimo vratiti bazu podataka do određene minute, tada dodajemo parametar recovery_target_time u recovery.conf - označavamo u koje vrijeme vratiti bazu podataka.
restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'
recovery_target_time = '2020-01-29 09:46:25'
Nakon oporavka pogledajte tablicu indexing_table
2020-01-29 09:41:25.226198+00
2020-01-29 09:42:25.336989+00
2020-01-29 09:43:25.356069+00
2020-01-29 09:44:25.37381+00
2020-01-29 09:45:25.392944+00
Pokrećemo PostgreSQL. PostgreSQL će pokrenuti proces oporavka iz arhiviranih WAL-ova, a tek tada će se otvoriti baza podataka.
systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log
Testiranje
Generiranje baze podataka od 1 GB kao što je ovdje opisano
Zahtijevanje veličine spremnika nakon generiranja 1 GB podataka.
postgres=# SELECT pg_size_pretty(pg_database_size('test1'));
pg_size_pretty
----------------
1003 MB
s4cmd je besplatni alat naredbenog retka za rad s podacima koji se nalaze u Amazon S3 pohrani. Uslužni program je napisan u programskom jeziku python i zbog toga se može koristiti u Windows i Linux operativnim sustavima.
Instalacija s4cmd
pip install s4cmd
LZ4
s4cmd --endpoint-url=http://ip-адрес-сервера-minio:9000 --access-key=xxxx --secret-key=yyyy du -r s3://pg-backups
840540822 s3://pg-backups/wal_005/
840 МБ в формате lz4 только WAL логов
Полный бекап с lz4 - 1GB данных
time backup_push.sh
real 0m18.582s
Размер S3 бакета после полного бекапа
581480085 s3://pg-backups/basebackups_005/
842374424 s3://pg-backups/wal_005
581 МБ занимает полный бекап
LZMA
После генерации 1ГБ данных
338413694 s3://pg-backups/wal_005/
338 мб логов в формате lzma
Время генерации полного бекапа
time backup_push.sh
real 5m25.054s
Размер бакета в S3
270310495 s3://pg-backups/basebackups_005/
433485092 s3://pg-backups/wal_005/
270 мб занимает полный бекап в формате lzma
Brotli
После генерации 1ГБ данных
459229886 s3://pg-backups/wal_005/
459 мб логов в формате brotli
Время генерации полного бекапа
real 0m23.408s
Размер бакета в S3
312960942 s3://pg-backups/basebackups_005/
459309262 s3://pg-backups/wal_005/
312 мб занимает полный бекап в формате brotli
Usporedba rezultata na grafikonu.
Kao što vidite, Brotli je veličine usporediv s LZMA, ali se sigurnosna kopija izvodi u vremenu LZ4.
Chat zajednice PostgreSQL koja govori ruski:
Ocijenite Github zvjezdicom ako ga koristite
Izvor: www.habr.com