🥇 د وال-جي پوسټګری ایس کیو ایل بیک اپ سیسټم معرفي کول

وال-جي بادل ته د PostgreSQL بیک اپ کولو لپاره یو ساده او مؤثره وسیله ده. د خپل اصلي فعالیت په شرایطو کې، دا د مشهور وسیلې وارث دی وال-ای، مګر په Go کې بیا لیکل شوی. مګر په WAL-G کې یو مهم نوی خصوصیت شتون لري - delta copies. د ډیلټا کاپي وال-جي د فایلونو پاڼې ذخیره کړئ چې د پخوانۍ بیک اپ نسخې راهیسې بدل شوي. WAL-G د بیک اپ موازي کولو لپاره ډیری ټیکنالوژي پلي کوي. WAL-G د WAL-E په پرتله خورا ګړندی دی.

د wal-g څنګه کار کوي توضیحات په مقاله کې موندل کیدی شي: موږ بیک اپ overclock کوو. د Yandex لیکچر

د S3 ذخیره کولو پروتوکول د معلوماتو ذخیره کولو لپاره مشهور شوی. د S3 یوه ګټه د API له لارې د لاسرسي وړتیا ده ، کوم چې تاسو ته اجازه درکوي د ذخیره کولو سره انعطاف وړ متقابل عمل تنظیم کړئ ، پشمول د عامه لوستلو لاسرسی ، پداسې حال کې چې په ذخیره کې د معلوماتو تازه کول یوازې د مجاز اشخاصو لخوا پیښیږي.

د عامه او خصوصي ذخیره کولو ډیری پلي کونکي شتون لري چې د S3 پروتوکول کاروي. نن ورځ موږ به د کوچني ذخیره کولو تنظیم کولو لپاره یو مشهور حل وګورو - مینیو.

یو واحد PostgreSQL سرور د wal-g ازموینې لپاره ښه دی، او Minio د S3 لپاره د بدیل په توګه کارول کیږي.

مینیو سرور

Minio نصب کول

yum -y install yum-plugin-copr
yum copr enable -y lkiesow/minio
yum install -y minio

AccessKey او SecretKey په /etc/minio/minio.conf کې ایډیټ کړئ

vi /etc/minio/minio.conf

که تاسو د Minio څخه مخکې nginx ونه کاروئ، نو تاسو باید بدلون ته اړتیا ولرئ

--address 127.0.0.1:9000

--address 0.0.0.0:9000

Minio په لاره اچول

systemctl start minio

د Minio ویب انٹرفیس ته لاړ شئ http://ip-адрес-сервера-minio:9000 او یو بالټ جوړ کړئ (د مثال په توګه، pg-backup).

د DB سرور

WAL-G په rpm کې زما (انتون پیټسیف) لخوا راټول شوی. Github, فیډورا COPR.

څوک چې د RPM پر بنسټ سیسټم نلري، رسمي کاروئ لارښوونه په نصبولو سره.

د wal-g بائنری سره سره، rpm سکریپټونه لري چې د /etc/wal-gd/server-s3.conf فایل څخه متغیرات واردوي.

backup-fetch.sh
backup-list.sh
backup-push.sh
wal-fetch.sh
wal-g-run.sh
wal-push.sh

والګ نصب کړئ.

yum -y install yum-plugin-copr
yum copr enable -y antonpatsev/wal-g
yum install -y wal-g

د wal-g نسخه چک کول.

wal-g --version
wal-g version v0.2.14

د خپلو اړتیاو سره سم /etc/wal-gd/server-s3.conf ایډیټ کړئ.

د ترتیب کولو فایلونه او د ډیټا فایلونه چې د ډیټابیس کلستر لخوا کارول کیږي په دودیز ډول د کلستر ډیټا ډایرکټر کې یوځای زیرمه شوي ، چې معمولا ورته ویل کیږي PGDATA

#!/bin/bash

export PG_VER="9.6"

export WALE_S3_PREFIX="s3://pg-backups" # бакет, который мы создали в S3
export AWS_ACCESS_KEY_ID="xxxx" # AccessKey из /etc/minio/minio.conf 
export AWS_ENDPOINT="http://ip-адрес-сервера-minio:9000"
export AWS_S3_FORCE_PATH_STYLE="true"
export AWS_SECRET_ACCESS_KEY="yyyy" # SecretKey из /etc/minio/minio.conf

export PGDATA=/var/lib/pgsql/$PG_VER/data/
export PGHOST=/var/run/postgresql/.s.PGSQL.5432 # Сокет для подключения к PostgreSQL

export WALG_UPLOAD_CONCURRENCY=2 # Кол-во потоков для закачки 
export WALG_DOWNLOAD_CONCURRENCY=2 # Кол-во потоков для скачивания
export WALG_UPLOAD_DISK_CONCURRENCY=2 # Кол-во потоков на диске для закачки
export WALG_DELTA_MAX_STEPS=7
export WALG_COMPRESSION_METHOD=brotli # Какой метод сжатия использовать.

کله چې د WAL-G تنظیم کول، تاسو WALG_DELTA_MAX_STEPS مشخص کړئ - د هغه ګامونو شمیر چې د ډیلټا بیک اپ د بیس بیک اپ څخه اعظمي دی، او د ډیلټا کاپي پالیسي مشخص کړئ. یا تاسو د وروستي موجود ډیلټا څخه یوه کاپي جوړه کړئ ، یا تاسو د اصلي بشپړ بیک اپ څخه ډیلټا جوړ کړئ. دا اړینه ده په هغه صورت کې چې د ډیټابیس ورته برخې تل ستاسو په ډیټابیس کې بدلون ومومي، ورته ډاټا په دوامداره توګه بدلیږي.

د ډیټابیس نصب کول.

yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.
noarch.rpm
yum install -y postgresql96 postgresql96-server mc

موږ ډیټابیس پیل کوو.

/usr/pgsql-9.6/bin/postgresql96-setup initdb
Initializing database ... OK

که تاسو په 1 سرور کې ازموینه کوئ، نو تاسو اړتیا لرئ د wal_level پیرامیټر بیا تنظیم کړئ ترڅو د PostgreSQL لپاره د 10 نسخه څخه کم وي، او د PostgreSQL نسخه 10 او زاړه لپاره نقل.

wal_level = archive

راځئ چې د WAL آرشیفونه په هر 60 ثانیو کې د PostgreSQL په کارولو سره بیک اپ کړو. په تولید کې، تاسو به د آرشیف_ټائم آوټ مختلف ارزښت ولرئ.

archive_mode = on
archive_command = '/usr/local/bin/wal-push.sh %p'
archive_timeout = 60 # Каждые 60 секунд будет выполнятся команда archive_command.

د PostgreSQL پیل کول

systemctl start postgresql-9.6

په جلا کنسول کې، موږ د خطا لپاره د PostgreSQL لاګونه ګورو: (د postgresql-Wed.log اوسني ته بدل کړئ).

tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

راځئ چې psql ته لاړ شو.

su - postgres
psql

په psql کې ډیټابیس جوړ کړئ

په ډیټابیس ټیسټ کې یو جدول جوړ کړئ 1.

create database test1;

د ډیټابیس ازموینې ته لاړشئ.

postgres=# c test1;

موږ جدول indexing_table جوړوو.

test1=# CREATE TABLE indexing_table(created_at TIMESTAMP WITH TIME ZONE DEFAULT NOW());

د معلوماتو اضافه کول.

موږ د معلوماتو داخلول پیل کوو. موږ د 10-20 دقیقو لپاره انتظار کوو.

#!/bin/bash
# postgres
while true; do
psql -U postgres -d test1 -c "INSERT INTO indexing_table(created_at) VALUES (CURRENT_TIMESTAMP);"
sleep 60;
done

ډاډ ترلاسه کړئ چې بشپړ بیک اپ جوړ کړئ.

su - postgres
/usr/local/bin/backup-push.sh

موږ د ډیټابیس ټیسټ 1 کې په جدول کې ریکارډونه ګورو

select * from indexing_table;
2020-01-29 09:41:25.226198+
2020-01-29 09:42:25.336989+
2020-01-29 09:43:25.356069+
2020-01-29 09:44:25.37381+
2020-01-29 09:45:25.392944+
2020-01-29 09:46:25.412327+
2020-01-29 09:47:25.432564+
2020-01-29 09:48:25.451985+
2020-01-29 09:49:25.472653+
2020-01-29 09:50:25.491974+
2020-01-29 09:51:25.510178+

تار اوسنی وخت دی.

د بشپړ بیک اپ لیست وګورئ

/usr/local/bin/backup-list.sh

د بیا رغونې ازموینه

د ټولو موجود WAL رول کولو سره بشپړ رغونه.

Postgresql ودروئ.

له /var/lib/pgsql/9.6/data فولډر څخه هرڅه حذف کړئ.

د پوسټګریس کارونکي په توګه /usr/local/bin/backup-fetch.sh سکریپټ چل کړئ.

su - postgres
/usr/local/bin/backup-fetch.sh

د بیک اپ استخراج بشپړ شو.

د لاندې مینځپانګې سره /var/lib/pgsql/9.6/data فولډر ته recovery.conf اضافه کړئ.

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'

موږ PostgreSQL پیل کوو. PostgreSQL به د آرشیف شوي WALs څخه د بیا رغونې پروسه پیل کړي، او یوازې بیا به ډیټابیس خلاص شي.

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

د یو ټاکلي وخت لپاره بیا رغونه.

که موږ غواړو چې ډیټابیس تر یوې ټاکلې دقیقې پورې بحال کړو، نو بیا موږ د recovery_target_time پیرامیټر په recovery.conf کې اضافه کوو - موږ دا په ګوته کوو چې کوم وخت ډیټابیس بحال کړئ.

restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'
recovery_target_time = '2020-01-29 09:46:25'

د رغیدو وروسته، جدول indexing_table وګورئ

 2020-01-29 09:41:25.226198+00
 2020-01-29 09:42:25.336989+00
 2020-01-29 09:43:25.356069+00
 2020-01-29 09:44:25.37381+00
 2020-01-29 09:45:25.392944+00

موږ PostgreSQL پیل کوو. PostgreSQL به د آرشیف شوي WALs څخه د بیا رغونې پروسه پیل کړي، او یوازې بیا به ډیټابیس خلاص شي.

systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.log

ازمايښت

د 1GB ډیټابیس رامینځته کول لکه څنګه چې دلته تشریح شوي https://gist.github.com/ololobus/5b25c432f208d7eb31051a5f238dffff

د 1GB ډیټا تولیدولو وروسته د بالټ اندازې غوښتنه کول.

postgres=# SELECT pg_size_pretty(pg_database_size('test1'));
pg_size_pretty
----------------
1003 MB

s4cmd — бесплатный инструмент командной строки для работы с данными, расположенными в хранилище Amazon S3. Утилита написана на языке программирования python, и благодаря этому может использоваться в операционных системах и Windowsاو Linux.

د s4cmd نصب کول

pip install s4cmd

LZ4

s4cmd --endpoint-url=http://ip-адрес-сервера-minio:9000 --access-key=xxxx --secret-key=yyyy du -r s3://pg-backups
840540822       s3://pg-backups/wal_005/
840 МБ в формате lz4 только WAL логов

Полный бекап с lz4 - 1GB данных
time backup_push.sh
real 0m18.582s

Размер S3 бакета после полного бекапа

581480085       s3://pg-backups/basebackups_005/
842374424   s3://pg-backups/wal_005
581 МБ занимает полный бекап

LZMA

После генерации 1ГБ данных
338413694       s3://pg-backups/wal_005/
338 мб логов в формате lzma

Время генерации полного бекапа
time backup_push.sh
real    5m25.054s

Размер бакета в S3
270310495       s3://pg-backups/basebackups_005/
433485092   s3://pg-backups/wal_005/

270 мб занимает полный бекап в формате lzma

بروټلي

После генерации 1ГБ данных
459229886       s3://pg-backups/wal_005/
459 мб логов в формате brotli

Время генерации полного бекапа
real    0m23.408s

Размер бакета в S3
312960942       s3://pg-backups/basebackups_005/
459309262   s3://pg-backups/wal_005/

312 мб занимает полный бекап в формате brotli

په چارټ کې د پایلو پرتله کول.

لکه څنګه چې تاسو لیدلی شئ، بروټلي د LZMA سره په اندازې کې د پرتلې وړ دی، مګر بیک اپ په LZ4 وخت کې ترسره کیږي.

د روسی ژبی پوسټگری ایس کیو ایل ټولنې چیٹ: https://t.me/pgsql

مهرباني وکړئ ګیتوب ته یو ستوری ورکړئ که تاسو کاروئ wal-g

سرچینه: www.habr.com

د wal-g PostgreSQL بیک اپ سیسټم پیژندنه