เป็นเครื่องมือที่ง่ายและมีประสิทธิภาพสำหรับการสำรองข้อมูล PostgreSQL ไปยังคลาวด์ ในแง่ของฟังก์ชันหลัก มันเป็นทายาทของเครื่องมือยอดนิยม แต่เขียนใหม่ในภาษาโก แต่มีฟีเจอร์ใหม่ที่สำคัญอย่างหนึ่งใน WAL-G นั่นก็คือสำเนาเดลต้า สำเนาเดลต้า เก็บหน้าไฟล์ที่เปลี่ยนแปลงตั้งแต่เวอร์ชันสำรองข้อมูลก่อนหน้า WAL-G ใช้เทคโนโลยีมากมายในการสำรองข้อมูลแบบขนาน WAL-G เร็วกว่า WAL-E มาก
รายละเอียดเกี่ยวกับวิธีการทำงานของ wal-g สามารถพบได้ในบทความ:
โปรโตคอลการจัดเก็บข้อมูล S3 ได้รับความนิยมในการจัดเก็บข้อมูล ข้อดีประการหนึ่งของ S3 คือความสามารถในการเข้าถึงผ่าน API ซึ่งช่วยให้คุณสามารถจัดระเบียบการโต้ตอบที่ยืดหยุ่นกับพื้นที่จัดเก็บข้อมูล รวมถึงการเข้าถึงการอ่านสาธารณะ ในขณะที่การอัปเดตข้อมูลในพื้นที่จัดเก็บข้อมูลจะเกิดขึ้นโดยบุคคลที่ได้รับอนุญาตเท่านั้น
มีการใช้งานพื้นที่จัดเก็บข้อมูลสาธารณะและส่วนตัวหลายอย่างที่ใช้โปรโตคอล S3 วันนี้เราจะมาดูวิธีแก้ปัญหายอดนิยมสำหรับการจัดระเบียบพื้นที่เก็บข้อมูลขนาดเล็ก - Minio
เซิร์ฟเวอร์ PostgreSQL เดียวเหมาะสำหรับการทดสอบ wal-g และใช้ Minio แทน S3
มินิเซิร์ฟเวอร์
การติดตั้งมินิโอ
yum -y install yum-plugin-copr
yum copr enable -y lkiesow/minio
yum install -y minioแก้ไข AccessKey และ SecretKey ใน /etc/minio/minio.conf
vi /etc/minio/minio.confหากคุณจะไม่ใช้ nginx ก่อน Minio คุณจะต้องเปลี่ยน
--address 127.0.0.1:9000--address 0.0.0.0:9000เปิดตัวมินิโอ
systemctl start minioไปที่เว็บอินเตอร์เฟส Minio และสร้างบัคเก็ต (เช่น pg-backups)
เซิร์ฟเวอร์ฐานข้อมูล
ฉันประกอบ WAL-G ใน rpm (Anton Patsev) , .
ใครไม่มีระบบแบบ RPM ให้ใช้ทางการครับ โดยการติดตั้ง
นอกจากไบนารี wal-g แล้ว rpm ยังมีสคริปต์ที่นำเข้าตัวแปรจากไฟล์ /etc/wal-gd/server-s3.conf
backup-fetch.sh
backup-list.sh
backup-push.sh
wal-fetch.sh
wal-g-run.sh
wal-push.shติดตั้งวอลล์.
yum -y install yum-plugin-copr
yum copr enable -y antonpatsev/wal-g
yum install -y wal-gกำลังตรวจสอบเวอร์ชัน wal-g
wal-g --version
wal-g version v0.2.14แก้ไข /etc/wal-gd/server-s3.conf ตามความต้องการของคุณ
ไฟล์การกำหนดค่าและไฟล์ข้อมูลที่ใช้โดยคลัสเตอร์ฐานข้อมูลจะถูกเก็บไว้ร่วมกันในไดเร็กทอรีข้อมูลคลัสเตอร์ โดยทั่วไปเรียกว่า PGDATA
#!/bin/bash
export PG_VER="9.6"
export WALE_S3_PREFIX="s3://pg-backups" # бакет, который мы создали в S3
export AWS_ACCESS_KEY_ID="xxxx" # AccessKey из /etc/minio/minio.conf
export AWS_ENDPOINT="http://ip-адрес-сервера-minio:9000"
export AWS_S3_FORCE_PATH_STYLE="true"
export AWS_SECRET_ACCESS_KEY="yyyy" # SecretKey из /etc/minio/minio.conf
export PGDATA=/var/lib/pgsql/$PG_VER/data/
export PGHOST=/var/run/postgresql/.s.PGSQL.5432 # Сокет для подключения к PostgreSQL
export WALG_UPLOAD_CONCURRENCY=2 # Кол-во потоков для закачки
export WALG_DOWNLOAD_CONCURRENCY=2 # Кол-во потоков для скачивания
export WALG_UPLOAD_DISK_CONCURRENCY=2 # Кол-во потоков на диске для закачки
export WALG_DELTA_MAX_STEPS=7
export WALG_COMPRESSION_METHOD=brotli # Какой метод сжатия использовать.
เมื่อกำหนดค่า WAL-G คุณจะต้องระบุ WALG_DELTA_MAX_STEPS - จำนวนขั้นตอนที่การสำรองข้อมูลเดลต้าสูงสุดจากการสำรองข้อมูลพื้นฐาน และระบุนโยบายการคัดลอกเดลต้า ไม่ว่าคุณจะทำสำเนาจากเดลต้าที่มีอยู่ล่าสุด หรือคุณสร้างเดลต้าจากการสำรองข้อมูลเต็มรูปแบบดั้งเดิม นี่เป็นสิ่งจำเป็นในกรณีที่ส่วนประกอบเดียวกันของฐานข้อมูลมีการเปลี่ยนแปลงในฐานข้อมูลของคุณอยู่เสมอ ข้อมูลเดียวกันก็จะเปลี่ยนแปลงอยู่ตลอดเวลา
การติดตั้งฐานข้อมูล
yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.
noarch.rpm
yum install -y postgresql96 postgresql96-server mcเราเริ่มต้นฐานข้อมูล
/usr/pgsql-9.6/bin/postgresql96-setup initdb
Initializing database ... OKหากคุณกำลังทดสอบบนเซิร์ฟเวอร์ 1 เครื่อง คุณจะต้องกำหนดค่าพารามิเตอร์ wal_level ใหม่เพื่อจัดเก็บถาวรสำหรับ PostgreSQL ที่น้อยกว่าเวอร์ชัน 10 และจำลองสำหรับ PostgreSQL เวอร์ชัน 10 และเก่ากว่า
wal_level = archiveมาสำรองข้อมูล WAL ทุกๆ 60 วินาทีโดยใช้ PostgreSQL เอง ในผลิตภัณฑ์ คุณจะมีค่า archive_timeout ที่แตกต่างกัน
archive_mode = on
archive_command = '/usr/local/bin/wal-push.sh %p'
archive_timeout = 60 # Каждые 60 секунд будет выполнятся команда archive_command.การเริ่มต้น PostgreSQL
systemctl start postgresql-9.6ในคอนโซลที่แยกต่างหาก เราจะดูบันทึก PostgreSQL เพื่อหาข้อผิดพลาด: (เปลี่ยน postgresql-Wed.log เป็นบันทึกปัจจุบัน)
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.logไปที่ psql กัน
su - postgres
psqlสร้างฐานข้อมูลใน psql
สร้างตารางในฐานข้อมูล test1
create database test1;สลับไปที่การทดสอบฐานข้อมูล
postgres=# c test1;เราสร้างตารางindexing_table
test1=# CREATE TABLE indexing_table(created_at TIMESTAMP WITH TIME ZONE DEFAULT NOW());กำลังเพิ่มข้อมูล
เราเริ่มการแทรกข้อมูล เรากำลังรอประมาณ 10-20 นาที
#!/bin/bash
# postgres
while true; do
psql -U postgres -d test1 -c "INSERT INTO indexing_table(created_at) VALUES (CURRENT_TIMESTAMP);"
sleep 60;
doneอย่าลืมสำรองข้อมูลทั้งหมด
su - postgres
/usr/local/bin/backup-push.shเราดูที่บันทึกในตารางในฐานข้อมูล test1
select * from indexing_table;
2020-01-29 09:41:25.226198+
2020-01-29 09:42:25.336989+
2020-01-29 09:43:25.356069+
2020-01-29 09:44:25.37381+
2020-01-29 09:45:25.392944+
2020-01-29 09:46:25.412327+
2020-01-29 09:47:25.432564+
2020-01-29 09:48:25.451985+
2020-01-29 09:49:25.472653+
2020-01-29 09:50:25.491974+
2020-01-29 09:51:25.510178+สตริงคือเวลาปัจจุบัน
ดูรายการสำรองข้อมูลทั้งหมด
/usr/local/bin/backup-list.shการทดสอบการกู้คืน
การกู้คืนเต็มรูปแบบด้วยการกลิ้ง WAL ที่มีอยู่ทั้งหมด
หยุด PostgreSQL
ลบทุกอย่างออกจากโฟลเดอร์ /var/lib/pgsql/9.6/data
รันสคริปต์ /usr/local/bin/backup-fetch.sh ในฐานะผู้ใช้ postgres
su - postgres
/usr/local/bin/backup-fetch.shการแยกข้อมูลสำรองเสร็จสมบูรณ์
เพิ่ม recovery.conf ลงในโฟลเดอร์ /var/lib/pgsql/9.6/data โดยมีเนื้อหาดังต่อไปนี้
restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'เราเริ่ม PostgreSQL PostgreSQL จะเริ่มกระบวนการกู้คืนจาก WAL ที่เก็บไว้ จากนั้นฐานข้อมูลจะเปิดขึ้นเท่านั้น
systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.logการฟื้นตัวในช่วงระยะเวลาหนึ่ง
หากเราต้องการกู้คืนฐานข้อมูลจนถึงนาทีหนึ่งเราจะเพิ่มพารามิเตอร์ recovery_target_time ให้กับ recovery.conf - เราจะระบุเวลาที่จะกู้คืนฐานข้อมูล
restore_command = '/usr/local/bin/wal-fetch.sh "%f" "%p"'
recovery_target_time = '2020-01-29 09:46:25'หลังจากการกู้คืน ให้ดูที่ตารางindexing_table
2020-01-29 09:41:25.226198+00
2020-01-29 09:42:25.336989+00
2020-01-29 09:43:25.356069+00
2020-01-29 09:44:25.37381+00
2020-01-29 09:45:25.392944+00เราเริ่ม PostgreSQL PostgreSQL จะเริ่มกระบวนการกู้คืนจาก WAL ที่เก็บไว้ จากนั้นฐานข้อมูลจะเปิดขึ้นเท่านั้น
systemctl start postgresql-9.6
tail -fn100 /var/lib/pgsql/9.6/data/pg_log/postgresql-Wed.logการทดสอบ
การสร้างฐานข้อมูลขนาด 1GB ตามที่อธิบายไว้ที่นี่
การร้องขอขนาดบัคเก็ตหลังจากสร้างข้อมูล 1GB
postgres=# SELECT pg_size_pretty(pg_database_size('test1'));
pg_size_pretty
----------------
1003 MBs4cmd เป็นเครื่องมือบรรทัดคำสั่งฟรีสำหรับการทำงานกับข้อมูลที่อยู่ในพื้นที่จัดเก็บ Amazon S3 ยูทิลิตี้นี้เขียนด้วยภาษาการเขียนโปรแกรมหลามและด้วยเหตุนี้จึงสามารถใช้ได้ทั้งในระบบปฏิบัติการ Windows และ Linux
การติดตั้ง s4cmd
pip install s4cmdLZ4
s4cmd --endpoint-url=http://ip-адрес-сервера-minio:9000 --access-key=xxxx --secret-key=yyyy du -r s3://pg-backups
840540822 s3://pg-backups/wal_005/
840 МБ в формате lz4 только WAL логов
Полный бекап с lz4 - 1GB данных
time backup_push.sh
real 0m18.582s
Размер S3 бакета после полного бекапа
581480085 s3://pg-backups/basebackups_005/
842374424 s3://pg-backups/wal_005
581 МБ занимает полный бекапLZMA
После генерации 1ГБ данных
338413694 s3://pg-backups/wal_005/
338 мб логов в формате lzma
Время генерации полного бекапа
time backup_push.sh
real 5m25.054s
Размер бакета в S3
270310495 s3://pg-backups/basebackups_005/
433485092 s3://pg-backups/wal_005/
270 мб занимает полный бекап в формате lzmaBrotli
После генерации 1ГБ данных
459229886 s3://pg-backups/wal_005/
459 мб логов в формате brotli
Время генерации полного бекапа
real 0m23.408s
Размер бакета в S3
312960942 s3://pg-backups/basebackups_005/
459309262 s3://pg-backups/wal_005/
312 мб занимает полный бекап в формате brotli
การเปรียบเทียบผลลัพธ์บนแผนภูมิ
อย่างที่คุณเห็น Brotli มีขนาดเทียบได้กับ LZMA แต่การสำรองข้อมูลจะดำเนินการในเวลา LZ4
การสนทนาของชุมชน PostgreSQL ที่พูดภาษารัสเซีย:
โปรดให้ดาวแก่ Github หากคุณใช้
ที่มา: will.com