גיבויים מצטברים postgresql עם pgrestrest - קורס ללוחם צעיר מהמפתח

כתב ויתור

אני מפתח. אני כותב קוד ומקיים אינטראקציה עם בסיס הנתונים כמשתמש בלבד. בשום אופן אני לא מתיימר להיות מנהל מערכת, ועוד פחות מזה ל-dba. אבל…

כך קרה שהייתי צריך לארגן גיבוי של מסד הנתונים postgresql. בלי עננים - פשוט השתמש ב-SSH וודא שהכל עובד בלי לבקש כסף. מה עושים במקרים כאלה? זה נכון, אנחנו דוחפים את pgdump לתוך cron, מגבים הכל לארכיון כל יום, ואם אנחנו אבודים לגמרי, אנחנו שולחים את הארכיון הזה למקום רחוק.

הפעם הקושי היה שלפי התוכניות, בסיס הנתונים היה אמור לגדול בכ-+- 100 מגה ליום. כמובן, אחרי כמה שבועות הרצון לגבות הכל עם pgdump ייעלם. זה המקום שבו גיבויים מצטברים באים להצלה.

מעניין? ברוכים הבאים לחתול.

גיבוי מצטבר הוא סוג של גיבוי כאשר לא כל קבצי המקור מועתקים, אלא רק חדשים ואלה השתנו מאז יצירת העותק הקודם.

כמו כל מפתח שממש לא היה מוכן (באותה תקופה) להבין את המורכבויות של postgres, רציתי למצוא את הכפתור הירוק. ובכן, אתה יודע, כמו ב-AWS, DigitalOcean: לחצת על כפתור אחד - קיבלת שכפול, לחצת על השני - הגדרת גיבויים, השלישי - גלגלת הכל כמה שעות אחורה. לא מצאתי כפתור או כלי GUI יפה. אם אתם מכירים אחד כזה (חינם או זול), כתבו עליו בתגובות.

לאחר חיפוש בגוגל מצאתי שני כלים pgbarman и משענת pg. פשוט לא הצלחתי עם הראשון (תיעוד דליל מאוד, ניסיתי להבין הכל לפי מדריכים ישנים), אבל עם השני התיעוד התברר כראוי, אבל לא חף מפגמים. כדי לפשט את עבודתם של מי שעומד בפני משימה דומה, נכתב מאמר זה.

לאחר קריאת מאמר זה, תלמדו כיצד לבצע גיבויים מצטברים, לשמור אותם בשרת מרוחק (מאגר עם גיבויים) ולשחזר אותם במקרה של אובדן נתונים או בעיות אחרות בשרת הראשי.

הדרכה

כדי לשחזר את המדריך תזדקק לשני VPS. הראשון יהיה האחסון (המאגר עליו יאוחסנו הגיבויים), והשני, למעשה, השרת עצמו עם postgres (במקרה שלי, גרסה 11 של postgres).

ההנחה היא שבשרת עם postgres יש לך root, sudo user, postgres user ומותקן postgres עצמו (משתמש postgres נוצר אוטומטית בעת התקנת postgresql), ובשרת המאגר יש root ו-sudo user (במדריך ישמש שם המשתמש pgbackrest).

כדי שיהיו לך פחות בעיות בשחזור ההוראות, אני כותב באותיות נטוי איפה, עם איזה משתמש ועם אילו זכויות ביצעתי את הפקודה תוך כדי כתיבה ובדיקה של המאמר.

התקנת משענת pg

מאגר (משתמש pgrestrest):

1. הורד את הארכיון מ-pgbackrest והעביר את תוכנו לתיקיה /build:

sudo mkdir /build
sudo wget -q -O - 
       https://github.com/pgbackrest/pgbackrest/archive/release/2.18.tar.gz | 
       sudo tar zx -C /build

2. התקן את התלות הדרושה להרכבה:

sudo apt-get update
sudo apt-get install build-essential libssl-dev libxml2-dev libperl-dev zlib1g-dev 
       libpq-dev

3. הרכבת משענת pg:

cd /build/pgbackrest-release-2.18/src && sudo ./configure
sudo make -s -C /build/pgbackrest-release-2.18/src

4. העתק את קובץ ההפעלה לספריית /usr/bin:

sudo cp /build/pgbackrest-release-2.18/src/pgbackrest /usr/bin
sudo chmod 755 /usr/bin/pgbackrest

5. משענת Pgback דורשת perl. להתקין:

sudo apt-get install perl

6. צור ספריות עבור יומנים, תן להם זכויות מסוימות:

sudo mkdir -p -m 770 /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo mkdir -p /etc/pgbackrest
sudo mkdir -p /etc/pgbackrest/conf.d
sudo touch /etc/pgbackrest/pgbackrest.conf
sudo chmod 640 /etc/pgbackrest/pgbackrest.conf
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

7. בדוק:

pgbackrest version

שרת Postgres (משתמש sudo או שורש):

תהליך התקנת pgbackrest על שרת עם postgres דומה לתהליך ההתקנה במאגר (כן, יש להתקין את pgbackrest בשני השרתים), אבל בפסקה השישית הפקודה השנייה והאחרונה:

sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

להחליף ב:

sudo chown postgres:postgres /var/log/pgbackrest
sudo chown postgres:postgres /etc/pgbackrest/pgbackrest.conf

הגדרת אינטראקציה בין שרתים באמצעות SSH ללא סיסמה

על מנת ש-pgbackrest יפעל כהלכה, יש צורך להגדיר את האינטראקציה בין שרת postgres למאגר באמצעות קובץ המפתח.

מאגר (משתמש pgrestrest):

צור זוג מפתחות:

mkdir -m 750 /home/pgbackrest/.ssh
ssh-keygen -f /home/pgbackrest/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

אזהרה! אנו מפעילים את הפקודות לעיל ללא sudo.

שרת Postgres (משתמש sudo או שורש):

צור זוג מפתחות:

sudo -u postgres mkdir -m 750 -p /var/lib/postgresql/.ssh
sudo -u postgres ssh-keygen -f /var/lib/postgresql/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

מאגר (משתמש sudo):

העתק את המפתח הציבורי של שרת postgres לשרת המאגר:

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@<postgres_server_ip> cat /var/lib/postgresql/.ssh/id_rsa.pub) | 
       sudo -u pgbackrest tee -a /home/pgbackrest/.ssh/authorized_keys

בשלב זה תתבקשו להזין את הסיסמה עבור משתמש השורש. אתה צריך להזין את הסיסמה של משתמש השורש של שרת postgres!

שרת Postgres (משתמש sudo):

העתק את המפתח הציבורי של המאגר לשרת עם postgres:

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@<repository_server_ip> cat /home/pgbackrest/.ssh/id_rsa.pub) | 
       sudo -u postgres tee -a /var/lib/postgresql/.ssh/authorized_keys

בשלב זה תתבקשו להזין את הסיסמה עבור משתמש השורש. אתה צריך להזין בדיוק את הסיסמה של משתמש השורש של המאגר!

אנו בודקים:

מאגר (משתמש שורש, על טהרת הניסוי):

sudo -u pgbackrest ssh postgres@<postgres_server_ip>

שרת Postgres (משתמש שורש, על טהרת הניסוי):

sudo -u postgres ssh pgbackrest@<repository_server_ip>

אנו דואגים שנקבל גישה ללא בעיות.

הקמת שרת postgres

שרת Postgres (משתמש sudo או שורש):

1. בואו נאפשר דפיקה על שרת postgres מכתובות IP חיצוניות. לשם כך, ערוך את הקובץ postgresql.conf (ממוקם בתיקייה /etc/postgresql/11/main), הוספת השורה אליה:

listen_addresses = '*'

אם שורה כזו כבר קיימת, או בטל את ההערה או הגדר את ערך הפרמטר בתור '*'.

בקובץ pg_hba.conf (ממוקם גם בתיקייה /etc/postgresql/11/main) הוסף את השורות הבאות:

hostssl  all  all  0.0.0.0/0  md5
host  all  all  0.0.0.0/0  md5

שם:

hostssl/host - подключаемся через SSL (или нет)
all - разрешаем подключение ко всем базам
all - имя пользователя, которому разрешаем подключение (всем)
0.0.0.0/0 - маска сети с которой можно подключаться
md5 - способ шифрования пароля

2. בואו נעשה את ההגדרות הדרושות ב postgresql.conf (זה בתיקייה /etc/postgresql/11/main) כדי ש-pgrest תעבוד:

archive_command = 'pgbackrest --stanza=main archive-push %p' # Где main - название кластера. При установке postgres автоматически создает кластер main.
archive_mode = on
max_wal_senders = 3
wal_level = replica

3. בואו נעשה את ההגדרות הדרושות בקובץ התצורה של pgbackrest (/etc/pgbackrest/pgbackrest.conf):

[main]
pg1-path=/var/lib/postgresql/11/main

[global]
log-level-file=detail
repo1-host=<repository_server_ip>

4. טען מחדש את postgresql:

sudo service postgresql restart

הגדרת שרת מאגר

מאגר (משתמש pgbackrest):

בואו נבצע את ההגדרות הדרושות בקובץ התצורה משענת pg
(/etc/pgbackrest/pgbackrest.conf):

[main]
pg1-host=<postgres_server_ip>
pg1-path=/var/lib/postgresql/11/main

[global]
repo1-path=/var/lib/pgbackrest
repo1-retention-full=2 # Параметр, указывающий сколько хранить полных бэкапов. Т.е. если у вас есть два полных бэкапа и вы создаете третий, то самый старый бэкап будет удален. Можно произносить как "хранить не более двух бэкапов" - по аналогии с ротациями логов. Спасибо @Aytuar за исправление ошибки.
start-fast=y # Начинает резервное копирование немедленно, прочитать про этот параметр можно тут https://postgrespro.ru/docs/postgrespro/9.5/continuous-archiving

יצירת מאגר

מאגר (משתמש pgbackrest):

צור אחסון חדש עבור האשכול ראשי:

sudo mkdir -m 770 /var/lib/pgbackrest
sudo chown -R pgbackrest /var/lib/pgbackrest/
sudo -u pgbackrest pgbackrest --stanza=main stanza-create

Проверка

שרת Postgres (משתמש sudo או שורש):

אנחנו בודקים בשרת postgres:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info check

מאגר (משתמש pgbackrest):

אנו בודקים בשרת המאגר:

sudo -u pgbackrest pgbackrest --stanza=main --log-level-console=info check

אנו מוודאים שבפלט נראה את השורה "בדוק סוף פקודה: הושלם בהצלחה".

עייף? נעבור לחלק המעניין ביותר.

ביצוע גיבוי

מאגר (משתמש pgbackrest):

1. בצע גיבוי:

sudo -u pgbackrest pgbackrest --stanza=main backup

2. ודא שנוצר גיבוי:

ls /var/lib/pgbackrest/backup/main/

Pgbackrest תיצור את הגיבוי המלא הראשון. אם תרצה, תוכל להפעיל שוב את פקודת הגיבוי ולוודא שהמערכת יוצרת גיבוי מצטבר.

אם ברצונך לבצע גיבוי מלא שוב, ציין דגל נוסף:

sudo -u pgbackrest pgbackrest --stanza=main --type=full backup

אם אתה רוצה פלט מפורט של המסוף, ציין גם:

sudo -u pgbackrest pgbackrest --stanza=main --type=full --log-level-console=info backup

שחזור גיבוי

שרת Postgres (משתמש sudo או שורש):

1. עצור את אשכול הריצה:

sudo pg_ctlcluster 11 main stop

2. שחזור מגיבוי:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info --delta --recovery-option=recovery_target=immediate restore

כדי לשחזר את מסד הנתונים למצב של הגיבוי המלא האחרון, השתמש בפקודה מבלי לציין recovery_target:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info --delta restore

חָשׁוּב! לאחר השחזור, עלול לקרות שמסד הנתונים יתקע במצב שחזור (יהיו שגיאות כמו ERROR: לא ניתן לבצע DROP DATABASE בטרנזקציה לקריאה בלבד). למען האמת, עדיין לא הבנתי למה זה קשור. הפתרון הוא כדלקמן (תצטרך להמתין מעט לאחר ביצוע הפקודה):

sudo -u postgres psql -c "select pg_wal_replay_resume()"

למעשה, אפשר לשחזר גיבוי ספציפי לפי שמו. הנה אני רק אני אספק קישור לתיאור של תכונה זו בתיעוד. המפתחים ממליצים להשתמש באפשרות זו בזהירות ולהסביר מדוע. אני יכול להוסיף מעצמי שהשתמשתי בזה. אם אתה באמת צריך, ודא שלאחר השחזור מסד הנתונים יוצא ממצב השחזור (בחר pg_is_in_recovery() צריך להראות "f"), ולמקרה, בצע גיבוי מלא לאחר השחזור.

3. התחל את האשכול:

sudo pg_ctlcluster 11 main start

לאחר שחזור הגיבוי, עלינו לבצע גיבוי שני:

מאגר (משתמש pgbackrest):

sudo pgbackrest --stanza=main backup

זה הכל. לסיכום, אני רוצה להזכיר לכם שאני בשום אופן לא מנסה להתחזות ל-dba בכיר ואשתמש בעננים בהזדמנות הכי קטנה. נכון לעכשיו, אני עצמי מתחיל ללמוד נושאים שונים כמו גיבוי, שכפול, ניטור וכו'. ואני כותב דוחות קטנים על התוצאות על מנת לתרום תרומה קטנה לקהילה ולהשאיר לעצמי דפי צ'יטים קטנים.

במאמרים הבאים אנסה לדבר על תכונות נוספות - שחזור נתונים לאשכול נקי, הצפנת גיבויים ופרסום ל-S3, גיבויים באמצעות rsync.

מקור: www.habr.com