पीजीबैकरेस्ट के साथ इंक्रीमेंटल पोस्टग्रेस्क्ल बैकअप - डेवलपर की ओर से एक युवा फाइटर के लिए एक कोर्स

исклеймер

मैं एक डेवलपर हूं. मैं केवल एक उपयोगकर्ता के रूप में कोड लिखता हूं और डेटाबेस के साथ इंटरैक्ट करता हूं। मैं किसी भी तरह से सिस्टम प्रशासक होने का दिखावा नहीं करता, डीबीए तो बिल्कुल भी नहीं। लेकिन…

ऐसा हुआ कि मुझे पोस्टग्रेस्क्ल डेटाबेस का बैकअप व्यवस्थित करने की आवश्यकता थी। कोई बादल नहीं - बस एसएसएच का उपयोग करें और सुनिश्चित करें कि सब कुछ पैसे मांगे बिना काम करता है। ऐसे मामलों में हम क्या करें? यह सही है, हम pgdump को क्रॉन में धकेलते हैं, हर दिन संग्रह में सब कुछ बैकअप करते हैं, और यदि हम पूरी तरह से खो जाते हैं, तो हम इस संग्रह को कहीं दूर भेज देते हैं।

इस बार कठिनाई यह थी कि योजनाओं के अनुसार, डेटाबेस को प्रति दिन लगभग +- 100 एमबी तक बढ़ना था। निःसंदेह, कुछ हफ़्तों के बाद pgdump के साथ हर चीज़ का बैकअप लेने की इच्छा गायब हो जाएगी। यहीं पर वृद्धिशील बैकअप बचाव के लिए आते हैं।

दिलचस्प? बिल्ली में आपका स्वागत है.

वृद्धिशील बैकअप एक प्रकार का बैकअप है जब सभी स्रोत फ़ाइलों की प्रतिलिपि नहीं बनाई जाती है, लेकिन केवल नई और पिछली प्रतिलिपि के निर्माण के बाद से बदल दी गई हैं।

किसी भी डेवलपर की तरह जो पोस्टग्रेज की जटिलताओं को समझने के लिए (उस समय) बिल्कुल अनिच्छुक था, मैं हरा बटन ढूंढना चाहता था। ठीक है, आप जानते हैं, जैसे AWS, DigitalOcean में: आपने एक बटन दबाया - आपको प्रतिकृति मिली, आपने दूसरा दबाया - आपने बैकअप सेट किया, तीसरा - आपने कुछ घंटों में सब कुछ वापस कर दिया। मुझे कोई बटन या सुंदर GUI टूल नहीं मिला। यदि आप किसी को जानते हैं (मुफ़्त या सस्ता), तो इसके बारे में टिप्पणियों में लिखें।

गूगल पर खोजने के बाद मुझे दो टूल मिले पीजीबर्मन и पीजीबैकरेस्ट. मैं बस पहले वाले के साथ सफल नहीं हुआ (बहुत ही विरल दस्तावेज, मैंने पुराने मैनुअल के अनुसार सब कुछ पता लगाने की कोशिश की), लेकिन दूसरे के साथ दस्तावेज बराबर निकला, लेकिन खामियों के बिना नहीं। जिन लोगों को समान कार्य का सामना करना पड़ता है उनके काम को सरल बनाने के लिए यह लेख लिखा गया था।

इस लेख को पढ़ने के बाद, आप सीखेंगे कि वृद्धिशील बैकअप कैसे बनाएं, उन्हें रिमोट सर्वर (बैकअप के साथ रिपॉजिटरी) में कैसे सहेजें और मुख्य सर्वर पर डेटा हानि या अन्य समस्याओं के मामले में उन्हें पुनर्स्थापित करें।

ट्रेनिंग

मैनुअल को पुन: प्रस्तुत करने के लिए आपको दो वीपीएस की आवश्यकता होगी। पहला स्टोरेज होगा (रिपॉजिटरी जिस पर बैकअप संग्रहीत किया जाएगा), और दूसरा, वास्तव में, सर्वर स्वयं पोस्टग्रेज के साथ (मेरे मामले में, पोस्टग्रेज का संस्करण 11)।

यह माना जाता है कि पोस्टग्रेज वाले सर्वर पर आपके पास रूट, सूडो उपयोगकर्ता, पोस्टग्रेज उपयोगकर्ता है और पोस्टग्रेज स्वयं इंस्टॉल है (पोस्टग्रेज उपयोगकर्ता स्वचालित रूप से पोस्टग्रेज इंस्टॉल करते समय बनाया जाता है), और रिपॉजिटरी सर्वर पर रूट और सूडो उपयोगकर्ता है (मैनुअल में) उपयोगकर्ता नाम pgbackrest का उपयोग किया जाएगा)।

ताकि निर्देशों को पुन: प्रस्तुत करते समय आपको कम समस्याएं हों, मैं इटैलिक में लिखता हूं मैंने कहाँ, किस उपयोगकर्ता के साथ और किन अधिकारों के साथ आदेश निष्पादित किया लेख लिखते और जांचते समय.

पीजीबैकरेस्ट स्थापित करना

रिपोजिटरी (उपयोगकर्ता पीजीबैकरेस्ट):

1. pgbackrest से संग्रह डाउनलोड करें और इसकी सामग्री को /build फ़ोल्डर में स्थानांतरित करें:

sudo mkdir /build
sudo wget -q -O - 
       https://github.com/pgbackrest/pgbackrest/archive/release/2.18.tar.gz | 
       sudo tar zx -C /build

2. असेंबली के लिए आवश्यक निर्भरताएँ स्थापित करें:

sudo apt-get update
sudo apt-get install build-essential libssl-dev libxml2-dev libperl-dev zlib1g-dev 
       libpq-dev

3. पीजीबैकरेस्ट को असेंबल करना:

cd /build/pgbackrest-release-2.18/src && sudo ./configure
sudo make -s -C /build/pgbackrest-release-2.18/src

4. निष्पादन योग्य फ़ाइल को /usr/bin निर्देशिका में कॉपी करें:

sudo cp /build/pgbackrest-release-2.18/src/pgbackrest /usr/bin
sudo chmod 755 /usr/bin/pgbackrest

5. पीजीबैकरेस्ट को पर्ल की आवश्यकता होती है। स्थापित करना:

sudo apt-get install perl

6. लॉग के लिए निर्देशिकाएँ बनाएँ, उन्हें कुछ अधिकार दें:

sudo mkdir -p -m 770 /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo mkdir -p /etc/pgbackrest
sudo mkdir -p /etc/pgbackrest/conf.d
sudo touch /etc/pgbackrest/pgbackrest.conf
sudo chmod 640 /etc/pgbackrest/pgbackrest.conf
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

7. जाँच करें:

pgbackrest version

पोस्टग्रेज सर्वर (सुडो उपयोगकर्ता या रूट):

पोस्टग्रेज़ वाले सर्वर पर pgbackrest स्थापित करने की प्रक्रिया रिपॉजिटरी पर इंस्टॉलेशन प्रक्रिया के समान है (हाँ, pgbackrest दोनों सर्वरों पर स्थापित होना चाहिए), लेकिन छठे पैराग्राफ में दूसरा और आखिरी आदेश:

sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

के साथ बदलें:

sudo chown postgres:postgres /var/log/pgbackrest
sudo chown postgres:postgres /etc/pgbackrest/pgbackrest.conf

पासवर्ड रहित एसएसएच के माध्यम से सर्वरों के बीच इंटरैक्शन स्थापित करना

पीजीबैकरेस्ट के सही ढंग से काम करने के लिए, कुंजी फ़ाइल का उपयोग करके पोस्टग्रेज सर्वर और रिपॉजिटरी के बीच इंटरैक्शन को कॉन्फ़िगर करना आवश्यक है।

रिपोजिटरी (उपयोगकर्ता पीजीबैकरेस्ट):

एक कुंजी युग्म बनाएँ:

mkdir -m 750 /home/pgbackrest/.ssh
ssh-keygen -f /home/pgbackrest/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

चेतावनी! हम उपरोक्त कमांड को बिना सूडो के चलाते हैं।

पोस्टग्रेज सर्वर (सुडो उपयोगकर्ता या रूट):

एक कुंजी युग्म बनाएँ:

sudo -u postgres mkdir -m 750 -p /var/lib/postgresql/.ssh
sudo -u postgres ssh-keygen -f /var/lib/postgresql/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

रिपॉजिटरी (सुडो उपयोगकर्ता):

पोस्टग्रेज सर्वर की सार्वजनिक कुंजी को रिपॉजिटरी सर्वर पर कॉपी करें:

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@<postgres_server_ip> cat /var/lib/postgresql/.ssh/id_rsa.pub) | 
       sudo -u pgbackrest tee -a /home/pgbackrest/.ssh/authorized_keys

इस चरण में आपसे रूट उपयोगकर्ता के लिए पासवर्ड मांगा जाएगा। आपको पोस्टग्रेज सर्वर के रूट उपयोगकर्ता का पासवर्ड दर्ज करना होगा!

पोस्टग्रेज सर्वर (सुडो उपयोगकर्ता):

पोस्टग्रेज़ के साथ रिपॉजिटरी सार्वजनिक कुंजी को सर्वर पर कॉपी करें:

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@<repository_server_ip> cat /home/pgbackrest/.ssh/id_rsa.pub) | 
       sudo -u postgres tee -a /var/lib/postgresql/.ssh/authorized_keys

इस चरण में आपसे रूट उपयोगकर्ता के लिए पासवर्ड मांगा जाएगा। आपको रिपॉजिटरी के रूट उपयोगकर्ता का बिल्कुल पासवर्ड दर्ज करना होगा!

हम जाँच:

रिपॉजिटरी (रूट उपयोगकर्ता, प्रयोग की शुद्धता के लिए):

sudo -u pgbackrest ssh postgres@<postgres_server_ip>

पोस्टग्रेज सर्वर (रूट उपयोगकर्ता, प्रयोग की शुद्धता के लिए):

sudo -u postgres ssh pgbackrest@<repository_server_ip>

हम यह सुनिश्चित करते हैं कि हमें बिना किसी समस्या के पहुंच मिले।

एक पोस्टग्रेज सर्वर स्थापित करना

पोस्टग्रेज सर्वर (सुडो उपयोगकर्ता या रूट):

1. आइए बाहरी आईपी से पोस्टग्रेज सर्वर पर दस्तक देने की अनुमति दें। ऐसा करने के लिए, फ़ाइल को संपादित करें postgresql.conf (/etc/postgresql/11/main फ़ोल्डर में स्थित), इसमें लाइन जोड़ना:

listen_addresses = '*'

यदि ऐसी कोई पंक्ति पहले से मौजूद है, तो या तो उस पर टिप्पणी हटा दें या पैरामीटर मान को '*' के रूप में सेट करें।

फाइल मैं pg_hba.conf (फ़ोल्डर में भी स्थित है /etc/postgresql/11/main) निम्नलिखित पंक्तियाँ जोड़ें:

hostssl  all  all  0.0.0.0/0  md5
host  all  all  0.0.0.0/0  md5

जहाँ:

hostssl/host - подключаемся через SSL (или нет)
all - разрешаем подключение ко всем базам
all - имя пользователя, которому разрешаем подключение (всем)
0.0.0.0/0 - маска сети с которой можно подключаться
md5 - способ шифрования пароля

2. आइए आवश्यक सेटिंग्स करें postgresql.conf (यह फ़ोल्डर में है /etc/postgresql/11/main) पीजीबैकरेस्ट के काम करने के लिए:

archive_command = 'pgbackrest --stanza=main archive-push %p' # Где main - название кластера. При установке postgres автоматически создает кластер main.
archive_mode = on
max_wal_senders = 3
wal_level = replica

3. आइए pgbackrest कॉन्फ़िगरेशन फ़ाइल (/etc/pgbackrest/pgbackrest.conf) में आवश्यक सेटिंग्स करें:

[main]
pg1-path=/var/lib/postgresql/11/main

[global]
log-level-file=detail
repo1-host=<repository_server_ip>

4. पोस्टग्रेस्क्ल को पुनः लोड करें:

sudo service postgresql restart

एक रिपोजिटरी सर्वर की स्थापना

रिपोजिटरी (पीजीबैकरेस्ट उपयोगकर्ता):

आइए कॉन्फ़िगरेशन फ़ाइल में आवश्यक सेटिंग्स करें पीजीबैकरेस्ट
(/etc/pgbackrest/pgbackrest.conf):

[main]
pg1-host=<postgres_server_ip>
pg1-path=/var/lib/postgresql/11/main

[global]
repo1-path=/var/lib/pgbackrest
repo1-retention-full=2 # Параметр, указывающий сколько хранить полных бэкапов. Т.е. если у вас есть два полных бэкапа и вы создаете третий, то самый старый бэкап будет удален. Можно произносить как "хранить не более двух бэкапов" - по аналогии с ротациями логов. Спасибо @Aytuar за исправление ошибки.
start-fast=y # Начинает резервное копирование немедленно, прочитать про этот параметр можно тут https://postgrespro.ru/docs/postgrespro/9.5/continuous-archiving

एक भंडार बनाना

रिपोजिटरी (पीजीबैकरेस्ट उपयोगकर्ता):

क्लस्टर के लिए एक नया भंडारण बनाएँ मुख्य:

sudo mkdir -m 770 /var/lib/pgbackrest
sudo chown -R pgbackrest /var/lib/pgbackrest/
sudo -u pgbackrest pgbackrest --stanza=main stanza-create

Проверка

पोस्टग्रेज सर्वर (सुडो उपयोगकर्ता या रूट):

हम पोस्टग्रेज़ सर्वर पर जाँच करते हैं:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info check

रिपोजिटरी (पीजीबैकरेस्ट उपयोगकर्ता):

हम रिपॉजिटरी सर्वर पर जाँच करते हैं:

sudo -u pgbackrest pgbackrest --stanza=main --log-level-console=info check

हम यह सुनिश्चित करते हैं कि आउटपुट में हमें "चेक कमांड एंड: सफलतापूर्वक पूरा हुआ" लाइन दिखाई दे।

थका हुआ? आइए सबसे दिलचस्प भाग पर चलते हैं।

बैकअप बनाना

रिपोजिटरी (पीजीबैकरेस्ट उपयोगकर्ता):

1. बैकअप करें:

sudo -u pgbackrest pgbackrest --stanza=main backup

2. सुनिश्चित करें कि एक बैकअप बनाया गया है:

ls /var/lib/pgbackrest/backup/main/

Pgbackrest पहला पूर्ण बैकअप बनाएगा। यदि आप चाहें, तो आप बैकअप कमांड को फिर से चला सकते हैं और सुनिश्चित कर सकते हैं कि सिस्टम एक वृद्धिशील बैकअप बनाता है।

यदि आप दोबारा पूर्ण बैकअप बनाना चाहते हैं, तो एक अतिरिक्त ध्वज निर्दिष्ट करें:

sudo -u pgbackrest pgbackrest --stanza=main --type=full backup

यदि आप विस्तृत कंसोल आउटपुट चाहते हैं, तो यह भी निर्दिष्ट करें:

sudo -u pgbackrest pgbackrest --stanza=main --type=full --log-level-console=info backup

बैकअप पुनर्स्थापित किया जा रहा है

पोस्टग्रेज सर्वर (सुडो उपयोगकर्ता या रूट):

1. चल रहे क्लस्टर को रोकें:

sudo pg_ctlcluster 11 main stop

2. बैकअप से पुनर्स्थापित करना:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info --delta --recovery-option=recovery_target=immediate restore

डेटाबेस को अंतिम पूर्ण बैकअप की स्थिति में पुनर्स्थापित करने के लिए, पुनर्प्राप्ति_लक्ष्य निर्दिष्ट किए बिना कमांड का उपयोग करें:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info --delta restore

महत्वपूर्ण! पुनर्प्राप्ति के बाद, ऐसा हो सकता है कि डेटाबेस पुनर्प्राप्ति मोड में फंस जाए (त्रुटि जैसी त्रुटियां होंगी: केवल पढ़ने के लिए लेनदेन में DROP DATABASE निष्पादित नहीं किया जा सकता)। सच कहूँ तो, मुझे अभी तक समझ नहीं आया कि इसका क्या संबंध है। समाधान इस प्रकार है (कमांड निष्पादित होने के बाद आपको थोड़ा इंतजार करना होगा):

sudo -u postgres psql -c "select pg_wal_replay_resume()"

वास्तव में, किसी विशिष्ट बैकअप को उसके नाम से पुनर्स्थापित करना संभव है। यहाँ मैं ही हूँ मैं दस्तावेज़ीकरण में इस सुविधा के विवरण के लिए एक लिंक प्रदान करूंगा. डेवलपर्स इस विकल्प का सावधानी से उपयोग करने की सलाह देते हैं और बताते हैं कि क्यों। मैं अपनी ओर से यह जोड़ सकता हूं कि मैंने इसका उपयोग किया। यदि आपको वास्तव में इसकी आवश्यकता है, तो सुनिश्चित करें कि पुनर्प्राप्ति के बाद डेटाबेस पुनर्प्राप्ति मोड से बाहर निकल जाए (select pg_is_in_recovery() को "f" दिखाना चाहिए) और, बस मामले में, पुनर्प्राप्ति के बाद पूर्ण बैकअप बनाएं।

3. क्लस्टर प्रारंभ करें:

sudo pg_ctlcluster 11 main start

बैकअप को पुनर्स्थापित करने के बाद, हमें दूसरा बैकअप करने की आवश्यकता है:

रिपोजिटरी (पीजीबैकरेस्ट उपयोगकर्ता):

sudo pgbackrest --stanza=main backup

बस इतना ही। अंत में, मैं आपको याद दिलाना चाहूंगा कि मैं किसी भी तरह से एक वरिष्ठ डीबीए होने का दिखावा करने की कोशिश नहीं कर रहा हूं और थोड़े से अवसर पर बादलों का उपयोग करूंगा। वर्तमान में, मैं स्वयं विभिन्न विषयों जैसे बैकअप, प्रतिकृति, निगरानी आदि का अध्ययन करना शुरू कर रहा हूं। और मैं समुदाय में एक छोटा सा योगदान देने के लिए परिणामों के बारे में छोटी रिपोर्ट लिखता हूं और अपने लिए छोटी चीट शीट छोड़ता हूं।

निम्नलिखित लेखों में मैं अतिरिक्त सुविधाओं के बारे में बात करने का प्रयास करूंगा - एक स्वच्छ क्लस्टर में डेटा रिकवरी, बैकअप का एन्क्रिप्शन और S3 पर प्रकाशन, rsync के माध्यम से बैकअप।

स्रोत: www.habr.com