pgbackrest सह वाढीव postgresql बॅकअप - विकासकाकडून तरुण फायटरसाठी एक कोर्स

अस्वीकरण

मी डेव्हलपर आहे. मी कोड लिहितो आणि फक्त वापरकर्ता म्हणून डेटाबेसशी संवाद साधतो. मी कोणत्याही प्रकारे सिस्टम प्रशासक असल्याचे भासवत नाही, डीबीएपेक्षा कमी. परंतु…

असे घडले की मला postgresql डेटाबेसचा बॅकअप आयोजित करणे आवश्यक आहे. कोणतेही ढग नाहीत - फक्त SSH वापरा आणि पैसे न मागता सर्वकाही कार्य करते याची खात्री करा. अशा परिस्थितीत आपण काय करावे? ते बरोबर आहे, आम्ही pgdump क्रॉनमध्ये ढकलतो, प्रत्येक गोष्टीचा संग्रहणात दररोज बॅकअप घेतो आणि जर आम्ही पूर्णपणे हरवले तर आम्ही हे संग्रहण दूर कुठेतरी पाठवतो.

यावेळी अडचण अशी होती की योजनांनुसार, डेटाबेस दररोज सुमारे +- 100 MB ने वाढायचा होता. अर्थात, काही आठवड्यांनंतर pgdump सह सर्वकाही बॅकअप घेण्याची इच्छा अदृश्य होईल. येथेच वाढीव बॅकअप बचावासाठी येतात.

मनोरंजक? मांजर मध्ये आपले स्वागत आहे.

वाढीव बॅकअप हा बॅकअपचा एक प्रकार आहे जेव्हा सर्व स्त्रोत फायली कॉपी केल्या जात नाहीत, परंतु फक्त नवीन आणि मागील कॉपी तयार केल्यापासून बदलल्या जातात.

पोस्टग्रेसची गुंतागुंत समजून घेण्यास (त्या वेळी) पूर्णपणे तयार नसलेल्या कोणत्याही विकसकांप्रमाणे, मला हिरवे बटण शोधायचे होते. बरं, तुम्हाला माहिती आहे, जसे AWS, DigitalOcean मध्ये: तुम्ही एक बटण दाबले - तुम्हाला प्रतिकृती मिळाली, तुम्ही दुसरे दाबले - तुम्ही बॅकअप सेट केले, तिसरे - तुम्ही सर्व काही काही तास मागे केले. मला एक बटण किंवा सुंदर GUI साधन सापडले नाही. तुम्हाला एखादे माहित असल्यास (विनामूल्य किंवा स्वस्त), टिप्पण्यांमध्ये त्याबद्दल लिहा.

गुगल केल्यानंतर मला दोन साधने सापडली pgbarman и pgbackrest. मी फक्त पहिल्यामध्ये यशस्वी झालो नाही (खूप विरळ दस्तऐवजीकरण, मी जुन्या हस्तपुस्तिकेनुसार सर्वकाही शोधण्याचा प्रयत्न केला), परंतु दुसर्‍यासह दस्तऐवजीकरण समतुल्य ठरले, परंतु दोषांशिवाय नाही. ज्यांना समान कार्याचा सामना करावा लागतो त्यांचे कार्य सुलभ करण्यासाठी, हा लेख लिहिला गेला होता.

हा लेख वाचल्यानंतर, आपण वाढीव बॅकअप कसे बनवायचे, ते रिमोट सर्व्हरवर (बॅकअपसह भांडार) कसे जतन करावे आणि डेटा गमावल्यास किंवा मुख्य सर्व्हरवरील इतर समस्यांच्या बाबतीत ते पुनर्संचयित कसे करावे हे शिकाल.

प्रशिक्षण

मॅन्युअलचे पुनरुत्पादन करण्यासाठी तुम्हाला दोन VPS ची आवश्यकता असेल. पहिले स्टोरेज असेल (ज्या रेपॉजिटरीवर बॅकअप संग्रहित केले जातील), आणि दुसरे, खरेतर, पोस्टग्रेससह सर्व्हर (माझ्या बाबतीत, पोस्टग्रेसची आवृत्ती 11).

असे गृहीत धरले जाते की पोस्टग्रेससह सर्व्हरवर तुमच्याकडे रूट, सुडो वापरकर्ता, पोस्टग्रेस वापरकर्ता आणि पोस्टग्रेस स्वतः स्थापित आहे (पोस्टग्रेस वापरकर्ता पोस्टग्रेसक्यूएल स्थापित करताना स्वयंचलितपणे तयार केला जातो), आणि रेपॉजिटरी सर्व्हरवर रूट आणि सुडो वापरकर्ता आहे (मॅन्युअलमध्ये वापरकर्ता नाव pgbackrest वापरले जाईल).

जेणेकरून सूचनांचे पुनरुत्पादन करताना तुम्हाला कमी समस्या येत असतील, मी तिर्यकांमध्ये लिहितो कुठे, कोणत्या वापरकर्त्यासह आणि कोणत्या अधिकारांसह मी कमांड कार्यान्वित केली लेख लिहिताना आणि तपासताना.

pgbackrest स्थापित करत आहे

भांडार (वापरकर्ता pgbackrest):

1. pgbackrest वरून संग्रह डाउनलोड करा आणि त्यातील सामग्री /build फोल्डरमध्ये हस्तांतरित करा:

sudo mkdir /build
sudo wget -q -O - 
       https://github.com/pgbackrest/pgbackrest/archive/release/2.18.tar.gz | 
       sudo tar zx -C /build

2. असेंब्लीसाठी आवश्यक अवलंबित्व स्थापित करा:

sudo apt-get update
sudo apt-get install build-essential libssl-dev libxml2-dev libperl-dev zlib1g-dev 
       libpq-dev

3. pgbackrest एकत्र करणे:

cd /build/pgbackrest-release-2.18/src && sudo ./configure
sudo make -s -C /build/pgbackrest-release-2.18/src

4. एक्झिक्युटेबल फाइल /usr/bin निर्देशिकेत कॉपी करा:

sudo cp /build/pgbackrest-release-2.18/src/pgbackrest /usr/bin
sudo chmod 755 /usr/bin/pgbackrest

5. Pgbackrest ला पर्ल आवश्यक आहे. स्थापित करा:

sudo apt-get install perl

6. लॉगसाठी निर्देशिका तयार करा, त्यांना काही अधिकार द्या:

sudo mkdir -p -m 770 /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo mkdir -p /etc/pgbackrest
sudo mkdir -p /etc/pgbackrest/conf.d
sudo touch /etc/pgbackrest/pgbackrest.conf
sudo chmod 640 /etc/pgbackrest/pgbackrest.conf
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

7. तपासा:

pgbackrest version

पोस्टग्रेस सर्व्हर (सुडो वापरकर्ता किंवा रूट):

पोस्टग्रेससह सर्व्हरवर pgbackrest स्थापित करण्याची प्रक्रिया रेपॉजिटरीवरील स्थापना प्रक्रियेसारखीच आहे (होय, pgbackrest दोन्ही सर्व्हरवर स्थापित करणे आवश्यक आहे), परंतु 6 व्या परिच्छेदात दुसरी आणि शेवटची आज्ञा:

sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

यासह बदला:

sudo chown postgres:postgres /var/log/pgbackrest
sudo chown postgres:postgres /etc/pgbackrest/pgbackrest.conf

पासवर्डरहित SSH द्वारे सर्व्हर दरम्यान परस्परसंवाद सेट करणे

pgbackrest योग्यरित्या कार्य करण्यासाठी, की फाइल वापरून पोस्टग्रेस सर्व्हर आणि रेपॉजिटरी यांच्यातील परस्परसंवाद कॉन्फिगर करणे आवश्यक आहे.

भांडार (वापरकर्ता pgbackrest):

एक की जोडी तयार करा:

mkdir -m 750 /home/pgbackrest/.ssh
ssh-keygen -f /home/pgbackrest/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

खबरदारी आम्ही वरील आज्ञा sudo शिवाय चालवतो.

पोस्टग्रेस सर्व्हर (सुडो वापरकर्ता किंवा रूट):

एक की जोडी तयार करा:

sudo -u postgres mkdir -m 750 -p /var/lib/postgresql/.ssh
sudo -u postgres ssh-keygen -f /var/lib/postgresql/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

भांडार (sudo वापरकर्ता):

पोस्टग्रेस सर्व्हरची सार्वजनिक की रिपॉझिटरी सर्व्हरवर कॉपी करा:

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@<postgres_server_ip> cat /var/lib/postgresql/.ssh/id_rsa.pub) | 
       sudo -u pgbackrest tee -a /home/pgbackrest/.ssh/authorized_keys

या चरणावर तुम्हाला रूट वापरकर्त्यासाठी पासवर्ड विचारला जाईल. तुम्हाला पोस्टग्रेस सर्व्हरच्या रूट वापरकर्त्याचा पासवर्ड प्रविष्ट करणे आवश्यक आहे!

पोस्टग्रेस सर्व्हर (सुडो वापरकर्ता):

पोस्टग्रेससह सर्व्हरवर रेपॉजिटरी सार्वजनिक की कॉपी करा:

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@<repository_server_ip> cat /home/pgbackrest/.ssh/id_rsa.pub) | 
       sudo -u postgres tee -a /var/lib/postgresql/.ssh/authorized_keys

या चरणावर तुम्हाला रूट वापरकर्त्यासाठी पासवर्ड विचारला जाईल. तुम्हाला रेपॉजिटरीच्या रूट वापरकर्त्याचा पासवर्ड एंटर करणे आवश्यक आहे!

आम्ही तपासतो:

भांडार (मूळ वापरकर्ता, प्रयोगाच्या शुद्धतेसाठी):

sudo -u pgbackrest ssh postgres@<postgres_server_ip>

पोस्टग्रेस सर्व्हर (रूट वापरकर्ता, प्रयोगाच्या शुद्धतेसाठी):

sudo -u postgres ssh pgbackrest@<repository_server_ip>

आम्ही खात्री करतो की आम्हाला समस्यांशिवाय प्रवेश मिळेल.

पोस्टग्रेस सर्व्हर सेट करत आहे

पोस्टग्रेस सर्व्हर (सुडो वापरकर्ता किंवा रूट):

1. बाह्य IP वरून पोस्टग्रेस सर्व्हर ठोठावण्याची परवानगी द्या. हे करण्यासाठी, फाइल संपादित करा postgresql.conf (/etc/postgresql/11/main फोल्डरमध्ये स्थित), त्यात ओळ जोडून:

listen_addresses = '*'

जर अशी ओळ आधीपासून अस्तित्वात असेल, तर ती अनकमेंट करा किंवा पॅरामीटर व्हॅल्यू '*' म्हणून सेट करा.

फाईलमध्ये pg_hba.conf (फोल्डरमध्ये देखील स्थित आहे /etc/postgresql/11/main) खालील ओळी जोडा:

hostssl  all  all  0.0.0.0/0  md5
host  all  all  0.0.0.0/0  md5

कोठे:

hostssl/host - подключаемся через SSL (или нет)
all - разрешаем подключение ко всем базам
all - имя пользователя, которому разрешаем подключение (всем)
0.0.0.0/0 - маска сети с которой можно подключаться
md5 - способ шифрования пароля

2. मध्ये आवश्यक सेटिंग्ज करूया postgresql.conf (ते फोल्डरमध्ये आहे /etc/postgresql/11/main) pgbackrest कार्य करण्यासाठी:

archive_command = 'pgbackrest --stanza=main archive-push %p' # Где main - название кластера. При установке postgres автоматически создает кластер main.
archive_mode = on
max_wal_senders = 3
wal_level = replica

३. चला pgbackrest कॉन्फिगरेशन फाइलमध्ये आवश्यक सेटिंग करूया (/etc/pgbackrest/pgbackrest.conf):

[main]
pg1-path=/var/lib/postgresql/11/main

[global]
log-level-file=detail
repo1-host=<repository_server_ip>

४. postgresql रीलोड करा:

sudo service postgresql restart

रेपॉजिटरी सर्व्हर सेट अप करत आहे

भांडार (pgbackrest वापरकर्ता):

कॉन्फिगरेशन फाइलमध्ये आवश्यक सेटिंग्ज करूया pgbackrest
(/etc/pgbackrest/pgbackrest.conf):

[main]
pg1-host=<postgres_server_ip>
pg1-path=/var/lib/postgresql/11/main

[global]
repo1-path=/var/lib/pgbackrest
repo1-retention-full=2 # Параметр, указывающий сколько хранить полных бэкапов. Т.е. если у вас есть два полных бэкапа и вы создаете третий, то самый старый бэкап будет удален. Можно произносить как "хранить не более двух бэкапов" - по аналогии с ротациями логов. Спасибо @Aytuar за исправление ошибки.
start-fast=y # Начинает резервное копирование немедленно, прочитать про этот параметр можно тут https://postgrespro.ru/docs/postgrespro/9.5/continuous-archiving

भांडार तयार करणे

भांडार (pgbackrest वापरकर्ता):

क्लस्टरसाठी नवीन स्टोरेज तयार करा मुख्य:

sudo mkdir -m 770 /var/lib/pgbackrest
sudo chown -R pgbackrest /var/lib/pgbackrest/
sudo -u pgbackrest pgbackrest --stanza=main stanza-create

तपासणी

पोस्टग्रेस सर्व्हर (सुडो वापरकर्ता किंवा रूट):

आम्ही पोस्टग्रेस सर्व्हरवर तपासतो:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info check

भांडार (pgbackrest वापरकर्ता):

आम्ही रेपॉजिटरी सर्व्हरवर तपासतो:

sudo -u pgbackrest pgbackrest --stanza=main --log-level-console=info check

आम्ही खात्री करतो की आउटपुटमध्ये आम्हाला "चेक कमांड एंड: यशस्वीरित्या पूर्ण झाले" ही ओळ दिसत आहे.

थकले? चला सर्वात मनोरंजक भागाकडे जाऊया.

बॅकअप बनवत आहे

भांडार (pgbackrest वापरकर्ता):

1. बॅकअप घ्या:

sudo -u pgbackrest pgbackrest --stanza=main backup

2. बॅकअप तयार केल्याची खात्री करा:

ls /var/lib/pgbackrest/backup/main/

Pgbackrest प्रथम पूर्ण बॅकअप तयार करेल. तुमची इच्छा असल्यास, तुम्ही बॅकअप कमांड पुन्हा चालवू शकता आणि सिस्टम वाढीव बॅकअप तयार करत असल्याची खात्री करा.

तुम्हाला पुन्हा पूर्ण बॅकअप घ्यायचा असल्यास, अतिरिक्त ध्वज निर्दिष्ट करा:

sudo -u pgbackrest pgbackrest --stanza=main --type=full backup

तुम्हाला तपशीलवार कन्सोल आउटपुट हवे असल्यास, हे देखील निर्दिष्ट करा:

sudo -u pgbackrest pgbackrest --stanza=main --type=full --log-level-console=info backup

बॅकअप पुनर्संचयित करत आहे

पोस्टग्रेस सर्व्हर (सुडो वापरकर्ता किंवा रूट):

1. चालू असलेले क्लस्टर थांबवा:

sudo pg_ctlcluster 11 main stop

2. बॅकअपमधून पुनर्संचयित करणे:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info --delta --recovery-option=recovery_target=immediate restore

डेटाबेसला शेवटच्या पूर्ण बॅकअपच्या स्थितीत पुनर्संचयित करण्यासाठी, recovery_target निर्दिष्ट न करता कमांड वापरा:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info --delta restore

महत्वाचे! पुनर्प्राप्तीनंतर, असे होऊ शकते की डेटाबेस पुनर्प्राप्ती मोडमध्ये अडकतो (एरर सारख्या त्रुटी असतील: केवळ-वाचनीय व्यवहारात ड्रॉप डेटाबेस कार्यान्वित करू शकत नाही). खरे सांगायचे तर, हे कशाशी जोडलेले आहे हे मला अद्याप समजले नाही. उपाय खालीलप्रमाणे आहे (आदेश कार्यान्वित झाल्यानंतर तुम्हाला थोडी प्रतीक्षा करावी लागेल):

sudo -u postgres psql -c "select pg_wal_replay_resume()"

खरं तर, त्याच्या नावाने विशिष्ट बॅकअप पुनर्संचयित करणे शक्य आहे. इथे फक्त मी आहे मी दस्तऐवजात या वैशिष्ट्याच्या वर्णनाची लिंक प्रदान करेन. डेव्हलपर हा पर्याय सावधगिरीने वापरण्याचा सल्ला देतात आणि याचे कारण स्पष्ट करतात. मी ते वापरले हे मी स्वतःहून जोडू शकतो. तुम्हाला खरोखर आवश्यक असल्यास, पुनर्प्राप्तीनंतर डेटाबेस रिकव्हरी मोडमधून बाहेर पडतो याची खात्री करा (pg_is_in_recovery() निवडा "f" दर्शवा) आणि, काही बाबतीत, पुनर्प्राप्तीनंतर पूर्ण बॅकअप घ्या.

3. क्लस्टर सुरू करा:

sudo pg_ctlcluster 11 main start

बॅकअप पुनर्संचयित केल्यानंतर, आम्हाला दुसरा बॅकअप घेणे आवश्यक आहे:

भांडार (pgbackrest वापरकर्ता):

sudo pgbackrest --stanza=main backup

इतकंच. शेवटी, मी तुम्हाला आठवण करून देऊ इच्छितो की मी कोणत्याही प्रकारे वरिष्ठ डीबीए असल्याचे भासवण्याचा प्रयत्न करत नाही आणि अगदी कमी संधीवर ढगांचा वापर करेन. सध्या, मी स्वतः बॅकअप, प्रतिकृती, मॉनिटरिंग इत्यादी विविध विषयांचा अभ्यास करण्यास सुरुवात करत आहे. आणि मी समाजात थोडे योगदान देण्यासाठी आणि माझ्यासाठी लहान फसवणूक पत्रके सोडण्यासाठी परिणामांबद्दल लहान अहवाल लिहितो.

पुढील लेखांमध्ये मी अतिरिक्त वैशिष्ट्यांबद्दल बोलण्याचा प्रयत्न करेन - स्वच्छ क्लस्टरमध्ये डेटा पुनर्प्राप्ती, बॅकअपचे एन्क्रिप्शन आणि S3 वर प्रकाशित करणे, rsync द्वारे बॅकअप.

स्त्रोत: www.habr.com