pgbackrest सँग वृद्धिशील postgresql ब्याकअपहरू - विकासकर्ताबाट एक युवा लडाकुको लागि पाठ्यक्रम

अस्वीकरण

म एक विकासकर्ता हुँ। म कोड लेख्छु र डाटाबेससँग प्रयोगकर्ताको रूपमा मात्र अन्तरक्रिया गर्छु। कुनै पनि हिसाबले म एक प्रणाली प्रशासक भएको बहाना गर्दिन, धेरै कम एक dba। तर…

यो यस्तो भयो कि मलाई postgresql डाटाबेसको ब्याकअप व्यवस्थित गर्न आवश्यक छ। कुनै क्लाउड छैन - केवल SSH प्रयोग गर्नुहोस् र पैसा नछोडिकन सबै काम गर्छ भनी सुनिश्चित गर्नुहोस्। यस्तो अवस्थामा हामीले के गर्ने? त्यो सहि हो, हामी pgdump लाई क्रोनमा धकेल्छौं, हरेक दिन अभिलेखमा सबै कुरा ब्याकअप गर्छौं, र यदि हामी पूर्णतया हरायौं भने, हामी यो अभिलेख कतै टाढा पठाउँछौं।

यस पटक कठिनाई यो थियो कि योजनाहरु अनुसार, डाटाबेस प्रति दिन लगभग +- 100 MB ले बढ्ने थियो। अवश्य पनि, केहि हप्ता पछि pgdump को साथ सबै चीज जगेडा गर्ने इच्छा गायब हुनेछ। यो जहाँ वृद्धिशील ब्याकअपहरू उद्धारमा आउँछन्।

रोचक? बिरालोमा स्वागत छ।

वृद्धिशील ब्याकअप ब्याकअपको एक प्रकार हो जब सबै स्रोत फाइलहरू प्रतिलिपि हुँदैनन्, तर केवल नयाँहरू र ती अघिल्लो प्रतिलिपिको सिर्जना पछि परिवर्तन हुन्छन्।

पोस्टग्रेसको जटिलताहरू बुझ्न पूर्ण रूपमा अनिच्छुक (त्यस समयमा) कुनै पनि विकासकर्ता जस्तै, म हरियो बटन फेला पार्न चाहन्छु। ठिक छ, तपाईलाई थाहा छ, AWS, DigitalOcean मा जस्तै: तपाईंले एउटा बटन थिच्नुभयो - तपाईंले प्रतिकृति पाउनुभयो, तपाईंले दोस्रो थिच्नुभयो - तपाईंले ब्याकअपहरू सेट गर्नुभयो, तेस्रो - तपाईंले केही घण्टामा सबै कुरा फिर्ता गर्नुभयो। मैले बटन वा सुन्दर GUI उपकरण फेला पारेन। यदि तपाइँ एक जान्नुहुन्छ (नि: शुल्क वा सस्तो), टिप्पणीहरूमा यसको बारेमा लेख्नुहोस्।

गुगलिङ गरेपछि मैले दुईवटा औजार भेट्टाएँ pgbarman и pgbackrest। म केवल पहिलोको साथ सफल भएन (धेरै विरल कागजातहरू, मैले पुरानो म्यानुअलहरू अनुसार सबै कुरा पत्ता लगाउने प्रयास गरें), तर दोस्रोको साथ कागजात बराबर भयो, तर त्रुटिहरू बिना। समान कार्यको सामना गर्नेहरूको कामलाई सरल बनाउन, यो लेख लेखिएको थियो।

यो लेख पढिसकेपछि, तपाईले कसरी वृद्धिशील ब्याकअपहरू बनाउने, तिनीहरूलाई रिमोट सर्भरमा बचत गर्ने (ब्याकअपहरू सहितको भण्डार) र डेटा हानि वा मुख्य सर्भरमा अन्य समस्याहरूको अवस्थामा तिनीहरूलाई पुनर्स्थापना गर्ने बारे सिक्नुहुनेछ।

प्रशिक्षण

म्यानुअल पुन: उत्पादन गर्न तपाईंलाई दुई VPS चाहिन्छ। पहिलो भण्डारण हुनेछ (भण्डार जसमा ब्याकअपहरू भण्डारण गरिनेछ), र दोस्रो, वास्तवमा, पोस्टग्रेसको साथ सर्भर (मेरो मामलामा, पोस्टग्रेसको संस्करण ११)।

यो मानिन्छ कि postgres को साथ सर्भरमा तपाईंसँग root, sudo प्रयोगकर्ता, postgres प्रयोगकर्ता र postgres आफैं स्थापित छ (postgresql स्थापना गर्दा पोस्टग्रेस प्रयोगकर्ता स्वचालित रूपमा सिर्जना हुन्छ), र भण्डार सर्भरमा रूट र sudo प्रयोगकर्ता छ (म्यानुअलमा। प्रयोगकर्ता नाम pgbackrest प्रयोग गरिनेछ)।

ताकि तपाईलाई निर्देशनहरू पुन: उत्पादन गर्दा कम समस्याहरू छन्, म इटालिकमा लेख्छु कहाँ, कुन प्रयोगकर्ता र कुन अधिकारको साथ मैले आदेश कार्यान्वयन गरें लेख लेख्दा र जाँच गर्दा।

pgbackrest स्थापना गर्दै

भण्डार (प्रयोगकर्ता pgbackrest):

1. pgbackrest बाट अभिलेख डाउनलोड गर्नुहोस् र यसको सामग्रीहरू /build फोल्डरमा स्थानान्तरण गर्नुहोस्:

sudo mkdir /build
sudo wget -q -O - 
       https://github.com/pgbackrest/pgbackrest/archive/release/2.18.tar.gz | 
       sudo tar zx -C /build

2. विधानसभाको लागि आवश्यक निर्भरताहरू स्थापना गर्नुहोस्:

sudo apt-get update
sudo apt-get install build-essential libssl-dev libxml2-dev libperl-dev zlib1g-dev 
       libpq-dev

3. pgbackrest जम्मा गर्दै:

cd /build/pgbackrest-release-2.18/src && sudo ./configure
sudo make -s -C /build/pgbackrest-release-2.18/src

4. कार्यान्वयन योग्य फाइल /usr/bin डाइरेक्टरीमा प्रतिलिपि गर्नुहोस्:

sudo cp /build/pgbackrest-release-2.18/src/pgbackrest /usr/bin
sudo chmod 755 /usr/bin/pgbackrest

5. Pgbackrest लाई perl चाहिन्छ। स्थापना गर्नुहोस्:

sudo apt-get install perl

6. लगहरूको लागि निर्देशिकाहरू सिर्जना गर्नुहोस्, तिनीहरूलाई निश्चित अधिकारहरू दिनुहोस्:

sudo mkdir -p -m 770 /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo mkdir -p /etc/pgbackrest
sudo mkdir -p /etc/pgbackrest/conf.d
sudo touch /etc/pgbackrest/pgbackrest.conf
sudo chmod 640 /etc/pgbackrest/pgbackrest.conf
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

७. जाँच गर्नुहोस्:

pgbackrest version

Postgres सर्भर (sudo प्रयोगकर्ता वा रूट):

पोस्टग्रेसको साथ सर्भरमा pgbackrest स्थापना गर्ने प्रक्रिया भण्डारमा स्थापना प्रक्रिया जस्तै छ (हो, pgbackrest दुवै सर्भरमा स्थापना हुनुपर्छ), तर 6 औं अनुच्छेदमा दोस्रो र अन्तिम आदेशहरू:

sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

प्रतिस्थापन गर्नुहोस्:

sudo chown postgres:postgres /var/log/pgbackrest
sudo chown postgres:postgres /etc/pgbackrest/pgbackrest.conf

पासवर्डरहित SSH मार्फत सर्भरहरू बीच अन्तरक्रिया सेट अप गर्दै

pgbackrest सही तरिकाले काम गर्नको लागि, यो कुञ्जी फाइल प्रयोग गरेर postgres सर्भर र भण्डार बीच अन्तरक्रिया कन्फिगर गर्न आवश्यक छ।

भण्डार (प्रयोगकर्ता pgbackrest):

कुञ्जी जोडी सिर्जना गर्नुहोस्:

mkdir -m 750 /home/pgbackrest/.ssh
ssh-keygen -f /home/pgbackrest/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

सावधानी हामी माथिका आदेशहरू बिना sudo चलाउँछौं।

Postgres सर्भर (sudo प्रयोगकर्ता वा रूट):

कुञ्जी जोडी सिर्जना गर्नुहोस्:

sudo -u postgres mkdir -m 750 -p /var/lib/postgresql/.ssh
sudo -u postgres ssh-keygen -f /var/lib/postgresql/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

भण्डार (sudo प्रयोगकर्ता):

पोष्टग्रेस सर्भरको सार्वजनिक कुञ्जी रिपोजिटरी सर्भरमा प्रतिलिपि गर्नुहोस्:

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@<postgres_server_ip> cat /var/lib/postgresql/.ssh/id_rsa.pub) | 
       sudo -u pgbackrest tee -a /home/pgbackrest/.ssh/authorized_keys

यस चरणमा तपाईंलाई रूट प्रयोगकर्ताको लागि पासवर्डको लागि सोधिनेछ। तपाईंले postgres सर्भरको रूट प्रयोगकर्ताको पासवर्ड प्रविष्ट गर्न आवश्यक छ!

Postgres सर्भर (sudo प्रयोगकर्ता):

पोस्टग्रेसको साथ सर्भरमा रिपोजिटरी सार्वजनिक कुञ्जी प्रतिलिपि गर्नुहोस्:

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@<repository_server_ip> cat /home/pgbackrest/.ssh/id_rsa.pub) | 
       sudo -u postgres tee -a /var/lib/postgresql/.ssh/authorized_keys

यस चरणमा तपाईंलाई रूट प्रयोगकर्ताको लागि पासवर्डको लागि सोधिनेछ। तपाईंले भण्डारको मूल प्रयोगकर्ताको पासवर्ड प्रविष्ट गर्न आवश्यक छ!

जाँच गर्दै:

भण्डार (मूल प्रयोगकर्ता, प्रयोगको शुद्धताको लागि):

sudo -u pgbackrest ssh postgres@<postgres_server_ip>

पोस्टग्रेस सर्भर (मूल प्रयोगकर्ता, प्रयोगको शुद्धताको लागि):

sudo -u postgres ssh pgbackrest@<repository_server_ip>

हामी सुनिश्चित गर्छौं कि हामी समस्या बिना पहुँच पाउँछौं।

पोस्टग्रेस सर्भर सेटअप गर्दै

Postgres सर्भर (sudo प्रयोगकर्ता वा रूट):

1. बाह्य आईपीहरूबाट पोस्टग्रेस सर्भरमा दस्तक गर्न अनुमति दिनुहोस्। यो गर्नको लागि, फाइल सम्पादन गर्नुहोस् postgresql.conf (/etc/postgresql/11/main फोल्डरमा अवस्थित), यसमा रेखा थप्दै:

listen_addresses = '*'

यदि यस्तो रेखा पहिल्यै अवस्थित छ भने, यसलाई अनकमेन्ट गर्नुहोस् वा प्यारामिटर मान '*' को रूपमा सेट गर्नुहोस्।

फाइलमा pg_hba.conf (फोल्डरमा पनि अवस्थित छ /etc/postgresql/11/main) निम्न रेखाहरू थप्नुहोस्:

hostssl  all  all  0.0.0.0/0  md5
host  all  all  0.0.0.0/0  md5

कहाँ:

hostssl/host - подключаемся через SSL (или нет)
all - разрешаем подключение ко всем базам
all - имя пользователя, которому разрешаем подключение (всем)
0.0.0.0/0 - маска сети с которой можно подключаться
md5 - способ шифрования пароля

२. आवश्यक सेटिङ्हरू भित्र गरौं postgresql.conf (यो फोल्डरमा छ /etc/postgresql/11/main) pgbackrest काम गर्न को लागी:

archive_command = 'pgbackrest --stanza=main archive-push %p' # Где main - название кластера. При установке postgres автоматически создает кластер main.
archive_mode = on
max_wal_senders = 3
wal_level = replica

३. pgbackrest कन्फिगरेसन फाइल (/etc/pgbackrest/pgbackrest.conf) मा आवश्यक सेटिङहरू गरौं:

[main]
pg1-path=/var/lib/postgresql/11/main

[global]
log-level-file=detail
repo1-host=<repository_server_ip>

४. postgresql पुन: लोड गर्नुहोस्:

sudo service postgresql restart

भण्डार सर्भर सेटअप गर्दै

भण्डार (pgbackrest प्रयोगकर्ता):

कन्फिगरेसन फाइलमा आवश्यक सेटिङहरू बनाउनुहोस् pgbackrest
(/etc/pgbackrest/pgbackrest.conf):

[main]
pg1-host=<postgres_server_ip>
pg1-path=/var/lib/postgresql/11/main

[global]
repo1-path=/var/lib/pgbackrest
repo1-retention-full=2 # Параметр, указывающий сколько хранить полных бэкапов. Т.е. если у вас есть два полных бэкапа и вы создаете третий, то самый старый бэкап будет удален. Можно произносить как "хранить не более двух бэкапов" - по аналогии с ротациями логов. Спасибо @Aytuar за исправление ошибки.
start-fast=y # Начинает резервное копирование немедленно, прочитать про этот параметр можно тут https://postgrespro.ru/docs/postgrespro/9.5/continuous-archiving

भण्डार सिर्जना गर्दै

भण्डार (pgbackrest प्रयोगकर्ता):

क्लस्टरको लागि नयाँ भण्डारण सिर्जना गर्नुहोस् मुख्य:

sudo mkdir -m 770 /var/lib/pgbackrest
sudo chown -R pgbackrest /var/lib/pgbackrest/
sudo -u pgbackrest pgbackrest --stanza=main stanza-create

निरीक्षण

Postgres सर्भर (sudo प्रयोगकर्ता वा रूट):

हामी postgres सर्भरमा जाँच गर्छौं:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info check

भण्डार (pgbackrest प्रयोगकर्ता):

हामी भण्डार सर्भरमा जाँच गर्छौं:

sudo -u pgbackrest pgbackrest --stanza=main --log-level-console=info check

हामी सुनिश्चित गर्छौं कि आउटपुटमा हामीले लाइन देख्छौं "कमाण्ड अन्त्य जाँच गर्नुहोस्: सफलतापूर्वक सम्पन्न भयो"।

थकित? सबैभन्दा रोचक भागमा जाऔं।

ब्याकअप बनाउँदै

भण्डार (pgbackrest प्रयोगकर्ता):

१. ब्याकअप गर्नुहोस्:

sudo -u pgbackrest pgbackrest --stanza=main backup

2. सुनिश्चित गर्नुहोस् कि ब्याकअप सिर्जना गरिएको छ:

ls /var/lib/pgbackrest/backup/main/

Pgbackrest ले पहिलो पूर्ण ब्याकअप सिर्जना गर्नेछ। यदि तपाइँ चाहनुहुन्छ भने, तपाइँ पुन: ब्याकअप आदेश चलाउन सक्नुहुन्छ र प्रणालीले वृद्धिशील ब्याकअप सिर्जना गर्दछ भनेर सुनिश्चित गर्नुहोस्।

यदि तपाइँ फेरि पूर्ण ब्याकअप गर्न चाहनुहुन्छ भने, त्यसपछि थप झण्डा निर्दिष्ट गर्नुहोस्:

sudo -u pgbackrest pgbackrest --stanza=main --type=full backup

यदि तपाइँ विस्तृत कन्सोल आउटपुट चाहनुहुन्छ भने, त्यसपछि पनि निर्दिष्ट गर्नुहोस्:

sudo -u pgbackrest pgbackrest --stanza=main --type=full --log-level-console=info backup

ब्याकअप पुनर्स्थापित गर्दै

Postgres सर्भर (sudo प्रयोगकर्ता वा रूट):

1. चलिरहेको क्लस्टर रोक्नुहोस्:

sudo pg_ctlcluster 11 main stop

2. ब्याकअपबाट पुनर्स्थापना:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info --delta --recovery-option=recovery_target=immediate restore

डाटाबेसलाई अन्तिम पूर्ण ब्याकअपको अवस्थामा पुनर्स्थापना गर्न, recovery_target निर्दिष्ट नगरी आदेश प्रयोग गर्नुहोस्:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info --delta restore

महत्त्वपूर्ण! रिकभरी पछि, डाटाबेस रिकभरी मोडमा अड्किएको हुन सक्छ (त्यहाँ त्रुटिहरू जस्तै ERROR: पढ्ने मात्र लेनदेनमा DROP डाटाबेस कार्यान्वयन गर्न सक्दैन)। इमानदारीपूर्वक भन्नुपर्दा, मैले अहिलेसम्म यो केसँग जोडिएको छ भनेर बुझेको छैन। समाधान निम्नानुसार छ (तपाइँले आदेश कार्यान्वयन पछि अलि पर्खनु पर्छ):

sudo -u postgres psql -c "select pg_wal_replay_resume()"

वास्तवमा, यो यसको नाम द्वारा एक विशिष्ट ब्याकअप पुनर्स्थापित गर्न सम्भव छ। यहाँ म मात्र छु म कागजातमा यस सुविधाको विवरणको लिङ्क प्रदान गर्नेछु। विकासकर्ताहरूले यस विकल्पलाई सावधानीपूर्वक प्रयोग गर्न सल्लाह दिन्छन् र किन व्याख्या गर्छन्। म आफैंबाट थप्न सक्छु कि मैले यसलाई प्रयोग गरेको छु। यदि तपाईलाई साँच्चै आवश्यक छ भने, सुनिश्चित गर्नुहोस् कि रिकभरी पछि डाटाबेस रिकभरी मोडबाट बाहिर निस्कन्छ (pg_is_in_recovery () चयन गर्नुहोस् "f" देखाउनु पर्छ) र, यदि, रिकभरी पछि पूर्ण ब्याकअप बनाउनुहोस्।

3. क्लस्टर सुरु गर्नुहोस्:

sudo pg_ctlcluster 11 main start

ब्याकअप रिस्टोर गरेपछि, हामीले दोस्रो ब्याकअप गर्न आवश्यक छ:

भण्डार (pgbackrest प्रयोगकर्ता):

sudo pgbackrest --stanza=main backup

यति नै। अन्तमा, म तपाईंलाई सम्झाउन चाहन्छु कि म कुनै पनि हालतमा वरिष्ठ डीबीए भएको बहाना गर्ने प्रयास गरिरहेको छैन र थोरै अवसरमा बादलहरू प्रयोग गर्नेछु। हाल, म आफैंले ब्याकअप, प्रतिकृति, निगरानी, ​​आदि जस्ता विभिन्न विषयहरू अध्ययन गर्न थालेको छु। र म समुदायमा सानो योगदान गर्न र मेरो लागि सानो धोखा पानाहरू छोड्न नतिजाहरूको बारेमा सानो रिपोर्टहरू लेख्छु।

निम्न लेखहरूमा म अतिरिक्त सुविधाहरूको बारेमा कुरा गर्ने प्रयास गर्नेछु - सफा क्लस्टरमा डाटा रिकभरी, ब्याकअपहरूको इन्क्रिप्शन र S3 मा प्रकाशन, rsync मार्फत ब्याकअपहरू।

स्रोत: www.habr.com