ការបម្រុងទុក postgresql បន្ថែមជាមួយ pgbackrest - វគ្គប្រយុទ្ធវ័យក្មេងពីអ្នកអភិវឌ្ឍន៍

អេស

ខ្ញុំជាអ្នកអភិវឌ្ឍន៍។ ខ្ញុំសរសេរកូដ និងធ្វើអន្តរកម្មជាមួយមូលដ្ឋានទិន្នន័យតែក្នុងនាមជាអ្នកប្រើប្រាស់ប៉ុណ្ណោះ។ ខ្ញុំមិនធ្វើពុតជាអ្នកគ្រប់គ្រងប្រព័ន្ធទេ គឺមិនសូវជា dba ទេ។ ប៉ុន្តែ…

វាបានកើតឡើងដែលខ្ញុំត្រូវរៀបចំការបម្រុងទុកនៃមូលដ្ឋានទិន្នន័យ postgresql ។ គ្មានពពក - គ្រាន់តែប្រើ SSH ហើយត្រូវប្រាកដថាអ្វីៗដំណើរការដោយមិនចាំបាច់សុំលុយ។ តើយើងធ្វើអ្វីនៅក្នុងករណីបែបនេះ? ត្រូវហើយ យើងរុញ pgdump ចូលទៅក្នុង cron បម្រុងទុកអ្វីៗគ្រប់យ៉ាងទៅក្នុងប័ណ្ណសារជារៀងរាល់ថ្ងៃ ហើយប្រសិនបើយើងបាត់ទាំងស្រុង យើងផ្ញើប័ណ្ណសារនេះទៅកន្លែងឆ្ងាយ។

លើកនេះការលំបាកគឺថាយោងទៅតាមផែនការ មូលដ្ឋានទិន្នន័យត្រូវបានគេសន្មត់ថានឹងកើនឡើងប្រហែល +- 100 MB ក្នុងមួយថ្ងៃ។ ជាការពិតណាស់បន្ទាប់ពីពីរបីសប្តាហ៍បំណងប្រាថ្នាដើម្បីបម្រុងទុកអ្វីគ្រប់យ៉ាងជាមួយ pgdump នឹងរលាយបាត់។ នេះគឺជាកន្លែងដែលការបម្រុងទុកបន្ថែមមកជួយសង្គ្រោះ។

គួរឱ្យចាប់អារម្មណ៍? សូមស្វាគមន៍មកកាន់ឆ្មា។

ការបម្រុងទុកបន្ថែមគឺជាប្រភេទនៃការបម្រុងទុកនៅពេលដែលមិនមែនឯកសារប្រភពទាំងអស់ត្រូវបានចម្លងទេ ប៉ុន្តែមានតែឯកសារថ្មីប៉ុណ្ណោះ ហើយវាបានផ្លាស់ប្តូរចាប់តាំងពីការបង្កើតច្បាប់ចម្លងពីមុនមក។

ដូចជាអ្នកអភិវឌ្ឍន៍ណាក៏ដោយដែលមិនមានឆន្ទៈ (នៅពេលនោះ) ដើម្បីយល់ពីភាពស្មុគស្មាញនៃ postgres ខ្ញុំចង់ស្វែងរកប៊ូតុងពណ៌បៃតង។ ជាការប្រសើរណាស់, អ្នកដឹង, ដូចជានៅក្នុង AWS, DigitalOcean: អ្នកបានចុចប៊ូតុងមួយ - អ្នកទទួលបានការចម្លង, អ្នកបានចុចទីពីរ - អ្នករៀបចំការបម្រុងទុក, ទីបី - អ្នករមៀលអ្វីគ្រប់យ៉ាងត្រឡប់មកវិញពីរបីម៉ោង។ ខ្ញុំមិនបានរកឃើញប៊ូតុង ឬឧបករណ៍ GUI ដ៏ស្រស់ស្អាតទេ។ ប្រសិនបើអ្នកស្គាល់មួយ (ឥតគិតថ្លៃឬថោក) សរសេរអំពីវានៅក្នុងមតិយោបល់។

បន្ទាប់ពីហ្គូហ្គលខ្ញុំបានរកឃើញឧបករណ៍ពីរ pgbarman и pgbackrest. ខ្ញុំគ្រាន់តែមិនបានជោគជ័យជាមួយឯកសារទីមួយទេ (ឯកសារតិចតួចណាស់ ខ្ញុំបានព្យាយាមដោះស្រាយអ្វីៗគ្រប់យ៉ាងតាមសៀវភៅណែនាំចាស់) ប៉ុន្តែជាមួយនឹងឯកសារទីពីរ ឯកសារបានប្រែទៅជាស្មើ ប៉ុន្តែមិនមែនដោយគ្មានគុណវិបត្តិទេ។ ដើម្បីសម្រួលការងាររបស់អ្នកដែលប្រឈមមុខនឹងកិច្ចការស្រដៀងគ្នា អត្ថបទនេះត្រូវបានសរសេរ។

បន្ទាប់ពីអានអត្ថបទនេះ អ្នកនឹងរៀនពីរបៀបបង្កើតការបម្រុងទុកបន្ថែម រក្សាទុកពួកវាទៅម៉ាស៊ីនមេពីចម្ងាយ (ឃ្លាំងជាមួយការបម្រុងទុក) និងស្ដារពួកវាឡើងវិញក្នុងករណីបាត់បង់ទិន្នន័យ ឬបញ្ហាផ្សេងទៀតនៅលើម៉ាស៊ីនមេ។

ការរៀបចំ

ដើម្បីផលិតសៀវភៅណែនាំឡើងវិញ អ្នកនឹងត្រូវការ VPS ពីរ។ ទីមួយនឹងជាកន្លែងផ្ទុក (ឃ្លាំងដែលការបម្រុងទុកនឹងត្រូវបានរក្សាទុក) និងទីពីរតាមពិតម៉ាស៊ីនមេខ្លួនឯងជាមួយ postgres (ក្នុងករណីរបស់ខ្ញុំកំណែ 11 នៃ postgres) ។

វាត្រូវបានសន្មត់ថានៅលើ server ដែលមាន postgres អ្នកមាន root អ្នកប្រើប្រាស់ sudo អ្នកប្រើប្រាស់ postgres និង postgres ខ្លួនវាត្រូវបានដំឡើង (អ្នកប្រើប្រាស់ postgres ត្រូវបានបង្កើតដោយស្វ័យប្រវត្តិនៅពេលដំឡើង postgresql) ហើយនៅលើ repository server មាន root និង sudo user (នៅក្នុងសៀវភៅណែនាំ។ ឈ្មោះអ្នកប្រើ pgbackrest នឹងត្រូវបានប្រើ) ។

ដូច្នេះដើម្បីឱ្យអ្នកមានបញ្ហាតិចជាងនៅពេលផលិតការណែនាំឡើងវិញ ខ្ញុំសរសេរជាអក្សរទ្រេត កន្លែងណា ជាមួយនឹងអ្នកប្រើប្រាស់ណា និងជាមួយសិទ្ធិអ្វី ដែលខ្ញុំបានប្រតិបត្តិពាក្យបញ្ជា ពេលកំពុងសរសេរ និងពិនិត្យអត្ថបទ។

ការដំឡើង pgbackrest

ឃ្លាំង (អ្នកប្រើប្រាស់ pgbackrest)៖

1. ទាញយកប័ណ្ណសារពី pgbackrest ហើយផ្ទេរមាតិការបស់វាទៅថតឯកសារ /build៖

sudo mkdir /build
sudo wget -q -O - 
       https://github.com/pgbackrest/pgbackrest/archive/release/2.18.tar.gz | 
       sudo tar zx -C /build

2. ដំឡើងភាពអាស្រ័យដែលចាំបាច់សម្រាប់ការជួបប្រជុំគ្នា៖

sudo apt-get update
sudo apt-get install build-essential libssl-dev libxml2-dev libperl-dev zlib1g-dev 
       libpq-dev

3. ការប្រមូលផ្តុំ pgbackrest:

cd /build/pgbackrest-release-2.18/src && sudo ./configure
sudo make -s -C /build/pgbackrest-release-2.18/src

4. ចម្លងឯកសារដែលអាចប្រតិបត្តិបានទៅថត /usr/bin៖

sudo cp /build/pgbackrest-release-2.18/src/pgbackrest /usr/bin
sudo chmod 755 /usr/bin/pgbackrest

5. Pgbackrest ទាមទារ perl ។ ដំឡើង៖

sudo apt-get install perl

6. បង្កើតថតសម្រាប់កំណត់ហេតុ ផ្តល់ឱ្យពួកគេនូវសិទ្ធិជាក់លាក់៖

sudo mkdir -p -m 770 /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo mkdir -p /etc/pgbackrest
sudo mkdir -p /etc/pgbackrest/conf.d
sudo touch /etc/pgbackrest/pgbackrest.conf
sudo chmod 640 /etc/pgbackrest/pgbackrest.conf
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

7. ពិនិត្យ៖

pgbackrest version

ម៉ាស៊ីនមេ Postgres (អ្នកប្រើប្រាស់ sudo ឬ root)៖

ដំណើរការនៃការដំឡើង pgbackrest នៅលើម៉ាស៊ីនមេដែលមាន postgres គឺស្រដៀងគ្នាទៅនឹងដំណើរការដំឡើងនៅលើឃ្លាំង (បាទ pgbackrest ត្រូវតែដំឡើងនៅលើម៉ាស៊ីនមេទាំងពីរ) ប៉ុន្តែនៅក្នុងកថាខណ្ឌទី 6 ពាក្យបញ្ជាទីពីរនិងចុងក្រោយ:

sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

ជំនួយ​ដោយ:

sudo chown postgres:postgres /var/log/pgbackrest
sudo chown postgres:postgres /etc/pgbackrest/pgbackrest.conf

ការដំឡើងអន្តរកម្មរវាងម៉ាស៊ីនមេតាមរយៈ SSH ដែលគ្មានពាក្យសម្ងាត់

ដើម្បីឱ្យ pgbackrest ដំណើរការបានត្រឹមត្រូវ ចាំបាច់ត្រូវកំណត់រចនាសម្ព័ន្ធអន្តរកម្មរវាងម៉ាស៊ីនមេ postgres និងឃ្លាំងដោយប្រើឯកសារគន្លឹះ។

ឃ្លាំង (អ្នកប្រើប្រាស់ pgbackrest)៖

បង្កើតគូគន្លឹះ៖

mkdir -m 750 /home/pgbackrest/.ssh
ssh-keygen -f /home/pgbackrest/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

សូមប្រយ័ត្ន! យើងដំណើរការពាក្យបញ្ជាខាងលើដោយគ្មាន sudo ។

ម៉ាស៊ីនមេ Postgres (អ្នកប្រើប្រាស់ sudo ឬ root)៖

បង្កើតគូគន្លឹះ៖

sudo -u postgres mkdir -m 750 -p /var/lib/postgresql/.ssh
sudo -u postgres ssh-keygen -f /var/lib/postgresql/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

ឃ្លាំង (អ្នកប្រើប្រាស់ sudo)៖

ចម្លងសោសាធារណៈរបស់ម៉ាស៊ីនមេ postgres ទៅម៉ាស៊ីនមេឃ្លាំង៖

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@<postgres_server_ip> cat /var/lib/postgresql/.ssh/id_rsa.pub) | 
       sudo -u pgbackrest tee -a /home/pgbackrest/.ssh/authorized_keys

នៅជំហាននេះអ្នកនឹងត្រូវបានសួររកពាក្យសម្ងាត់សម្រាប់អ្នកប្រើ root ។ អ្នកត្រូវបញ្ចូលពាក្យសម្ងាត់របស់អ្នកប្រើ root នៃម៉ាស៊ីនមេ postgres!

ម៉ាស៊ីនមេ Postgres (អ្នកប្រើប្រាស់ sudo)៖

ចម្លងសោសាធារណៈរបស់ឃ្លាំងទៅកាន់ម៉ាស៊ីនមេដោយប្រើ postgres៖

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@<repository_server_ip> cat /home/pgbackrest/.ssh/id_rsa.pub) | 
       sudo -u postgres tee -a /var/lib/postgresql/.ssh/authorized_keys

នៅជំហាននេះអ្នកនឹងត្រូវបានសួររកពាក្យសម្ងាត់សម្រាប់អ្នកប្រើ root ។ អ្នក​ត្រូវ​បញ្ចូល​ពាក្យ​សម្ងាត់​យ៉ាង​ពិត​ប្រាកដ​របស់​អ្នក​ប្រើ root នៃ​ឃ្លាំង!

កំពុងពិនិត្យ:

ឃ្លាំង (អ្នកប្រើប្រាស់ជា root សម្រាប់ភាពបរិសុទ្ធនៃការពិសោធន៍)៖

sudo -u pgbackrest ssh postgres@<postgres_server_ip>

ម៉ាស៊ីនមេ Postgres (អ្នកប្រើប្រាស់ជា root សម្រាប់ភាពបរិសុទ្ធនៃការពិសោធន៍)៖

sudo -u postgres ssh pgbackrest@<repository_server_ip>

យើង​ប្រាកដ​ថា​យើង​អាច​ចូល​បាន​ដោយ​គ្មាន​បញ្ហា។

ការដំឡើងម៉ាស៊ីនមេ postgres

ម៉ាស៊ីនមេ Postgres (អ្នកប្រើប្រាស់ sudo ឬ root)៖

1. សូមអនុញ្ញាតឱ្យគោះលើម៉ាស៊ីនមេ postgres ពី IPs ខាងក្រៅ។ ដើម្បីធ្វើដូចនេះកែសម្រួលឯកសារ postgresql.conf (មានទីតាំងនៅ /etc/postgresql/11/main folder) បន្ថែមបន្ទាត់ទៅវា៖

listen_addresses = '*'

ប្រសិនបើបន្ទាត់បែបនេះមានរួចហើយ មិនបញ្ចេញមតិ ឬកំណត់តម្លៃប៉ារ៉ាម៉ែត្រជា '*'។

នៅក្នុងឯកសារ pg_hba.conf (មានទីតាំងនៅក្នុងថតឯកសារ /etc/postgresql/11/main) បន្ថែមបន្ទាត់ខាងក្រោម៖

hostssl  all  all  0.0.0.0/0  md5
host  all  all  0.0.0.0/0  md5

ដែលជាកន្លែង:

hostssl/host - подключаемся через SSL (или нет)
all - разрешаем подключение ко всем базам
all - имя пользователя, которому разрешаем подключение (всем)
0.0.0.0/0 - маска сети с которой можно подключаться
md5 - способ шифрования пароля

2. ចូរបង្កើតការកំណត់ចាំបាច់នៅក្នុង postgresql.conf (វាស្ថិតនៅក្នុងថតឯកសារ /etc/postgresql/11/main) សម្រាប់ pgbackrest ធ្វើការ៖

archive_command = 'pgbackrest --stanza=main archive-push %p' # Где main - название кластера. При установке postgres автоматически создает кластер main.
archive_mode = on
max_wal_senders = 3
wal_level = replica

3. ចូរធ្វើការកំណត់ចាំបាច់នៅក្នុងឯកសារកំណត់រចនាសម្ព័ន្ធ pgbackrest (/etc/pgbackrest/pgbackrest.conf):

[main]
pg1-path=/var/lib/postgresql/11/main

[global]
log-level-file=detail
repo1-host=<repository_server_ip>

4. ផ្ទុក postgresql ឡើងវិញ៖

sudo service postgresql restart

ការដំឡើងម៉ាស៊ីនមេឃ្លាំង

ឃ្លាំង (អ្នកប្រើប្រាស់ pgbackrest)៖

ចូរបង្កើតការកំណត់ចាំបាច់នៅក្នុងឯកសារកំណត់រចនាសម្ព័ន្ធ pgbackrest
(/etc/pgbackrest/pgbackrest.conf):

[main]
pg1-host=<postgres_server_ip>
pg1-path=/var/lib/postgresql/11/main

[global]
repo1-path=/var/lib/pgbackrest
repo1-retention-full=2 # Параметр, указывающий сколько хранить полных бэкапов. Т.е. если у вас есть два полных бэкапа и вы создаете третий - первые два будут удалены вместе с инкрементами. 
start-fast=y # Начинает резервное копирование немедленно, прочитать про этот параметр можно тут https://postgrespro.ru/docs/postgrespro/9.5/continuous-archiving

ការបង្កើតឃ្លាំង

ឃ្លាំង (អ្នកប្រើប្រាស់ pgbackrest)៖

បង្កើតកន្លែងផ្ទុកថ្មីសម្រាប់ចង្កោម សំខាន់:

sudo mkdir -m 770 /var/lib/pgbackrest
sudo chown -R pgbackrest /var/lib/pgbackrest/
sudo -u pgbackrest pgbackrest --stanza=main stanza-create

ការត្រួតពិនិត្យ

ម៉ាស៊ីនមេ Postgres (អ្នកប្រើប្រាស់ sudo ឬ root)៖

យើងពិនិត្យលើម៉ាស៊ីនមេ Postgres៖

sudo -u postgres pgbackrest --stanza=main --log-level-console=info check

ឃ្លាំង (អ្នកប្រើប្រាស់ pgbackrest)៖

យើងពិនិត្យលើម៉ាស៊ីនមេឃ្លាំង៖

sudo -u pgbackrest pgbackrest --stanza=main --log-level-console=info check

យើងធ្វើឱ្យប្រាកដថានៅក្នុងលទ្ធផលយើងឃើញបន្ទាត់ "ពិនិត្យពាក្យបញ្ជាបញ្ចប់: បានបញ្ចប់ដោយជោគជ័យ" ។

ធុញទ្រាន់? ចូរបន្តទៅផ្នែកដែលគួរឱ្យចាប់អារម្មណ៍បំផុត។

ធ្វើការបម្រុងទុក

ឃ្លាំង (អ្នកប្រើប្រាស់ pgbackrest)៖

1. អនុវត្តការបម្រុងទុក៖

sudo -u pgbackrest pgbackrest --stanza=main backup

2. ត្រូវប្រាកដថាការបម្រុងទុកត្រូវបានបង្កើត៖

ls /var/lib/pgbackrest/backup/main/

Pgbackrest នឹងបង្កើតការបម្រុងទុកពេញលេញដំបូង។ ប្រសិនបើអ្នកប្រាថ្នា អ្នកអាចដំណើរការពាក្យបញ្ជាបម្រុងទុកម្តងទៀត ហើយត្រូវប្រាកដថាប្រព័ន្ធបង្កើតការបម្រុងទុកបន្ថែម។

ប្រសិនបើអ្នកចង់ធ្វើការបម្រុងទុកពេញលេញម្តងទៀត បន្ទាប់មកបញ្ជាក់ទង់បន្ថែម៖

sudo -u pgbackrest pgbackrest --stanza=main --type=full backup

ប្រសិនបើអ្នកចង់បានទិន្នផលកុងសូលលម្អិត នោះក៏បញ្ជាក់ផងដែរ៖

sudo -u pgbackrest pgbackrest --stanza=main --type=full --log-level-console=info backup

ការស្ដារការបម្រុងទុក

ម៉ាស៊ីនមេ Postgres (អ្នកប្រើប្រាស់ sudo ឬ root)៖

1. បញ្ឈប់ចង្កោមដែលកំពុងដំណើរការ៖

sudo pg_ctlcluster 11 main stop

2. ស្តារពីការបម្រុងទុក៖

sudo -u postgres pgbackrest --stanza=main --delta restore

3. ចាប់ផ្តើមក្រុម៖

sudo pg_ctlcluster 11 main start

បន្ទាប់ពីស្ដារការបម្រុងទុក យើងត្រូវធ្វើការបម្រុងទុកទីពីរ៖

ឃ្លាំង (អ្នកប្រើប្រាស់ pgbackrest)៖

sudo pgbackrest --stanza=main backup

អស់ហើយ។ សរុបសេចក្តីមក ខ្ញុំចង់រំលឹកអ្នកថា ខ្ញុំមិនព្យាយាមធ្វើពុតជា dba ជាន់ខ្ពស់ទេ ហើយនឹងប្រើពពកក្នុងឱកាសតិចតួចបំផុត។ បច្ចុប្បន្ន​នេះ ខ្ញុំ​ខ្លួន​ឯង​កំពុង​ចាប់​ផ្តើម​សិក្សា​លើ​ប្រធាន​បទ​ផ្សេងៗ​ដូច​ជា ការ​បម្រុង​ទុក ការ​ចម្លង ការ​ត្រួត​ពិនិត្យ​ជាដើម។ ហើយខ្ញុំសរសេររបាយការណ៍តូចៗអំពីលទ្ធផល ដើម្បីរួមចំណែកតូចមួយដល់សហគមន៍ និងទុកសន្លឹកបន្លំតូចៗសម្រាប់ខ្លួនខ្ញុំ។

នៅក្នុងអត្ថបទខាងក្រោមខ្ញុំនឹងព្យាយាមនិយាយអំពីលក្ខណៈពិសេសបន្ថែម - ការសង្គ្រោះទិន្នន័យទៅជាចង្កោមស្អាត ការអ៊ិនគ្រីបនៃការបម្រុងទុក និងការបោះពុម្ពផ្សាយទៅ S3 ការបម្រុងទុកតាមរយៈ rsync ។

ប្រភព: www.habr.com