დამატებითი postgresql სარეზერვო ასლები pgbackrest-ით - კურსი ახალგაზრდა მებრძოლისთვის დეველოპერისგან

პასუხისმგებლობის უარყოფა

მე დეველოპერი ვარ. კოდს ვწერ და მონაცემთა ბაზასთან ვურთიერთობ მხოლოდ როგორც მომხმარებელი. არავითარ შემთხვევაში არ ვიქნები პრეტენზია სისტემის ადმინისტრატორად, მით უმეტეს, dba. მაგრამ…

ისე მოხდა, რომ დამჭირდა postgresql მონაცემთა ბაზის სარეზერვო ასლის ორგანიზება. ღრუბლების გარეშე - უბრალოდ გამოიყენეთ SSH და დარწმუნდით, რომ ყველაფერი მუშაობს ფულის მოთხოვნის გარეშე. რას ვაკეთებთ ასეთ შემთხვევებში? ასეა, pgdump-ს ვაყენებთ cron-ში, ვაკეთებთ ყველაფრის სარეზერვო ასლს ყოველდღე არქივში და თუ მთლიანად დავიკარგებით, ამ არქივს ვაგზავნით სადმე შორს.

ამჯერად სირთულე ის იყო, რომ გეგმების მიხედვით, მონაცემთა ბაზა დღეში დაახლოებით +- 100 მბ-ით უნდა გაიზარდოს. რა თქმა უნდა, რამდენიმე კვირის შემდეგ ყველაფრის pgdump-ით სარეზერვო ასლის სურვილი გაქრება. ეს არის სადაც დამატებითი სარეზერვო ასლები მოდის სამაშველოში.

საინტერესოა? კეთილი იყოს თქვენი მობრძანება კატაში.

დამატებითი სარეზერვო ასლი არის სარეზერვო ასლის ტიპი, როდესაც არა ყველა წყაროს ფაილი კოპირებულია, არამედ მხოლოდ ახალი და ის შეიცვალა წინა ასლის შექმნის შემდეგ.

როგორც ნებისმიერი დეველოპერი, რომელსაც აბსოლუტურად არ სურდა (იმ დროს) გაეგო პოსტგრესის სირთულეები, მე მინდოდა მეპოვა მწვანე ღილაკი. კარგად, თქვენ იცით, როგორც AWS-ში, DigitalOcean-ში: თქვენ დააჭირეთ ერთ ღილაკს - მიიღეთ რეპლიკაცია, დააჭირეთ მეორეს - დააყენეთ სარეზერვო ასლები, მესამე - ყველაფერი დააბრუნეთ რამდენიმე საათით უკან. მე ვერ ვიპოვე ღილაკი ან ლამაზი GUI ინსტრუმენტი. თუ იცით ერთი (უფასო ან იაფი), დაწერეთ ამის შესახებ კომენტარებში.

გუგლის შემდეგ ორი ინსტრუმენტი ვიპოვე pgbarman и pgbackrest. მე უბრალოდ არ გამომივიდა პირველით (ძალიან მწირი დოკუმენტაცია, ვცდილობდი გამეგო ყველაფერი ძველი სახელმძღვანელოების მიხედვით), მაგრამ მეორესთან ერთად დოკუმენტაცია ტოლი აღმოჩნდა, მაგრამ არა ხარვეზების გარეშე. მათთვის, ვინც მსგავსი ამოცანის წინაშე დგას, სამუშაოს გასამარტივებლად დაიწერა ეს სტატია.

ამ სტატიის წაკითხვის შემდეგ, თქვენ შეისწავლით თუ როგორ უნდა გააკეთოთ დამატებითი სარეზერვო ასლები, შეინახოთ ისინი დისტანციურ სერვერზე (საცავი სარეზერვო ასლებით) და აღადგინოთ ისინი მონაცემთა დაკარგვის ან მთავარ სერვერზე სხვა პრობლემების შემთხვევაში.

სასწავლო

სახელმძღვანელოს გასამრავლებლად დაგჭირდებათ ორი VPS. პირველი იქნება საცავი (საცავი, რომელზედაც შეინახება სარეზერვო ასლები) და მეორე, ფაქტობრივად, თავად სერვერი პოსტგრესებით (ჩემს შემთხვევაში, პოსტგრესის 11 ვერსია).

ვარაუდობენ, რომ სერვერზე postgres-ით გაქვთ root, sudo მომხმარებელი, postgres მომხმარებელი და თავად postgres არის დაინსტალირებული (postgres მომხმარებელი ავტომატურად იქმნება postgresql-ის დაყენებისას), ხოლო საცავის სერვერზე არის root და sudo მომხმარებელი (სახელმძღვანელოში. გამოყენებული იქნება მომხმარებლის სახელი pgbackrest).

იმისათვის, რომ ნაკლები პრობლემები შეგექმნათ ინსტრუქციების გამეორებისას, მე ვწერ დახრილებით სად, რომელ მომხმარებელთან და რა უფლებებით შევასრულე ბრძანება სტატიის წერისა და შემოწმებისას.

pgbackrest-ის ინსტალაცია

საცავი (მომხმარებლის pgbackrest):

1. ჩამოტვირთეთ არქივი pgbackrest-დან და გადაიტანეთ მისი შინაარსი /build საქაღალდეში:

sudo mkdir /build
sudo wget -q -O - 
       https://github.com/pgbackrest/pgbackrest/archive/release/2.18.tar.gz | 
       sudo tar zx -C /build

2. დააინსტალირეთ შეკრებისთვის საჭირო დამოკიდებულებები:

sudo apt-get update
sudo apt-get install build-essential libssl-dev libxml2-dev libperl-dev zlib1g-dev 
       libpq-dev

3. pgbackrest აწყობა:

cd /build/pgbackrest-release-2.18/src && sudo ./configure
sudo make -s -C /build/pgbackrest-release-2.18/src

4. დააკოპირეთ შესრულებადი ფაილი /usr/bin დირექტორიაში:

sudo cp /build/pgbackrest-release-2.18/src/pgbackrest /usr/bin
sudo chmod 755 /usr/bin/pgbackrest

5. Pgbackrest მოითხოვს perl-ს. Დაინსტალირება:

sudo apt-get install perl

6. შექმენით დირექტორიები ჟურნალებისთვის, მიეცით მათ გარკვეული უფლებები:

sudo mkdir -p -m 770 /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo mkdir -p /etc/pgbackrest
sudo mkdir -p /etc/pgbackrest/conf.d
sudo touch /etc/pgbackrest/pgbackrest.conf
sudo chmod 640 /etc/pgbackrest/pgbackrest.conf
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

7. შეამოწმეთ:

pgbackrest version

Postgres სერვერი (sudo მომხმარებელი ან root):

Pgbackrest სერვერზე postgres-ით ინსტალაციის პროცესი მსგავსია საცავზე ინსტალაციის პროცესის (დიახ, pgbackrest უნდა იყოს დაინსტალირებული ორივე სერვერზე), მაგრამ მე-6 აბზაცში მეორე და ბოლო ბრძანებები:

sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

შეცვლა:

sudo chown postgres:postgres /var/log/pgbackrest
sudo chown postgres:postgres /etc/pgbackrest/pgbackrest.conf

სერვერებს შორის ურთიერთქმედების დაყენება პაროლის გარეშე SSH-ის საშუალებით

იმისათვის, რომ pgbackrest-მა სწორად იმუშაოს, აუცილებელია პოსტგრესის სერვერსა და საცავს შორის ურთიერთქმედების კონფიგურაცია გასაღების ფაილის გამოყენებით.

საცავი (მომხმარებლის pgbackrest):

შექმენით გასაღების წყვილი:

mkdir -m 750 /home/pgbackrest/.ssh
ssh-keygen -f /home/pgbackrest/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

ყურადღება ჩვენ ვასრულებთ ზემოთ მოცემულ ბრძანებებს sudo-ს გარეშე.

Postgres სერვერი (sudo მომხმარებელი ან root):

შექმენით გასაღების წყვილი:

sudo -u postgres mkdir -m 750 -p /var/lib/postgresql/.ssh
sudo -u postgres ssh-keygen -f /var/lib/postgresql/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

საცავი (sudo მომხმარებელი):

დააკოპირეთ postgres სერვერის საჯარო გასაღები საცავის სერვერზე:

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@<postgres_server_ip> cat /var/lib/postgresql/.ssh/id_rsa.pub) | 
       sudo -u pgbackrest tee -a /home/pgbackrest/.ssh/authorized_keys

ამ ეტაპზე თქვენ მოგეთხოვებათ პაროლი root მომხმარებლისთვის. თქვენ უნდა შეიყვანოთ პოსტგრესის სერვერის root მომხმარებლის პაროლი!

Postgres სერვერი (sudo მომხმარებელი):

დააკოპირეთ საცავის საჯარო გასაღები სერვერზე postgres-ით:

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@<repository_server_ip> cat /home/pgbackrest/.ssh/id_rsa.pub) | 
       sudo -u postgres tee -a /var/lib/postgresql/.ssh/authorized_keys

ამ ეტაპზე ის ითხოვს პაროლს root მომხმარებლისთვის. თქვენ უნდა შეიყვანოთ ზუსტად საცავის root მომხმარებლის პაროლი!

ჩვენ შეამოწმოთ:

საცავი (ძირითადი მომხმარებელი, ექსპერიმენტის სიწმინდისთვის):

sudo -u pgbackrest ssh postgres@<postgres_server_ip>

Postgres სერვერი (ძირითადი მომხმარებელი, ექსპერიმენტის სიწმინდისთვის):

sudo -u postgres ssh pgbackrest@<repository_server_ip>

ჩვენ ვზრუნავთ, რომ უპრობლემოდ მივიღებთ წვდომას.

პოსტგრესის სერვერის დაყენება

Postgres სერვერი (sudo მომხმარებელი ან root):

1. დავუშვათ პოსტგრესის სერვერზე დაკაკუნება გარე IP-ებიდან. ამისათვის შეცვალეთ ფაილი postgresql.conf (მდებარეობს /etc/postgresql/11/main საქაღალდეში), დაამატეთ მას ხაზი:

listen_addresses = '*'

თუ ასეთი ხაზი უკვე არსებობს, ან გააუქმეთ იგი ან დააყენეთ პარამეტრის მნიშვნელობა როგორც '*'.

ფაილში pg_hba.conf (ასევე მდებარეობს საქაღალდეში /etc/postgresql/11/main) დაამატეთ შემდეგი სტრიქონები:

hostssl  all  all  0.0.0.0/0  md5
host  all  all  0.0.0.0/0  md5

სადაც:

hostssl/host - подключаемся через SSL (или нет)
all - разрешаем подключение ко всем базам
all - имя пользователя, которому разрешаем подключение (всем)
0.0.0.0/0 - маска сети с которой можно подключаться
md5 - способ шифрования пароля

2. მოდით გავაკეთოთ საჭირო პარამეტრები postgresql.conf (ის საქაღალდეშია /etc/postgresql/11/main) pgbackrest რომ იმუშაოს:

archive_command = 'pgbackrest --stanza=main archive-push %p' # Где main - название кластера. При установке postgres автоматически создает кластер main.
archive_mode = on
max_wal_senders = 3
wal_level = replica

3. მოდით გავაკეთოთ საჭირო პარამეტრები pgbackrest კონფიგურაციის ფაილში (/etc/pgbackrest/pgbackrest.conf):

[main]
pg1-path=/var/lib/postgresql/11/main

[global]
log-level-file=detail
repo1-host=<repository_server_ip>

4. გადატვირთეთ postgresql:

sudo service postgresql restart

საცავის სერვერის დაყენება

საცავი (pgbackrest მომხმარებელი):

მოდით გავაკეთოთ საჭირო პარამეტრები კონფიგურაციის ფაილში pgbackrest
(/etc/pgbackrest/pgbackrest.conf):

[main]
pg1-host=<postgres_server_ip>
pg1-path=/var/lib/postgresql/11/main

[global]
repo1-path=/var/lib/pgbackrest
repo1-retention-full=2 # Параметр, указывающий сколько хранить полных бэкапов. Т.е. если у вас есть два полных бэкапа и вы создаете третий, то самый старый бэкап будет удален. Можно произносить как "хранить не более двух бэкапов" - по аналогии с ротациями логов. Спасибо @Aytuar за исправление ошибки.
start-fast=y # Начинает резервное копирование немедленно, прочитать про этот параметр можно тут https://postgrespro.ru/docs/postgrespro/9.5/continuous-archiving

საცავის შექმნა

საცავი (pgbackrest მომხმარებელი):

შექმენით ახალი მეხსიერება კლასტერისთვის მთავარი:

sudo mkdir -m 770 /var/lib/pgbackrest
sudo chown -R pgbackrest /var/lib/pgbackrest/
sudo -u pgbackrest pgbackrest --stanza=main stanza-create

Проверка

Postgres სერვერი (sudo მომხმარებელი ან root):

ჩვენ ვამოწმებთ პოსტგრესის სერვერზე:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info check

საცავი (pgbackrest მომხმარებელი):

ჩვენ ვამოწმებთ საცავის სერვერს:

sudo -u pgbackrest pgbackrest --stanza=main --log-level-console=info check

ჩვენ დავრწმუნდებით, რომ გამოსავალში ვხედავთ ხაზს "შეამოწმეთ ბრძანება დასასრული: წარმატებით დასრულდა".

დაიღალა? გადავიდეთ ყველაზე საინტერესო ნაწილზე.

სარეზერვო ასლის გაკეთება

საცავი (pgbackrest მომხმარებელი):

1. შეასრულეთ სარეზერვო ასლი:

sudo -u pgbackrest pgbackrest --stanza=main backup

2. დარწმუნდით, რომ სარეზერვო ასლი შეიქმნა:

ls /var/lib/pgbackrest/backup/main/

Pgbackrest შექმნის პირველ სრულ სარეზერვო ასლს. თუ გსურთ, შეგიძლიათ კვლავ გაუშვათ სარეზერვო ბრძანება და დარწმუნდეთ, რომ სისტემა ქმნის დამატებით სარეზერვო ასლს.

თუ გსურთ ხელახლა შექმნათ სრული სარეზერვო ასლი, მიუთითეთ დამატებითი დროშა:

sudo -u pgbackrest pgbackrest --stanza=main --type=full backup

თუ გსურთ კონსოლის დეტალური გამომავალი, მაშინ ასევე მიუთითეთ:

sudo -u pgbackrest pgbackrest --stanza=main --type=full --log-level-console=info backup

სარეზერვო ასლის აღდგენა

Postgres სერვერი (sudo მომხმარებელი ან root):

1. შეაჩერე გაშვებული კლასტერი:

sudo pg_ctlcluster 11 main stop

2. აღდგენა სარეზერვო ასლიდან:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info --delta --recovery-option=recovery_target=immediate restore

მონაცემთა ბაზის ბოლო სრული სარეზერვო ასლის მდგომარეობაში აღსადგენად, გამოიყენეთ ბრძანება recovery_target-ის მითითების გარეშე:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info --delta restore

Მნიშვნელოვანი! აღდგენის შემდეგ, შეიძლება მოხდეს, რომ მონაცემთა ბაზა გაჩერდეს აღდგენის რეჟიმში (იქნება შეცდომები, როგორიცაა ERROR: ვერ შეასრულებს DROP DATABASE მხოლოდ წაკითხვის ტრანზაქციაში). მართალი გითხრათ, ჯერ ვერ გავიგე ეს რასთან არის დაკავშირებული. გამოსავალი შემდეგია (ბრძანების შესრულების შემდეგ დაგჭირდებათ ცოტა ხანი ლოდინი):

sudo -u postgres psql -c "select pg_wal_replay_resume()"

სინამდვილეში, შესაძლებელია კონკრეტული სარეზერვო ასლის აღდგენა მისი სახელით. აქ მხოლოდ მე ვარ მე მივცემ ბმულს ამ ფუნქციის აღწერილობის შესახებ დოკუმენტაციაში. დეველოპერები გვირჩევენ ამ პარამეტრის სიფრთხილით გამოყენებას და ხსნიან რატომ. შემიძლია დავამატო, რომ გამოვიყენე. თუ ნამდვილად გჭირდებათ, დარწმუნდით, რომ აღდგენის შემდეგ მონაცემთა ბაზიდან გამოდის აღდგენის რეჟიმი (აირჩიეთ pg_is_in_recovery() უნდა აჩვენოს „f“) და ყოველი შემთხვევისთვის გააკეთეთ სრული სარეზერვო ასლი აღდგენის შემდეგ.

3. დაიწყეთ კლასტერი:

sudo pg_ctlcluster 11 main start

სარეზერვო ასლის აღდგენის შემდეგ, ჩვენ უნდა გავაკეთოთ მეორე სარეზერვო ასლი:

საცავი (pgbackrest მომხმარებელი):

sudo pgbackrest --stanza=main backup

Სულ ეს არის. დასასრულს, მინდა შეგახსენოთ, რომ მე არანაირად არ ვცდილობ თავი მოვიქცე, როგორც უფროსი დბა და ოდნავი შესაძლებლობის შემთხვევაში გამოვიყენებ ღრუბლებს. ამჟამად მე თვითონ ვიწყებ სხვადასხვა თემების შესწავლას, როგორიცაა სარეზერვო, რეპლიკაცია, მონიტორინგი და ა.შ. და ვწერ მცირე ანგარიშებს შედეგების შესახებ, რათა მცირე წვლილი შევიტანო საზოგადოებაში და დავტოვო პატარა თაღლითური ფურცლები ჩემთვის.

შემდეგ სტატიებში შევეცდები ვისაუბრო დამატებით ფუნქციებზე - მონაცემთა აღდგენა სუფთა კლასტერში, სარეზერვო ასლების დაშიფვრა და S3-ში გამოქვეყნება, სარეზერვო ასლები rsync-ის საშუალებით.

წყარო: www.habr.com