WAL-G: backup i obnova PostgreSQL baze podataka

Već dugo je poznato da pravljenje rezervnih kopija u SQL dump-ova (koristeći pg_dump ili pg_dumpall) – nije najbolja ideja. Za rezervno kopiranje PostgreSQL baze podataka bolje je koristiti komandu pg_basebackup, koja pravi binarnu kopiju WAL dnevnika. Ali kada počnete da proučavate ceo proces pravljenja kopije i obnavljanja, shvatićete da treba da napišete najmanje nekoliko tricikala kako bi sve to radilo i ne izazvalo bol ni gore ni dole. Kako bi se olakšale muke, razvijen je WAL-G.

WAL-G – je alat napisan u Go jeziku za rezervno kopiranje i obnovu PostgreSQL baza podataka (a od nedavno i MySQL/MariaDB, MongoDB i FoundationDB). Podržava rad sa skladištima Amazon S3 (i sličnim, kao što je Yandex Object Storage), kao i Google Cloud Storage, Azure Storage, Swift Object Storage i jednostavno sa datotečkim sistemom. Cela konfiguracija se svodi na jednostavne korake, ali zbog toga što su članci o njemu raštrkani po internetu – nema potpunog priručnika koji bi obuhvatao sve korake od početka do kraja (na Habré postoji nekoliko postova, ali mnoge stvari su propuštene).

WAL-G: backup i obnova PostgreSQL baze podataka

Ovaj članak je pisan prvenstveno da sistematizuje svoja saznanja. Nisam DBA i negde mogu koristiti jezik običnog programera, pa su svi ispravci dobrodošli!

Posebno ću napomenuti da je sve što sledi aktrualno i provereno za PostgreSQL 12.3 na Ubuntu 18.04, sve komande treba izvoditi od privilegovanog korisnika.

Instalacija

U trenutku pisanja ovog članka, stabilna verzija WAL-G je v0.2.15 (mart 2020). Nju ćemo i koristiti (ali ako želite sami da je napravite iz master grane, u repozitorijumu na github-u su sve instrukcije za to). Da bismo preuzeli i instalirali, potrebno je izvršiti:

#!/bin/bash

curl -L "https://github.com/wal-g/wal-g/releases/download/v0.2.15/wal-g.linux-amd64.tar.gz" -o "wal-g.linux-amd64.tar.gz"
tar -xzf wal-g.linux-amd64.tar.gz
mv wal-g /usr/local/bin/

Nakon toga, prvo treba konfigurisati WAL-G, a zatim sam PostgreSQL.

Podešavanje WAL-G

Za primer skladištenja rezervnih kopija koristićemo Amazon S3 (jer je bliži mojim serverima i korišćenje je veoma jeftino). Za rad s njim potreban je 's3-baket' i pristupni ključevi.

U svim prethodnim člancima o WAL-G korišćena je konfiguracija putem promenljivih okruženja, ali sa ovim izdanjem podešavanja mogu biti smeštena u .walg.json fajlu u matičnoj direktoriji korisnika postgres. Da bismo ga kreirali, izvršićemo sledeći bash skript:

#!/bin/bash

cat > /var/lib/postgresql/.walg.json << EOF
{
    "WALG_S3_PREFIX": "s3://your_bucket/path",
    "AWS_ACCESS_KEY_ID": "key_id",
    "AWS_SECRET_ACCESS_KEY": "secret_key",
    "WALG_COMPRESSION_METHOD": "brotli",
    "WALG_DELTA_MAX_STEPS": "5",
    "PGDATA": "/var/lib/postgresql/12/main",
    "PGHOST": "/var/run/postgresql/.s.PGSQL.5432"
}
EOF
# обязательно меняем владельца файла:
chown postgres: /var/lib/postgresql/.walg.json

Malo ću objasniti sve parametre:

  • WALG_S3_PREFIX – putanja do vašeg S3 bazena u koji će se učitavati sigurnosne kopije (može biti u korenu ili u fascikli);
  • AWS_ACCESS_KEY_ID – pristupni ključ za S3 (u slučaju oporavka na testnom serveru – ti ključevi moraju imati ReadOnly Policy! O tome je detaljno pisano u odeljku o oporavku);
  • AWS_SECRET_ACCESS_KEY – tajni ključ u S3 skladištu;
  • WALG_COMPRESSION_METHOD – metoda kompresije, najbolje je koristiti Brotli (to je zlatna sredina između konačne veličine i brzine kompresije/dekompresije);
  • WALG_DELTA_MAX_STEPS – broj „delta” pre stvaranja pune sigurnosne kopije (omogućavaju uštedu vremena i veličine preuzetih podataka, ali mogu malo usporiti proces oporavka, stoga nije preporučljivo koristiti velike vrednosti);
  • PGDATA – putanja do direktorijuma sa podacima vaše baze (može se saznati izvršavanjem komande pg_lsclusters);
  • PGHOST – povezivanje na bazu, za lokalne sigurnosne kopije najbolje je koristiti unix-socket kao u ovom primeru.

Ostale parametre možete pogledati u dokumentaciji: https://github.com/wal-g/wal-g/blob/v0.2.15/PostgreSQL.md#configuration.

Postavke PostgreSQL-a

Da bi arhivator unutar baze sam učitavao WAL dnevnike u oblak i oporavljao se iz njih (u slučaju potrebe) – potrebno je postaviti nekoliko parametara u konfiguracionom fajlu /etc/postgresql/12/main/postgresql.conf. Samo prvo morate se uveriti, da nijedna od sledećih postavki nije postavljena na druge vrednosti, kako bi se pri ponovnom učitavanju konfiguracije – SDBD ne srušila. Ove parametre možete dodati pomoću:

#!/bin/bash

echo "wal_level=replica" >> /etc/postgresql/12/main/postgresql.conf
echo "archive_mode=on" >> /etc/postgresql/12/main/postgresql.conf
echo "archive_command='/usr/local/bin/wal-g wal-push "%p" >> /var/log/postgresql/archive_command.log 2>&1' " >> /etc/postgresql/12/main/postgresql.conf
echo “archive_timeout=60” >> /etc/postgresql/12/main/postgresql.conf
echo "restore_command='/usr/local/bin/wal-g wal-fetch "%f" "%p" >> /var/log/postgresql/restore_command.log 2>&1' " >> /etc/postgresql/12/main/postgresql.conf

# перезагружаем конфиг через отправку SIGHUP сигнала всем процессам БД
killall -s HUP postgres

Opis postavljenih parametara:

  • wal_level – koliko informacija pisati u WAL dnevnike, „replica” – pisati sve;
  • archive_mode – uključivanje učitavanja WAL dnevnika korišćenjem komande iz parametra archive_command;
  • archive_command – komanda za arhiviranje završenog WAL dnevnika;
  • archive_timeout – arhiviranje dnevnica se vrši samo kada je završen, ali ako vaš server malo menja/dodaje podataka u Bazu, ima smisla postaviti limit u sekundama, nakon čega će se komanda arhiviranja pozvati prisilno (kod mene je intenzivno pisanje u bazu svake sekunde, zato sam odustao od postavljanja ovog parametra u produkciji);
  • restore_command – komanda za oporavak WAL dnevnika iz sigurnosne kopije, koristiće se u slučaju da u „puno sigurnosnoj kopiji” (base backup) nedostaju poslednje promene u Bazi.

Više o svim ovim parametrima možete pročitati u prevodu zvanične dokumentacije: https://postgrespro.ru/docs/postgresql/12/runtime-config-wal.

Podešavanje rasporeda sigurnosnog kopiranja

Kako god okrenete, najpogodniji način za pokretanje je cron. Upravo ćemo njega podesiti za kreiranje rezervnih kopija. Počinjemo s komandnom za kreiranje kompletnog bekapa: u wal-g to je argument pokretanja. backup-push. Međutim, bolje je prvo izvršiti ovu komandu ručno kao korisnik postgres, kako bismo se uverili da je sve u redu (i da nema grešaka u pristupu):

#!/bin/bash

su - postgres -c '/usr/local/bin/wal-g backup-push /var/lib/postgresql/12/main'

U argumentima pokretanja naveden je put do direktorijuma sa podacima – podsećam da se može saznati izvršavanjem pg_lsclusters.

Ako je sve prošlo bez grešaka i podaci su učitani u S3 skladište, sledeće što možete uraditi je postaviti periodično pokretanje u crontab:

#!/bin/bash

echo "15 4 * * *    /usr/local/bin/wal-g backup-push /var/lib/postgresql/12/main >> /var/log/postgresql/walg_backup.log 2>&1" >> /var/spool/cron/crontabs/postgres
# задаем владельца и выставляем правильные права файлу
chown postgres: /var/spool/cron/crontabs/postgres
chmod 600 /var/spool/cron/crontabs/postgres

U ovom primeru proces bekapa pokreće se svakog dana u 4:15 ujutro.

Brisanje starih rezervnih kopija

Verovatno vam nije potrebno da čuvate apsolutno sve bekape iz doba mezozoika, stoga će biti korisno povremeno 'počistiti' vaše skladište (i 'potpune bekape' i WAL dnevnike). To ćemo uraditi takođe kroz cron zadatak:

#!/bin/bash

echo "30 6 * * *    /usr/local/bin/wal-g delete before FIND_FULL $(date -d '-10 days' '+%FT%TZ') --confirm >> /var/log/postgresql/walg_delete.log 2>&1" >> /var/spool/cron/crontabs/postgres
# ещё раз задаем владельца и выставляем правильные права файлу (хоть это обычно это и не нужно повторно делать)
chown postgres: /var/spool/cron/crontabs/postgres
chmod 600 /var/spool/cron/crontabs/postgres

Cron će izvršavati ovaj zadatak svakog dana u 6:30 ujutro, brišući sve (potpune bekape, delte i WAL-ove) osim kopija starijih od 10 dana, ali će zadržati barem jedan bekap do od navedene datume, kako bi svaka tačka posle datuma bila dostupna u PITR.

Obnavljanje iz rezervne kopije

Nije tajna da je ključ zdravih baza podataka periodično obnavljanje i provera integriteta podataka unutra. Kako se obnoviti uz pomoć WAL-G – objasniću u ovom odeljku, a o proverama ćemo razgovarati kasnije.

Ono što vredi napomenuti je da za obnavljanje na testnom okruženju (sve što nije produkcija) – treba koristiti Read Only nalog u S3, da ne bi slučajno prepisali bekape. U slučaju WAL-G, potrebno je dodeliti korisniku S3 sledeće dozvole u Grupi Politika (Effect: Allow): s3:GetObject, s3:ListBucket, s3:GetBucketLocation. I, naravno, prethodno ne zaboraviti postaviti archive_mode=off u konfiguracionoj datoteci postgresql.conf, kako vaša testna baza ne bi tiho napravila bekap.

Obnavljanje se vrši laganim pokretom ruke sa brisanje svih podataka PostgreSQL uključujući korisnike, stoga budite veoma pažljivi kada pokrećete sledeće komande.

#!/bin/bash

# если есть балансировщик подключений (например, pgbouncer), то вначале отключаем его, чтобы он не нарыгал ошибок в лог
service pgbouncer stop
# если есть демон, который перезапускает упавшие процессы (например, monit), то останавливаем в нём процесс мониторинга базы (у меня это pgsql12)
monit stop pgsql12
# или останавливаем мониторинг полностью
service monit stop
# останавливаем саму базу данных
service postgresql stop
# удаляем все данные из текущей базы (!!!); лучше предварительно сделать их копию, если есть свободное место на диске
rm -rf /var/lib/postgresql/12/main
# скачиваем резервную копию и разархивируем её
su - postgres -c '/usr/local/bin/wal-g backup-fetch /var/lib/postgresql/12/main LATEST'
# помещаем рядом с базой специальный файл-сигнал для восстановления (см. https://postgrespro.ru/docs/postgresql/12/runtime-config-wal#RUNTIME-CONFIG-WAL-ARCHIVE-RECOVERY ), он обязательно должен быть создан от пользователя postgres
su - postgres -c 'touch /var/lib/postgresql/12/main/recovery.signal'
# запускаем базу данных, чтобы она инициировала процесс восстановления
service postgresql start

Za one koji žele provjeriti proces obnove — u nastavku je pripremljen mali dio bash-magije kako bi se, u slučaju problema s obnovom, skripta prekinula s nenultim exit kodom. U ovom primjeru vrši se 120 provjera s timeoutom od 5 sekundi (ukupno 10 minuta za obnovu) kako bismo saznali je li signalna datoteka izbrisana (to bi značilo da je obnova uspješno prošla):

#!/bin/bash

CHECK_RECOVERY_SIGNAL_ITER=0
while [ ${CHECK_RECOVERY_SIGNAL_ITER} -le 120 ]
do
    if [ ! -f "/var/lib/postgresql/12/main/recovery.signal" ]
    then
        echo "recovery.signal removed"
        break
    fi
    sleep 5
    ((CHECK_RECOVERY_SIGNAL_ITER+1))
done

# если после всех проверок файл всё равно существует, то падаем с ошибкой
if [ -f "/var/lib/postgresql/12/main/recovery.signal" ]
then
    echo "recovery.signal still exists!"
    exit 17
fi

Nakon uspješne obnove, ne zaboravite ponovno pokrenuti sve procese (pgbouncer/monit itd.).

Provjera podataka nakon obnove

Obavezno je provjeriti cjelovitost baze nakon obnove, kako ne bi došlo do situacije s oštećenom/kvarnom sigurnosnom kopijom. I bolje je raditi to s svakim kreiranim arhivom, ali gdje i kako — ovisi samo o vašoj mašti (možete pokrenuti zasebne servere s plaćanjem po satu ili pokrenuti provjeru u CI). No, minimalno — potrebno je provjeriti podatke i indekse u bazi.

Za provjeru podataka dovoljno je proći ih kroz dump, ali bolje bi bilo da su prilikom kreiranja baze bile uključene kontrolne sume (data checksums):

#!/bin/bash

if ! su - postgres -c 'pg_dumpall > /dev/null'
then
    echo 'pg_dumpall failed'
    exit 125
fi

Za provjeru indeksa — postoji modul amcheck, a SQL upit ćemo uzeti iz testova WAL-G i oko toga ćemo izgraditi malu logiku:

#!/bin/bash

# добавляем sql-запрос для проверки в файл во временной директории
cat > /tmp/amcheck.sql << EOF
CREATE EXTENSION IF NOT EXISTS amcheck;
SELECT bt_index_check(c.oid), c.relname, c.relpages
FROM pg_index i
JOIN pg_opclass op ON i.indclass[0] = op.oid
JOIN pg_am am ON op.opcmethod = am.oid
JOIN pg_class c ON i.indexrelid = c.oid
JOIN pg_namespace n ON c.relnamespace = n.oid
WHERE am.amname = 'btree'
AND c.relpersistence != 't'
AND i.indisready AND i.indisvalid;
EOF
chown postgres: /tmp/amcheck.sql

# добавляем скрипт для запуска проверок всех доступных баз в кластере
# (обратите внимание что переменные и запуск команд – экранированы)
cat > /tmp/run_amcheck.sh << EOF
for DBNAME in $(su - postgres -c 'psql -q -A -t -c "SELECT datname FROM pg_database WHERE datistemplate = false;" ')
do
    echo "Database: ${DBNAME}"
    su - postgres -c "psql -f /tmp/amcheck.sql -v 'ON_ERROR_STOP=1' ${DBNAME}" && EXIT_STATUS=$? || EXIT_STATUS=$?
    if [ "${EXIT_STATUS}" -ne 0 ]
    then
        echo "amcheck failed on DB: ${DBNAME}"
        exit 125
    fi
done
EOF
chmod +x /tmp/run_amcheck.sh

# запускаем скрипт
/tmp/run_amcheck.sh > /tmp/amcheck.log

# для проверки что всё прошло успешно можно проверить exit code или grep’нуть ошибку
if grep 'amcheck failed' "/tmp/amcheck.log"
then
    echo 'amcheck failed: '
    cat /tmp/amcheck.log
    exit 125
fi

S obzirom

Izražavam zahvalnost Andreju Borodinu za pomoć u pripremi publikacije i posebno hvala za njegov doprinos razvoju WAL-G!

Ovdje završava ova bilješka. Nadam se da sam uspio prenijeti lakoću postavljanja i ogroman potencijal za korištenje ovog alata u vašoj kompaniji. Čuo sam mnogo o WAL-G, ali nikako nisam imao vremena sjesti i razumjeti. A nakon što sam ga implementirao kod sebe — iz mene je izašao ovaj članak.

Odvojeno se treba napomenuti da WAL-G također može raditi s sljedećim DBMS-ima:

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster