pgbackrest를 사용한 증분 postgresql 백업 - 개발자가 제공하는 젊은 전사를 위한 과정

부인 성명

저는 개발자입니다. 나는 사용자로서만 코드를 작성하고 데이터베이스와 상호 작용합니다. 나는 결코 시스템 관리자인 척하지 않으며, dba는 말할 것도 없습니다. 하지만…

그래서 postgresql 데이터베이스의 백업을 구성해야 했습니다. 클라우드가 없습니다. SSH를 사용하여 돈을 요구하지 않고 모든 것이 작동하는지 확인하세요. 그러한 경우에는 어떻게 해야 합니까? 그렇습니다. pgdump를 cron에 푸시하고 모든 것을 매일 아카이브에 백업하고, 완전히 손실되면 이 아카이브를 먼 곳으로 보냅니다.

이번에는 계획에 따르면 데이터베이스가 하루에 약 +- 100MB씩 증가해야 한다는 것이 어려웠습니다. 물론 몇 주 후에는 pgdump로 모든 것을 백업하려는 욕구가 사라질 것입니다. 증분 백업이 구출되는 곳입니다.

흥미로운? 고양이에 오신 것을 환영합니다.

증분 백업은 모든 원본 파일을 복사하지 않고 새 파일과 이전 복사본 생성 이후 변경된 파일만 복사하는 백업 유형입니다.

(당시) 포스트그레스의 복잡한 부분을 이해하는 것을 전혀 꺼려했던 다른 개발자들처럼 나도 녹색 버튼을 찾고 싶었습니다. 아시다시피 AWS의 DigitalOcean에서는 버튼 하나를 눌렀고, 두 번째 버튼을 눌렀고, 백업을 설정했으며, 세 번째 버튼을 눌렀고, 모든 것을 몇 시간 후에 롤백했습니다. 버튼이나 아름다운 GUI 도구를 찾지 못했습니다. 당신이 알고 있는 것(무료 또는 저렴한 것)이 있다면 댓글에 적어주세요.

인터넷 검색 후 두 가지 도구를 찾았습니다. pgbarman и 백레스트. 나는 첫 번째 문서에서는 성공하지 못했지만(문서가 매우 부족하여 이전 매뉴얼에 따라 모든 것을 파악하려고 노력했습니다), 두 번째 문서에서는 문서가 동등한 것으로 판명되었지만 결함이 없는 것은 아닙니다. 유사한 작업에 직면한 사람들의 작업을 단순화하기 위해 이 기사가 작성되었습니다.

이 문서를 읽은 후에는 증분 백업을 만들고 이를 원격 서버(백업이 포함된 리포지토리)에 저장하고 데이터 손실이나 주 서버의 기타 문제가 발생할 경우 복원하는 방법을 배우게 됩니다.

훈련

매뉴얼을 재현하려면 두 개의 VPS가 필요합니다. 첫 번째는 저장소(백업이 저장될 저장소)이고 두 번째는 실제로 postgres가 있는 서버 자체(제 경우에는 postgres 버전 11)입니다.

postgres가 있는 서버에는 루트, sudo 사용자, postgres 사용자 및 postgres 자체가 설치되어 있다고 가정합니다(postgres 사용자는 postgresql 설치 시 자동으로 생성됨). 저장소 서버에는 루트 및 sudo 사용자가 있다고 가정합니다(매뉴얼 참조). 사용자 이름 pgbackrest가 사용됩니다).

지침을 재현할 때 문제가 덜 발생하도록 이탤릭체로 씁니다. 어디서, 어떤 사용자와 어떤 권한으로 명령을 실행했습니까? 기사를 작성하고 확인하는 동안.

pgbackrest 설치

저장소(사용자 pgbackrest):

1. pgbackrest에서 아카이브를 다운로드하고 해당 내용을 /build 폴더로 전송합니다.

sudo mkdir /build
sudo wget -q -O - 
       https://github.com/pgbackrest/pgbackrest/archive/release/2.18.tar.gz | 
       sudo tar zx -C /build

2. 조립에 필요한 종속성을 설치합니다.

sudo apt-get update
sudo apt-get install build-essential libssl-dev libxml2-dev libperl-dev zlib1g-dev 
       libpq-dev

3. pgbackrest 조립:

cd /build/pgbackrest-release-2.18/src && sudo ./configure
sudo make -s -C /build/pgbackrest-release-2.18/src

4. 실행 파일을 /usr/bin 디렉터리에 복사합니다.

sudo cp /build/pgbackrest-release-2.18/src/pgbackrest /usr/bin
sudo chmod 755 /usr/bin/pgbackrest

5. Pgbackrest에는 Perl이 필요합니다. 설치하다:

sudo apt-get install perl

6. 로그용 디렉터리를 생성하고 특정 권한을 부여합니다.

sudo mkdir -p -m 770 /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo mkdir -p /etc/pgbackrest
sudo mkdir -p /etc/pgbackrest/conf.d
sudo touch /etc/pgbackrest/pgbackrest.conf
sudo chmod 640 /etc/pgbackrest/pgbackrest.conf
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

7. 확인:

pgbackrest version

Postgres 서버(sudo 사용자 또는 루트):

postgres가 있는 서버에 pgbackrest를 설치하는 과정은 저장소의 설치 과정과 유사합니다(예, pgbackrest는 두 서버 모두에 설치되어야 합니다). 그러나 6번째 문단에서 두 번째와 마지막 명령은 다음과 같습니다.

sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

다음으로 교체:

sudo chown postgres:postgres /var/log/pgbackrest
sudo chown postgres:postgres /etc/pgbackrest/pgbackrest.conf

비밀번호 없는 SSH를 통해 서버 간 상호 작용 설정

pgbackrest가 올바르게 작동하려면 키 파일을 사용하여 postgres 서버와 저장소 간의 상호 작용을 구성해야 합니다.

저장소(사용자 pgbackrest):

키 쌍을 생성합니다:

mkdir -m 750 /home/pgbackrest/.ssh
ssh-keygen -f /home/pgbackrest/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

경고! sudo 없이 위의 명령을 실행합니다.

Postgres 서버(sudo 사용자 또는 루트):

키 쌍을 생성합니다:

sudo -u postgres mkdir -m 750 -p /var/lib/postgresql/.ssh
sudo -u postgres ssh-keygen -f /var/lib/postgresql/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

저장소(sudo 사용자):

postgres 서버의 공개 키를 저장소 서버에 복사합니다.

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@<postgres_server_ip> cat /var/lib/postgresql/.ssh/id_rsa.pub) | 
       sudo -u pgbackrest tee -a /home/pgbackrest/.ssh/authorized_keys

이 단계에서는 루트 사용자의 비밀번호를 묻는 메시지가 표시됩니다. Postgres 서버의 루트 사용자 비밀번호를 입력해야 합니다!

Postgres 서버(sudo 사용자):

postgres를 사용하여 저장소 공개 키를 서버에 복사합니다.

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@<repository_server_ip> cat /home/pgbackrest/.ssh/id_rsa.pub) | 
       sudo -u postgres tee -a /var/lib/postgresql/.ssh/authorized_keys

이 단계에서는 루트 사용자의 비밀번호를 묻는 메시지가 표시됩니다. 저장소 루트 사용자의 비밀번호를 정확히 입력해야 합니다!

우리는 다음을 확인합니다.

저장소(실험의 순수성을 위해 루트 사용자):

sudo -u pgbackrest ssh postgres@<postgres_server_ip>

Postgres 서버(실험의 순수성을 위해 루트 사용자):

sudo -u postgres ssh pgbackrest@<repository_server_ip>

우리는 문제 없이 접근할 수 있도록 보장합니다.

포스트그레스 서버 설정

Postgres 서버(sudo 사용자 또는 루트):

1. 외부 IP에서 postgres 서버를 노크하는 것을 허용합시다. 이렇게 하려면 파일을 편집하세요. postgresql.conf (/etc/postgresql/11/main 폴더에 위치) 다음 줄을 추가합니다.

listen_addresses = '*'

해당 행이 이미 존재하는 경우 주석 처리를 해제하거나 매개변수 값을 '*'로 설정하십시오.

파일에서 pg_hba.conf (폴더에도 위치 /etc/postgresql/11/main) 다음 줄을 추가합니다.

hostssl  all  all  0.0.0.0/0  md5
host  all  all  0.0.0.0/0  md5

지역 :

hostssl/host - подключаемся через SSL (или нет)
all - разрешаем подключение ко всем базам
all - имя пользователя, которому разрешаем подключение (всем)
0.0.0.0/0 - маска сети с которой можно подключаться
md5 - способ шифрования пароля

2. 필요한 설정을 해보자 postgresql.conf (폴더에 있어요 /etc/postgresql/11/main) pgbackrest가 작동하려면 다음을 수행하세요.

archive_command = 'pgbackrest --stanza=main archive-push %p' # Где main - название кластера. При установке postgres автоматически создает кластер main.
archive_mode = on
max_wal_senders = 3
wal_level = replica

3. pgbackrest 구성 파일(/etc/pgbackrest/pgbackrest.conf)에 필요한 설정을 지정해 보겠습니다.

[main]
pg1-path=/var/lib/postgresql/11/main

[global]
log-level-file=detail
repo1-host=<repository_server_ip>

4. postgresql을 다시 로드합니다.

sudo service postgresql restart

리포지토리 서버 설정

저장소(pgbackrest 사용자):

구성 파일에 필요한 설정을 해보자 백레스트
(/etc/pgbackrest/pgbackrest.conf):

[main]
pg1-host=<postgres_server_ip>
pg1-path=/var/lib/postgresql/11/main

[global]
repo1-path=/var/lib/pgbackrest
repo1-retention-full=2 # Параметр, указывающий сколько хранить полных бэкапов. Т.е. если у вас есть два полных бэкапа и вы создаете третий, то самый старый бэкап будет удален. Можно произносить как "хранить не более двух бэкапов" - по аналогии с ротациями логов. Спасибо @Aytuar за исправление ошибки.
start-fast=y # Начинает резервное копирование немедленно, прочитать про этот параметр можно тут https://postgrespro.ru/docs/postgrespro/9.5/continuous-archiving

저장소 만들기

저장소(pgbackrest 사용자):

클러스터를 위한 새 스토리지 만들기 본관:

sudo mkdir -m 770 /var/lib/pgbackrest
sudo chown -R pgbackrest /var/lib/pgbackrest/
sudo -u pgbackrest pgbackrest --stanza=main stanza-create

Проверка

Postgres 서버(sudo 사용자 또는 루트):

postgres 서버를 확인합니다.

sudo -u postgres pgbackrest --stanza=main --log-level-console=info check

저장소(pgbackrest 사용자):

저장소 서버를 확인합니다.

sudo -u pgbackrest pgbackrest --stanza=main --log-level-console=info check

출력에 "check command end:completedically"라는 줄이 표시되는지 확인합니다.

피곤한? 가장 흥미로운 부분으로 넘어가겠습니다.

백업하기

저장소(pgbackrest 사용자):

1. 백업을 수행합니다.

sudo -u pgbackrest pgbackrest --stanza=main backup

2. 백업이 생성되었는지 확인합니다.

ls /var/lib/pgbackrest/backup/main/

Pgbackrest는 첫 번째 전체 백업을 생성합니다. 원하는 경우 백업 명령을 다시 실행하여 시스템이 증분 백업을 생성하는지 확인할 수 있습니다.

전체 백업을 다시 수행하려면 추가 플래그를 지정하십시오.

sudo -u pgbackrest pgbackrest --stanza=main --type=full backup

자세한 콘솔 출력을 원할 경우 다음도 지정하십시오.

sudo -u pgbackrest pgbackrest --stanza=main --type=full --log-level-console=info backup

백업 복원

Postgres 서버(sudo 사용자 또는 루트):

1. 실행 중인 클러스터를 중지합니다.

sudo pg_ctlcluster 11 main stop

2. 백업에서 복원:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info --delta --recovery-option=recovery_target=immediate restore

데이터베이스를 마지막 전체 백업 상태로 복원하려면 Recovery_target을 지정하지 않고 다음 명령을 사용하십시오.

sudo -u postgres pgbackrest --stanza=main --log-level-console=info --delta restore

중요한! 복구 후에는 데이터베이스가 복구 모드에서 중단될 수 있습니다(ERROR: Cannot run DROP DATABASE in a read-only transaction). 솔직히 말해서 이것이 무엇과 연결되어 있는지 아직 이해하지 못했습니다. 해결 방법은 다음과 같습니다(명령이 실행된 후 잠시 기다려야 합니다).

sudo -u postgres psql -c "select pg_wal_replay_resume()"

실제로 특정 백업을 이름으로 복원하는 것이 가능합니다. 여기 나만 있어요 문서에서 이 기능에 대한 설명에 대한 링크를 제공하겠습니다.. 개발자는 이 옵션을 주의해서 사용할 것을 권장하고 그 이유를 설명합니다. 내가 그것을 사용했다고 스스로 덧붙일 수 있습니다. 꼭 필요한 경우에는 복구 후 데이터베이스가 복구 모드를 종료하는지 확인하고(pg_is_in_recovery()에서 "f"를 표시해야 함) 만일을 대비해 복구 후 전체 백업을 만드세요.

3. 클러스터를 시작합니다.

sudo pg_ctlcluster 11 main start

백업을 복원한 후 두 번째 백업을 수행해야 합니다.

저장소(pgbackrest 사용자):

sudo pgbackrest --stanza=main backup

그게 다야. 결론적으로 저는 결코 수석 DBA인 척하려는 것이 아니며 아주 작은 기회라도 클라우드를 사용할 것임을 상기시키고 싶습니다. 현재 저는 백업, 복제, 모니터링 등 다양한 주제로 공부를 시작하고 있습니다. 그리고 커뮤니티에 작은 기여를 하기 위해 결과에 대한 작은 보고서를 작성하고 작은 치트 시트를 나 자신에게도 남깁니다.

다음 기사에서는 클린 클러스터로 데이터 복구, 백업 암호화 및 S3에 게시, rsync를 통한 백업 등 추가 기능에 대해 설명하겠습니다.

출처 : habr.com