pgbackrest સાથે ઇન્ક્રીમેન્ટલ postgresql બેકઅપ્સ - ડેવલપર તરફથી યુવાન ફાઇટર માટેનો કોર્સ

અસ્વીકરણ

હું ડેવલપર છું. હું કોડ લખું છું અને માત્ર એક વપરાશકર્તા તરીકે ડેટાબેઝ સાથે સંપર્ક કરું છું. હું કોઈ પણ રીતે સિસ્ટમ એડમિનિસ્ટ્રેટર હોવાનો ઢોંગ કરતો નથી, ડીબીએ કરતાં ઘણું ઓછું. પણ…

એવું થયું કે મારે postgresql ડેટાબેઝનું બેકઅપ ગોઠવવાની જરૂર છે. કોઈ વાદળો નથી - ફક્ત SSH નો ઉપયોગ કરો અને ખાતરી કરો કે પૈસા માંગ્યા વિના બધું કામ કરે છે. આવા કિસ્સાઓમાં આપણે શું કરીએ? તે સાચું છે, અમે pgdump ને ક્રોનમાં દબાણ કરીએ છીએ, દરરોજ આર્કાઇવમાં દરેક વસ્તુનો બેકઅપ લઈએ છીએ, અને જો આપણે સંપૂર્ણપણે ખોવાઈ જઈએ, તો અમે આ આર્કાઇવને ક્યાંક દૂર મોકલીએ છીએ.

આ વખતે મુશ્કેલી એ હતી કે યોજનાઓ અનુસાર ડેટાબેઝ લગભગ +- 100 MB પ્રતિ દિવસ વધવાનો હતો. અલબત્ત, થોડા અઠવાડિયા પછી pgdump સાથે બધું બેકઅપ લેવાની ઇચ્છા અદૃશ્ય થઈ જશે. આ તે છે જ્યાં વધારાના બેકઅપ્સ બચાવમાં આવે છે.

રસપ્રદ? બિલાડીમાં આપનું સ્વાગત છે.

ઇન્ક્રીમેન્ટલ બેકઅપ એ બેકઅપનો એક પ્રકાર છે જ્યારે બધી સ્રોત ફાઇલોની નકલ કરવામાં આવતી નથી, પરંતુ ફક્ત નવી અને તે જે અગાઉની નકલની રચના પછી બદલાઈ છે.

કોઈપણ વિકાસકર્તાની જેમ જે પોસ્ટગ્રેસની જટિલતાઓને સમજવા માટે (તે સમયે) સંપૂર્ણપણે અનિચ્છા ધરાવતા હતા, હું ગ્રીન બટન શોધવા માંગતો હતો. સારું, તમે જાણો છો, જેમ કે AWS, DigitalOcean માં: તમે એક બટન દબાવ્યું - તમને પ્રતિકૃતિ મળી, તમે બીજું દબાવ્યું - તમે બેકઅપ સેટ કર્યું, ત્રીજું - તમે બધું થોડા કલાકો પાછળ ફેરવ્યું. મને કોઈ બટન અથવા સુંદર GUI ટૂલ મળ્યું નથી. જો તમે એક (મફત અથવા સસ્તું) જાણો છો, તો ટિપ્પણીઓમાં તેના વિશે લખો.

ગૂગલિંગ પછી મને બે ટૂલ્સ મળ્યાં pgbarman и pgbackrest. હું ફક્ત પ્રથમ સાથે સફળ થયો ન હતો (ખૂબ જ છૂટાછવાયા દસ્તાવેજો, મેં જૂના માર્ગદર્શિકા અનુસાર બધું જ આકૃતિ કરવાનો પ્રયાસ કર્યો), પરંતુ બીજા સાથે દસ્તાવેજીકરણ સમાન હોવાનું બહાર આવ્યું, પરંતુ ભૂલો વિના નહીં. જેઓ સમાન કાર્યનો સામનો કરી રહ્યા છે તેમના કાર્યને સરળ બનાવવા માટે, આ લેખ લખવામાં આવ્યો હતો.

આ લેખ વાંચ્યા પછી, તમે શીખી શકશો કે ઇન્ક્રીમેન્ટલ બેકઅપ કેવી રીતે બનાવવું, તેને રિમોટ સર્વર (બેકઅપ સાથે રીપોઝીટરી) પર કેવી રીતે સેવ કરવું અને મુખ્ય સર્વર પર ડેટા નુકશાન અથવા અન્ય સમસ્યાઓના કિસ્સામાં તેને પુનઃસ્થાપિત કરવું.

તાલીમ

મેન્યુઅલનું પુનઃઉત્પાદન કરવા માટે તમારે બે VPS ની જરૂર પડશે. પ્રથમ સ્ટોરેજ હશે (રિપોઝીટરી કે જેના પર બેકઅપ્સ સંગ્રહિત કરવામાં આવશે), અને બીજું, હકીકતમાં, સર્વર પોતે પોસ્ટગ્રેસ સાથે (મારા કિસ્સામાં, પોસ્ટગ્રેસનું સંસ્કરણ 11).

એવું માનવામાં આવે છે કે પોસ્ટગ્રેસ સાથેના સર્વર પર તમારી પાસે રૂટ, સુડો વપરાશકર્તા, પોસ્ટગ્રેસ વપરાશકર્તા છે અને પોસ્ટગ્રેસ પોતે ઇન્સ્ટોલ કરેલું છે (પોસ્ટગ્રેસ્કલ ઇન્સ્ટોલ કરતી વખતે પોસ્ટગ્રેસ વપરાશકર્તા આપમેળે બનાવવામાં આવે છે), અને રીપોઝીટરી સર્વર પર રુટ અને સુડો વપરાશકર્તા છે (મેન્યુઅલમાં વપરાશકર્તા નામ pgbackrest નો ઉપયોગ કરવામાં આવશે).

જેથી સૂચનાઓનું પુનઃઉત્પાદન કરતી વખતે તમને ઓછી સમસ્યાઓ નડે, હું ત્રાંસા અક્ષરોમાં લખું છું ક્યાં, કયા વપરાશકર્તા સાથે અને કયા અધિકારો સાથે મેં આદેશનો અમલ કર્યો લેખ લખતી વખતે અને તપાસતી વખતે.

pgbackrest ઇન્સ્ટોલ કરી રહ્યું છે

રીપોઝીટરી (વપરાશકર્તા pgbackrest):

1. pgbackrest પરથી આર્કાઇવ ડાઉનલોડ કરો અને તેના સમાવિષ્ટોને /build ફોલ્ડરમાં સ્થાનાંતરિત કરો:

sudo mkdir /build
sudo wget -q -O - 
       https://github.com/pgbackrest/pgbackrest/archive/release/2.18.tar.gz | 
       sudo tar zx -C /build

2. એસેમ્બલી માટે જરૂરી નિર્ભરતા સ્થાપિત કરો:

sudo apt-get update
sudo apt-get install build-essential libssl-dev libxml2-dev libperl-dev zlib1g-dev 
       libpq-dev

3. એસેમ્બલિંગ pgbackrest:

cd /build/pgbackrest-release-2.18/src && sudo ./configure
sudo make -s -C /build/pgbackrest-release-2.18/src

4. એક્ઝેક્યુટેબલ ફાઇલને /usr/bin ડિરેક્ટરીમાં કૉપિ કરો:

sudo cp /build/pgbackrest-release-2.18/src/pgbackrest /usr/bin
sudo chmod 755 /usr/bin/pgbackrest

5. Pgbackrest ને પર્લની જરૂર છે. ઇન્સ્ટોલ કરો:

sudo apt-get install perl

6. લોગ માટે ડિરેક્ટરીઓ બનાવો, તેમને ચોક્કસ અધિકાર આપો:

sudo mkdir -p -m 770 /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo mkdir -p /etc/pgbackrest
sudo mkdir -p /etc/pgbackrest/conf.d
sudo touch /etc/pgbackrest/pgbackrest.conf
sudo chmod 640 /etc/pgbackrest/pgbackrest.conf
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

7. તપાસો:

pgbackrest version

પોસ્ટગ્રેસ સર્વર (સુડો વપરાશકર્તા અથવા રૂટ):

પોસ્ટગ્રેસ સાથે સર્વર પર pgbackrest ઇન્સ્ટોલ કરવાની પ્રક્રિયા રીપોઝીટરી પર ઇન્સ્ટોલેશન પ્રક્રિયા જેવી જ છે (હા, pgbackrest બંને સર્વર પર ઇન્સ્ટોલ કરવું આવશ્યક છે), પરંતુ 6ઠ્ઠા ફકરામાં બીજા અને છેલ્લા આદેશો:

sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

સાથે બદલો:

sudo chown postgres:postgres /var/log/pgbackrest
sudo chown postgres:postgres /etc/pgbackrest/pgbackrest.conf

પાસવર્ડ રહિત SSH દ્વારા સર્વર વચ્ચે ક્રિયાપ્રતિક્રિયા સેટ કરવી

pgbackrest યોગ્ય રીતે કામ કરવા માટે, કી ફાઇલનો ઉપયોગ કરીને પોસ્ટગ્રેસ સર્વર અને રીપોઝીટરી વચ્ચેની ક્રિયાપ્રતિક્રિયાને રૂપરેખાંકિત કરવી જરૂરી છે.

રીપોઝીટરી (વપરાશકર્તા pgbackrest):

કી જોડી બનાવો:

mkdir -m 750 /home/pgbackrest/.ssh
ssh-keygen -f /home/pgbackrest/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

સાવધાન આપણે ઉપરોક્ત આદેશો સુડો વગર ચલાવીએ છીએ.

પોસ્ટગ્રેસ સર્વર (સુડો વપરાશકર્તા અથવા રૂટ):

કી જોડી બનાવો:

sudo -u postgres mkdir -m 750 -p /var/lib/postgresql/.ssh
sudo -u postgres ssh-keygen -f /var/lib/postgresql/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

રીપોઝીટરી (સુડો વપરાશકર્તા):

પોસ્ટગ્રેસ સર્વરની સાર્વજનિક કીને રિપોઝીટરી સર્વર પર કૉપિ કરો:

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@<postgres_server_ip> cat /var/lib/postgresql/.ssh/id_rsa.pub) | 
       sudo -u pgbackrest tee -a /home/pgbackrest/.ssh/authorized_keys

આ પગલા પર તમને રૂટ વપરાશકર્તા માટે પાસવર્ડ માટે પૂછવામાં આવશે. તમારે પોસ્ટગ્રેસ સર્વરના રૂટ વપરાશકર્તાનો પાસવર્ડ દાખલ કરવાની જરૂર છે!

પોસ્ટગ્રેસ સર્વર (સુડો વપરાશકર્તા):

પોસ્ટગ્રેસ સાથે સર્વર પર રીપોઝીટરી પબ્લિક કીની નકલ કરો:

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@<repository_server_ip> cat /home/pgbackrest/.ssh/id_rsa.pub) | 
       sudo -u postgres tee -a /var/lib/postgresql/.ssh/authorized_keys

આ પગલા પર તમને રૂટ વપરાશકર્તા માટે પાસવર્ડ માટે પૂછવામાં આવશે. તમારે રીપોઝીટરીના રૂટ વપરાશકર્તાનો બરાબર પાસવર્ડ દાખલ કરવાની જરૂર છે!

તપાસ કરી રહ્યું છે:

રીપોઝીટરી (રુટ યુઝર, પ્રયોગની શુદ્ધતા માટે):

sudo -u pgbackrest ssh postgres@<postgres_server_ip>

પોસ્ટગ્રેસ સર્વર (રુટ વપરાશકર્તા, પ્રયોગની શુદ્ધતા માટે):

sudo -u postgres ssh pgbackrest@<repository_server_ip>

અમે ખાતરી કરીએ છીએ કે અમને સમસ્યા વિના ઍક્સેસ મળે.

પોસ્ટગ્રેસ સર્વર સેટ કરી રહ્યું છે

પોસ્ટગ્રેસ સર્વર (સુડો વપરાશકર્તા અથવા રૂટ):

1. ચાલો બાહ્ય IP માંથી પોસ્ટગ્રેસ સર્વર પર કઠણ કરવાની મંજૂરી આપીએ. આ કરવા માટે, ફાઇલમાં ફેરફાર કરો postgresql.conf (/etc/postgresql/11/main ફોલ્ડરમાં સ્થિત છે), તેમાં લીટી ઉમેરીને:

listen_addresses = '*'

જો આવી લીટી પહેલાથી જ અસ્તિત્વમાં છે, તો કાં તો તેને અનકોમેન્ટ કરો અથવા પેરામીટરની કિંમત '*' તરીકે સેટ કરો.

ફાઈલમાં pg_hba.conf (ફોલ્ડરમાં પણ સ્થિત છે /etc/postgresql/11/main) નીચેની લીટીઓ ઉમેરો:

hostssl  all  all  0.0.0.0/0  md5
host  all  all  0.0.0.0/0  md5

ક્યાં:

hostssl/host - подключаемся через SSL (или нет)
all - разрешаем подключение ко всем базам
all - имя пользователя, которому разрешаем подключение (всем)
0.0.0.0/0 - маска сети с которой можно подключаться
md5 - способ шифрования пароля

2. ચાલો જરૂરી સેટિંગ્સ કરીએ postgresql.conf (તે ફોલ્ડરમાં છે /etc/postgresql/11/main) pgbackrest કામ કરવા માટે:

archive_command = 'pgbackrest --stanza=main archive-push %p' # Где main - название кластера. При установке postgres автоматически создает кластер main.
archive_mode = on
max_wal_senders = 3
wal_level = replica

3. ચાલો pgbackrest રૂપરેખાંકન ફાઇલમાં જરૂરી સેટિંગ્સ કરીએ (/etc/pgbackrest/pgbackrest.conf):

[main]
pg1-path=/var/lib/postgresql/11/main

[global]
log-level-file=detail
repo1-host=<repository_server_ip>

4. postgresql ફરીથી લોડ કરો:

sudo service postgresql restart

રીપોઝીટરી સર્વર સુયોજિત કરી રહ્યા છીએ

ભંડાર (pgbackrest વપરાશકર્તા):

ચાલો રૂપરેખાંકન ફાઇલમાં જરૂરી સેટિંગ્સ બનાવીએ pgbackrest
(/etc/pgbackrest/pgbackrest.conf):

[main]
pg1-host=<postgres_server_ip>
pg1-path=/var/lib/postgresql/11/main

[global]
repo1-path=/var/lib/pgbackrest
repo1-retention-full=2 # Параметр, указывающий сколько хранить полных бэкапов. Т.е. если у вас есть два полных бэкапа и вы создаете третий, то самый старый бэкап будет удален. Можно произносить как "хранить не более двух бэкапов" - по аналогии с ротациями логов. Спасибо @Aytuar за исправление ошибки.
start-fast=y # Начинает резервное копирование немедленно, прочитать про этот параметр можно тут https://postgrespro.ru/docs/postgrespro/9.5/continuous-archiving

રીપોઝીટરી બનાવી રહ્યા છીએ

ભંડાર (pgbackrest વપરાશકર્તા):

ક્લસ્ટર માટે નવું સ્ટોરેજ બનાવો મુખ્ય:

sudo mkdir -m 770 /var/lib/pgbackrest
sudo chown -R pgbackrest /var/lib/pgbackrest/
sudo -u pgbackrest pgbackrest --stanza=main stanza-create

નિરીક્ષણ

પોસ્ટગ્રેસ સર્વર (સુડો વપરાશકર્તા અથવા રૂટ):

અમે પોસ્ટગ્રેસ સર્વર પર તપાસ કરીએ છીએ:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info check

ભંડાર (pgbackrest વપરાશકર્તા):

અમે રીપોઝીટરી સર્વર પર તપાસ કરીએ છીએ:

sudo -u pgbackrest pgbackrest --stanza=main --log-level-console=info check

અમે ખાતરી કરીએ છીએ કે આઉટપુટમાં આપણે "ચેક કમાન્ડ એન્ડ: સફળતાપૂર્વક પૂર્ણ" લીટી જોઈ શકીએ છીએ.

થાકી ગયા છો? ચાલો સૌથી રસપ્રદ ભાગ તરફ આગળ વધીએ.

બેકઅપ બનાવી રહ્યા છીએ

ભંડાર (pgbackrest વપરાશકર્તા):

1. બેકઅપ કરો:

sudo -u pgbackrest pgbackrest --stanza=main backup

2. ખાતરી કરો કે બેકઅપ બનાવવામાં આવ્યું છે:

ls /var/lib/pgbackrest/backup/main/

Pgbackrest પ્રથમ સંપૂર્ણ બેકઅપ બનાવશે. જો તમે ઈચ્છો તો, તમે બેકઅપ આદેશને ફરીથી ચલાવી શકો છો અને ખાતરી કરો કે સિસ્ટમ વધારો બેકઅપ બનાવે છે.

જો તમે ફરીથી સંપૂર્ણ બેકઅપ લેવા માંગતા હો, તો પછી વધારાના ફ્લેગનો ઉલ્લેખ કરો:

sudo -u pgbackrest pgbackrest --stanza=main --type=full backup

જો તમને વિગતવાર કન્સોલ આઉટપુટ જોઈએ છે, તો તે પણ સ્પષ્ટ કરો:

sudo -u pgbackrest pgbackrest --stanza=main --type=full --log-level-console=info backup

બેકઅપ પુનઃસ્થાપિત કરી રહ્યું છે

પોસ્ટગ્રેસ સર્વર (સુડો વપરાશકર્તા અથવા રૂટ):

1. ચાલતા ક્લસ્ટરને રોકો:

sudo pg_ctlcluster 11 main stop

2. બેકઅપમાંથી પુનઃસ્થાપિત કરી રહ્યું છે:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info --delta --recovery-option=recovery_target=immediate restore

ડેટાબેઝને છેલ્લા સંપૂર્ણ બેકઅપની સ્થિતિમાં પુનઃસ્થાપિત કરવા માટે, recovery_target નો ઉલ્લેખ કર્યા વિના આદેશનો ઉપયોગ કરો:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info --delta restore

મહત્વપૂર્ણ! પુનઃપ્રાપ્તિ પછી, એવું બની શકે છે કે ડેટાબેઝ પુનઃપ્રાપ્તિ મોડમાં અટવાઇ જાય (ત્યાં ભૂલ જેવી ભૂલો હશે: ફક્ત વાંચવા માટેના વ્યવહારમાં ડ્રોપ ડેટાબેઝ ચલાવી શકાશે નહીં). સાચું કહું તો, હું હજી સુધી સમજી શક્યો નથી કે આ શું સાથે જોડાયેલું છે. ઉકેલ નીચે મુજબ છે (કમાન્ડ એક્ઝિક્યુટ થયા પછી તમારે થોડી રાહ જોવી પડશે):

sudo -u postgres psql -c "select pg_wal_replay_resume()"

હકીકતમાં, તેના નામ દ્વારા ચોક્કસ બેકઅપને પુનઃસ્થાપિત કરવું શક્ય છે. અહીં હું જ છું હું દસ્તાવેજીકરણમાં આ સુવિધાના વર્ણનની લિંક પ્રદાન કરીશ. વિકાસકર્તાઓ સાવધાની સાથે આ વિકલ્પનો ઉપયોગ કરવાની સલાહ આપે છે અને તેનું કારણ સમજાવે છે. હું મારી પાસેથી ઉમેરી શકું છું કે મેં તેનો ઉપયોગ કર્યો છે. જો તમારે ખરેખર જરૂર હોય, તો ખાતરી કરો કે પુનઃપ્રાપ્તિ પછી ડેટાબેઝ પુનઃપ્રાપ્તિ મોડમાંથી બહાર નીકળે છે (પસંદ કરો pg_is_in_recovery() "f" બતાવવું જોઈએ) અને, માત્ર કિસ્સામાં, પુનઃપ્રાપ્તિ પછી સંપૂર્ણ બેકઅપ લો.

3. ક્લસ્ટર શરૂ કરો:

sudo pg_ctlcluster 11 main start

બેકઅપ પુનઃસ્થાપિત કર્યા પછી, અમારે બીજું બેકઅપ કરવાની જરૂર છે:

ભંડાર (pgbackrest વપરાશકર્તા):

sudo pgbackrest --stanza=main backup

બસ એટલું જ. નિષ્કર્ષમાં, હું તમને યાદ અપાવવા માંગુ છું કે હું કોઈ પણ રીતે વરિષ્ઠ ડીબીએ હોવાનો ઢોંગ કરવાનો પ્રયાસ કરી રહ્યો નથી અને સહેજ તક પર વાદળોનો ઉપયોગ કરીશ. હાલમાં, હું પોતે બેકઅપ, પ્રતિકૃતિ, મોનીટરીંગ વગેરે જેવા વિવિધ વિષયોનો અભ્યાસ કરવાનું શરૂ કરી રહ્યો છું. અને હું સમુદાયમાં નાનું યોગદાન આપવા અને મારા માટે નાની ચીટ શીટ્સ છોડવા માટે પરિણામો વિશે નાના અહેવાલો લખું છું.

નીચેના લેખોમાં હું વધારાની સુવિધાઓ વિશે વાત કરવાનો પ્રયાસ કરીશ - સ્વચ્છ ક્લસ્ટરમાં ડેટા પુનઃપ્રાપ્તિ, બેકઅપ્સનું એન્ક્રિપ્શન અને S3 પર પ્રકાશન, rsync દ્વારા બેકઅપ.

સોર્સ: www.habr.com