পিজিব্যাকরেস্টের সাথে ক্রমবর্ধমান পোস্টগ্রেসকিউএল ব্যাকআপ - বিকাশকারীর কাছ থেকে একজন তরুণ যোদ্ধার জন্য একটি কোর্স

দাবিত্যাগ

আমি একজন ডেভেলপার। আমি কোড লিখি এবং শুধুমাত্র একজন ব্যবহারকারী হিসাবে ডাটাবেসের সাথে ইন্টারঅ্যাক্ট করি। কোনোভাবেই আমি সিস্টেম অ্যাডমিনিস্ট্রেটর হওয়ার ভান করি না, অনেক কম ডিবিএ। কিন্তু…

এটা তাই ঘটেছে যে আমাকে postgresql ডাটাবেসের একটি ব্যাকআপ সংগঠিত করতে হবে। কোন ক্লাউড নেই - শুধু SSH ব্যবহার করুন এবং নিশ্চিত করুন যে সবকিছু টাকা না চেয়ে কাজ করে। এই ধরনের ক্ষেত্রে আমরা কি করব? এটা ঠিক, আমরা পিজিডাম্পকে ক্রনে পুশ করি, প্রতিদিন আর্কাইভে সবকিছু ব্যাকআপ করি এবং যদি আমরা সম্পূর্ণ হারিয়ে যাই, আমরা এই আর্কাইভটিকে দূরে কোথাও পাঠাই।

এবার মুশকিল হল যে পরিকল্পনা অনুযায়ী, ডাটাবেসটি প্রতিদিন প্রায় +- 100 MB বৃদ্ধি পাওয়ার কথা ছিল। অবশ্যই, কয়েক সপ্তাহ পরে পিজিডাম্প দিয়ে সবকিছু ব্যাকআপ করার ইচ্ছা অদৃশ্য হয়ে যাবে। এখানেই ক্রমবর্ধমান ব্যাকআপগুলি উদ্ধারে আসে।

মজাদার? বিড়াল স্বাগতম.

ইনক্রিমেন্টাল ব্যাকআপ হল এক ধরনের ব্যাকআপ যখন সমস্ত সোর্স ফাইল কপি করা হয় না, তবে শুধুমাত্র নতুন এবং আগের কপি তৈরির পর থেকে পরিবর্তিত হয়।

যে কোনও বিকাশকারীর মতো যিনি পোস্টগ্রেসের জটিলতাগুলি বুঝতে একেবারেই অনিচ্ছুক ছিলেন (সেই সময়ে), আমি সবুজ বোতামটি খুঁজে পেতে চেয়েছিলাম। ঠিক আছে, আপনি জানেন, যেমন AWS, DigitalOcean-এর মতো: আপনি একটি বোতাম টিপেছেন - আপনি প্রতিলিপি পেয়েছেন, আপনি দ্বিতীয়টি টিপেছেন - আপনি ব্যাকআপ সেট আপ করেছেন, তৃতীয়টি - আপনি সবকিছু কয়েক ঘন্টা পিছিয়ে দিয়েছেন। আমি একটি বোতাম বা একটি সুন্দর GUI টুল খুঁজে পাইনি। আপনি যদি একটি জানেন (বিনামূল্যে বা সস্তা), মন্তব্যে এটি সম্পর্কে লিখুন.

গুগল করার পর আমি দুটি টুল খুঁজে পেয়েছি pgbarman и pgbackrest. আমি কেবল প্রথমটির সাথে সফল হতে পারিনি (খুব বিরল ডকুমেন্টেশন, আমি পুরানো ম্যানুয়াল অনুসারে সবকিছু বের করার চেষ্টা করেছি), তবে দ্বিতীয়টির সাথে ডকুমেন্টেশনটি সমানভাবে পরিণত হয়েছে, তবে ত্রুটি ছাড়াই নয়। যারা একটি অনুরূপ কাজের সম্মুখীন হয় তাদের কাজকে সহজ করার জন্য, এই নিবন্ধটি লেখা হয়েছিল।

এই নিবন্ধটি পড়ার পরে, আপনি শিখবেন কীভাবে ক্রমবর্ধমান ব্যাকআপ তৈরি করতে হয়, সেগুলিকে একটি দূরবর্তী সার্ভারে (ব্যাকআপ সহ সংগ্রহস্থল) সংরক্ষণ করতে হয় এবং মূল সার্ভারে ডেটা ক্ষতি বা অন্যান্য সমস্যার ক্ষেত্রে সেগুলি পুনরুদ্ধার করতে হয়।

প্রশিক্ষণ

ম্যানুয়ালটি পুনরুত্পাদন করতে আপনার দুটি VPS প্রয়োজন হবে। প্রথমটি হবে স্টোরেজ (যে রিপোজিটরিতে ব্যাকআপগুলি সংরক্ষণ করা হবে), এবং দ্বিতীয়টি, প্রকৃতপক্ষে, পোস্টগ্রেস সহ সার্ভারটি (আমার ক্ষেত্রে, পোস্টগ্রেসের 11 সংস্করণ)।

এটি ধরে নেওয়া হয় যে পোস্টগ্রেস সহ সার্ভারে আপনার রুট, সুডো ব্যবহারকারী, পোস্টগ্রেস ব্যবহারকারী এবং পোস্টগ্রেস নিজেই ইনস্টল করা আছে (পোস্টগ্রেসকিউএল ইনস্টল করার সময় পোস্টগ্রেস ব্যবহারকারী স্বয়ংক্রিয়ভাবে তৈরি হয়), এবং রিপোজিটরি সার্ভারে রুট এবং সুডো ব্যবহারকারী রয়েছে (ম্যানুয়ালে ব্যবহারকারীর নাম pgbackrest ব্যবহার করা হবে)।

যাতে নির্দেশাবলী পুনরুত্পাদন করার সময় আপনার কম সমস্যা হয়, আমি তির্যকগুলিতে লিখি কোথায়, কোন ব্যবহারকারীর সাথে এবং কোন অধিকারের সাথে আমি কমান্ডটি কার্যকর করেছি নিবন্ধটি লেখার এবং পরীক্ষা করার সময়।

pgbackrest ইনস্টল করা হচ্ছে

সংগ্রহস্থল (ব্যবহারকারী pgbackrest):

1. pgbackrest থেকে সংরক্ষণাগারটি ডাউনলোড করুন এবং এর বিষয়বস্তু /build ফোল্ডারে স্থানান্তর করুন:

sudo mkdir /build
sudo wget -q -O - 
       https://github.com/pgbackrest/pgbackrest/archive/release/2.18.tar.gz | 
       sudo tar zx -C /build

2. সমাবেশের জন্য প্রয়োজনীয় নির্ভরতাগুলি ইনস্টল করুন:

sudo apt-get update
sudo apt-get install build-essential libssl-dev libxml2-dev libperl-dev zlib1g-dev 
       libpq-dev

3. pgbackrest একত্রিত করা:

cd /build/pgbackrest-release-2.18/src && sudo ./configure
sudo make -s -C /build/pgbackrest-release-2.18/src

4. এক্সিকিউটেবল ফাইলটিকে /usr/bin ডিরেক্টরিতে কপি করুন:

sudo cp /build/pgbackrest-release-2.18/src/pgbackrest /usr/bin
sudo chmod 755 /usr/bin/pgbackrest

5. Pgbackrest এর জন্য পার্ল প্রয়োজন। ইনস্টল করুন:

sudo apt-get install perl

6. লগের জন্য ডিরেক্টরি তৈরি করুন, তাদের নির্দিষ্ট অধিকার দিন:

sudo mkdir -p -m 770 /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo mkdir -p /etc/pgbackrest
sudo mkdir -p /etc/pgbackrest/conf.d
sudo touch /etc/pgbackrest/pgbackrest.conf
sudo chmod 640 /etc/pgbackrest/pgbackrest.conf
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

7. চেক করুন:

pgbackrest version

পোস্টগ্রেস সার্ভার (সুডো ব্যবহারকারী বা রুট):

পোস্টগ্রেস সহ সার্ভারে pgbackrest ইনস্টল করার প্রক্রিয়াটি সংগ্রহস্থলের ইনস্টলেশন প্রক্রিয়ার অনুরূপ (হ্যাঁ, pgbackrest উভয় সার্ভারে ইনস্টল করা আবশ্যক), কিন্তু 6 তম অনুচ্ছেদে দ্বিতীয় এবং শেষ কমান্ড:

sudo chown pgbackrest:pgbackrest /var/log/pgbackrest
sudo chown pgbackrest:pgbackrest /etc/pgbackrest/pgbackrest.conf

প্রতিস্থাপন:

sudo chown postgres:postgres /var/log/pgbackrest
sudo chown postgres:postgres /etc/pgbackrest/pgbackrest.conf

পাসওয়ার্ডহীন SSH এর মাধ্যমে সার্ভারের মধ্যে মিথস্ক্রিয়া সেট আপ করা হচ্ছে

pgbackrest সঠিকভাবে কাজ করার জন্য, কী ফাইল ব্যবহার করে পোস্টগ্রেস সার্ভার এবং সংগ্রহস্থলের মধ্যে মিথস্ক্রিয়া কনফিগার করা প্রয়োজন।

সংগ্রহস্থল (ব্যবহারকারী pgbackrest):

একটি কী জোড়া তৈরি করুন:

mkdir -m 750 /home/pgbackrest/.ssh
ssh-keygen -f /home/pgbackrest/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

সতর্কতা আমরা সুডো ছাড়াই উপরের কমান্ডগুলি চালাই।

পোস্টগ্রেস সার্ভার (সুডো ব্যবহারকারী বা রুট):

একটি কী জোড়া তৈরি করুন:

sudo -u postgres mkdir -m 750 -p /var/lib/postgresql/.ssh
sudo -u postgres ssh-keygen -f /var/lib/postgresql/.ssh/id_rsa 
       -t rsa -b 4096 -N ""

সংগ্রহস্থল (সুডো ব্যবহারকারী):

পোস্টগ্রেস সার্ভারের সর্বজনীন কীটি সংগ্রহস্থল সার্ভারে অনুলিপি করুন:

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@<postgres_server_ip> cat /var/lib/postgresql/.ssh/id_rsa.pub) | 
       sudo -u pgbackrest tee -a /home/pgbackrest/.ssh/authorized_keys

এই ধাপে আপনাকে রুট ব্যবহারকারীর পাসওয়ার্ড চাওয়া হবে। আপনাকে পোস্টগ্রেস সার্ভারের রুট ব্যবহারকারীর পাসওয়ার্ড লিখতে হবে!

পোস্টগ্রেস সার্ভার (সুডো ব্যবহারকারী):

পোস্টগ্রেস সহ সার্ভারে সংগ্রহস্থল পাবলিক কী অনুলিপি করুন:

(echo -n 'no-agent-forwarding,no-X11-forwarding,no-port-forwarding,' && 
       echo -n 'command="/usr/bin/pgbackrest ${SSH_ORIGINAL_COMMAND#* }" ' && 
       sudo ssh root@<repository_server_ip> cat /home/pgbackrest/.ssh/id_rsa.pub) | 
       sudo -u postgres tee -a /var/lib/postgresql/.ssh/authorized_keys

এই ধাপে আপনাকে রুট ব্যবহারকারীর পাসওয়ার্ড চাওয়া হবে। আপনাকে সংগ্রহস্থলের রুট ব্যবহারকারীর ঠিক পাসওয়ার্ড লিখতে হবে!

চেক করুন:

সংগ্রহস্থল (মূল ব্যবহারকারী, পরীক্ষার বিশুদ্ধতার জন্য):

sudo -u pgbackrest ssh postgres@<postgres_server_ip>

পোস্টগ্রেস সার্ভার (রুট ব্যবহারকারী, পরীক্ষার বিশুদ্ধতার জন্য):

sudo -u postgres ssh pgbackrest@<repository_server_ip>

আমরা নিশ্চিত করি যে আমরা সমস্যা ছাড়াই অ্যাক্সেস পেতে পারি।

একটি পোস্টগ্রেস সার্ভার সেট আপ করা হচ্ছে

পোস্টগ্রেস সার্ভার (সুডো ব্যবহারকারী বা রুট):

1. এক্সটার্নাল আইপি থেকে পোস্টগ্রেস সার্ভারে নক করার অনুমতি দিন। এটি করতে, ফাইলটি সম্পাদনা করুন postgresql.conf (/etc/postgresql/11/প্রধান ফোল্ডারে অবস্থিত), এতে লাইন যোগ করুন:

listen_addresses = '*'

যদি এই ধরনের একটি লাইন ইতিমধ্যেই বিদ্যমান থাকে, হয় এটিকে মন্তব্য করুন বা '*' হিসাবে প্যারামিটার মান সেট করুন।

ফাইলে pg_hba.conf (এছাড়াও ফোল্ডারে অবস্থিত /etc/postgresql/11/main) নিম্নলিখিত লাইন যোগ করুন:

hostssl  all  all  0.0.0.0/0  md5
host  all  all  0.0.0.0/0  md5

যেখানে:

hostssl/host - подключаемся через SSL (или нет)
all - разрешаем подключение ко всем базам
all - имя пользователя, которому разрешаем подключение (всем)
0.0.0.0/0 - маска сети с которой можно подключаться
md5 - способ шифрования пароля

2. এর মধ্যে প্রয়োজনীয় সেটিংস করা যাক postgresql.conf (এটি ফোল্ডারে রয়েছে /etc/postgresql/11/main) pgbackrest কাজ করার জন্য:

archive_command = 'pgbackrest --stanza=main archive-push %p' # Где main - название кластера. При установке postgres автоматически создает кластер main.
archive_mode = on
max_wal_senders = 3
wal_level = replica

3. আসুন pgbackrest কনফিগারেশন ফাইলে প্রয়োজনীয় সেটিংস তৈরি করি (/etc/pgbackrest/pgbackrest.conf):

[main]
pg1-path=/var/lib/postgresql/11/main

[global]
log-level-file=detail
repo1-host=<repository_server_ip>

4. postgresql পুনরায় লোড করুন:

sudo service postgresql restart

একটি সংগ্রহস্থল সার্ভার সেট আপ করা হচ্ছে

সংগ্রহস্থল (pgbackrest ব্যবহারকারী):

কনফিগারেশন ফাইলে প্রয়োজনীয় সেটিংস করা যাক pgbackrest
(/etc/pgbackrest/pgbackrest.conf):

[main]
pg1-host=<postgres_server_ip>
pg1-path=/var/lib/postgresql/11/main

[global]
repo1-path=/var/lib/pgbackrest
repo1-retention-full=2 # Параметр, указывающий сколько хранить полных бэкапов. Т.е. если у вас есть два полных бэкапа и вы создаете третий, то самый старый бэкап будет удален. Можно произносить как "хранить не более двух бэкапов" - по аналогии с ротациями логов. Спасибо @Aytuar за исправление ошибки.
start-fast=y # Начинает резервное копирование немедленно, прочитать про этот параметр можно тут https://postgrespro.ru/docs/postgrespro/9.5/continuous-archiving

একটি সংগ্রহস্থল তৈরি করা হচ্ছে

সংগ্রহস্থল (pgbackrest ব্যবহারকারী):

ক্লাস্টারের জন্য একটি নতুন স্টোরেজ তৈরি করুন প্রধান:

sudo mkdir -m 770 /var/lib/pgbackrest
sudo chown -R pgbackrest /var/lib/pgbackrest/
sudo -u pgbackrest pgbackrest --stanza=main stanza-create

পরিদর্শন

পোস্টগ্রেস সার্ভার (সুডো ব্যবহারকারী বা রুট):

আমরা পোস্টগ্রেস সার্ভারে পরীক্ষা করি:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info check

সংগ্রহস্থল (pgbackrest ব্যবহারকারী):

আমরা সংগ্রহস্থল সার্ভারে চেক করি:

sudo -u pgbackrest pgbackrest --stanza=main --log-level-console=info check

আমরা নিশ্চিত করি যে আউটপুটে আমরা "চেক কমান্ড শেষ: সফলভাবে সম্পন্ন হয়েছে" লাইনটি দেখতে পাচ্ছি।

ক্লান্ত? আসুন সবচেয়ে আকর্ষণীয় অংশে চলে যাই।

একটি ব্যাকআপ করা

সংগ্রহস্থল (pgbackrest ব্যবহারকারী):

1. একটি ব্যাকআপ সম্পাদন করুন:

sudo -u pgbackrest pgbackrest --stanza=main backup

2. নিশ্চিত করুন যে একটি ব্যাকআপ তৈরি করা হয়েছে:

ls /var/lib/pgbackrest/backup/main/

Pgbackrest প্রথম সম্পূর্ণ ব্যাকআপ তৈরি করবে। আপনি যদি চান, আপনি আবার ব্যাকআপ কমান্ড চালাতে পারেন এবং নিশ্চিত করুন যে সিস্টেমটি একটি ক্রমবর্ধমান ব্যাকআপ তৈরি করে।

আপনি যদি আবার একটি সম্পূর্ণ ব্যাকআপ করতে চান, তাহলে একটি অতিরিক্ত পতাকা নির্দিষ্ট করুন:

sudo -u pgbackrest pgbackrest --stanza=main --type=full backup

আপনি যদি বিস্তারিত কনসোল আউটপুট চান, তাহলেও উল্লেখ করুন:

sudo -u pgbackrest pgbackrest --stanza=main --type=full --log-level-console=info backup

একটি ব্যাকআপ পুনরুদ্ধার করা হচ্ছে

পোস্টগ্রেস সার্ভার (সুডো ব্যবহারকারী বা রুট):

1. চলমান ক্লাস্টার বন্ধ করুন:

sudo pg_ctlcluster 11 main stop

2. ব্যাকআপ থেকে পুনরুদ্ধার করা হচ্ছে:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info --delta --recovery-option=recovery_target=immediate restore

ডাটাবেসটিকে শেষ পূর্ণ ব্যাকআপের অবস্থায় পুনরুদ্ধার করতে, recovery_target উল্লেখ না করে কমান্ডটি ব্যবহার করুন:

sudo -u postgres pgbackrest --stanza=main --log-level-console=info --delta restore

গুরুত্বপূর্ণ ! পুনরুদ্ধারের পরে, এটি ঘটতে পারে যে ডাটাবেস পুনরুদ্ধার মোডে আটকে যায় (এরর মতো ত্রুটি থাকবে: শুধুমাত্র-পঠন লেনদেনে DROP ডেটাবেস চালানো যাবে না)। সত্যি কথা বলতে কি, আমি এখনো বুঝতে পারিনি এর সাথে কিসের সম্পর্ক আছে। সমাধানটি নিম্নরূপ (কমান্ডটি কার্যকর হওয়ার পরে আপনাকে একটু অপেক্ষা করতে হবে):

sudo -u postgres psql -c "select pg_wal_replay_resume()"

আসলে, এটির নাম দ্বারা একটি নির্দিষ্ট ব্যাকআপ পুনরুদ্ধার করা সম্ভব। এখানে আমি শুধু আমি ডকুমেন্টেশনে এই বৈশিষ্ট্যটির বর্ণনার একটি লিঙ্ক প্রদান করব. বিকাশকারীরা সতর্কতার সাথে এই বিকল্পটি ব্যবহার করার পরামর্শ দেন এবং কেন ব্যাখ্যা করেন। আমি নিজের থেকে যোগ করতে পারি যে আমি এটি ব্যবহার করেছি। আপনার যদি সত্যিই প্রয়োজন হয়, নিশ্চিত করুন যে পুনরুদ্ধারের পরে ডাটাবেসটি পুনরুদ্ধার মোড থেকে বেরিয়ে যায় (pg_is_in_recovery() নির্বাচন করুন "f" দেখাতে হবে) এবং ঠিক সেক্ষেত্রে, পুনরুদ্ধারের পরে একটি সম্পূর্ণ ব্যাকআপ করুন।

3. ক্লাস্টার শুরু করুন:

sudo pg_ctlcluster 11 main start

ব্যাকআপ পুনরুদ্ধার করার পরে, আমাদের দ্বিতীয় ব্যাকআপ করতে হবে:

সংগ্রহস্থল (pgbackrest ব্যবহারকারী):

sudo pgbackrest --stanza=main backup

এখানেই শেষ. উপসংহারে, আমি আপনাকে মনে করিয়ে দিতে চাই যে আমি কোনোভাবেই সিনিয়র ডিবিএ হওয়ার ভান করার চেষ্টা করছি না এবং সামান্যতম সুযোগে মেঘ ব্যবহার করব। বর্তমানে, আমি নিজে বিভিন্ন বিষয় যেমন ব্যাকআপ, রেপ্লিকেশন, মনিটরিং ইত্যাদি অধ্যয়ন শুরু করছি। এবং আমি সম্প্রদায়ে একটি ছোট অবদান রাখার জন্য এবং নিজের জন্য ছোট চিট শীট রেখে যাওয়ার জন্য ফলাফল সম্পর্কে ছোট প্রতিবেদন লিখি।

নিম্নলিখিত নিবন্ধগুলিতে আমি অতিরিক্ত বৈশিষ্ট্যগুলি সম্পর্কে কথা বলার চেষ্টা করব - একটি পরিষ্কার ক্লাস্টারে ডেটা পুনরুদ্ধার, ব্যাকআপগুলির এনক্রিপশন এবং S3 এ প্রকাশ করা, rsync এর মাধ্যমে ব্যাকআপ।

উত্স: www.habr.com