WAL-G፡ የ PostgreSQL DBMS ምትኬን እና እነበረበት መልስ

ምትኬን ወደ SQL መጣል (በመጠቀም pg_መጣል ወይም pg_dumpall) ጥሩ ሀሳብ አይደለም. የ PostgreSQL DBMS ምትኬ ለማስቀመጥ ትዕዛዙን መጠቀም የተሻለ ነው። pg_basebackup, ይህም የWAL ምዝግብ ማስታወሻዎች ሁለትዮሽ ቅጂ ያደርገዋል. ነገር ግን ቅጂን የመፍጠር እና ወደነበረበት የመመለስ አጠቃላይ ሂደትን ማጥናት ሲጀምሩ, ለዚህ ስራ ለመስራት ቢያንስ ሁለት ባለሶስት ሳይክል መፃፍ እንደሚያስፈልግዎ እና ከላይ እና ከታች ህመም እንዳይሰማዎት ይረዱዎታል. መከራን ለማስታገስ WAL-G ተፈጠረ።

ዋል-ጂ የ PostgreSQL የውሂብ ጎታዎችን ለመደገፍ እና ወደነበረበት ለመመለስ Go ውስጥ የተጻፈ መሳሪያ ነው (እና በቅርቡ MySQL/MariaDB፣ MongoDB እና FoundationDB). ከአማዞን ኤስ 3 ማከማቻ (እና አናሎግ ፣ ለምሳሌ ፣ Yandex Object Storage) ፣ እንዲሁም Google Cloud Storage ፣ Azure Storage ፣ Swift Object Storage እና በቀላሉ ከፋይል ስርዓቱ ጋር አብሮ መስራትን ይደግፋል። አጠቃላይ ማዋቀሩ ወደ ቀላል ደረጃዎች ይወርዳል፣ ነገር ግን ስለእሱ የሚወጡት መጣጥፎች በበይነመረቡ ላይ የተበተኑ በመሆናቸው ከመጀመሪያው እስከ መጨረሻ ያሉትን ሁሉንም ደረጃዎች የሚያካትት የተሟላ መመሪያ የለም (በሃበሬ ላይ ብዙ ልጥፎች አሉ። ግን ብዙ ነጥቦች እዚያ ጠፍተዋል).

ይህ መጣጥፍ በዋናነት የተፃፈው እውቀቴን ስልታዊ ለማድረግ ነው። እኔ DBA አይደለሁም እና ራሴን በምዕመናን ቋንቋ መግለጽ እችላለሁ፣ ስለዚህ ማንኛውም እርማቶች በደስታ ይቀበላሉ!

ለየብቻ፣ ከዚህ በታች ያለው ነገር ሁሉ ተዛማጅ እና ለ PostgreSQL 12.3 በኡቡንቱ 18.04 ላይ የተፈተነ መሆኑን አስተውያለሁ፣ ሁሉም ትዕዛዞች እንደ ልዩ ተጠቃሚ መሆን አለባቸው።

ቅንብር

ይህን ጽሑፍ በሚጽፉበት ጊዜ የተረጋጋው የዋል-ጂ ስሪት ነው። v0.2.15 (መጋቢት 2020). እኛ የምንጠቀመው ይህንን ነው (ነገር ግን ከዋናው ቅርንጫፍ እራስዎ መገንባት ከፈለጉ, የ github ማከማቻው ለዚህ ሁሉም መመሪያዎች አሉት). ለማውረድ እና ለመጫን የሚከተሉትን ማድረግ አለብዎት:

#!/bin/bash

curl -L "https://github.com/wal-g/wal-g/releases/download/v0.2.15/wal-g.linux-amd64.tar.gz" -o "wal-g.linux-amd64.tar.gz"
tar -xzf wal-g.linux-amd64.tar.gz
mv wal-g /usr/local/bin/

ከዚህ በኋላ, መጀመሪያ WAL-G, እና PostgreSQL እራሱን ማዋቀር ያስፈልግዎታል.

WAL-Gን በማቀናበር ላይ

ምትኬን ለማከማቸት ምሳሌ፣ Amazon S3 ጥቅም ላይ ይውላል (ምክንያቱም ወደ አገልጋዮቼ ቅርብ ስለሆነ እና አጠቃቀሙ በጣም ርካሽ ነው።). ከእሱ ጋር ለመስራት "s3 ባልዲ" እና የመዳረሻ ቁልፎች ያስፈልግዎታል.

ስለ ዋል-ጂ የቀደሙት ሁሉም መጣጥፎች የአካባቢ ተለዋዋጮችን በመጠቀም ውቅረትን ተጠቅመዋል፣ ነገር ግን በዚህ ልቀት ቅንብሮቹ በ ውስጥ ይገኛሉ .walg.json ፋይል በፖስትግሬስ ተጠቃሚ የቤት ማውጫ ውስጥ። እሱን ለመፍጠር የሚከተለውን የባሽ ስክሪፕት ያሂዱ፡-

#!/bin/bash

cat > /var/lib/postgresql/.walg.json << EOF
{
    "WALG_S3_PREFIX": "s3://your_bucket/path",
    "AWS_ACCESS_KEY_ID": "key_id",
    "AWS_SECRET_ACCESS_KEY": "secret_key",
    "WALG_COMPRESSION_METHOD": "brotli",
    "WALG_DELTA_MAX_STEPS": "5",
    "PGDATA": "/var/lib/postgresql/12/main",
    "PGHOST": "/var/run/postgresql/.s.PGSQL.5432"
}
EOF
# обязательно меняем владельца файла:
chown postgres: /var/lib/postgresql/.walg.json

ስለ ሁሉም መለኪያዎች ትንሽ ላብራራ።

• WALG_S3_PREFIX - ምትኬዎች የሚሰቀሉበት ወደ S3 ባልዲዎ የሚወስደው መንገድ (ወደ ሥሩ ወይም ወደ አቃፊው መሄድ ይችላሉ);
• AWS_ACCESS_ቁልፍ_መታወቂያ - በ S3 ውስጥ የመዳረሻ ቁልፍበሙከራ አገልጋይ ላይ መልሶ ከተመለሰ እነዚህ ቁልፎች ReadOnly Policy ሊኖራቸው ይገባል! ይህ በማገገም ላይ ባለው ክፍል ውስጥ በበለጠ ዝርዝር ውስጥ ተገልጿል.);
• AWS_SECRET_ACCESS_ቁልፍ - በ S3 ማከማቻ ውስጥ ሚስጥራዊ ቁልፍ;
• WALG_COMPRESSION_METHOD - የመጨመቂያ ዘዴ ፣ Brotli ን መጠቀም የተሻለ ነው (ይህ በመጨረሻው መጠን እና በመጨመቅ / በመጨናነቅ ፍጥነት መካከል ያለው ወርቃማ አማካይ ስለሆነ)
• WALG_DELTA_MAX_STEPS - ሙሉ ምትኬን ከመፍጠርዎ በፊት የ “ዴልታስ” ብዛት (ጊዜን እና የወረደውን ውሂብ መጠን ይቆጥባሉ ፣ ግን የመልሶ ማግኛ ሂደቱን በትንሹ ሊቀንስ ይችላል ፣ ስለሆነም ትልቅ እሴቶችን መጠቀም ተገቢ አይደለም);
• PGDATA - ከመረጃ ቋትዎ ጋር ወደ ማውጫው የሚወስድ መንገድ (ትዕዛዙን በማሄድ ማወቅ ይችላሉ pg_lsclusters);
• PGHOST - ከመረጃ ቋቱ ጋር መገናኘት ፣ ከአካባቢያዊ ምትኬ ጋር በዚህ ምሳሌ ውስጥ እንደሚታየው በዩኒክስ-ሶኬት በኩል ማድረግ የተሻለ ነው።

ሌሎች መለኪያዎች በሰነዱ ውስጥ ሊገኙ ይችላሉ- https://github.com/wal-g/wal-g/blob/v0.2.15/PostgreSQL.md#configuration.

PostgreSQL በማዋቀር ላይ

በመረጃ ቋቱ ውስጥ ያለው መዝገብ ቤት የWAL ምዝግብ ማስታወሻዎችን ወደ ደመናው እንዲሰቅል እና እነሱን ወደነበረበት እንዲመልስ (አስፈላጊ ከሆነ) በማዋቀሪያው ፋይል ውስጥ ብዙ መለኪያዎችን ማዘጋጀት ያስፈልግዎታል /ወዘተ/postgresql/12/main/postgresql.conf. ለጀማሪዎች ብቻ ማረጋገጥ አለብህከታች ካሉት ቅንጅቶች ውስጥ አንዳቸውም ወደ ሌሎች እሴቶች አልተዋቀሩም, ስለዚህ ውቅሩ እንደገና ሲጫን, DBMS አይበላሽም. እነዚህን መለኪያዎች በመጠቀም ማከል ይችላሉ-

#!/bin/bash

echo "wal_level=replica" >> /etc/postgresql/12/main/postgresql.conf
echo "archive_mode=on" >> /etc/postgresql/12/main/postgresql.conf
echo "archive_command='/usr/local/bin/wal-g wal-push "%p" >> /var/log/postgresql/archive_command.log 2>&1' " >> /etc/postgresql/12/main/postgresql.conf
echo “archive_timeout=60” >> /etc/postgresql/12/main/postgresql.conf
echo "restore_command='/usr/local/bin/wal-g wal-fetch "%f" "%p" >> /var/log/postgresql/restore_command.log 2>&1' " >> /etc/postgresql/12/main/postgresql.conf

# перезагружаем конфиг через отправку SIGHUP сигнала всем процессам БД
killall -s HUP postgres

የሚዘጋጁት መለኪያዎች መግለጫ፡-

• የዋል_ደረጃ - በ WAL ምዝግብ ማስታወሻዎች ውስጥ ምን ያህል መረጃ እንደሚፃፍ, "ብዜት" - ሁሉንም ነገር ይፃፉ;
• ማህደር_ሁነታ - ከመለኪያው ትዕዛዙን በመጠቀም የWAL ምዝግብ ማስታወሻዎችን ማውረድ አንቃ የማህደር_ትእዛዝ;
• የማህደር_ትእዛዝ - የተጠናቀቀውን የWAL ሎግ በማህደር ለማስቀመጥ ትእዛዝ;
• የማህደር_ጊዜ ማብቂያ - የምዝግብ ማስታወሻዎችን ማስቀመጥ የሚከናወነው ሲጠናቀቅ ብቻ ነው, ነገር ግን አገልጋይዎ ከተለወጠ / ወደ የውሂብ ጎታ ትንሽ ውሂብ ካከሉ, በሰከንዶች ውስጥ ገደብ ማበጀቱ ምክንያታዊ ነው, ከዚያ በኋላ የማህደር መዝገብ በግዳጅ ይባላል (በየሰከንዱ ወደ ዳታቤዝ አዘውትሬ እጽፋለሁ፣ ስለዚህ ይህንን ግቤት በምርት ውስጥ ላለማዋቀር ወሰንኩኝ።);
• ወደነበረበት_ትዕዛዝ - "ሙሉ ምትኬ" (ቤዝ መጠባበቂያ) በመረጃ ቋቱ ውስጥ የቅርብ ጊዜ ለውጦች ከሌለው የ WAL ምዝግብ ማስታወሻን ከመጠባበቂያ ወደነበረበት ለመመለስ ትእዛዝ ጥቅም ላይ ይውላል።

በይፋዊው ሰነድ ትርጉም ውስጥ ስለእነዚህ ሁሉ መለኪያዎች የበለጠ ማንበብ ይችላሉ- https://postgrespro.ru/docs/postgresql/12/runtime-config-wal.

የመጠባበቂያ መርሐግብር በማዘጋጀት ላይ

አንድ ሰው የሚናገረው ምንም ይሁን ምን, እሱን ለማስኬድ በጣም አመቺው መንገድ ክሮን ነው. ምትኬዎችን ለመፍጠር የምናዋቅረው ይህ ነው። ሙሉ ምትኬን ለመፍጠር በትእዛዙ እንጀምር፡ በ wal-g ይህ የማስጀመሪያ ክርክር ነው። ምትኬ-ግፋ. ግን በመጀመሪያ ፣ ሁሉም ነገር ደህና መሆኑን ለማረጋገጥ ይህንን ትዕዛዝ ከፖስትግሬስ ተጠቃሚ በእጅ ማሄድ ይሻላል (እና ምንም የመዳረሻ ስህተቶች የሉም)

#!/bin/bash

su - postgres -c '/usr/local/bin/wal-g backup-push /var/lib/postgresql/12/main'

የማስነሻ ክርክሮች ወደ የውሂብ ማውጫው የሚወስደውን መንገድ ያመለክታሉ - በማሄድ ሊያገኙት እንደሚችሉ አስታውሳችኋለሁ pg_lsclusters.

ሁሉም ነገር ያለ ስህተቶች ከሄደ እና ውሂቡ ወደ S3 ማከማቻ ውስጥ ከተጫነ በ crontab ውስጥ ወቅታዊ ማስጀመርን ማዋቀር ይችላሉ-

#!/bin/bash

echo "15 4 * * *    /usr/local/bin/wal-g backup-push /var/lib/postgresql/12/main >> /var/log/postgresql/walg_backup.log 2>&1" >> /var/spool/cron/crontabs/postgres
# задаем владельца и выставляем правильные права файлу
chown postgres: /var/spool/cron/crontabs/postgres
chmod 600 /var/spool/cron/crontabs/postgres

በዚህ ምሳሌ፣ የመጠባበቂያ ሂደቱ በየቀኑ 4፡15 am ላይ ይጀምራል።

የድሮ ምትኬዎችን በመሰረዝ ላይ

ምናልባትም፣ ከሜሶዞይክ ዘመን ሁሉንም መጠባበቂያዎች ሙሉ በሙሉ ማቆየት አያስፈልግዎትም፣ ስለዚህ ማከማቻዎን በየጊዜው “ማጽዳት” (ሁለቱም “ሙሉ መጠባበቂያዎች” እና የWAL ምዝግብ ማስታወሻዎች) ጠቃሚ ይሆናል። ይህንን ሁሉ በ cron ተግባር ውስጥ እናደርጋለን-

#!/bin/bash

echo "30 6 * * *    /usr/local/bin/wal-g delete before FIND_FULL $(date -d '-10 days' '+%FT%TZ') --confirm >> /var/log/postgresql/walg_delete.log 2>&1" >> /var/spool/cron/crontabs/postgres
# ещё раз задаем владельца и выставляем правильные права файлу (хоть это обычно это и не нужно повторно делать)
chown postgres: /var/spool/cron/crontabs/postgres
chmod 600 /var/spool/cron/crontabs/postgres

ክሮን ይህንን ተግባር በየቀኑ ከጠዋቱ 6፡30 ላይ ያካሂዳል፣ ላለፉት 10 ቀናት ቅጂዎች ካልሆነ በስተቀር ሁሉንም ነገር (ሙሉ ምትኬዎችን፣ ዴልታዎችን እና ዋልታዎችን) ይሰርዛል፣ ነገር ግን ቢያንስ አንድ ምትኬ ይተወዋል። ወደ የተወሰነ ቀን ስለዚህ ማንኛውም ነጥብ после ቀናት በ PITR ውስጥ ተካትተዋል።

ከመጠባበቂያ ወደነበረበት መመለስ

ለጤናማ ዳታቤዝ ቁልፉ በየጊዜው ወደነበረበት መመለስ እና በውስጡ ያለውን መረጃ ትክክለኛነት ማረጋገጥ መሆኑ ከማንም የተሰወረ አይደለም። በዚህ ክፍል ውስጥ WAL-Gን በመጠቀም እንዴት ማገገም እንደሚችሉ እነግርዎታለሁ, እና በኋላ ስለ ቼኮች እንነጋገራለን.

በተናጠል ልብ ሊባል የሚገባው ነው በሙከራ አካባቢ (ያልተመረተ ነገር ሁሉ) ወደነበረበት ለመመለስ በ S3 ውስጥ የመጠባበቂያ ቅጂዎችን በድንገት ላለመፃፍ ማንበብ ብቻ ያስፈልግዎታል። በWAL-G ጉዳይ፣ ለ S3 ተጠቃሚ በቡድን ፖሊሲ ውስጥ የሚከተሉትን መብቶች ማዘጋጀት ያስፈልግዎታል (ተፅዕኖ፡ ፍቀድ): s3: ነገር ያግኙ, s3: ListBucket, s3: GetBucketLocation. እና በእርግጥ, ማቀናበርን አይርሱ archive_mode= ጠፍቷል በቅንብሮች ፋይል ውስጥ postgresql.conf, ስለዚህ የእርስዎ የሙከራ ዳታቤዝ በጸጥታ እንዲቀመጥ አይፈልግም.

ማገገም የሚከናወነው በትንሽ የእጅ እንቅስቃሴ ነው። ሁሉንም የ PostgreSQL ውሂብ በመሰረዝ ላይ (ተጠቃሚዎችን ጨምሮ)፣ እባክዎ የሚከተሉትን ትዕዛዞችን ሲያሄዱ በጣም ይጠንቀቁ።

#!/bin/bash

# если есть балансировщик подключений (например, pgbouncer), то вначале отключаем его, чтобы он не нарыгал ошибок в лог
service pgbouncer stop
# если есть демон, который перезапускает упавшие процессы (например, monit), то останавливаем в нём процесс мониторинга базы (у меня это pgsql12)
monit stop pgsql12
# или останавливаем мониторинг полностью
service monit stop
# останавливаем саму базу данных
service postgresql stop
# удаляем все данные из текущей базы (!!!); лучше предварительно сделать их копию, если есть свободное место на диске
rm -rf /var/lib/postgresql/12/main
# скачиваем резервную копию и разархивируем её
su - postgres -c '/usr/local/bin/wal-g backup-fetch /var/lib/postgresql/12/main LATEST'
# помещаем рядом с базой специальный файл-сигнал для восстановления (см. https://postgrespro.ru/docs/postgresql/12/runtime-config-wal#RUNTIME-CONFIG-WAL-ARCHIVE-RECOVERY ), он обязательно должен быть создан от пользователя postgres
su - postgres -c 'touch /var/lib/postgresql/12/main/recovery.signal'
# запускаем базу данных, чтобы она инициировала процесс восстановления
service postgresql start

የመልሶ ማግኛ ሂደቱን ለመፈተሽ ለሚፈልጉ, ከዚህ በታች ትንሽ የባሽ አስማት ተዘጋጅቷል, ስለዚህም በማገገም ላይ ችግሮች ካጋጠሙ, ስክሪፕቱ ከዜሮ ውጭ በሆነ የመውጫ ኮድ ይወድቃል. በዚህ ምሳሌ 120 ቼኮች የሚደረጉት በ5 ሰከንድ ጊዜ (በድምሩ 10 ደቂቃ ለማገገም) ሲግናል ፋይሉ መሰረዙን ለማወቅ ነው (ይህ ማለት መልሶ ማግኘቱ ስኬታማ ነበር)

#!/bin/bash

CHECK_RECOVERY_SIGNAL_ITER=0
while [ ${CHECK_RECOVERY_SIGNAL_ITER} -le 120 ]
do
    if [ ! -f "/var/lib/postgresql/12/main/recovery.signal" ]
    then
        echo "recovery.signal removed"
        break
    fi
    sleep 5
    ((CHECK_RECOVERY_SIGNAL_ITER+1))
done

# если после всех проверок файл всё равно существует, то падаем с ошибкой
if [ -f "/var/lib/postgresql/12/main/recovery.signal" ]
then
    echo "recovery.signal still exists!"
    exit 17
fi

ከተሳካ ማገገሚያ በኋላ ሁሉንም ሂደቶች ወደ ኋላ መመለስን አይርሱ (pgbouncer/monit, ወዘተ.)

ከማገገም በኋላ ውሂብን በመፈተሽ ላይ

ከተሃድሶ በኋላ የውሂብ ጎታውን ትክክለኛነት ማረጋገጥ አስፈላጊ ነው, ስለዚህም የተሰበረ / የተጠማዘዘ የመጠባበቂያ ሁኔታ እንዳይፈጠር. እና በእያንዳንዱ የተፈጠረ ማህደር ይህን ማድረግ የተሻለ ነው, ነገር ግን የት እና እንዴት በአዕምሮዎ ላይ ብቻ ይወሰናል (የግለሰብ አገልጋዮችን በየሰዓቱ ማሳደግ ወይም በ CI ውስጥ ቼክ ማካሄድ ይችላሉ). ነገር ግን ቢያንስ በመረጃ ቋቱ ውስጥ ያለውን መረጃ እና ኢንዴክሶች መፈተሽ አስፈላጊ ነው.

ውሂቡን ለመፈተሽ በቆሻሻ ማጠራቀሚያ ውስጥ ማስኬድ በቂ ነው, ነገር ግን የውሂብ ጎታውን ሲፈጥሩ ቼኮች እንዲሰሩ ማድረግ የተሻለ ነው (የውሂብ ቼኮች):

#!/bin/bash

if ! su - postgres -c 'pg_dumpall > /dev/null'
then
    echo 'pg_dumpall failed'
    exit 125
fi

ኢንዴክሶችን ለመፈተሽ - አለ amcheck ሞጁል፣ የ sql መጠይቁን ለእሱ እንውሰድ የዋል-ጂ ሙከራዎች እና በዙሪያው ትንሽ አመክንዮ ይገንቡ።

#!/bin/bash

# добавляем sql-запрос для проверки в файл во временной директории
cat > /tmp/amcheck.sql << EOF
CREATE EXTENSION IF NOT EXISTS amcheck;
SELECT bt_index_check(c.oid), c.relname, c.relpages
FROM pg_index i
JOIN pg_opclass op ON i.indclass[0] = op.oid
JOIN pg_am am ON op.opcmethod = am.oid
JOIN pg_class c ON i.indexrelid = c.oid
JOIN pg_namespace n ON c.relnamespace = n.oid
WHERE am.amname = 'btree'
AND c.relpersistence != 't'
AND i.indisready AND i.indisvalid;
EOF
chown postgres: /tmp/amcheck.sql

# добавляем скрипт для запуска проверок всех доступных баз в кластере
# (обратите внимание что переменные и запуск команд – экранированы)
cat > /tmp/run_amcheck.sh << EOF
for DBNAME in $(su - postgres -c 'psql -q -A -t -c "SELECT datname FROM pg_database WHERE datistemplate = false;" ')
do
    echo "Database: ${DBNAME}"
    su - postgres -c "psql -f /tmp/amcheck.sql -v 'ON_ERROR_STOP=1' ${DBNAME}" && EXIT_STATUS=$? || EXIT_STATUS=$?
    if [ "${EXIT_STATUS}" -ne 0 ]
    then
        echo "amcheck failed on DB: ${DBNAME}"
        exit 125
    fi
done
EOF
chmod +x /tmp/run_amcheck.sh

# запускаем скрипт
/tmp/run_amcheck.sh > /tmp/amcheck.log

# для проверки что всё прошло успешно можно проверить exit code или grep’нуть ошибку
if grep 'amcheck failed' "/tmp/amcheck.log"
then
    echo 'amcheck failed: '
    cat /tmp/amcheck.log
    exit 125
fi

ለማሳጠር

አንድሬ ቦሮዲን ህትመቱን በማዘጋጀት ላደረጉት እገዛ እና ለዋል-ጂ እድገት ላደረጉት አስተዋፅኦ ልዩ ምስጋናዬን ላቀርብላችሁ እወዳለሁ።

በዚህ ማስታወሻ ይደመደማል. የማዋቀሩን ቀላልነት እና ይህንን መሳሪያ በኩባንያዎ ውስጥ ለመጠቀም ያለውን ትልቅ አቅም ማስተላለፍ እንደቻልኩ ተስፋ አደርጋለሁ። ስለ ዋል-ጂ ብዙ ሰማሁ፣ ነገር ግን ቁጭ ብሎ ለማወቅ በቂ ጊዜ አላገኘሁም። እና ቤት ውስጥ ተግባራዊ ካደረግኩ በኋላ, ይህ ጽሑፍ ከእኔ ወጣ.

በተናጥል፣ ዋል-ጂ ከሚከተለው ዲቢኤምኤስ ጋር መስራት እንደሚችል ልብ ሊባል ይገባል።

• MySQL / ማሪያ ዲ;
• MongODB;
• ፋውንዴሽን ዲቢ;
• እና በድርጊቶቹ በመመዘን ብዙ ተጨማሪ ይጠበቃሉ!

ምንጭ: hab.com