Yandex.Cloud-ലെ 1C-Bitrix-ൽ ഒരു സൈറ്റിനൊപ്പം വർദ്ധിച്ചുവരുന്ന VDS ബാക്കപ്പ്

“2C-Bitrix: Site Management” (ഫയലുകളും mysql ഡാറ്റാബേസും) എന്നതിൽ എനിക്ക് ദിവസത്തിൽ രണ്ടുതവണ സൈറ്റിന്റെ ബാക്കപ്പുകൾ ഉണ്ടാക്കുകയും 1 ദിവസത്തേക്ക് മാറ്റങ്ങളുടെ ചരിത്രം സൂക്ഷിക്കുകയും വേണം.

7C-Bitrix: Web Environment ഇൻസ്റ്റാൾ ചെയ്ത CentOS 1 OS-ൽ പ്രവർത്തിക്കുന്ന VDS-ലാണ് സൈറ്റ് സ്ഥിതിചെയ്യുന്നത്. കൂടാതെ, നിങ്ങളുടെ OS ക്രമീകരണങ്ങളുടെ ഒരു ബാക്കപ്പ് പകർപ്പ് ഉണ്ടാക്കുക.

ആവശ്യകതകൾ:

• ആവൃത്തി - 2 തവണ ഒരു ദിവസം;
• കഴിഞ്ഞ 90 ദിവസത്തേക്കുള്ള പകർപ്പുകൾ സൂക്ഷിക്കുക;
• ആവശ്യമെങ്കിൽ, ഒരു നിർദ്ദിഷ്ട തീയതിക്കായി വ്യക്തിഗത ഫയലുകൾ നേടാനുള്ള കഴിവ്;
• ബാക്കപ്പ് VDS അല്ലാത്ത ഒരു ഡാറ്റാ സെന്ററിൽ സൂക്ഷിക്കണം;
• എവിടെനിന്നും ബാക്കപ്പ് ആക്സസ് ചെയ്യാനുള്ള കഴിവ് (മറ്റൊരു സെർവർ, പ്രാദേശിക കമ്പ്യൂട്ടർ മുതലായവ).

അധിക സ്ഥലത്തിന്റെയും സിസ്റ്റം ഉറവിടങ്ങളുടെയും കുറഞ്ഞ ഉപഭോഗം ഉപയോഗിച്ച് വേഗത്തിൽ ബാക്കപ്പുകൾ സൃഷ്ടിക്കാനുള്ള കഴിവാണ് ഒരു പ്രധാന കാര്യം.

ഇത് മുഴുവൻ സിസ്റ്റവും വേഗത്തിൽ പുനഃസ്ഥാപിക്കുന്നതിനുള്ള ഒരു സ്നാപ്പ്ഷോട്ടിനെക്കുറിച്ചല്ല, ഫയലുകളെയും ഡാറ്റാബേസിനെയും മാറ്റങ്ങളുടെ ചരിത്രത്തെയും കുറിച്ചാണ്.

പ്രാരംഭ ഡാറ്റ:

• XEN വിർച്ച്വലൈസേഷനിൽ VDS;
• OS CentOS 7;
• 1C-ബിട്രിക്സ്: വെബ് പരിസ്ഥിതി;
• "1C-Bitrix: സൈറ്റ് മാനേജ്മെന്റ്" അടിസ്ഥാനമാക്കിയുള്ള വെബ്സൈറ്റ്, സ്റ്റാൻഡേർഡ് പതിപ്പ്;
• ഫയൽ വലുപ്പം 50 GB ആണ്, അത് വളരും;
• ഡാറ്റാബേസ് വലുപ്പം 3 GB ആണ്, അത് വളരും.

1C-Bitrix-ൽ നിർമ്മിച്ച സ്റ്റാൻഡേർഡ് ബാക്കപ്പ് ഞാൻ ഉടൻ ഒഴിവാക്കി. ഇത് ചെറിയ സൈറ്റുകൾക്ക് മാത്രം അനുയോജ്യമാണ്, കാരണം:

• ഇത് ഓരോ തവണയും സൈറ്റിന്റെ പൂർണ്ണമായ പകർപ്പ് ഉണ്ടാക്കുന്നു, അതിനാൽ ഓരോ പകർപ്പും ഫയലുകൾ എടുക്കുന്ന അതേ അളവിലുള്ള ഇടം എടുക്കും, എന്റെ കാര്യത്തിൽ ഇത് 50 GB ആണ്.
• PHP ഉപയോഗിച്ചാണ് ബാക്കപ്പ് ചെയ്യുന്നത്, ഇത് ഫയലുകളുടെ അത്തരം വോള്യങ്ങളിൽ അസാധ്യമാണ്, ഇത് സെർവറിനെ ഓവർലോഡ് ചെയ്യും, ഒരിക്കലും പൂർത്തിയാക്കില്ല.
• തീർച്ചയായും, പൂർണ്ണമായ ഒരു പകർപ്പ് സംഭരിക്കുമ്പോൾ 90 ദിവസത്തെക്കുറിച്ച് സംസാരിക്കാൻ കഴിയില്ല.

ഹോസ്റ്റർ വാഗ്ദാനം ചെയ്യുന്ന പരിഹാരം VDS-ന്റെ അതേ ഡാറ്റാ സെന്ററിൽ സ്ഥിതി ചെയ്യുന്ന ഒരു ബാക്കപ്പ് ഡിസ്കാണ്, എന്നാൽ മറ്റൊരു സെർവറിൽ. നിങ്ങൾക്ക് FTP വഴി ഡിസ്കിൽ പ്രവർത്തിക്കാനും നിങ്ങളുടെ സ്വന്തം സ്ക്രിപ്റ്റുകൾ ഉപയോഗിക്കാനും കഴിയും, അല്ലെങ്കിൽ VDS-ൽ ISPManager ഇൻസ്റ്റാൾ ചെയ്തിട്ടുണ്ടെങ്കിൽ, അതിന്റെ ബാക്കപ്പ് മൊഡ്യൂൾ വഴി. ഒരേ ഡാറ്റാ സെന്റർ ഉപയോഗിക്കുന്നതിനാൽ ഈ ഓപ്ഷൻ അനുയോജ്യമല്ല.

മുകളിൽ പറഞ്ഞവയിൽ നിന്നെല്ലാം, Yandex.Cloud (ഒബ്‌ജക്റ്റ് സ്റ്റോറേജ്) അല്ലെങ്കിൽ ആമസോൺ S3 (ആമസോൺ സിമ്പിൾ സ്റ്റോറേജ് സർവീസ്) എന്നിവയിൽ എന്റെ സ്വന്തം സ്‌ക്രിപ്റ്റ് ഉപയോഗിക്കുന്ന ഇൻക്രിമെന്റൽ ബാക്കപ്പ് ആണ് എനിക്ക് ഏറ്റവും മികച്ച തിരഞ്ഞെടുപ്പ്.

ഇതിന് ആവശ്യമാണ്:

• വിഡിഎസിലേക്കുള്ള റൂട്ട് ആക്സസ്;
• ഇൻസ്റ്റാൾ ചെയ്ത ഡ്യൂപ്ലസിറ്റി യൂട്ടിലിറ്റി;
• Yandex.Cloud-ൽ അക്കൗണ്ട്.

വർദ്ധിച്ചുവരുന്ന ബാക്കപ്പ് — അവസാന ബാക്കപ്പിന് ശേഷം മാറിയ ഡാറ്റ മാത്രം ആർക്കൈവ് ചെയ്യുന്ന രീതി.

ഇരട്ടത്താപ്പാണ് — rsync അൽഗോരിതങ്ങൾ ഉപയോഗിക്കുന്ന ഒരു ബാക്കപ്പ് യൂട്ടിലിറ്റി, ആമസോൺ S3 ഉപയോഗിച്ച് പ്രവർത്തിക്കാൻ കഴിയും.

Yandex.Cloud vs Amazon S3

ഈ സാഹചര്യത്തിൽ, എനിക്ക് Yandex.Cloud ഉം Amazon S3 ഉം തമ്മിൽ വ്യത്യാസമില്ല. ആമസോൺ S3 API-യുടെ ഭൂരിഭാഗവും Yandex പിന്തുണയ്ക്കുന്നു, അതിനാൽ S3-യിൽ പ്രവർത്തിക്കുന്നതിന് നിലവിലുള്ള പരിഹാരങ്ങൾ ഉപയോഗിച്ച് നിങ്ങൾക്ക് ഇത് ഉപയോഗിച്ച് പ്രവർത്തിക്കാനാകും. എന്റെ കാര്യത്തിൽ, ഇത് ഡ്യൂപ്ലസിറ്റി യൂട്ടിലിറ്റിയാണ്.

Yandex- ന്റെ പ്രധാന നേട്ടം റൂബിളിൽ പണമടയ്ക്കാം; ധാരാളം ഡാറ്റ ഉണ്ടെങ്കിൽ, വിനിമയ നിരക്കുമായി യാതൊരു ബന്ധവുമില്ല. വേഗതയുടെ കാര്യത്തിൽ, ആമസോണിന്റെ യൂറോപ്യൻ ഡാറ്റാ സെന്ററുകൾ Yandex-ലെ റഷ്യൻ ഡാറ്റാ സെന്ററുകളുമായി താരതമ്യപ്പെടുത്താവുന്നതാണ്; ഉദാഹരണത്തിന്, നിങ്ങൾക്ക് ഫ്രാങ്ക്ഫർട്ട് ഉപയോഗിക്കാം. സമാനമായ ജോലികൾക്കായി ഞാൻ മുമ്പ് Amazon S3 ഉപയോഗിച്ചിരുന്നു, ഇപ്പോൾ ഞാൻ Yandex പരീക്ഷിക്കാൻ തീരുമാനിച്ചു.

Yandex.Cloud സജ്ജീകരിക്കുന്നു

1. Yandex.Cloud-ൽ നിങ്ങൾ ഒരു പേയ്മെന്റ് അക്കൗണ്ട് സൃഷ്ടിക്കേണ്ടതുണ്ട്. ഇത് ചെയ്യുന്നതിന്, നിങ്ങളുടെ Yandex അക്കൗണ്ട് വഴി Yandex.Cloud-ലേക്ക് ലോഗിൻ ചെയ്യുക അല്ലെങ്കിൽ പുതിയൊരെണ്ണം സൃഷ്ടിക്കേണ്ടതുണ്ട്.

2. ഒരു "ക്ലൗഡ്" സൃഷ്ടിക്കുക.


3. "ക്ലൗഡിൽ" ഒരു "കാറ്റലോഗ്" സൃഷ്ടിക്കുക.


4. "കാറ്റലോഗ്" എന്നതിനായി ഒരു "സേവന അക്കൗണ്ട്" സൃഷ്ടിക്കുക.


5. "സേവന അക്കൗണ്ടിന്" കീകൾ സൃഷ്ടിക്കുക.


6. കീകൾ സംരക്ഷിക്കുക, ഭാവിയിൽ അവ ആവശ്യമായി വരും.


7. “ഡയറക്‌ടറി”ക്കായി ഒരു “ബക്കറ്റ്” സൃഷ്‌ടിക്കുക, ഫയലുകൾ അതിലേക്ക് പോകും.


8. ഒരു പരിധി നിശ്ചയിച്ച് "കോൾഡ് സ്റ്റോറേജ്" തിരഞ്ഞെടുക്കാൻ ഞാൻ ശുപാർശ ചെയ്യുന്നു.

സെർവറിൽ ഷെഡ്യൂൾ ചെയ്ത ബാക്കപ്പുകൾ സജ്ജീകരിക്കുന്നു

ഈ ഗൈഡ് അടിസ്ഥാന അഡ്മിനിസ്ട്രേഷൻ കഴിവുകൾ അനുമാനിക്കുന്നു.

1. VDS-ൽ ഡ്യൂപ്ലസിറ്റി യൂട്ടിലിറ്റി ഇൻസ്റ്റാൾ ചെയ്യുക

yum install duplicity

2. mysql ഡംപുകൾക്കായി ഒരു ഫോൾഡർ സൃഷ്‌ടിക്കുക, എന്റെ കാര്യത്തിൽ അത് VDS റൂട്ടിൽ /backup_db ആണ്

3. ബാഷ് സ്‌ക്രിപ്റ്റുകൾ /backup_scripts-നായി ഒരു ഫോൾഡർ സൃഷ്‌ടിക്കുകയും ബാക്കപ്പുകൾ /backup_scripts/backup.sh നിർവഹിക്കുന്ന ആദ്യത്തെ സ്‌ക്രിപ്റ്റ് നിർമ്മിക്കുകയും ചെയ്യുക

സ്ക്രിപ്റ്റ് ഉള്ളടക്കങ്ങൾ:

#!`which bash`


# /backup_scripts/backup.sh

# Это условие проверяет не идёт ли в данный момент процесс резервного копирования, если идёт, то на email отправляется сообщение об ошибке (этот блок можно не использовать)
if [ -f /home/backup_check.mark ];
then

DATE_TIME=`date +"%d.%m.%Y %T"`;

/usr/sbin/sendmail -t <<EOF
From:backup@$HOSTNAME
To:<Ваш EMAIL>
Subject:Error backup to YANDEX.CLOUD
Content-Type:text/plain; charset=utf-8
Error backup to YANDEX.CLOUD

$DATE_TIME
EOF

else

# Основной блок отвечающий за резервное копирование
# Если нет ощибки ставим метку и запускаем backup

echo '' > /home/backup_check.mark;


# Удаляем файлы с дампами базы оставшиеся от предыдущего backup

/bin/rm -f /backup_db/*


# Делаем дамп всех mysql баз, предполагается что доступ добавлен в файле /root/.my.cnf

DATETIME=`date +%Y-%m-%d_%H-%M-%S`;

`which mysqldump` --quote-names --all-databases | `which gzip` > /backup_db/DB_$DATETIME.sql.gz


# Добавляем данные для отправки в Яндекс.

export PASSPHRASE=<Придумайте пароль для шифрования архива>
export AWS_ACCESS_KEY_ID=<Идентификатор ключа полученный у Яндекса>
export AWS_SECRET_ACCESS_KEY=<Секретный ключ полученный у Яндекса>


# Запускаем duplicity для резервирования необходимых папок на сервере.
# Данная команда будет создавать полный backup раз в месяц и до следующего месяца добавлять инкрементальные к нему
# -- exclude это папки, которые нужно исключить, я исключаю все папки с кешем битрикса
# --include папки которые нужно резервировать в моём случае это:
# - /backup_db
# - /home
# - /etc
# s3://storage.yandexcloud.net/backup , backup это имя созданного выше бакета

# Техническая особенность и значения некоторых параметров:
# Две строки "--exclude='**'" и "/" нужны, чтобы можно было выше оперировать --include и --exclude для разных папок. Эти две строчки сначала добавляют в бэкап весь сервер "/", потом исключают его "--exclude='**'"
# --full-if-older-than='1M' - создавать полную копию каждый месяц
# --volsize='512' - максимальный размер каждого из файлов в бэкапе в мегабайтах
# --log-file='/var/log/duplicity.log' - куда писать лог файл

`which duplicity` 
    --s3-use-ia --s3-european-buckets 
    --s3-use-new-style 
    --s3-use-multiprocessing 
    --s3-multipart-chunk-size='128' 
    --volsize='512' 
    --no-print-statistics 
    --verbosity=0 
    --full-if-older-than='1M' 
    --log-file='/var/log/duplicity.log' 
    --exclude='**/www/bitrix/backup/**' 
    --exclude='**/www/bitrix/cache/**' 
    --exclude='**/www/bitrix/cache_image/**' 
    --exclude='**/www/bitrix/managed_cache/**' 
    --exclude='**/www/bitrix/managed_flags/**' 
    --exclude='**/www/bitrix/stack_cache/**' 
    --exclude='**/www/bitrix/html_pages/*/**' 
    --exclude='**/www/bitrix/tmp/**' 
    --exclude='**/www/upload/tmp/**' 
    --exclude='**/www/upload/resize_cache/**' 
    --include='/backup_db' 
    --include='/home' 
    --include='/etc' 
    --exclude='**' 
    / 
    s3://storage.yandexcloud.net/backup



# Данная команда нужна для чистки.
# Она оставляет 3 последних полных backup и ассоциированных с ними инкрементальных backup.
# Т.о. у меня остаются backup за 3 месяца, т.к. первая команда каждый месяц делает новый полный backup

`which duplicity` remove-all-but-n-full 3 --s3-use-ia --s3-european-buckets --s3-use-new-style --verbosity=0 --force s3://storage.yandexcloud.net/backup



unset PASSPHRASE
unset AWS_ACCESS_KEY_ID
unset AWS_SECRET_ACCESS_KEY

# Удаляем метку об идущем backup

/bin/rm -f /home/backup_check.mark;

fi

4. ആദ്യമായി സ്ക്രിപ്റ്റ് പ്രവർത്തിപ്പിച്ച് ഫലം പരിശോധിക്കുക; ഫയലുകൾ "ബക്കറ്റിൽ" ദൃശ്യമാകും.

`which bash` /backup_scripts/backup.sh

5. റൂട്ട് ഉപയോക്താവിന് ഒരു ദിവസം 2 തവണ പ്രവർത്തിപ്പിക്കുന്നതിന് ക്രോണിലേക്ക് ഒരു സ്ക്രിപ്റ്റ് ചേർക്കുക, അല്ലെങ്കിൽ നിങ്ങൾക്ക് ആവശ്യമുള്ള ആവൃത്തിയിൽ.

10 4,16 * * * `which bash` /backup_scripts/backup.sh

Yandex.Cloud-ൽ നിന്ന് ഡാറ്റ വീണ്ടെടുക്കുന്നു

1. ഒരു വീണ്ടെടുക്കൽ ഫോൾഡർ /backup_restore ഉണ്ടാക്കുക

2. വീണ്ടെടുക്കലിനായി ഒരു ബാഷ് സ്ക്രിപ്റ്റ് ഉണ്ടാക്കുക /backup_scripts/restore.sh

ഒരു നിർദ്ദിഷ്ട ഫയൽ പുനഃസ്ഥാപിക്കുന്നതിനുള്ള ഏറ്റവും ജനപ്രിയമായ ഉദാഹരണം ഞാൻ നൽകുന്നു:

#!`which bash`

export PASSPHRASE=<Пароль для шифрования архива используемый при бэкапе>
export AWS_ACCESS_KEY_ID=<Идентификатор ключа полученный у Яндекса>
export AWS_SECRET_ACCESS_KEY=<Секретный ключ полученный у Яндекса>

# 3 примера, раскомментировать нужный

# Получить статус backup
#`which duplicity` collection-status s3://storage.yandexcloud.net/backup

# Восстановить index.php из корня сайта
#`which duplicity` --file-to-restore='home/bitrix/www/index.php' s3://storage.yandexcloud.net/backup /backup_restore/index.php

# Восстановить index.php из корня сайта 3х дневной давности
#`which duplicity` --time='3D' --file-to-restore='home/bitrix/www/index.php' s3://storage.yandexcloud.net/backup /backup_restore/index.php

unset PASSPHRASE
unset AWS_ACCESS_KEY_ID
unset AWS_SECRET_ACCESS_KEY

3. സ്ക്രിപ്റ്റ് പ്രവർത്തിപ്പിച്ച് ഫലത്തിനായി കാത്തിരിക്കുക.

`which bash` /backup_scripts/backup.sh

/backup_restore/ ഫോൾഡറിൽ നിങ്ങൾ മുമ്പ് ബാക്കപ്പ് ചെയ്ത index.php ഫയൽ കണ്ടെത്തും.

നിങ്ങളുടെ ആവശ്യങ്ങൾക്കനുസൃതമായി നിങ്ങൾക്ക് മികച്ച ക്രമീകരണങ്ങൾ ചെയ്യാൻ കഴിയും.

മൈനസ് ഡ്യൂപ്ലിക്കേഷൻ

ഇരട്ടത്താപ്പിന് ഒരു പോരായ്മയുണ്ട് - ഒരു ചാനൽ ഉപയോഗ പരിധി നിശ്ചയിക്കുന്നത് സാധ്യമല്ല. ഒരു സാധാരണ ചാനലിൽ ഇത് ഒരു പ്രശ്‌നവും സൃഷ്ടിക്കുന്നില്ല, എന്നാൽ പ്രതിദിനം സ്പീഡ് ചാർജ്ജിംഗ് ഉള്ള ഒരു DDoS- പരിരക്ഷിത ചാനൽ ഉപയോഗിക്കുമ്പോൾ, 1-2 മെഗാബിറ്റ് പരിധി സജ്ജീകരിക്കാൻ ഞാൻ ആഗ്രഹിക്കുന്നു.

ഉപസംഹാരമായി

Yandex.Cloud അല്ലെങ്കിൽ Amazon S3-ലെ ബാക്കപ്പ്, മറ്റേതെങ്കിലും സെർവറിൽ നിന്നോ ലോക്കൽ കമ്പ്യൂട്ടറിൽ നിന്നോ ആക്സസ് ചെയ്യാൻ കഴിയുന്ന സൈറ്റിന്റെയും OS ക്രമീകരണങ്ങളുടെയും ഒരു സ്വതന്ത്ര പകർപ്പ് നൽകുന്നു. കൂടാതെ, ഈ പകർപ്പ് ഹോസ്റ്റിംഗ് കൺട്രോൾ പാനലിലോ അധിക സുരക്ഷ നൽകുന്ന ബിട്രിക്സ് അഡ്മിൻ പാനലിലോ ദൃശ്യമല്ല.

ഏറ്റവും മോശം സാഹചര്യത്തിൽ, നിങ്ങൾക്ക് ഒരു പുതിയ സെർവർ കൂട്ടിച്ചേർക്കാനും ഏത് തീയതിയിലും സൈറ്റ് വിന്യസിക്കാനും കഴിയും. ഒരു നിർദ്ദിഷ്‌ട തീയതിക്കായി ഒരു ഫയൽ ആക്‌സസ് ചെയ്യാനുള്ള കഴിവാണ് ഏറ്റവും ജനപ്രിയമായ പ്രവർത്തനമെങ്കിലും.

1C-Bitrix മാത്രമല്ല, ഏത് എഞ്ചിനുകളിലെയും ഏതെങ്കിലും VDS അല്ലെങ്കിൽ ഡെഡിക്കേറ്റഡ് സെർവറുകളിലും സൈറ്റുകളിലും നിങ്ങൾക്ക് ഈ സാങ്കേതികവിദ്യ ഉപയോഗിക്കാം. OS ഉബുണ്ടു അല്ലെങ്കിൽ ഡെബിയൻ പോലെയുള്ള CentOS അല്ലാത്തതും ആകാം.

അവലംബം: www.habr.com