Saya perlu membuat sandaran tapak pada "2C-Bitrix: Pengurusan Tapak" (fail dan pangkalan data mysql) dua kali sehari dan menyimpan sejarah perubahan selama 1 hari.
Tapak ini terletak pada VDS yang menjalankan OS CentOS 7 dengan 1C-Bitrix: Persekitaran Web dipasang. Selain itu, buat salinan sandaran tetapan OS anda.
Keperluan:
- Kekerapan - 2 kali sehari;
- Simpan salinan selama 90 hari terakhir;
- Keupayaan untuk mendapatkan fail individu untuk tarikh tertentu, jika perlu;
- Sandaran mesti disimpan di pusat data selain VDS;
- Keupayaan untuk mengakses sandaran dari mana-mana sahaja (pelayan lain, komputer tempatan, dll.).
Perkara penting ialah keupayaan untuk membuat sandaran dengan cepat dengan penggunaan ruang tambahan dan sumber sistem yang minimum.
Ini bukan tentang syot kilat untuk memulihkan keseluruhan sistem dengan cepat, tetapi mengenai fail dan pangkalan data serta sejarah perubahan.
Data awal:
- VDS pada virtualisasi XEN;
- OS CentOS 7;
- 1C-Bitrix: Persekitaran web;
- Tapak web berdasarkan "1C-Bitrix: Pengurusan Tapak", versi Standard;
- Saiz fail ialah 50 GB dan akan berkembang;
- Saiz pangkalan data ialah 3 GB dan akan berkembang.
Saya segera mengecualikan sandaran standard yang dibina ke dalam 1C-Bitrix. Ia hanya sesuai untuk tapak kecil, kerana:
- Ia membuat salinan penuh tapak setiap kali, jadi setiap salinan akan menggunakan jumlah ruang yang sama seperti yang digunakan oleh fail, dalam kes saya ia adalah 50 GB.
- Sandaran dilakukan menggunakan PHP, yang mustahil dengan jumlah fail sedemikian, ia akan membebankan pelayan dan tidak akan selesai.
- Dan sudah tentu, tidak boleh bercakap tentang mana-mana 90 hari apabila menyimpan salinan penuh.
Penyelesaian yang ditawarkan oleh hoster ialah cakera sandaran yang terletak di pusat data yang sama dengan VDS, tetapi pada pelayan yang berbeza. Anda boleh bekerja dengan cakera melalui FTP dan menggunakan skrip anda sendiri, atau jika ISPManager dipasang pada VDS, kemudian melalui modul sandarannya. Pilihan ini tidak sesuai kerana penggunaan pusat data yang sama.
Daripada semua perkara di atas, pilihan terbaik untuk saya ialah sandaran tambahan menggunakan skrip saya sendiri dalam Yandex.Cloud (Storan Objek) atau Amazon S3 (Perkhidmatan Storan Mudah Amazon).
Ini memerlukan:
- akses root kepada VDS;
- utiliti duplikat yang dipasang;
- akaun dalam Yandex.Cloud.
Sandaran tambahan β kaedah di mana hanya data yang telah berubah sejak sandaran terakhir diarkibkan.
bermuka dua β utiliti sandaran yang menggunakan algoritma rsync dan boleh berfungsi dengan Amazon S3.
Yandex.Cloud lwn Amazon S3
Dalam kes ini, tiada perbezaan antara Yandex.Cloud dan Amazon S3 untuk saya. Yandex menyokong sebahagian besar API Amazon S3, jadi anda boleh bekerja dengannya menggunakan penyelesaian yang wujud untuk bekerja dengan S3. Dalam kes saya, ini adalah utiliti duplikat.
Kelebihan utama Yandex mungkin pembayaran dalam rubel; jika terdapat banyak data, tidak akan ada sambungan ke kadar pertukaran. Dari segi kelajuan, pusat data Eropah Amazon berfungsi setanding dengan pusat data Rusia di Yandex; sebagai contoh, anda boleh menggunakan Frankfurt. Saya sebelum ini menggunakan Amazon S3 untuk tugasan yang serupa, kini saya memutuskan untuk mencuba Yandex.
Menyediakan Yandex.Cloud
1. Anda perlu membuat akaun pembayaran dalam Yandex.Cloud. Untuk melakukan ini, anda perlu log masuk ke Yandex.Cloud melalui akaun Yandex anda atau buat yang baharu.
2. Buat "Awan".
3. Dalam "Cloud" buat "Katalog".
4. Untuk "Katalog" buat "Akaun perkhidmatan".
5. Buat kunci untuk "Akaun Perkhidmatan".
6. Simpan kunci, ia akan diperlukan pada masa akan datang.
7. Untuk "Direktori" buat "Bucket", fail akan masuk ke dalamnya.
8. Saya mengesyorkan menetapkan had dan memilih "Storan Sejuk".
Menyediakan sandaran berjadual pada pelayan
Panduan ini mengambil alih kemahiran asas pentadbiran.
1. Pasang utiliti pendua pada VDS
yum install duplicity
2. Buat folder untuk pembuangan mysql, dalam kes saya ia adalah /backup_db dalam akar VDS
3. Buat folder untuk skrip bash /backup_scripts dan buat skrip pertama yang akan melakukan backup /backup_scripts/backup.sh
Kandungan skrip:
#!`which bash`
# /backup_scripts/backup.sh
# ΠΡΠΎ ΡΡΠ»ΠΎΠ²ΠΈΠ΅ ΠΏΡΠΎΠ²Π΅ΡΡΠ΅Ρ Π½Π΅ ΠΈΠ΄ΡΡ Π»ΠΈ Π² Π΄Π°Π½Π½ΡΠΉ ΠΌΠΎΠΌΠ΅Π½Ρ ΠΏΡΠΎΡΠ΅ΡΡ ΡΠ΅Π·Π΅ΡΠ²Π½ΠΎΠ³ΠΎ ΠΊΠΎΠΏΠΈΡΠΎΠ²Π°Π½ΠΈΡ, Π΅ΡΠ»ΠΈ ΠΈΠ΄ΡΡ, ΡΠΎ Π½Π° email ΠΎΡΠΏΡΠ°Π²Π»ΡΠ΅ΡΡΡ ΡΠΎΠΎΠ±ΡΠ΅Π½ΠΈΠ΅ ΠΎΠ± ΠΎΡΠΈΠ±ΠΊΠ΅ (ΡΡΠΎΡ Π±Π»ΠΎΠΊ ΠΌΠΎΠΆΠ½ΠΎ Π½Π΅ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ)
if [ -f /home/backup_check.mark ];
then
DATE_TIME=`date +"%d.%m.%Y %T"`;
/usr/sbin/sendmail -t <<EOF
From:backup@$HOSTNAME
To:<ΠΠ°Ρ EMAIL>
Subject:Error backup to YANDEX.CLOUD
Content-Type:text/plain; charset=utf-8
Error backup to YANDEX.CLOUD
$DATE_TIME
EOF
else
# ΠΡΠ½ΠΎΠ²Π½ΠΎΠΉ Π±Π»ΠΎΠΊ ΠΎΡΠ²Π΅ΡΠ°ΡΡΠΈΠΉ Π·Π° ΡΠ΅Π·Π΅ΡΠ²Π½ΠΎΠ΅ ΠΊΠΎΠΏΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅
# ΠΡΠ»ΠΈ Π½Π΅Ρ ΠΎΡΠΈΠ±ΠΊΠΈ ΡΡΠ°Π²ΠΈΠΌ ΠΌΠ΅ΡΠΊΡ ΠΈ Π·Π°ΠΏΡΡΠΊΠ°Π΅ΠΌ backup
echo '' > /home/backup_check.mark;
# Π£Π΄Π°Π»ΡΠ΅ΠΌ ΡΠ°ΠΉΠ»Ρ Ρ Π΄Π°ΠΌΠΏΠ°ΠΌΠΈ Π±Π°Π·Ρ ΠΎΡΡΠ°Π²ΡΠΈΠ΅ΡΡ ΠΎΡ ΠΏΡΠ΅Π΄ΡΠ΄ΡΡΠ΅Π³ΠΎ backup
/bin/rm -f /backup_db/*
# ΠΠ΅Π»Π°Π΅ΠΌ Π΄Π°ΠΌΠΏ Π²ΡΠ΅Ρ
mysql Π±Π°Π·, ΠΏΡΠ΅Π΄ΠΏΠΎΠ»Π°Π³Π°Π΅ΡΡΡ ΡΡΠΎ Π΄ΠΎΡΡΡΠΏ Π΄ΠΎΠ±Π°Π²Π»Π΅Π½ Π² ΡΠ°ΠΉΠ»Π΅ /root/.my.cnf
DATETIME=`date +%Y-%m-%d_%H-%M-%S`;
`which mysqldump` --quote-names --all-databases | `which gzip` > /backup_db/DB_$DATETIME.sql.gz
# ΠΠΎΠ±Π°Π²Π»ΡΠ΅ΠΌ Π΄Π°Π½Π½ΡΠ΅ Π΄Π»Ρ ΠΎΡΠΏΡΠ°Π²ΠΊΠΈ Π² Π―Π½Π΄Π΅ΠΊΡ.
export PASSPHRASE=<ΠΡΠΈΠ΄ΡΠΌΠ°ΠΉΡΠ΅ ΠΏΠ°ΡΠΎΠ»Ρ Π΄Π»Ρ ΡΠΈΡΡΠΎΠ²Π°Π½ΠΈΡ Π°ΡΡ
ΠΈΠ²Π°>
export AWS_ACCESS_KEY_ID=<ΠΠ΄Π΅Π½ΡΠΈΡΠΈΠΊΠ°ΡΠΎΡ ΠΊΠ»ΡΡΠ° ΠΏΠΎΠ»ΡΡΠ΅Π½Π½ΡΠΉ Ρ Π―Π½Π΄Π΅ΠΊΡΠ°>
export AWS_SECRET_ACCESS_KEY=<Π‘Π΅ΠΊΡΠ΅ΡΠ½ΡΠΉ ΠΊΠ»ΡΡ ΠΏΠΎΠ»ΡΡΠ΅Π½Π½ΡΠΉ Ρ Π―Π½Π΄Π΅ΠΊΡΠ°>
# ΠΠ°ΠΏΡΡΠΊΠ°Π΅ΠΌ duplicity Π΄Π»Ρ ΡΠ΅Π·Π΅ΡΠ²ΠΈΡΠΎΠ²Π°Π½ΠΈΡ Π½Π΅ΠΎΠ±Ρ
ΠΎΠ΄ΠΈΠΌΡΡ
ΠΏΠ°ΠΏΠΎΠΊ Π½Π° ΡΠ΅ΡΠ²Π΅ΡΠ΅.
# ΠΠ°Π½Π½Π°Ρ ΠΊΠΎΠΌΠ°Π½Π΄Π° Π±ΡΠ΄Π΅Ρ ΡΠΎΠ·Π΄Π°Π²Π°ΡΡ ΠΏΠΎΠ»Π½ΡΠΉ backup ΡΠ°Π· Π² ΠΌΠ΅ΡΡΡ ΠΈ Π΄ΠΎ ΡΠ»Π΅Π΄ΡΡΡΠ΅Π³ΠΎ ΠΌΠ΅ΡΡΡΠ° Π΄ΠΎΠ±Π°Π²Π»ΡΡΡ ΠΈΠ½ΠΊΡΠ΅ΠΌΠ΅Π½ΡΠ°Π»ΡΠ½ΡΠ΅ ΠΊ Π½Π΅ΠΌΡ
# -- exclude ΡΡΠΎ ΠΏΠ°ΠΏΠΊΠΈ, ΠΊΠΎΡΠΎΡΡΠ΅ Π½ΡΠΆΠ½ΠΎ ΠΈΡΠΊΠ»ΡΡΠΈΡΡ, Ρ ΠΈΡΠΊΠ»ΡΡΠ°Ρ Π²ΡΠ΅ ΠΏΠ°ΠΏΠΊΠΈ Ρ ΠΊΠ΅ΡΠ΅ΠΌ Π±ΠΈΡΡΠΈΠΊΡΠ°
# --include ΠΏΠ°ΠΏΠΊΠΈ ΠΊΠΎΡΠΎΡΡΠ΅ Π½ΡΠΆΠ½ΠΎ ΡΠ΅Π·Π΅ΡΠ²ΠΈΡΠΎΠ²Π°ΡΡ Π² ΠΌΠΎΡΠΌ ΡΠ»ΡΡΠ°Π΅ ΡΡΠΎ:
# - /backup_db
# - /home
# - /etc
# s3://storage.yandexcloud.net/backup , backup ΡΡΠΎ ΠΈΠΌΡ ΡΠΎΠ·Π΄Π°Π½Π½ΠΎΠ³ΠΎ Π²ΡΡΠ΅ Π±Π°ΠΊΠ΅ΡΠ°
# Π’Π΅Ρ
Π½ΠΈΡΠ΅ΡΠΊΠ°Ρ ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎΡΡΡ ΠΈ Π·Π½Π°ΡΠ΅Π½ΠΈΡ Π½Π΅ΠΊΠΎΡΠΎΡΡΡ
ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠΎΠ²:
# ΠΠ²Π΅ ΡΡΡΠΎΠΊΠΈ "--exclude='**'" ΠΈ "/" Π½ΡΠΆΠ½Ρ, ΡΡΠΎΠ±Ρ ΠΌΠΎΠΆΠ½ΠΎ Π±ΡΠ»ΠΎ Π²ΡΡΠ΅ ΠΎΠΏΠ΅ΡΠΈΡΠΎΠ²Π°ΡΡ --include ΠΈ --exclude Π΄Π»Ρ ΡΠ°Π·Π½ΡΡ
ΠΏΠ°ΠΏΠΎΠΊ. ΠΡΠΈ Π΄Π²Π΅ ΡΡΡΠΎΡΠΊΠΈ ΡΠ½Π°ΡΠ°Π»Π° Π΄ΠΎΠ±Π°Π²Π»ΡΡΡ Π² Π±ΡΠΊΠ°ΠΏ Π²Π΅ΡΡ ΡΠ΅ΡΠ²Π΅Ρ "/", ΠΏΠΎΡΠΎΠΌ ΠΈΡΠΊΠ»ΡΡΠ°ΡΡ Π΅Π³ΠΎ "--exclude='**'"
# --full-if-older-than='1M' - ΡΠΎΠ·Π΄Π°Π²Π°ΡΡ ΠΏΠΎΠ»Π½ΡΡ ΠΊΠΎΠΏΠΈΡ ΠΊΠ°ΠΆΠ΄ΡΠΉ ΠΌΠ΅ΡΡΡ
# --volsize='512' - ΠΌΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΡΠΉ ΡΠ°Π·ΠΌΠ΅Ρ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΈΠ· ΡΠ°ΠΉΠ»ΠΎΠ² Π² Π±ΡΠΊΠ°ΠΏΠ΅ Π² ΠΌΠ΅Π³Π°Π±Π°ΠΉΡΠ°Ρ
# --log-file='/var/log/duplicity.log' - ΠΊΡΠ΄Π° ΠΏΠΈΡΠ°ΡΡ Π»ΠΎΠ³ ΡΠ°ΠΉΠ»
`which duplicity`
--s3-use-ia --s3-european-buckets
--s3-use-new-style
--s3-use-multiprocessing
--s3-multipart-chunk-size='128'
--volsize='512'
--no-print-statistics
--verbosity=0
--full-if-older-than='1M'
--log-file='/var/log/duplicity.log'
--exclude='**/www/bitrix/backup/**'
--exclude='**/www/bitrix/cache/**'
--exclude='**/www/bitrix/cache_image/**'
--exclude='**/www/bitrix/managed_cache/**'
--exclude='**/www/bitrix/managed_flags/**'
--exclude='**/www/bitrix/stack_cache/**'
--exclude='**/www/bitrix/html_pages/*/**'
--exclude='**/www/bitrix/tmp/**'
--exclude='**/www/upload/tmp/**'
--exclude='**/www/upload/resize_cache/**'
--include='/backup_db'
--include='/home'
--include='/etc'
--exclude='**'
/
s3://storage.yandexcloud.net/backup
# ΠΠ°Π½Π½Π°Ρ ΠΊΠΎΠΌΠ°Π½Π΄Π° Π½ΡΠΆΠ½Π° Π΄Π»Ρ ΡΠΈΡΡΠΊΠΈ.
# ΠΠ½Π° ΠΎΡΡΠ°Π²Π»ΡΠ΅Ρ 3 ΠΏΠΎΡΠ»Π΅Π΄Π½ΠΈΡ
ΠΏΠΎΠ»Π½ΡΡ
backup ΠΈ Π°ΡΡΠΎΡΠΈΠΈΡΠΎΠ²Π°Π½Π½ΡΡ
Ρ Π½ΠΈΠΌΠΈ ΠΈΠ½ΠΊΡΠ΅ΠΌΠ΅Π½ΡΠ°Π»ΡΠ½ΡΡ
backup.
# Π’.ΠΎ. Ρ ΠΌΠ΅Π½Ρ ΠΎΡΡΠ°ΡΡΡΡ backup Π·Π° 3 ΠΌΠ΅ΡΡΡΠ°, Ρ.ΠΊ. ΠΏΠ΅ΡΠ²Π°Ρ ΠΊΠΎΠΌΠ°Π½Π΄Π° ΠΊΠ°ΠΆΠ΄ΡΠΉ ΠΌΠ΅ΡΡΡ Π΄Π΅Π»Π°Π΅Ρ Π½ΠΎΠ²ΡΠΉ ΠΏΠΎΠ»Π½ΡΠΉ backup
`which duplicity` remove-all-but-n-full 3 --s3-use-ia --s3-european-buckets --s3-use-new-style --verbosity=0 --force s3://storage.yandexcloud.net/backup
unset PASSPHRASE
unset AWS_ACCESS_KEY_ID
unset AWS_SECRET_ACCESS_KEY
# Π£Π΄Π°Π»ΡΠ΅ΠΌ ΠΌΠ΅ΡΠΊΡ ΠΎΠ± ΠΈΠ΄ΡΡΠ΅ΠΌ backup
/bin/rm -f /home/backup_check.mark;
fi
4. Jalankan skrip buat kali pertama dan semak hasilnya; fail harus muncul dalam "Badi".
`which bash` /backup_scripts/backup.sh
5. Tambahkan skrip pada cron untuk pengguna root dijalankan 2 kali sehari, atau dengan kekerapan yang anda perlukan.
10 4,16 * * * `which bash` /backup_scripts/backup.sh
Memulihkan data daripada Yandex.Cloud
1. Buat folder pemulihan /backup_restore
2. Buat skrip bash untuk pemulihan /backup_scripts/restore.sh
Saya memberikan contoh yang paling popular untuk memulihkan fail tertentu:
#!`which bash`
export PASSPHRASE=<ΠΠ°ΡΠΎΠ»Ρ Π΄Π»Ρ ΡΠΈΡΡΠΎΠ²Π°Π½ΠΈΡ Π°ΡΡ
ΠΈΠ²Π° ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΠΌΡΠΉ ΠΏΡΠΈ Π±ΡΠΊΠ°ΠΏΠ΅>
export AWS_ACCESS_KEY_ID=<ΠΠ΄Π΅Π½ΡΠΈΡΠΈΠΊΠ°ΡΠΎΡ ΠΊΠ»ΡΡΠ° ΠΏΠΎΠ»ΡΡΠ΅Π½Π½ΡΠΉ Ρ Π―Π½Π΄Π΅ΠΊΡΠ°>
export AWS_SECRET_ACCESS_KEY=<Π‘Π΅ΠΊΡΠ΅ΡΠ½ΡΠΉ ΠΊΠ»ΡΡ ΠΏΠΎΠ»ΡΡΠ΅Π½Π½ΡΠΉ Ρ Π―Π½Π΄Π΅ΠΊΡΠ°>
# 3 ΠΏΡΠΈΠΌΠ΅ΡΠ°, ΡΠ°ΡΠΊΠΎΠΌΠΌΠ΅Π½ΡΠΈΡΠΎΠ²Π°ΡΡ Π½ΡΠΆΠ½ΡΠΉ
# ΠΠΎΠ»ΡΡΠΈΡΡ ΡΡΠ°ΡΡΡ backup
#`which duplicity` collection-status s3://storage.yandexcloud.net/backup
# ΠΠΎΡΡΡΠ°Π½ΠΎΠ²ΠΈΡΡ index.php ΠΈΠ· ΠΊΠΎΡΠ½Ρ ΡΠ°ΠΉΡΠ°
#`which duplicity` --file-to-restore='home/bitrix/www/index.php' s3://storage.yandexcloud.net/backup /backup_restore/index.php
# ΠΠΎΡΡΡΠ°Π½ΠΎΠ²ΠΈΡΡ index.php ΠΈΠ· ΠΊΠΎΡΠ½Ρ ΡΠ°ΠΉΡΠ° 3Ρ
Π΄Π½Π΅Π²Π½ΠΎΠΉ Π΄Π°Π²Π½ΠΎΡΡΠΈ
#`which duplicity` --time='3D' --file-to-restore='home/bitrix/www/index.php' s3://storage.yandexcloud.net/backup /backup_restore/index.php
unset PASSPHRASE
unset AWS_ACCESS_KEY_ID
unset AWS_SECRET_ACCESS_KEY
3. Jalankan skrip dan tunggu hasilnya.
`which bash` /backup_scripts/backup.sh
Dalam folder /backup_restore/ anda akan menemui fail index.php yang telah disandarkan sebelum ini.
Anda boleh membuat pelarasan yang lebih halus untuk memenuhi keperluan anda.
Tolak pertindihan
duplicity mempunyai satu kelemahan - tidak mungkin untuk menetapkan had penggunaan saluran. Dengan saluran biasa ini tidak menimbulkan masalah, tetapi apabila menggunakan saluran yang dilindungi DDoS dengan pengecasan laju setiap hari, saya ingin dapat menetapkan had 1-2 megabit.
Sebagai kesimpulan
Sandaran dalam Yandex.Cloud atau Amazon S3 menyediakan salinan bebas tapak dan tetapan OS yang boleh diakses daripada mana-mana pelayan lain atau komputer tempatan. Selain itu, salinan ini tidak kelihatan sama ada dalam panel kawalan pengehosan atau dalam panel pentadbir Bitrix, yang menyediakan keselamatan tambahan.
Dalam senario kes terburuk, anda boleh memasang pelayan baharu dan menggunakan tapak pada bila-bila tarikh. Walaupun fungsi yang paling popular adalah keupayaan untuk mengakses fail untuk tarikh tertentu.
Anda boleh menggunakan teknik ini dengan mana-mana VDS atau pelayan dan tapak khusus pada mana-mana enjin, bukan hanya 1C-Bitrix. OS juga mungkin selain daripada CentOS, seperti Ubuntu atau Debian.
Sumber: www.habr.com