Pencadangan VDS tambahan dengan situs di 1C-Bitrix di Yandex.Cloud

Saya perlu mencadangkan situs ke 2C-Bitrix: Manajemen Situs 1 kali sehari (file dan database mysql) dan menyimpan riwayat perubahan selama 90 hari.

Situs ini terletak di VDS yang menjalankan CentOS 7 dengan "1C-Bitrix: Web Environment" terpasang. Selain itu, buat salinan cadangan dari pengaturan OS.

Persyaratan:

• Frekuensi - 2 kali sehari;
• Simpan salinan selama 90 hari terakhir;
• Kemampuan untuk mendapatkan file individual untuk tanggal tertentu, jika perlu;
• Cadangan harus disimpan di pusat data selain VDS;
• Kemampuan untuk mengakses cadangan dari mana saja (server lain, komputer lokal, dll.).

Poin penting adalah kemampuan untuk membuat cadangan dengan cepat dengan konsumsi ruang tambahan dan sumber daya sistem yang minimal.

Ini bukan tentang snapshot untuk pemulihan cepat seluruh sistem, tetapi tentang file dan database serta riwayat perubahan.

Sumber data:

• VDS pada virtualisasi XEN;
• OS CentOS 7;
• 1C-Bitrix: Lingkungan web;
• Situs berdasarkan "1C-Bitrix: Manajemen Situs", versi standar;
• Ukuran file 50 GB dan akan bertambah;
• Ukuran database adalah 3 GB dan akan bertambah.

Cadangan standar yang terpasang di 1C-Bitrix - segera dikecualikan. Ini hanya cocok untuk situs kecil, karena:

• Membuat salinan lengkap situs setiap kali, masing-masing, setiap salinan akan memakan ruang sebanyak saya mengambil file, dalam kasus saya adalah 50 GB.
• Pencadangan dilakukan menggunakan PHP, yang tidak mungkin dengan volume file seperti itu, akan membebani server dan tidak akan pernah berakhir.
• Dan tentu saja, tidak ada pembicaraan selama 90 hari saat menyimpan salinan lengkap.

Solusi yang ditawarkan penghosting adalah disk cadangan yang terletak di pusat data yang sama dengan VDS, tetapi di server yang berbeda. Anda dapat bekerja dengan disk melalui FTP dan menggunakan skrip Anda sendiri, atau jika ISPManager diinstal di VDS, lalu melalui modul pencadangannya. Opsi ini tidak cocok karena penggunaan pusat data yang sama.

Dari semua hal di atas, pilihan terbaik bagi saya adalah cadangan tambahan sesuai dengan skenario saya sendiri di Yandex.Cloud (Penyimpanan Objek) atau Amazon S3 (Layanan Penyimpanan Sederhana Amazon).

Ini membutuhkan:

• akses root ke VDS;
• utilitas bermuka dua yang diinstal;
• akun di Yandex.Cloud.

cadangan inkremental — metode yang hanya mengarsipkan data yang telah berubah sejak pencadangan terakhir.

tipu daya - utilitas cadangan yang menggunakan algoritme rsync dan dapat bekerja dengan Amazon S3.

Yandex.Cloud vs Amazon S3

Tidak ada perbedaan antara Yandex.Cloud dan Amazon S3 dalam hal ini bagi saya. Yandex mendukung bagian utama API Amazon S3, sehingga Anda dapat bekerja dengannya menggunakan solusi yang tersedia untuk bekerja dengan S3. Dalam kasus saya, ini adalah utilitas bermuka dua.

Keuntungan utama Yandex adalah pembayaran dalam rubel, jika ada banyak data, maka tidak akan ada tautan ke kursus. Dalam hal kecepatan, pusat data Amazon di Eropa bekerja sebanding dengan pusat data Rusia di Yandex, misalnya, Anda dapat menggunakan Frankfurt. Saya sebelumnya menggunakan Amazon S3 untuk tugas serupa, sekarang saya memutuskan untuk mencoba Yandex.

Menyiapkan Yandex.Cloud

1. Anda perlu membuat akun penagihan di Yandex.Cloud. Untuk melakukan ini, Anda harus masuk ke Yandex.Cloud melalui akun Yandex Anda atau membuat yang baru.

2. Buat Awan.


3. Di "Cloud" buat "Katalog".


4. Untuk "Katalog", buat "Akun layanan".


5. Untuk "Akun layanan", buat kunci.


6. Simpan kuncinya, Anda akan membutuhkannya di masa mendatang.


7. Untuk "Katalog" buat "Bucket", file akan masuk ke dalamnya.


8. Saya sarankan untuk mengatur batas dan memilih "Cold Storage".

Menyiapkan pencadangan terjadwal di server

Panduan ini mengasumsikan keterampilan administrasi dasar.

1. Instal utilitas duplikasi pada VDS

yum install duplicity

2. Buat folder untuk dump mysql, dalam kasus saya ini adalah /backup_db di root VDS

3. Buat folder untuk skrip bash /backup_scripts dan buat skrip pertama yang akan dicadangkan /backup_scripts/backup.sh

Konten skrip:

#!`which bash`


# /backup_scripts/backup.sh

# Это условие проверяет не идёт ли в данный момент процесс резервного копирования, если идёт, то на email отправляется сообщение об ошибке (этот блок можно не использовать)
if [ -f /home/backup_check.mark ];
then

DATE_TIME=`date +"%d.%m.%Y %T"`;

/usr/sbin/sendmail -t <<EOF
From:backup@$HOSTNAME
To:<Ваш EMAIL>
Subject:Error backup to YANDEX.CLOUD
Content-Type:text/plain; charset=utf-8
Error backup to YANDEX.CLOUD

$DATE_TIME
EOF

else

# Основной блок отвечающий за резервное копирование
# Если нет ощибки ставим метку и запускаем backup

echo '' > /home/backup_check.mark;


# Удаляем файлы с дампами базы оставшиеся от предыдущего backup

/bin/rm -f /backup_db/*


# Делаем дамп всех mysql баз, предполагается что доступ добавлен в файле /root/.my.cnf

DATETIME=`date +%Y-%m-%d_%H-%M-%S`;

`which mysqldump` --quote-names --all-databases | `which gzip` > /backup_db/DB_$DATETIME.sql.gz


# Добавляем данные для отправки в Яндекс.

export PASSPHRASE=<Придумайте пароль для шифрования архива>
export AWS_ACCESS_KEY_ID=<Идентификатор ключа полученный у Яндекса>
export AWS_SECRET_ACCESS_KEY=<Секретный ключ полученный у Яндекса>


# Запускаем duplicity для резервирования необходимых папок на сервере.
# Данная команда будет создавать полный backup раз в месяц и до следующего месяца добавлять инкрементальные к нему
# -- exclude это папки, которые нужно исключить, я исключаю все папки с кешем битрикса
# --include папки которые нужно резервировать в моём случае это:
# - /backup_db
# - /home
# - /etc
# s3://storage.yandexcloud.net/backup , backup это имя созданного выше бакета

# Техническая особенность и значения некоторых параметров:
# Две строки "--exclude='**'" и "/" нужны, чтобы можно было выше оперировать --include и --exclude для разных папок. Эти две строчки сначала добавляют в бэкап весь сервер "/", потом исключают его "--exclude='**'"
# --full-if-older-than='1M' - создавать полную копию каждый месяц
# --volsize='512' - максимальный размер каждого из файлов в бэкапе в мегабайтах
# --log-file='/var/log/duplicity.log' - куда писать лог файл

`which duplicity` 
    --s3-use-ia --s3-european-buckets 
    --s3-use-new-style 
    --s3-use-multiprocessing 
    --s3-multipart-chunk-size='128' 
    --volsize='512' 
    --no-print-statistics 
    --verbosity=0 
    --full-if-older-than='1M' 
    --log-file='/var/log/duplicity.log' 
    --exclude='**/www/bitrix/backup/**' 
    --exclude='**/www/bitrix/cache/**' 
    --exclude='**/www/bitrix/cache_image/**' 
    --exclude='**/www/bitrix/managed_cache/**' 
    --exclude='**/www/bitrix/managed_flags/**' 
    --exclude='**/www/bitrix/stack_cache/**' 
    --exclude='**/www/bitrix/html_pages/*/**' 
    --exclude='**/www/bitrix/tmp/**' 
    --exclude='**/www/upload/tmp/**' 
    --exclude='**/www/upload/resize_cache/**' 
    --include='/backup_db' 
    --include='/home' 
    --include='/etc' 
    --exclude='**' 
    / 
    s3://storage.yandexcloud.net/backup



# Данная команда нужна для чистки.
# Она оставляет 3 последних полных backup и ассоциированных с ними инкрементальных backup.
# Т.о. у меня остаются backup за 3 месяца, т.к. первая команда каждый месяц делает новый полный backup

`which duplicity` remove-all-but-n-full 3 --s3-use-ia --s3-european-buckets --s3-use-new-style --verbosity=0 --force s3://storage.yandexcloud.net/backup



unset PASSPHRASE
unset AWS_ACCESS_KEY_ID
unset AWS_SECRET_ACCESS_KEY

# Удаляем метку об идущем backup

/bin/rm -f /home/backup_check.mark;

fi

4. Jalankan skrip untuk pertama kali dan periksa hasilnya, file akan muncul di Bucket.

`which bash` /backup_scripts/backup.sh

5. Tambahkan skrip ke cron agar pengguna root dieksekusi 2 kali sehari, atau sesering yang Anda butuhkan.

10 4,16 * * * `which bash` /backup_scripts/backup.sh

Pemulihan data dari Yandex.Cloud

1. Buat folder pemulihan /backup_restore

2. Buat skrip pemulihan bash /backup_scripts/restore.sh

Saya memberikan contoh yang paling banyak diminta untuk memulihkan file tertentu:

#!`which bash`

export PASSPHRASE=<Пароль для шифрования архива используемый при бэкапе>
export AWS_ACCESS_KEY_ID=<Идентификатор ключа полученный у Яндекса>
export AWS_SECRET_ACCESS_KEY=<Секретный ключ полученный у Яндекса>

# 3 примера, раскомментировать нужный

# Получить статус backup
#`which duplicity` collection-status s3://storage.yandexcloud.net/backup

# Восстановить index.php из корня сайта
#`which duplicity` --file-to-restore='home/bitrix/www/index.php' s3://storage.yandexcloud.net/backup /backup_restore/index.php

# Восстановить index.php из корня сайта 3х дневной давности
#`which duplicity` --time='3D' --file-to-restore='home/bitrix/www/index.php' s3://storage.yandexcloud.net/backup /backup_restore/index.php

unset PASSPHRASE
unset AWS_ACCESS_KEY_ID
unset AWS_SECRET_ACCESS_KEY

3. Jalankan skrip dan tunggu hasilnya.

`which bash` /backup_scripts/backup.sh

Di folder /backup_restore/ Anda akan menemukan file index.php yang sebelumnya disertakan dalam cadangan.

Anda dapat membuat penyesuaian yang lebih baik untuk memenuhi kebutuhan Anda.

minus duplikat

Duplikasi memiliki satu kelemahan - tidak ada cara untuk menetapkan batas penggunaan saluran. Dengan saluran normal, ini tidak menimbulkan masalah, tetapi dengan saluran yang dilindungi DDoS dengan tagihan kecepatan per hari, saya ingin dapat menetapkan batas 1-2 megabit.

Sebagai sebuah kesimpulan

Mencadangkan di Yandex.Cloud atau Amazon S3 menyediakan salinan independen dari situs dan pengaturan OS yang dapat diakses dari server lain atau komputer lokal. Pada saat yang sama, salinan ini tidak terlihat baik di panel kontrol hosting maupun di panel admin Bitrix, yang memberikan keamanan tambahan.

Dalam hasil yang paling disayangkan, Anda dapat membangun server baru dan menggunakan situs untuk tanggal berapa pun. Meskipun fungsionalitas yang paling banyak diminta adalah kemampuan untuk mengakses file pada tanggal tertentu.

Anda dapat menggunakan teknik ini dengan VDS atau server dan situs khusus apa pun di mesin apa pun, tidak hanya 1C-Bitrix. OSnya juga bisa selain CentOS, seperti Ubuntu atau Debian.

Sumber: www.habr.com