Anamnesis, bisa dikatakan:
Server Fujitsu rx300 s6, RAID6 dari 6 disk 1TB, XenServer 6.2 diinstal, beberapa server berputar, di antaranya Ubuntu dengan beberapa bola, 3,5 juta file, 1,5 TB data, semua ini secara bertahap tumbuh dan membengkak.
Tugas: menyiapkan cadangan data dari server file, sebagian setiap hari, sebagian lagi setiap minggu.
Kami memiliki mesin cadangan Windows dengan RAID5 (unit sistem standar yang buruk dengan pengontrol RAID yang terpasang di induknya) ditambah disk 2TB terpisah untuk penyalinan perantara dari status file saat ini. Distribusi Linux apa pun dapat digunakan, tetapi mesin ini sudah tersedia dengan raid array dan lisensi Windows.
Instal di server cadangan , kami menyiapkan "cermin" dari segala sesuatu secara berturut-turut dari semua server file yang dibagikan sekali sehari di malam hari setelah jam 18 dengan menjalankannya melalui penjadwal.
Poin penting: saat menyimpan tugas batch, pastikan untuk mencentang "Tutup jendela tugas setelah selesai", jika tidak, proses akan bertambah banyak dan berlipat ganda.
Kami membuang file sementara ke dalam pengecualian topeng: *.dwl, *.dwl2, *.tmp.
FreeFileSync menggunakan jaringan dengan sangat baik, penyalinan terjadi di beberapa thread, kecepatan mencapai 80 Mbps saat menyalin file besar, tidak ditemukan pemblokiran pada file kecil.
Pengarsipan akan dilakukan di server cadangan lokal, bukan di server yang digunakan sebelumnya dengan pengarsipan jaringan. Omong-omong, TheCopier hebat! Tetapi dengan volume seperti itu, ia tidak punya waktu untuk mentransfer semuanya, meskipun antarmuka 1Gbps untuk cadangan dan 2Gbps untuk satu file (ikatan dua kartu jaringan).
Juga digunakan sebelumnya , tetapi ketika jumlah file melebihi 1,5-2 juta, ia berhenti bekerja secara normal, ia tidak dapat mengatasinya.
Untuk mengarsipkan folder yang diperlukan, kami menulis file batch untuk :
atur sekarang=%WAKTU:~0,-3%
atur sekarang=%sekarang::=.%
atur sekarang=%sekarang: =0%
atur sekarang=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%now%
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:"Program Files"7-Zip7z.exe dan -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
::a - membuat arsip
:: -tzip atau -t7z - jenis arsip (zip 1.5-2 kali lebih cepat)
:: -mx=1 β rasio kompresi (1 minimum, 9 nilai maksimum x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - mengaktifkan multithreading jika tidak diaktifkan
:: -mtc=off - menonaktifkan stempel waktu sistem file (saat disimpan, dimodifikasi, dll.)
:: -ssw - juga mengkompres file yang dibuka untuk ditulis
:: -xr!.Sync* - mengecualikan file BtSync sementara dari pengarsipan, meninggalkan file permanen
Konstruksi set now=% dan seterusnya memungkinkan Anda untuk menyimpan format waktu perekaman dalam nama file tanpa masalah yang muncul ketika jumlah hari atau bulan kurang dari 10, yaitu kita menggantinya dengan nol.
Komentar -xr!.Sync* adalah sisa dari yang pertama digunakan .
Hingga 500 GB dan 700-800 ribu file, BTSync masih berfungsi dengan baik, disinkronkan dengan cepat, tetapi dengan volume saat ini sangat memakan memori dan sumber daya prosesor baik di server file Ubuntu maupun di cadangan Windows tempat diluncurkan oleh layanan, dan juga hanya memperkosa sistem disk dengan membaca dan menulis secara konstan.
Meskipun pengarsipnya adalah 7-zip, kami mengarsipkannya dalam format zip, bukan 7z asli, karena jauh lebih cepat, dan praktis tidak ada perbedaan dalam kompresi dengan mx=1, hal ini telah diverifikasi oleh banyak eksperimen.
Arsip dieksekusi satu per satu.
Folder dengan arsip juga dibersihkan melalui tugas terjadwal menggunakan utilitas fpurge, meninggalkan arsip tidak lebih dari seminggu.
Hasilnya, kami memiliki salinan file untuk hari sebelumnya, serta arsip untuk minggu terakhir; FreeFileSync membuang file yang dihapus ke tempat sampah.
Sumber: www.habr.com