Sandaran data menggunakan FreeFileSync dan 7-zip

Anamnesis, boleh dikatakan:

Pelayan Fujitsu rx300 s6, RAID6 daripada 6 cakera 1TB, XenServer 6.2 dipasang, beberapa pelayan berputar, antaranya Ubuntu dengan beberapa bola, 3,5 juta fail, 1,5 TB data, semua ini secara beransur-ansur berkembang dan membengkak.

Tugas: sediakan sandaran data daripada pelayan fail, sebahagian harian, sebahagian mingguan.
Kami mempunyai mesin sandaran Windows dengan RAID5 (unit sistem standard yang lemah dengan pengawal RAID terbina dalam ibu) ditambah cakera 2TB yang berasingan untuk penyalinan perantaraan keadaan semasa fail. Anda boleh menggunakan mana-mana pengedaran Linux, tetapi mesin ini sudah tersedia dengan tatasusunan serbuan dan lesen Windows.

Pasang pada pelayan sandaran FreeFileSync, kami menyediakan "cermin" bagi segala-galanya berturut-turut daripada semua perkongsian pelayan fail sekali sehari pada waktu petang selepas 18 jam dengan menjalankannya melalui penjadual.

Perkara penting: apabila menyimpan tugasan kelompok, pastikan anda menyemak "Tutup tetingkap tugas apabila selesai", jika tidak, proses akan berganda dan berganda.

Kami membuang fail sementara ke dalam pengecualian topeng: *.dwl, *.dwl2, *.tmp.

FreeFileSync menggunakan rangkaian dengan sangat baik, penyalinan berlaku dalam beberapa utas, kelajuan mencapai 80 Mbps apabila menyalin fail besar, tiada sekatan ditemui pada fail kecil.

Pengarkiban akan dijalankan pada pelayan sandaran tempatan, bukannya yang digunakan sebelum ini TheCopier dengan pengarkiban rangkaian. By the way, TheCopier hebat! Tetapi dengan jumlah sedemikian, ia tidak mempunyai masa untuk memindahkan segala-galanya, walaupun antara muka 1Gbps pada sandaran dan 2Gbps pada fail satu (ikatan dua kad rangkaian).

Juga digunakan sebelum ini SyncToy, tetapi apabila bilangan fail melebihi 1,5-2 juta, ia berhenti berfungsi seperti biasa, ia tidak dapat menampungnya.

Untuk mengarkibkan folder yang diperlukan, kami menulis fail kelompok untuk 7-Zip:

tetapkan sekarang=%MASA:~0,-3%
tetapkan sekarang=%now::=.%
tetapkan sekarang=%sekarang: =0%
tetapkan sekarang=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%now%
C:"Fail Program"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Fail Program"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Fail Program"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:“Fail Program”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:“Fail Program”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Fail Program"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“Fail Program”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:“Fail Program”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“Fail Program”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“Fail Program”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

::a - mencipta arkib
:: -tzip atau -t7z - jenis arkib (zip adalah 1.5-2 kali lebih cepat)
:: -mx=1 — nisbah mampatan (1 minimum, 9 nilai maksimum x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - membolehkan multithreading jika ia tidak didayakan
:: -mtc=off - melumpuhkan cap masa sistem fail (apabila disimpan, diubah suai, dsb.)
:: -ssw - juga memampatkan fail yang dibuka untuk ditulis
:: -xr!.Sync* - mengecualikan fail BtSync sementara daripada mengarkib, meninggalkan fail kekal

Pembinaan set sekarang=% dan seterusnya membolehkan anda menyimpan format masa rakaman dalam nama fail tanpa masalah yang timbul apabila bilangan hari atau bulan kurang daripada 10, iaitu, kami menggantikan sifar.

Komen -xr!.Sync* ialah asas yang tinggal daripada yang asal digunakan BTSync.

Sehingga 500 GB dan 700-800 ribu fail, BTSync masih berfungsi dengan baik, disegerakkan dengan cepat, tetapi dengan jumlah semasa ia sangat memakan memori dan sumber pemproses baik pada pelayan fail Ubuntu dan pada sandaran Windows di mana ia dilancarkan oleh perkhidmatan itu, dan juga hanya merogol sistem cakera dengan membaca dan menulis berterusan.

Walaupun pengarkib ialah 7-zip, kami mengarkibkannya dalam format zip dan bukannya 7z asli, kerana ia lebih pantas, dan hampir tiada perbezaan dalam pemampatan dengan mx=1, ini telah disahkan oleh banyak percubaan.

Arkib dilaksanakan satu persatu.

Folder dengan arkib juga dibersihkan melalui tugas berjadual menggunakan utiliti fpurge, meninggalkan arkib tidak lebih daripada seminggu.
Akibatnya, kami mempunyai salinan fail untuk hari sebelumnya, serta arkib untuk minggu lepas; FreeFileSync meletakkan fail yang dipadamkan ke dalam tong sampah.

Sumber: www.habr.com