Nyadangkeun data nganggo FreeFileSync sareng 7-zip

Anamnesis, janten nyarios:

Fujitsu rx300 s6 server, RAID6 tina 6 1TB disk, XenServer 6.2 dipasang, sababaraha server spinning, diantarana Ubuntu jeung sababaraha bal, 3,5 juta file, 1,5 TB data, sadaya ieu laun tumuwuh sarta bareuh.

Tugas: nyetél cadangan data tina server file, sabagean poean, sabagian mingguan.
Simkuring boga mesin cadangan Windows kalawan RAID5 (hiji Unit sistem baku goréng jeung controller razia diwangun kana indungna) tambah disk 2TB misah pikeun nyalin panengah tina kaayaan kiwari file. Ieu mungkin ngagunakeun sagala distribusi Linux Ubuntu, tapi mesin ieu geus sadia kalawan Asép Sunandar Sunarya razia sarta lisénsi Windows.

Pasang dina server cadangan FreeFileSync, urang nyetél "eunteung" tina sagalana dina urutan ti sadaya pangsa server file sakali sapoé magrib sanggeus 18 jam ku ngajalankeun eta ngaliwatan scheduler nu.

Hiji titik penting: nalika nyimpen tugas bets, pastikeun pikeun pariksa "Tutup jandela tugas lamun réngsé," disebutkeun prosés bakal kalikeun jeung kalikeun.

Urang buang file samentara kana iwal topeng: *.dwl, *.dwl2, *.tmp.

FreeFileSync ngagunakeun jaringan anu saé pisan, nyalin lumangsung dina sababaraha utas, lajuna ngahontal 80 Mbps nalika nyalin file ageung, henteu aya blokir dina file leutik.

Arsip bakal dilumangsungkeun dina server cadangan lokal, tinimbang nu dipaké saméméhna The Copier kalawan arsip jaringan. Ku jalan kitu, TheCopier hébat! Tapi kalayan volume sapertos kitu, éta henteu gaduh waktos pikeun mindahkeun sadayana, sanaos antarmuka 1Gbps dina cadangan sareng 2Gbps dina file hiji (beungkeut dua kartu jaringan).

Ogé saméméhna dipaké SyncToy, tapi nalika jumlah file ngaleuwihan 1,5-2 juta, éta lirén tiasa dianggo sacara normal, éta ngan saukur teu tiasa ngatasi.

Pikeun arsip polder diperlukeun, urang nulis file bets pikeun 7-pos:

set ayeuna=%WAKTU:~0,-3%
set ayeuna=%ayeuna::=.%
set ayeuna =%ayeuna: =0%
set ayeuna =%TANGGAL:~-4%.%TANGGAL:~3,2%.%TANGGAL:~0,2%_%ayeuna%
C: "Program Files" 7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C: "Program Files" 7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C: "Program Files" 7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C: "Program Files" 7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C: "Program Files" 7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C: "Program Files" 7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C: "Program Files" 7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll% now%_ps.zip E:ps
C: "Program Files" 7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C: "Program Files" 7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C: "Program Files" 7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

:: a - nyieun arsip
:: -tzip atanapi -t7z - tipe arsip (zip nyaeta 1.5-2 kali leuwih gancang)
:: -mx=1 — babandingan komprési (1 minimum, 9 nilai maksimum x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt = on - ngamungkinkeun multithreading dimana eta teu diaktipkeun
:: -mtc=off - nganonaktipkeun cap waktu sistem file (lamun disimpen, dirobah, jsb)
:: -ssw - ogé compresses file dibuka pikeun nulis
:: -xr!.Sync* - ngaluarkeun file BtSync samentara tina arsip, nyésakeun file permanén

Pangwangunan set ayeuna =% sareng saterasna ngamungkinkeun anjeun pikeun ngahémat format waktos ngarékam dina nami file tanpa masalah anu timbul nalika jumlah dinten atanapi bulan kirang ti 10, nyaéta, urang ngagentos nol.

Comment -xr!.Sync* mangrupakeun rudiment ditinggalkeun leuwih ti mimiti dipaké BTSync.

Nepi ka 500 GB sareng 700-800 rébu file, BTSync masih tiasa dianggo saé, disingkronkeun dina laleur, tapi kalayan volume ayeuna éta nyéépkeun mémori sareng sumber prosésor dina server file Ubuntu sareng cadangan Windows dimana éta diluncurkeun ku. jasa éta, sarta ogé ngan saukur diperkosa sistem disk ku konstan maca jeung nulis.

Sanajan archiver nyaeta 7-pos, urang arsipkeun eta dina format pos tinimbang 7z asli, sabab leuwih gancang, tur aya praktis euweuh bédana dina komprési kalawan mx = 1, ieu geus diverifikasi ku loba percobaan.

Arsip dieksekusi hiji-hiji.

Folder sareng arsip ogé dibersihkeun ngaliwatan tugas anu dijadwalkeun nganggo utilitas fpurge, nyésakeun arsip henteu langkung lami ti saminggu.
Hasilna, urang gaduh salinan file kanggo dinten sateuacana, ogé arsip pikeun minggu kamari; FreeFileSync nyimpen file anu dihapus dina tempat sampah.

sumber: www.habr.com