使用 FreeFileSync 和 7-zip 進行資料備份

可以這麼說:

富士通rx300 s6伺服器,6個6TB磁碟的RAID1,安裝了XenServer 6.2,幾台伺服器在旋轉,其中Ubuntu有幾個球,3,5萬個文件,1,5 TB數據,這一切都在逐漸增長和膨脹。

任務:從檔案伺服器設定資料備份,部分每天備份,部分每週備份。
我們有一台具有 RAID5 的 Windows 備份機(一個較差的標準系統單元,在母體中內建有 RAID 控制器),加上一個單獨的 2TB 磁碟,用於中間複製檔案的目前狀態。可以使用任何 Linux 發行版,但這台機器已經可以使用 raid 陣列和 Windows 授權。

安裝在備份伺服器上 FreeFileSync,我們透過調度程序運行它,每天在 18 小時後的晚上設置一次來自所有文件伺服器共享的連續所有內容的「鏡像」。

重要的一點:保存批次任務時,一定要勾選“完成後關閉任務視窗”,否則進程會倍增。

我們將臨時檔案放入遮罩異常:*.dwl、*.dwl2、*.tmp。

FreeFileSync對網路的利用非常好,複製是在多個執行緒中進行的,複製大檔案時速度達到80Mbps,小檔案上沒有發現阻塞。

歸檔將在本地備份伺服器上進行,而不是之前使用的伺服器 影印機 具有網路歸檔功能。順便說一句,TheCopier 很棒!但對於這樣的捲,它根本沒有時間傳輸所有內容,儘管備份上有 1Gbps 接口,文件一上有 2Gbps 接口(兩個網卡的綁定)。

之前也用過 的SyncToy,但是當文件數量超過1,5-2萬時,它就停止正常工作了,根本應付不了。

為了歸檔必要的資料夾,我們編寫了一個批次文件 7-ZIP:

現在設定=%TIME:~0,-3%
現在設定=%現在::=.%
現在設定=%現在:=0%
現在設定=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%now%
C:「程式檔案」7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:「程式檔案」7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:「Program Files」7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:「程式檔案」7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"程式檔案"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:「程式檔案」7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:「程式檔案」7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:「程式檔案」7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:「程式檔案」7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

::a - 建立檔案
:: -tzip 或 -t7z - 檔案類型(zip 速度快 1.5-2 倍)
:: -mx=1 — 壓縮比(1 個最小值,9 個最大值 x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - 在未啟用的情況下啟用多執行緒
:: -mtc=off - 停用檔案系統時間戳記(儲存、修改等時)
:: -ssw - 也壓縮開啟用於寫入的文件
:: -xr!.Sync* - 從歸檔中排除臨時 BtSync 文件,留下永久文件

set now=% 等構造可以讓你將記錄時間的格式保存在一個檔名中,而不會出現當日或月的數字小於10時出現的問題,即我們用零代替。

註 -xr!.Sync* 是最初使用的遺留下來的雛形 藍牙同步.

對於高達 500 GB 和 700-800 個文件,BTSync 仍然運行良好,可以即時同步,但就當前捲而言,它在 Ubuntu 文件伺服器和啟動它的 Windows 備份上都非常消耗內存和處理器資源。並且也透過不斷的讀寫來簡單地強姦磁碟系統。

雖然存檔器是7-zip,但我們以zip格式存檔,而不是原生的7z,因為它速度更快,而且mx=1的壓縮幾乎沒有區別,這已經經過許多實驗驗證。

檔案一一執行。

包含存檔的資料夾也會使用 fpurge 實用程式透過排程任務進行清理,留下的存檔不會超過一週。
因此,我們擁有前一天的文件副本以及上週的檔案;FreeFileSync 會將已刪除的文件放入垃圾箱。

來源: www.habr.com

添加評論