Backup av data med hjälp av kombinationen FreeFileSync och 7-zip

Anamnes, så att säga:

Servern Fujitsu rx300 s6, RAID6 bestående av 6 st 1TB-diskar, som kör XenServer 6.2, där flera servrar körs, inklusive Ubuntu med flera delningar, 3,5 miljoner filer, 1,5 TB data, allt detta växer gradvis.

Uppgift: konfigurera säkerhetskopiering av data från filservern, delvis dagligen, delvis veckovis.
Vi har en Windows-maskin för backup med RAID5 (en vanlig dator med en inbyggd RAID-kontroller) plus en separat 2TB-disk för tillfällig kopiering av aktuell filstatus. Vi kunde ha använt vilken Linux-distro som helst, men denna maskin fanns redan tillgänglig med RAID-array och Windows-licens.

Vi installerar på backup-servern FreeFileSync, konfigurerar "spegel" av allt från filservern en gång om dagen på kvällen efter kl. 18.00 genom att köra via schemaläggaren.

Viktig punkt: vid sparande av den batchuppgiften, se till att markera "Stäng fönstret efter avslutning", annars kommer processerna att föröka sig.

Vi lägger temporära filer i undantag enligt masken: *.dwl, *.dwl2, *.tmp.

FreeFileSync använder nätverket oerhört effektivt, kopieringen sker i flera strömmar, hastigheten når upp till 80 MB/s vid kopiering av stora filer, några flaskhalsar på små filer har inte upptäckts.

Arkivering kommer att göras på den lokala backup-servern istället för den tidigare använda TheCopier med nätverksarkivering. Förresten, TheCopier är fantastisk! Men med sådana volymer hinner den helt enkelt inte överföra allt, trots 1 Gbps-gränssnitt på backupmaskinen och 2 Gbps på filservern (brygga av två nätverkskort).

Tidigare använde vi också SyncToy, men vid mer än 1,5-2 miljoner filer slutade den fungera som den skulle, hanterade inte helt enkelt.

För att arkivera de nödvändiga mapparna skriver vi ett batch-skript för 7-zip:

set now=%TIME:~0,-3%
set now=%now::=.%
set now=%now: =0%
set now=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%now%
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

:: a — skapa arkiv
:: -tzip eller -t7z — arkivtyp ( zip är 1,5-2 gånger snabbare )
:: -mx=1 — komprimeringsgrad (1 minimum, 9 maximum, värde x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on — aktiverar flerkärnig komprimering om det inte redan är aktiverat
:: -mtc=off — inaktiverar tidsstämplar från filsystemet (när den sparades, ändrades, etc.)
:: -ssw — komprimerar också filer som är öppna för skrivning
:: -xr!.Sync* — exkluderar temporära filer från BtSync från arkiveringen, kvarlämnar permanenta

Konstruktionen set now=% och så vidare gör att man kan bevara tidsformatet i filnamnet utan problem, som uppstod när dagen eller månaden var mindre än 10, det vill säga vi lägger till en nolla.

Kommentar -xr!.Sync* är en kvarleva från ursprungligen använd. BTSync.

Upp till 500 GB och 700-800 tusen filer fungerade BTSync ännu bra, synkroniserade i realtid, men vid nuvarande volymer förbrukade den mycket minne och CPU-resurser både på Ubuntu-filservern och på Windows-backupen där den kördes som en tjänst, och misshandlade också disksystemet med konstant läsning-skrivning.

Även om vi använder komprimeringsprogrammet 7-zip, arkiverar vi i zip-format istället för det inhemska 7z, eftersom det är mycket snabbare, och skillnaden i komprimering vid mx=1 är praktiskt taget obefintlig, bekräftad av många experiment.

Arkiven körs i tur och ordning.

Rensning av mappen med arkiv sker också via en schemalagd uppgift med hjälp av verktyget fpurge, som lämnar arkiv som är högst en vecka gamla.
Som ett resultat har vi en kopia av filerna från föregående dag samt arkiv från den senaste veckan, raderade filer från FreeFileSync hamnar i papperskorgen.

Källa: habr.com