Datasikkerhedskopiering ved hjælp af FreeFileSync og 7-zip

Anamnese, så at sige:

Fujitsu rx300 s6 server, RAID6 på 6 1TB diske, XenServer 6.2 installeret, adskillige servere, der snurrer, blandt dem Ubuntu med flere bolde, 3,5 millioner filer, 1,5 TB data, alt dette vokser og svulmer gradvist.

Opgave: opsætte data backup fra en filserver, dels dagligt, dels ugentligt.
Vi har en Windows backup maskine med RAID5 (en dårlig standard systemenhed med en RAID controller indbygget i moderen) plus en separat 2TB disk til mellemkopiering af filernes aktuelle tilstand. Det var muligt at bruge enhver Linux-distribution, men denne maskine var allerede tilgængelig med et raid-array og en Windows-licens.

Installer på en backup-server FreeFileSync, opsætter vi et "spejl" af alt i træk fra alle filserver-shares en gang om dagen om aftenen efter 18 timer ved at køre det gennem planlæggeren.

Et vigtigt punkt: Når du gemmer en batch-opgave, skal du sørge for at markere "Luk opgavevinduet, når det er fuldført", ellers vil processerne multipliceres og multipliceres.

Vi smider midlertidige filer ind i maskeundtagelser: *.dwl, *.dwl2, *.tmp.

FreeFileSync bruger netværket særdeles godt, kopiering foregår i flere tråde, hastigheden når 80 Mbps ved kopiering af store filer, der blev ikke fundet blokering på små filer.

Arkivering vil blive udført på en lokal backup-server i stedet for den, der tidligere blev brugt Kopimaskinen med netværksarkivering. Forresten, TheCopier er fantastisk! Men med sådanne mængder har den simpelthen ikke tid til at overføre alt på trods af 1Gbps-grænsefladen på backup og 2Gbps på fil en (binding af to netværkskort).

Også tidligere brugt SyncToy, men da antallet af filer oversteg 1,5-2 millioner, holdt den op med at fungere normalt, den kunne simpelthen ikke klare det.

For at arkivere de nødvendige mapper, skriver vi en batchfil til 7-zip:

sæt nu=%TIME:~0,-3%
sæt nu=%nu::=.%
sæt nu=%nu: =0%
sæt nu=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%nu%
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

::a - oprettelse af et arkiv
:: -tzip eller -t7z - arkivtype (zip er 1.5-2 gange hurtigere)
:: -mx=1 — kompressionsforhold (1 minimum, 9 maksimumværdier x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - aktiverer multithreading, hvor det ikke er aktiveret
:: -mtc=off - deaktiverer filsystemets tidsstempler (når gemt, ændret osv.)
:: -ssw - komprimerer også filer åbnet til skrivning
:: -xr!.Sync* - udelukker midlertidige BtSync-filer fra arkivering og efterlader permanente filer

Konstruktionen af ​​sæt nu=% og så videre giver dig mulighed for at gemme formatet for optagelsestid i et filnavn uden de problemer, der opstod, når tallet på dagen eller måneden var mindre end 10, det vil sige, vi erstatter et nul.

Kommentar -xr!.Sync* er et rudiment tilbage fra det oprindeligt brugte BTSync.

Op til 500 GB og 700-800 tusinde filer fungerede BTSync stadig fint, synkroniseret i farten, men med de nuværende volumener tærede det meget hukommelse og processorressourcer både på Ubuntu filserveren og på Windows backup, hvor det blev lanceret af tjenesten, og også simpelthen voldtaget disksystem ved konstant læsning og skrivning.

Selvom arkiveringsværktøjet er 7-zip, arkiverer vi det i zip-formatet i stedet for det oprindelige 7z, fordi det er meget hurtigere, og der praktisk talt ikke er nogen forskel i komprimering med mx=1, dette er blevet bekræftet af mange eksperimenter.

Arkiver udføres én efter én.

Mappen med arkiver renses også gennem en planlagt opgave ved hjælp af fpurge-værktøjet, så arkiver ikke er ældre end en uge.
Som et resultat har vi en kopi af filerne for den foregående dag, samt arkiver for den sidste uge; FreeFileSync lægger de slettede filer i papirkurven.

Kilde: www.habr.com