Anamnese, så at sige:
Fujitsu rx300 s6 server, RAID6 med 6 1TB diske, XenServer 6.2 er oppe at køre, flere servere kører, herunder Ubuntu med flere delinger, 3,5 millioner filer, 1,5 TB data, alt dette vokser og svulmer gradvist op.
Opgave: opsætning af backup af data fra en filserver, dels dagligt, dels ugentligt.
Vi har en Windows-maskine til backup med RAID5 (på grund af fattigdom en almindelig systemenhed med en RAID-controller indbygget i bundkortet) plus en separat 2TB disk til mellemliggende kopiering af filernes aktuelle tilstand. Det var muligt at bruge enhver Linux-distribution, men denne maskine var allerede tilgængelig med et RAID-array og en Windows-licens.
Installer på backupserveren , vi opsatte en "spejling" af alt i træk fra alle delte filservere én gang om dagen om aftenen efter kl. 18 ved at starte via scheduleren.
Vigtigt: Når du gemmer en batchopgave, skal du sørge for at markere "Luk opgavevindue når det er færdigt", ellers vil processerne formere sig og formere sig.
Vi tilføjer midlertidige filer til undtagelserne via masken: *.dwl, *.dwl2, *.tmp.
FreeFileSync udnytter netværket ekstremt godt, kopiering sker i flere strømme, hastigheden når 80 Mbps ved kopiering af store filer, og der blev ikke fundet flaskehalse på små filer.
Vi vil arkivere på en lokal backupserver i stedet for den, vi brugte tidligere. med arkivering over netværket. Forresten, TheCopier er fantastisk! Men med sådanne mængder har den simpelthen ikke tid til at overføre alt, på trods af 1 Gbps interface på backup'en og 2 Gbps på filen (binding af to netværkskort).
Også brugt tidligere , men da antallet af filer var mere end 1,5-2 millioner, holdt den op med at virke normalt, den kunne simpelthen ikke klare det.
For at arkivere de nødvendige mapper skriver vi en batchfil til :
sæt nu=%TID:~0,-3%
sæt nu=%now::=.%
sæt nu=%nu: =0%
sæt nu=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%now%
C:"Programmer"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Programmer"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Programmer"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:“Programmer”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:“Programmer”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Programmer"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“Programmer”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:“Programmer”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“Programmer”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“Programmer”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
:: a — opret arkiv
:: -tzip eller -t7z — arkivtype (zip er 1.5-2 gange hurtigere)
:: -mx=1 — kompressionsforhold (1 minimum, 9 maksimum x=[0 | 1 | 3 | 5 | 7 | 9])
:: -mmt=on — aktiverer multithreading, hvor det ikke er aktiveret
:: -mtc=off - deaktiverer filsystemets tidsstempler (når gemt, ændret osv.)
:: -ssw - komprimerer også filer, der er åbnet til skrivning
:: -xr!.Sync* — udelukker midlertidige BtSync-filer fra arkivering og efterlader permanente filer
Konstruktionen af `set now=%` osv. giver dig mulighed for at gemme tidsregistreringsformatet i filnavnet uden de problemer, der opstod, når dag- eller månedstallet var mindre end 10, det vil sige, at vi erstatter det med et nul.
Kommentaren -xr!.Sync* er en rest af originalen .
Op til 500 GB og 700-800 tusind filer fungerede BTSync fint, synkroniseret undervejs, men med de nuværende mængder spiste det hukommelses- og processorressourcer både på Ubuntu-filserveren og på Windows-backupserveren, hvor det blev lanceret af tjenesten, og voldtog også simpelthen disksystemet med konstant læsning og skrivning.
Selvom arkiveringsprogrammet er 7-zip, arkiverer vi i zip-format i stedet for det oprindelige 7z-format, fordi det er meget hurtigere, og der praktisk talt ikke er nogen forskel i komprimering med mx=1, hvilket er bekræftet af mange eksperimenter.
Arkiverne udføres efter tur.
Rensning af mappen med arkiver sker også via en planlagt opgave ved hjælp af fpurge-værktøjet, hvilket betyder, at arkiverne ikke er ældre end en uge.
Som følge heraf har vi en kopi af filerne fra den foregående dag, samt arkiver fra den sidste uge; FreeFileSync lægger slettede filer i papirkurven.
Kilde: www.habr.com
