Anamneza, da tako kažem:
Fujitsu rx300 s6 server, RAID6 od 6 diskova od 1TB, instaliran XenServer 6.2, vrti se nekoliko servera, među njima i Ubuntu s nekoliko loptica, 3,5 milijuna datoteka, 1,5 TB podataka, sve to postupno raste i buja.
Zadatak: postaviti backup podataka s poslužitelja datoteka, dijelom dnevno, dijelom tjedno.
Imamo Windows backup stroj s RAID5 (loša standardna sistemska jedinica s RAID kontrolerom ugrađenim u matičnu) plus poseban disk od 2TB za međukopiranje trenutnog stanja datoteka. Bilo je moguće koristiti bilo koju distribuciju Linuxa, ali ovaj stroj je već bio dostupan s raid nizom i Windows licencom.
Instalirajte na rezervni poslužitelj , postavljamo “mirror” svega redom sa svih dijeljenja file servera jednom dnevno navečer nakon 18 sati provlačeći ga kroz planer.
Važna točka: kada spremate skupni zadatak, svakako označite "Zatvori prozor zadatka kada se završi", inače će se procesi množiti i množiti.
Bacamo privremene datoteke u iznimke maske: *.dwl, *.dwl2, *.tmp.
FreeFileSync izuzetno dobro koristi mrežu, kopiranje se odvija u nekoliko niti, brzina doseže 80 Mbps pri kopiranju velikih datoteka, na malim datotekama nije pronađeno blokiranje.
Arhiviranje će se provoditi na lokalnom backup serveru, umjesto na dosadašnjem s mrežnim arhiviranjem. Usput, TheCopier je super! Ali s takvim količinama jednostavno nema vremena prenijeti sve, unatoč sučelju od 1 Gbps na sigurnosnoj kopiji i 2 Gbps na datoteci (veza dviju mrežnih kartica).
Također ranije korišten , ali kada je broj datoteka premašio 1,5-2 milijuna, prestao je normalno raditi, jednostavno se nije mogao nositi.
Za arhiviranje potrebnih mapa pišemo paketnu datoteku za :
postavi sada=%VRIJEME:~0,-3%
postavi sada=%sada::=.%
postavi sada=%sada: =0%
postavi sada=%DATUM:~-4%.%DATUM:~3,2%.%DATUM:~0,2%_%sada%
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:“Programske datoteke”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“Programske datoteke”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
::a - stvaranje arhive
:: -tzip ili -t7z - vrsta arhive (zip je 1.5-2 puta brži)
:: -mx=1 — omjer kompresije (1 minimalna, 9 maksimalna vrijednost x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - omogućuje multithreading tamo gdje nije omogućen
:: -mtc=off - onemogućuje vremenske oznake datotečnog sustava (kada se spremaju, mijenjaju itd.)
:: -ssw - također sažima datoteke otvorene za pisanje
:: -xr!.Sync* - isključuje privremene BtSync datoteke iz arhiviranja, ostavljajući trajne
Konstrukcija set now=% i tako dalje omogućuje vam spremanje formata vremena snimanja u naziv datoteke bez problema koji su nastali kada je broj dana ili mjeseca bio manji od 10, odnosno zamijenili smo nulu.
Komentar -xr!.Sync* je rudiment koji je ostao od izvorno korištenog .
Do 500 GB i 700-800 tisuća datoteka, BTSync je još uvijek dobro radio, sinkronizirao se u hodu, ali s trenutnim količinama trošio je mnogo memoriju i resurse procesora i na Ubuntu datotečnom poslužitelju i na Windows sigurnosnoj kopiji gdje ga je pokrenuo usluga, a također je jednostavno silovao diskovni sustav stalnim čitanjem i pisanjem.
Iako je arhivar 7-zip, mi ga arhiviramo u zip formatu umjesto nativnog 7z, jer je puno brži, a praktički nema razlike u kompresiji s mx=1, to su potvrdili mnogi eksperimenti.
Arhive se izvršavaju jedna po jedna.
Mapa s arhivama također se čisti kroz planirani zadatak pomoću uslužnog programa fpurge, ostavljajući arhive ne starije od tjedan dana.
Kao rezultat, imamo kopiju datoteka za prethodni dan, kao i arhive za prošli tjedan; FreeFileSync stavlja izbrisane datoteke u smeće.
Izvor: www.habr.com