Zgodovina, tako rekoč:
Strežnik Fujitsu rx300 s6, RAID6 iz 6 1TB diskov, dvignjen XenServer 6.2, deluje več strežnikov, med njimi Ubuntu z več skupnimi mapami, 3,5 milijona datotek, 1,5 TB podatkov, vse to postopoma narašča in se povečuje.
Naloga: nastaviti varnostno kopiranje podatkov s datotečnega strežnika, delno dnevno, delno tedensko.
Imamo Windows računalnik za varnostno kopiranje z RAID5 (zaradi pomanjkanja običajen sistem z vgrajenim RAID krmilnikom) plus ločen 2TB disk za vmesno kopiranje trenutnega stanja datotek. Uporabili bi lahko katerikoli Linux distribucijo, vendar je ta računalnik že bil na voljo z RAID naborom in Windows licenco.
Namestimo na varnostno kopirni strežnik , nastavimo "zrcalo" vsega s vseh skupnih map datotečnega strežnika enkrat na dan zvečer po 18. uri preko načrtovalnika.
Pomembna točka: ob shranjevanju paketne naloge nujno označite "Zapri okno naloge ob zaključku", sicer se bodo procesi razmnoževali.
V izključitve po maski dodamo začasne datoteke: *.dwl, *.dwl2, *.tmp.
FreeFileSync izjemno dobro izkorišča mrežo, kopiranje poteka v več tokovih, hitrost doseže 80 MB/s pri kopiranju velikih datotek, zastojev pri manjših datotekah ni bilo opaziti.
Arhiviranje bomo izvajali že na lokalnem varnostnem strežniku, namesto prej uporabljenega z arhiviranjem prek omrežja. Mimogrede, TheCopier je odličen! Toda pri takih količinah enostavno ne uspe prenesti vsega, kljub 1Gb/s vmesniku na varnostnem strežniku in 2Gb/s na datotečnem (združitev dveh omrežnih kartic).
Prav tako je bil prej uporabljen , vendar pri številu datotek več kot 1,5-2 milijona ne deluje več pravilno, preprosto se ne more spopasti.
Za arhiviranje potrebnih map napišemo skripto za :
set now=%TIME:~0,-3%
set now=%now::=.%
set now=%now: =0%
nastavi zdaj=TE:~-4%.TE:~3,2%.TE:~0,2%_%now%
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
:: a — ustvarjanje arhiva
:: -tzip ali -t7z — tip arhiva (zip je 1.5-2x hitrejši)
:: -mx=1 — stopnja stiskanja (1 minimum, 9 maksimum x=[0 | 1 | 3 | 5 | 7 | 9])
:: -mmt=on — vklopi večnitnost, kjer ni vključena
:: -mtc=off — onemogoči časovne žige datotečnega sistema (kadar je shranjeno, spremenjeno itd.)
:: -ssw — stisne tudi datoteke, ki so odprte za pisanje
:: -xr!.Sync* — izključuje začasne datoteke BtSync iz arhiviranja, medtem ko pušča trajne
Konfiguracija z set now=% in tako naprej omogoča, da se format zapisa časa ohrani v ime datoteke brez težav, ki so nastajale, ko je bilo število dneva ali meseca manjše od 10, in tako dodamo ničlo.
Komentar -xr!.Sync* je ostanek, ki je ostal od prvotno uporabljenega .
Do 500 GB in 700-800 tisoč datotek je BTSync deloval brez težav, sinhroniziral je v realnem času, zdaj pa pri trenutnih količinah zelo požre spomin in procesorske vire tako na ubuntu datotečnem strežniku kot na windows backup strežniku, kjer je bil zagnan kot storitev, in je tudi preobremenil diskovni sistem s stalnim branjem in pisanjem.
Čeprav je arhivator 7-zip, arhiviramo v format zip namesto naravnega 7z, ker je veliko hitreje, razlika v stiskanju pri mx=1 pa skorajda ni, kar je bilo potrjeno z mnogimi eksperimenti.
Arhivi se izvajajo zaporedno.
Čiščenje mape z arhivi se izvaja tudi preko načrtovane naloge s pomočjo orodja fpurge, pri čemer pušča arhive, stare največ en teden.
Kot rezultat imamo kopijo datotek prejšnjega dne, pa tudi arhive za prejšnji teden, izbrisane datoteke FreeFileSync shranjuje v koš.
Izvor: habr.com
