Anamneza tako rekoč:
Fujitsu rx300 s6 strežnik, RAID6 6 diskov po 1TB, nameščen XenServer 6.2, vrti se več strežnikov, med njimi Ubuntu z več žogicami, 3,5 milijona datotek, 1,5 TB podatkov, vse to postopoma raste in nabrekne.
Naloga: vzpostaviti varnostno kopiranje podatkov iz datotečnega strežnika, delno dnevno, delno tedensko.
Imamo Windows backup stroj z RAID5 (slaba standardna sistemska enota z RAID kontrolerjem vgrajenim v mamo) plus ločen 2TB disk za vmesno kopiranje trenutnega stanja datotek. Možno je bilo uporabiti katero koli distribucijo Linuxa, vendar je bil ta stroj že na voljo z nizom raid in licenco za Windows.
Namestite na rezervni strežnik , nastavimo “mirror” vsega po vrsti iz vseh deljenj datotečnega strežnika enkrat dnevno zvečer po 18 urah tako, da ga poženemo skozi planer.
Pomembna točka: ko shranjujete paketno opravilo, ne pozabite potrditi možnosti »Zapri okno opravila, ko je dokončano«, sicer se bodo procesi množili in množili.
Začasne datoteke vržemo v maske izjem: *.dwl, *.dwl2, *.tmp.
FreeFileSync izredno dobro uporablja omrežje, kopiranje poteka v več nitih, hitrost pri kopiranju velikih datotek doseže 80 Mbps, pri majhnih datotekah ni bilo zaznati blokade.
Arhiviranje se bo izvajalo na lokalnem rezervnem strežniku, namesto na prejšnjem z mrežnim arhiviranjem. Mimogrede, TheCopier je odličen! Toda s takšnimi količinami preprosto nima časa prenesti vsega, kljub vmesniku 1Gbps na varnostni kopiji in 2Gbps na datoteki (vez dveh omrežnih kartic).
Tudi že uporabljen , ko pa je število datotek preseglo 1,5-2 milijona, je prenehal normalno delovati, preprosto ni zmogel.
Za arhiviranje potrebnih map napišemo paketno datoteko za :
nastavljeno zdaj=%ČAS:~0,-3%
nastavi zdaj=%zdaj::=.%
nastavi zdaj=%zdaj: =0%
nastavi zdaj=%DATUM:~-4%.%DATUM:~3,2%.%DATUM:~0,2%_%zdaj%
C:"Programske datoteke"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Programske datoteke"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Programske datoteke"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:»Programske datoteke«7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:“Programske datoteke”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Programske datoteke"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“Programske datoteke”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:»Programske datoteke«7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“Programske datoteke”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“Programske datoteke”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
::a - ustvarjanje arhiva
:: -tzip ali -t7z - vrsta arhiva (zip je 1.5-2 krat hitrejši)
:: -mx=1 — kompresijsko razmerje (1 najmanjša, 9 največjih vrednosti x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - omogoča večnitnost, kjer ni omogočena
:: -mtc=off - onemogoči časovne žige datotečnega sistema (pri shranjevanju, spreminjanju itd.)
:: -ssw - stisne tudi datoteke, odprte za pisanje
:: -xr!.Sync* - izključi začasne datoteke BtSync iz arhiviranja in pusti trajne
Konstrukcija set now=% in tako naprej vam omogoča, da shranite obliko zapisa časa v ime datoteke brez težav, ki so se pojavile, ko je bila številka dneva ali meseca manjša od 10, to je, da nadomestimo ničlo.
Komentar -xr!.Sync* je rudiment, ki je ostal od prvotno uporabljenega .
Do 500 GB in 700–800 tisoč datotek je BTSync še vedno dobro deloval, sproti se je sinhroniziral, vendar je pri trenutnih količinah zelo požiral pomnilniške in procesorske vire tako na datotečnem strežniku Ubuntu kot na varnostni kopiji sistema Windows, kjer ga je zagnal storitev, pa tudi preprosto posiljen diskovni sistem s stalnim branjem in pisanjem.
Čeprav je arhivar 7-zip, ga arhiviramo v formatu zip namesto domačega 7z, ker je veliko hitrejši, razlike v kompresiji pri mx=1 pa praktično ni, kar so potrdili številni poskusi.
Arhivi se izvajajo enega za drugim.
Mapa z arhivi se očisti tudi z načrtovanim opravilom s pripomočkom fpurge, pri čemer arhivi ne ostanejo starejši od enega tedna.
Posledično imamo kopijo datotek za prejšnji dan, pa tudi arhive za prejšnji teden; FreeFileSync odstrani izbrisane datoteke v koš.
Vir: www.habr.com