Gagnaafrit með FreeFileSync og 7-zip

Anamnes, ef svo má segja:

Fujitsu rx300 s6 netþjónn, RAID6 af 6 1TB diskum, XenServer 6.2 uppsettur, nokkrir netþjónar í gangi, þar á meðal Ubuntu með nokkrum kúlum, 3,5 milljón skrár, 1,5 TB af gögnum, allt er þetta smám saman að stækka og bólgna.

Verkefni: setja upp öryggisafrit af gögnum frá skráarþjóni, að hluta daglega, að hluta vikulega.
Við erum með Windows öryggisafritunarvél með RAID5 (léleg staðlað kerfiseining með RAID-stýringu innbyggður í móðurinni) auk sérstakts 2TB disks fyrir milliafritun á núverandi ástandi skránna. Það var hægt að nota hvaða Linux dreifingu sem er, en þessi vél var þegar fáanleg með raid array og Windows leyfi.

Settu upp á varaþjóni FreeFileSync, við setjum upp „spegil“ af öllu í röð frá öllum deilingum skráaþjóna einu sinni á dag að kvöldi eftir 18 klukkustundir með því að keyra það í gegnum tímaáætlunina.

Mikilvægur punktur: þegar þú vistar lotuverkefni, vertu viss um að haka við „Loka verkglugga þegar því er lokið,“ annars margfaldast og margfaldast ferlarnir.

Við hentum tímabundnum skrám í undantekningar grímu: *.dwl, *.dwl2, *.tmp.

FreeFileSync nýtir netið einstaklega vel, afritun fer fram í nokkrum þráðum, hraðinn nær 80 Mbps þegar stórar skrár eru afritaðar, engin blokkun fannst á litlum skrám.

Geymsla fer fram á staðbundnum öryggisafritunarþjóni, í stað þess sem áður var notað Ljósritunarvélin með netskjalavörslu. Við the vegur, TheCopier er frábær! En með slíku magni hefur það einfaldlega ekki tíma til að flytja allt, þrátt fyrir 1Gbps viðmótið á öryggisafritinu og 2Gbps á skránni eitt (binding tveggja netkorta).

Einnig áður notað SyncToy, en þegar fjöldi skráa fór yfir 1,5-2 milljónir hætti það að virka venjulega, það réði einfaldlega ekki við það.

Til að geyma nauðsynlegar möppur skrifum við hópskrá fyrir 7-zip:

stilla núna=%TIME:~0,-3%
stilla núna=%nú::=.%
stilla núna=%nú: =0%
stilla núna=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%now%
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director.zip E:director
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

::a - búa til skjalasafn
:: -tzip eða -t7z - gerð skjalasafns (zip er 1.5-2 sinnum hraðari)
:: -mx=1 — þjöppunarhlutfall (1 lágmark, 9 hámarksgildi x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - gerir multithreading kleift þar sem það er ekki virkt
:: -mtc=off - slekkur á tímastimplum skráarkerfisins (þegar þau eru vistuð, breytt osfrv.)
:: -ssw - þjappar einnig saman skrám sem eru opnaðar til að skrifa
:: -xr!.Sync* - útilokar tímabundnar BtSync skrár frá geymslu og skilur eftir varanlegar

Uppbyggingin á set now=% og svo framvegis gerir þér kleift að vista snið upptökutíma í skráarheiti án vandkvæða sem komu upp þegar númer dagsins eða mánaðarins var minna en 10, það er að segja að við setjum núll í staðinn.

Athugasemd -xr!.Sync* er grunnur sem eftir er af því sem upphaflega var notað BTSync.

Allt að 500 GB og 700-800 þúsund skrár, BTSync virkaði samt fínt, samstillt á flugu, en með núverandi magni var það mjög neytt minni og örgjörvaforða bæði á Ubuntu skráarþjóninum og á Windows öryggisafritinu þar sem það var sett af stað af þjónustuna, og líka einfaldlega nauðgað diskakerfi með stöðugum lestri og skrifum.

Þó að skjalavörðurinn sé 7-zip, þá geymslum við það á zip-sniði í stað native 7z, vegna þess að það er miklu hraðvirkara, og það er nánast enginn munur á þjöppun með mx=1, þetta hefur verið staðfest með mörgum tilraunum.

Skjalasafn eru framkvæmd eitt af öðru.

Mappan með skjalasafni er einnig hreinsuð í gegnum áætlað verkefni með því að nota fpurge tólið, þannig að skjalasafn er ekki eldri en viku.
Fyrir vikið höfum við afrit af skránum fyrir daginn áður, sem og skjalasafn fyrir síðustu viku; FreeFileSync setur eyddum skrám í ruslið.

Heimild: www.habr.com

Bæta við athugasemd