Anamnees, niiöelda:
Fujitsu rx300 s6 server, 6 6TB ketast RAID1, XenServer 6.2 installitud, mitu serverit pöörleb, nende hulgas mitme palliga Ubuntu, 3,5 miljonit faili, 1,5 TB andmeid, kõik see kasvab järk-järgult ja paisub.
Ülesanne: seadistage failiserverist andmete varundamine osaliselt iga päev, osaliselt kord nädalas.
Meil on Windowsi varundusmasin RAID5-ga (kehte standardne süsteemiüksus, mille emasse on sisse ehitatud RAID-kontroller) pluss eraldi 2TB ketas failide hetkeseisu vahepealseks kopeerimiseks. Oli võimalik kasutada mis tahes Linuxi distributsiooni, kuid see masin oli juba saadaval raidmassiivi ja Windowsi litsentsiga.
Installige varuserverisse , seadistame kõigist failiserveri jagamistest üks kord päevas õhtul pärast 18 tunni möödumist kõigest järjestikusest “peegli”, käivitades selle ajakavas.
Oluline punkt: pakkülesande salvestamisel märkige kindlasti linnuke "Sulge ülesande aken, kui see on lõpetatud", vastasel juhul protsessid paljunevad ja mitmekordistuvad.
Me viskame ajutised failid maski eranditesse: *.dwl, *.dwl2, *.tmp.
FreeFileSync kasutab võrku ülihästi, kopeerimine toimub mitmes lõimes, kiirus ulatub suurte failide kopeerimisel 80 Mbps-ni, väikestel failidel blokeerimist ei leitud.
Arhiveerimine toimub kohalikus varuserveris, mitte varem kasutatud serveris võrguarhiveerimisega. Muide, TheCopier on suurepärane! Kuid selliste mahtude puhul pole tal lihtsalt aega kõike üle kanda, hoolimata 1Gbps liidesest varukoopial ja 2Gbps failil üks (kahe võrgukaardi side).
Ka varem kasutatud , kuid kui failide arv ületas 1,5-2 miljonit, lakkas see normaalselt töötamast, lihtsalt ei saanud hakkama.
Vajalike kaustade arhiveerimiseks kirjutame jaoks partiifaili :
määra kohe=%AEG:~0,-3%
määra kohe=%nüüd::=.%
määra kohe=%nüüd: =0%
määra kohe=%KUUPÄEV:~-4%.%KUUPÄEV:~3,2%.%KUUPÄEV:~0,2%_%nüüd%
C:"Programmifailid"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Programmifailid"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Programmifailid"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:“Programmifailid”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:“Programmifailid”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Programmifailid"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“Programmifailid”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:“Programmifailid”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“Programmifailid”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“Programmifailid”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
::a - arhiivi loomine
:: -tzip või -t7z - arhiivi tüüp (zip on 1.5-2 korda kiirem)
:: -mx=1 — tihendusaste (1 minimaalne, 9 maksimaalset väärtust x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on – võimaldab mitme lõimega kasutamist, kui see pole lubatud
:: -mtc=off – keelab failisüsteemi ajatemplid (kui salvestatakse, muudetakse jne)
:: -ssw – tihendab ka kirjutamiseks avatud failid
:: -xr!.Sync* – välistab ajutised BtSynci failid arhiveerimisest, jättes alles püsivad
Konstruktsioon set now=% ja nii edasi võimaldab salvestada salvestusaja vormingu failinimesse ilma probleemideta, mis tekkisid siis, kui päeva või kuu arv oli väiksem kui 10, st asendame nulliga.
Comment -xr!.Sync* on algselt kasutatavast alles jäänud alge .
Kuni 500 GB ja 700-800 tuhande failini töötas BTSync endiselt hästi, sünkroniseeriti käigu pealt, kuid praeguste mahtude juures kulutas see väga mälu- ja protsessoriressursse nii Ubuntu failiserveris kui ka Windowsi varukoopias, kus selle käivitas. teenust ja ka lihtsalt vägistas kettasüsteemi pideva lugemise ja kirjutamise teel.
Kuigi arhiveerija on 7-zip, arhiveerime selle natiivse 7z asemel zip-vormingus, kuna see on palju kiirem ja mx=1-ga tihendamisel praktiliselt vahet pole, seda on kontrollinud paljud katsed.
Arhiivid täidetakse ükshaaval.
Arhiividega kausta puhastatakse ka ajastatud toimingu kaudu, kasutades utiliiti fpurge, nii et arhiivid ei ole vanemad kui nädal.
Selle tulemusena on meil eelmise päeva failide koopiad ja ka viimase nädala arhiivid; FreeFileSync paneb kustutatud failid prügikasti.
Allikas: www.habr.com