Andmete varundamine FreeFileSync'i ja 7-zip'i abil

Ütleme nii, et taustteave:

Fujitsu rx300 s6 server, RAID6 koos 6 x 1TB kettaga, XenServer 6.2 on paigaldatud, seal jooksevad mitmed serverid, sealhulgas Ubuntu, millel on mitmed jagamisalad, 3,5 miljonit faili, 1,5 TB andmeid, mis kõik aeglaselt kasvavad ja paisuvad.

Ülesanne: seadistada failiserveri andmete varukoopia, osaliselt iga päev, osaliselt igal nädalal.
Meil on Windows masina jaoks varukoopia RAID5 (halvemaks on tavaline süsteem, millel on emaplaadile integreeritud RAID-kontroller) pluss eraldi 2TB ketas praeguse failide oleku vahekogumiseks. Saime kasutada mis tahes Linuxi jaotust, kuid see masin oli juba olemas koos RAID-massiivi ja Windowsi litsentsiga.

Paigaldame varukoopia serverisse FreeFileSync, seadistame kõigi jagamiste "peegeldamise" ühe korra päevas õhtul pärast kella 18 käivitamise kaudu ajakava.

Oluline punkt: paketihaldust ülesande salvestamisel on kindlasti vajalik valida "Sulgeda ülesande aken lõpetamise korral", vastasel juhul hakkavad protsessid paljunema.

Köidame erandeid mustri alusel ajutised failid: *.dwl, *.dwl2, *.tmp.

FreeFileSync kasutab võrku äärmiselt hästi, suurte failide kopeerimine toimub mitmes voo kaudu, kiirus ulatub 80 MB/s, väikeste failidega pole ummistusi leitud.

Arhiveerimine toimub nüüd kohaliku varukoopia serveris, selle asemel, mida varem kasutati TheCopier võrgus arhiveerimisega. Muide, TheCopier on suurepärane! Kuid selliste mahtude korral ei jõua see kõike üle kanda, hoolimata 1 Gb/s liidest varukoopia serveris ja 2 Gb/s failiserveris (kahe võrgukaardi koondamine).

Varasemalt kasutati ka SyncToy, kuid failide arvu ületamisel 1,5-2 miljonit lakas see normaalse töötamise, lihtsalt ei suutnud toime tulla.

Vajadusel kirjutan vajalike kaustade arhiveerimiseks batch-skripti 7-zip:

set now=%TIME:~0,-3%
set now=%now::=.
set now=%now: =0%
sead nüüd=TE:~-4%.TE:~3,2%.TE:~0,2%_%now%
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

:: a — arhiivi loomine
:: -tzip või -t7z — arhiivi tüüp (zip on 1,5-2 korda kiirem)
:: -mx=1 — tihendamise tase (1 minimaalne, 9 maksimaalne väärtus x=[0 | 1 | 3 | 5 | 7 | 9])
:: -mmt=on — lubab mitme lõime kasutamist, kui see ei ole juba lubatud
:: -mtc=off — keelab failisüsteemi ajatempli, kui see on salvestatud, muudetud jne.
:: -ssw — tihendab ka faile, mis on kirjutamiseks avatud
:: -xr!.Sync* — välistab ajutised failid BtSync arhiivimisel, jättes püsivad

Set now=% konstrueerimine ja nii edasi võimaldab säilitada ajavormi failinimes ilma probleemideta, mis tekkisid, kui päeva või kuu number oli alla 10, seega lisame nulli.

Kommentaar -xr!.Sync* on jäänuk algselt kasutatud seadmest BTSync.

Kuni 500 GB ja 700-800 tuhat faili töötas BTSync veel hästi, sünkroonides reaalajas, kuid praeguste mahtudega kasutas see väga palju mälu ja CPU ressursse nii Ubuntul põhise failiserveris kui ka Windowsi varukoopiate serveris, kus see töötas teenusena, ning lihtsalt kurnas kettasüsteemi pidevate lugemise ja kirjutamistega.

Kuigi arhiivija on 7-zip, arhiivime zip formaadis asemel originaali 7z, kuna see on palju kiirem, ja mx=1 korral pole tihendamide vahe praktiliselt mingit, on paljude katsetega tõestatud.

Arhiivid luuakse järjestikku.

Arhiivikausta puhastus toimub samuti ajastatud ülesande kaudu utiliit fpurge abil, jättes arhiivid mitte vanemaks kui nädal.
Tulemusena on meil koopia failidest eelmisest päevast ja arhiivid viimase nädala jooksul, eemaldatud failid FreeFileSync paneb prügikasti.

Allikas: habr.com