Backup-i i të dhënave me ndihmën e FreeFileSync dhe 7-zip

Histori, për ta thënë kështu:

Serveri Fujitsu rx300 s6, RAID6 me 6 disqe 1TB, e ngritur XenServer 6.2, me disa serverë të vegjël, mes të cilëve Ubuntu me disa ndarjesh, 3.5 milion skedarë, 1.5TB të dhënash, të gjitha këto rriten dhe fryhen gradualisht.

Detyra: të konfigurojmë kopjimin e të dhënave nga serveri i skedarëve, pjesërisht çdo ditë, pjesërisht çdo javë.
Kemi një makinë Windows për backup me RAID5 (për shkak të kufizimeve, një sistem të zakonshëm me një kontrollues RAID të integruar në pllakën kryesore) plus një disk të veçantë 2TB për kopjimin e përkohshëm të gjendjes aktuale të skedarëve. Mund të përdornim ndonjë shpërndarje Linux, por kjo makinë ishte tashmë në dispozicion me masivin RAID dhe licencën Windows.

Instalojmë në serverin e backup-it FreeFileSync, konfigurojmë "pasqyrimin" e gjithçkaje nga të gjitha ndarjet e serverit të skedarëve një herë në ditë në mbrëmje pas orës 18:00 me një nisje nga planifikuesi.

Një pikë e rëndësishme: kur ruani detyrën grupore, sigurohuni të shënoni "Mbylle dritaren e detyrës kur të përfundojë", në të kundërt proceset do të shumohen dhe do të shumohen.

Në përjashtime sipas maskës hedhim skedarët përkohësorë: *.dwl, *.dwl2, *.tmp.

FreeFileSync përdor jashtëzakonisht mirë rrjetin, kopjimi bëhet në disa rrjedha, shpejtësia arrin deri në 80 MB/s kur kopjohen skedarë të mëdhenj, nuk është zbuluar një ngadalësim për skedarët e vegjël.

Arkivimi do të bëhet tashmë në serverin lokal të backup-it, në vend të TheCopier me arkivimin në rrjet. Për fat të mirë, TheCopier është i shkëlqyer! Por me këto sasi thjesht nuk arrin ta transmetojë gjithçka, pavarësisht nga interfeisi 1Gb në backup dhe 2Gb në serverin e skedarëve (bondi i dy kartave të rrjetit).

Po ashtu është përdorur më parë SyncToy, por me numrin e skedarëve që kalonte 1.5-2 milion, ai ndaloi së punuari siç duhet, thjesht nuk e përballonte.

Për arkivimin e dosjeve të nevojshme shkruajmë një skript për 7-zip:

set now=%TIME:~0,-3%
set now=%now::=.%
set now=%now: =0%
set now=TA:~-4%.TA:~3,2%.TA:~0,2%_%now%
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

:: a — krijimi i arkivit
:: -tzip ose -t7z — lloji i arkivit (zip është 1.5-2 herë më i shpejtë)
:: -mx=1 — niveli i kompresimit (1 minimal, 9 maksimumi i vlerave x=[0 | 1 | 3 | 5 | 7 | 9])
:: -mmt=on — aktivizon multithreading aty ku nuk është aktivizuar
:: -mtc=off — çaktivizon timestamps e sistemit të skedarëve (kur është ruajtur, ndryshuar, etj.)
:: -ssw — kompreson gjithashtu skedarët që janë të hapur për shkrim
:: -xr!.Sync* — përjashton skedarët përkohësorë BtSync nga arkivimi, duke lënë skedarët e përhershëm

Struktura e set now=% dhe kështu me radhë lejon ruajtjen e formatit të regjistrimit të kohës në emrin e skedarit pa probleme, të cilat ndodhnin kur numri i ditës ose muajit ishte më pak se 10, pra vendosim zero.

Koment -xr!.Sync* është një relikt që ka mbetur nga përdorimi fillestar BTSync.

Derisa 500 GB dhe 700-800 mijë skedarë BTSync punonte më së miri, duke sinkronizuar në fluks, por me volumet aktuale hante shumë memorie dhe burime CPU si në serverin e files në Ubuntu ashtu edhe në backupin në Windows, ku ishte aktivizuar si shërbim, përveç se thjesht keqtrajtiste sistemin disk me lexime-shkrime të vazhdueshme.

Megjithëse arkivuesi është 7-zip, ne arkivojmë në formatin zip në vend të 7z, sepse është shumë më i shpejtë, dhe diferenca në kompresim me mx=1 pothuajse nuk ekziston, e provuar me eksperimente të shumta.

Arkivat përpunohen njëri pas tjetrit.

Pastrimi i folderit të arkivave ndodh gjithashtu përmes një task të planifikuar duke përdorur utilitarin fpurge, duke lënë arkivat jo më të vjetra se një javë.
Si rezultat kemi një kopje të skedarëve për ditën e kaluar, si dhe arkivat për javën e fundit, skedarët e fshirë FreeFileSync i hedh në kosha.

Burimi: habr.com