Backup i të dhënave me ndihmën e FreeFileSync dhe 7-zip

Histori, në një farë mënyre:

Serveri Fujitsu rx300 s6, RAID6 me 6 disqe 1TB, i ngritur në XenServer 6.2, po funksionojnë disa servera, përfshirë një Ubuntu me disa volume, 3.5 milion skedarë, 1.5 TB të dhëna, të gjithë këto po rriten gradualisht dhe fryhen.

Detyra: të konfiguroni backup-in e të dhënave nga serveri i skedarëve, pjesërisht çdo ditë, pjesërisht çdo javë.
Kemi një makinë me Windows për backup me RAID5 (për shkak të kursimeve, një kompjuter i zakonshëm me një kontrollues RAID të integruar në pllakën e nënshkrimit) plus një disk të veçantë 2TB për kopjimin e përkohshëm të gjendjes aktuale të skedarëve. Mund të ishte përdorur çdo shpërndarje Linux, por kjo makinë tashmë ishte në dispozicion me një grumbull RAID dhe një licencë Windows.

Instalojmë në serverin e backup-it FreeFileSync, konfiguroni "mirror" të gjithçkaje nga serveri i skedarëve një herë në ditë pas orës 18:00 duke e aktivizuar atë përmes planifikuesit.

Një pikë e rëndësishme: kur ruani një detyrë grupi, sigurohuni të aktivizoni "Mbyll dritaren e detyrës pas përfundimit", përndryshe proceset do të shumohen.

Në përjashtime, përjashtojmë skedarët e përkohshëm: *.dwl, *.dwl2, *.tmp.

FreeFileSync përdor jashtëzakonisht mirë rrjetin, kopjimi ndodh në disa procese, shpejtësia arrin deri në 80 MB/s kur kopjohen skedarë të mëdhenj, nuk janë gjetur bllokime me skedarët e vegjël.

Arkivimi do të bëhet tashmë në serverin e lokalizuar për backup, në vend të TheCopier me arkivimin në rrjet. Për më tepër, TheCopier është i shkëlqyer! Por, për këto volume, thjesht nuk arrin të transferojë gjithçka, megjithëse ka një ndërfaqe 1 Gbps në backup dhe 2 Gbps në skedarë (bond i dy kartave të rrjetit).

Gjithashtu, fillimisht është përdorur SyncToy, por me numrin e skedarëve mbi 1.5-2 milion, ai ndaloi së funksionuari normalisht, thjesht nuk arrinte.

Për arkivimin e dosjeve të nevojshme, shkruajmë një skript për 7-zip:

set now=%TIME:~0,-3%
set now=%now::=.%
set now=%now: =0%
vendos tani=TE:~-4%.TE:~3,2%.TE:~0,2%_%now%
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

:: a — krijimi i arkivit
:: -tzip ose -t7z — lloji i arkivit ( zip është 1.5-2 herë më i shpejtë )
:: -mx=1 — gradësia e kompresimit (1 minimum, 9 maksimumi, vlerat x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on — aktivizon shumëprocese aty ku ndoshta nuk është aktivizuar
:: -mtc=off — çaktivizon timestamp-et e sistemit të skedarëve (kur është ruajtur, ndryshuar etj.)
:: -ssw — kompreson gjithashtu skedarët që janë të hapur për shkrim
:: -xr!.Sync* — përjashton skedarët e përkohshëm BtSync nga arkivimi, duke lënë ato të përhershme

Konstruksioni nga set now=% dhe kështu me radhë lejon të ruani formatin e shkrimit të kohës në emrin e skedarit pa probleme, të cilat ndodhnin kur numri i ditës ose muajit ishte më pak se 10, pra vendosim zero.

Koment -xr!.Sync* është një relikt, që ka mbetur nga përdorimi fillestar i BTSync.

Derisa 500 GB dhe 700-800 mijë skedarë BTSync punonte akoma mirë, sinkronizonte në fluks, por me volumet aktuale konsumonte shumë memorje dhe burime procesori si në serverin e skedarëve Ubuntu ashtu edhe në serverin e backup-it Windows, ku ishte aktivizuar si shërbim, gjithashtu përdorte sistemin e diskut me leximet dhe shkrimet e vazhdueshme.

Edhe pse arkivuesi është 7-zip, ne arkivojmë në format zip në vend të 7z të origjinës, sepse është shumë më i shpejtë, dhe diferenca në kompresim me mx=1 nuk ka asnjë ndikim, e vërtetuar nga shumë eksperimente.

Arkivat përfundohen njëri pas tjetrit.

Pastrimi i dosjes me arkivat gjithashtu ndodh përmes një detyre të planifikuar duke përdorur utilitarin fpurge, duke lënë arkivat që nuk janë më të vjetra se një javë.
Si rezultat kemi një kopje të skedarëve për ditën e kaluar, si dhe arkivat për javën e kaluar, skedarët e fshirë FreeFileSync i vendos në kosh.

Burimi: habr.com