Anamneza, si të thuash:
Server Fujitsu rx300 s6, RAID6 me 6 disqe 1TB, XenServer 6.2 i instaluar, disa serverë që rrotullohen, mes tyre Ubuntu me disa topa, 3,5 milionë skedarë, 1,5 TB të dhëna, e gjithë kjo gradualisht po rritet dhe po fryhet.
Detyrë: konfiguroni kopje rezervë të të dhënave nga një server skedari, pjesërisht çdo ditë, pjesërisht çdo javë.
Ne kemi një makinë rezervë Windows me RAID5 (një njësi e dobët standarde e sistemit me një kontrollues RAID të integruar në nënën) plus një disk të veçantë 2 TB për kopjimin e ndërmjetëm të gjendjes aktuale të skedarëve. Ishte e mundur të përdorej çdo shpërndarje Linux, por kjo makinë ishte tashmë e disponueshme me një grup bastisjeje dhe një licencë Windows.
Instaloni në një server rezervë , ne vendosim një "pasqyrë" të gjithçkaje me radhë nga të gjitha ndarjet e serverit të skedarëve një herë në ditë në mbrëmje pas 18 orësh duke e drejtuar atë përmes planifikuesit.
Një pikë e rëndësishme: kur ruani një detyrë grumbull, sigurohuni që të kontrolloni "Mbyll dritaren e detyrës kur të përfundojë", përndryshe proceset do të shumohen dhe shumohen.
Ne hedhim skedarë të përkohshëm në përjashtimet e maskave: *.dwl, *.dwl2, *.tmp.
FreeFileSync e përdor rrjetin jashtëzakonisht mirë, kopjimi bëhet në disa tema, shpejtësia arrin 80 Mbps kur kopjoni skedarë të mëdhenj, nuk u gjet asnjë bllokim në skedarë të vegjël.
Arkivimi do të kryhet në një server lokal rezervë, në vend të atij të përdorur më parë me arkivimin e rrjetit. Nga rruga, TheCopier është e mrekullueshme! Por me vëllime të tilla, thjesht nuk ka kohë për të transferuar gjithçka, pavarësisht ndërfaqes 1Gbps në kopje rezervë dhe 2Gbps në skedarin një (lidhja e dy kartave të rrjetit).
Gjithashtu i përdorur më parë , por kur numri i skedarëve kaloi 1,5-2 milion, ai pushoi së punuari normalisht, thjesht nuk mund ta përballonte.
Për të arkivuar dosjet e nevojshme, ne shkruajmë një skedar grumbull për :
caktuar tani=%TIME:~0,-3%
cakto tani=%tani::=.%
cakto tani=%tani: =0%
vendosur tani=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%tani%
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Skedarët e programit"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
::a - krijimi i një arkivi
:: -tzip ose -t7z - lloji i arkivit (zip është 1.5-2 herë më i shpejtë)
:: -mx=1 — raporti i kompresimit (1 minimum, 9 vlera maksimale x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - mundëson multithreading aty ku nuk është i aktivizuar
:: -mtc=off - çaktivizon vulat kohore të sistemit të skedarëve (kur ruhen, modifikohen, etj.)
:: -ssw - gjithashtu kompreson skedarët e hapur për shkrim
:: -xr!.Sync* - përjashton skedarët e përkohshëm BtSync nga arkivimi, duke lënë të përhershëm
Ndërtimi i set now=% dhe kështu me radhë ju lejon të ruani formatin e kohës së regjistrimit në një emër skedari pa problemet që lindën kur numri i ditës ose muajit ishte më i vogël se 10, domethënë zëvendësojmë një zero.
Komenti -xr!.Sync* është një rudiment i mbetur nga ai i përdorur fillimisht .
Deri në 500 GB dhe 700-800 mijë skedarë, BTSync ende funksiononte mirë, i sinkronizuar në fluturim, por me vëllimet aktuale ishte shumë konsumuese e memories dhe burimeve të procesorit si në serverin e skedarëve Ubuntu ashtu edhe në kopjen rezervë të Windows ku u lançua nga shërbimi, dhe gjithashtu thjesht përdhunuan sistemin e diskut me lexime dhe shkrime të vazhdueshme.
Edhe pse arkivuesi është 7-zip, ne e arkivojmë në formatin zip në vend të 7z amtare, sepse është shumë më i shpejtë dhe praktikisht nuk ka dallim në kompresim me mx=1, kjo është vërtetuar nga shumë eksperimente.
Arkivat ekzekutohen një nga një.
Dosja me arkivat pastrohet gjithashtu përmes një detyre të planifikuar duke përdorur mjetin fpurge, duke i lënë arkivat jo më të vjetër se një javë.
Si rezultat, ne kemi një kopje të skedarëve për ditën e mëparshme, si dhe arkivat për javën e fundit; FreeFileSync i vendos skedarët e fshirë në koshin e mbeturinave.
Burimi: www.habr.com