Anamnēze, tā sakot:
Fujitsu rx300 s6 serveris, RAID6 no 6 1TB diskiem, uzstādīts XenServer 6.2, vairāki serveri griežas, starp tiem Ubuntu ar vairākām bumbiņām, 3,5 miljoni failu, 1,5 TB datu, tas viss pamazām aug un uzbriest.
Uzdevums: iestatiet datu dublēšanu no failu servera daļēji katru dienu, daļēji katru nedēļu.
Mums ir Windows dublēšanas iekārta ar RAID5 (slikts standarta sistēmas bloks ar RAID kontrolieri, kas iebūvēts mātē), kā arī atsevišķs 2TB disks failu pašreizējā stāvokļa starpposma kopēšanai. Varēja izmantot jebkuru Linux izplatīšanu, taču šī mašīna jau bija pieejama ar raid masīvu un Windows licenci.
Instalējiet rezerves serverī , mēs uzstādām “spoguli” visam pēc kārtas no visiem failu servera koplietojumiem reizi dienā vakarā pēc 18 stundām, palaižot to caur plānotāju.
Svarīgs punkts: saglabājot pakešuzdevumu, noteikti atzīmējiet opciju “Aizvērt uzdevuma logu, kad tas ir pabeigts”, pretējā gadījumā procesi vairosies un vairosies.
Mēs ievietojam pagaidu failus masku izņēmumos: *.dwl, *.dwl2, *.tmp.
FreeFileSync ārkārtīgi labi izmanto tīklu, kopēšana notiek vairākos pavedienos, kopējot lielus failus ātrums sasniedz 80 Mbps, maziem failiem bloķēšana netika atrasta.
Arhivēšana tiks veikta vietējā rezerves serverī, nevis iepriekš izmantotajā serverī ar tīkla arhivēšanu. Starp citu, TheCopier ir lielisks! Bet ar šādiem apjomiem tam vienkārši nav laika visu pārsūtīt, neskatoties uz 1Gbps interfeisu dublējumkopijā un 2Gbps pirmajā failā (divu tīkla karšu saite).
Arī iepriekš lietots , bet, kad failu skaits pārsniedza 1,5-2 miljonus, tas pārstāja normāli darboties, vienkārši netika galā.
Lai arhivētu nepieciešamās mapes, mēs rakstām sērijveida failu :
iestatīt tagad=%TIME:~0,-3%
iestatīt tagad=%tagad::=.%
iestatīt tagad=%tagad: =0%
iestatīt tagad=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%now%
C:"Programmu faili"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Programmu faili"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Programmu faili"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:“Programmu faili”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:“Programmu faili”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Programmu faili"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“Programmu faili”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:“Programmu faili”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“Programmu faili”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“Programmu faili”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
::a - arhīva izveide
:: -tzip vai -t7z - arhīva veids (zip ir 1.5-2 reizes ātrāks)
:: -mx=1 — kompresijas pakāpe (1 minimālais, 9 maksimālās vērtības x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on — iespējo vairākpavedienu izmantošanu, ja tā nav iespējota
:: -mtc=off — atspējo failu sistēmas laikspiedolus (kad tiek saglabāti, pārveidoti utt.)
:: -ssw - arī saspiež rakstīšanai atvērtos failus
:: -xr!.Sync* - izslēdz pagaidu BtSync failus no arhivēšanas, atstājot pastāvīgos
Konstrukcija set now=% un tā tālāk ļauj saglabāt ieraksta laika formātu faila nosaukumā bez problēmām, kas radās, kad dienas vai mēneša skaitlis bija mazāks par 10, tas ir, mēs aizvietojam ar nulli.
Komentārs -xr!.Sync* ir rudiments, kas palicis pāri no sākotnēji izmantotā .
Līdz 500 GB un 700-800 tūkstošiem failu BTSync joprojām darbojās labi, sinhronizējot lidojuma laikā, taču ar pašreizējiem apjomiem tas ļoti patērēja atmiņu un procesora resursus gan Ubuntu failu serverī, gan Windows dublējumkopijā, kur to palaida pakalpojumu, kā arī vienkārši izvaroja disku sistēmu, pastāvīgi lasot un rakstot.
Lai gan arhivētājs ir 7-zip, mēs to arhivējam zip formātā, nevis native 7z, jo tas ir daudz ātrāks, un praktiski nav atšķirības kompresijā ar mx=1, tas ir pārbaudīts daudzos eksperimentos.
Arhīvi tiek izpildīti pa vienam.
Mape ar arhīviem tiek iztīrīta arī, veicot ieplānotu uzdevumu, izmantojot utilītu fpurge, atstājot arhīvus, kas nav vecāki par nedēļu.
Rezultātā mums ir iepriekšējās dienas failu kopijas, kā arī pēdējās nedēļas arhīvi; FreeFileSync dzēstos failus ievieto miskastē.
Avots: www.habr.com