Anamnezo, por tiel diri:
Fujitsu rx300 s6-servilo, RAID6 de 6 1TB-diskoj, XenServer 6.2 instalita, pluraj serviloj turniĝantaj, inter ili Ubuntu kun pluraj pilkoj, 3,5 milionoj da dosieroj, 1,5 TB da datumoj, ĉio ĉi iom post iom kreskas kaj ŝveliĝas.
Tasko: agordi sekurkopion de datumoj de dosierservilo, parte ĉiutage, parte ĉiusemajne.
Ni havas Vindozan rezervan maŝinon kun RAID5 (malbona norma sistemunuo kun RAID-regilo enkonstruita en la patrino) plus apartan 2TB-diskon por meza kopiado de la nuna stato de la dosieroj. Eblis uzi ajnan Linuksan distribuon, sed ĉi tiu maŝino jam estis havebla kun ataka tabelo kaj Vindoza permesilo.
Instalu sur rezerva servilo , ni starigas "spegulon" de ĉio en vico de ĉiuj dosierservilaj akcioj unufoje tage vespere post 18 horoj kurante ĝin tra la planilo.
Grava punkto: dum konservado de grupa tasko, nepre kontrolu "Fermu tasko-fenestron kiam finite", alie la procezoj multobliĝos kaj multiĝos.
Ni ĵetas provizorajn dosierojn en maskajn esceptojn: *.dwl, *.dwl2, *.tmp.
FreeFileSync ege bone uzas la reton, kopiado okazas en pluraj fadenoj, la rapido atingas 80 Mbps kiam oni kopias grandajn dosierojn, neniu blokado estis trovita sur malgrandaj dosieroj.
Arkivado estos farita sur loka rezerva servilo, anstataŭ tiu uzita antaŭe kun retarkivado. Cetere, TheCopier estas bonega! Sed kun tiaj volumoj, ĝi simple ne havas tempon por transdoni ĉion, malgraŭ la interfaco 1Gbps sur la sekurkopio kaj 2Gbps sur la dosiero unu (obligacio de du retkartoj).
Ankaŭ antaŭe uzata , sed kiam la nombro da dosieroj superis 1,5-2 milionojn, ĝi ĉesis funkcii normale, ĝi simple ne povis elteni.
Por arkivi la necesajn dosierujojn, ni skribas grupan dosieron por :
agordu nun=%TIME:~0,-3%
agordu nun=%nun::=.%
agordu nun=%nun: =0%
agordu nun=%DATO:~-4%.%DATO:~3,2%.%DATO:~0,2%_%nun%
C:"Programdosieroj"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Programdosieroj"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Programdosieroj"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:“Programdosieroj”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%nun%_director.zip E:direktoro
C:“Programdosieroj”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Programdosieroj"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“Programdosieroj”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:“Programdosieroj”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“Programdosieroj”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“Programdosieroj”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
::a - kreante arkivon
:: -tzip aŭ -t7z - arkiva tipo (zip estas 1.5-2 fojojn pli rapida)
:: -mx=1 — kunpremoproporcio (1 minimumo, 9 maksimumaj valoroj x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - ebligas multfadenadon kie ĝi ne estas ebligita
:: -mtc=off - malŝaltas dosiersistemajn tempomarkojn (kiam konservite, modifitaj, ktp.)
:: -ssw - ankaŭ kunpremas dosierojn malfermitajn por skribado
:: -xr!.Sync* - ekskludas provizorajn BtSync-dosierojn de arkivado, lasante konstantajn.
La konstruado de aro nun=% kaj tiel plu permesas vin konservi la formaton de registra tempo en dosiernomo sen la problemoj, kiuj estiĝis kiam la nombro de la tago aŭ monato estis malpli ol 10, tio estas, ni anstataŭigas nulon.
Komento -xr!.Sync* estas rudimento postlasita de la origine uzata .
Ĝis 500 GB kaj 700-800 mil dosieroj, BTSync ankoraŭ bone funkciis, sinkronigita sur la flugo, sed kun la nunaj volumoj ĝi tre konsumis memorajn kaj procesorajn rimedojn kaj sur la Ubuntu-dosierservilo kaj sur la sekurkopio de Vindozo kie ĝi estis lanĉita de la servo, kaj ankaŭ simple seksperfortita disksistemo per konstantaj legadoj kaj skribadoj.
Kvankam la arkivisto estas 7-zip, ni arkivas ĝin en la zip-formato anstataŭ la denaska 7z, ĉar ĝi estas multe pli rapida, kaj praktike ne estas diferenco en kunpremado kun mx=1, tio estis kontrolita per multaj eksperimentoj.
Arkivoj estas ekzekutitaj unu post la alia.
La dosierujo kun arkivoj ankaŭ estas purigita per planita tasko uzante la fpurge ilon, lasante arkivojn ne pli aĝaj ol semajno.
Kiel rezulto, ni havas kopion de la dosieroj por la antaŭa tago, same kiel arkivojn por la lasta semajno; FreeFileSync metas la forigitajn dosierojn en la rubujon.
fonto: www.habr.com