Anamnesis, fel petai:
Gweinydd Fujitsu rx300 s6, RAID6 o ddisgiau 6 1TB, gosod XenServer 6.2, sawl gweinydd yn nyddu, yn eu plith Ubuntu gyda sawl peli, 3,5 miliwn o ffeiliau, 1,5 TB o ddata, mae hyn i gyd yn tyfu'n raddol ac yn chwyddo.
Tasg: sefydlu data wrth gefn o weinydd ffeiliau, yn rhannol yn ddyddiol, yn rhannol yn wythnosol.
Mae gennym beiriant wrth gefn Windows gyda RAID5 (uned system safonol wael gyda rheolydd RAID wedi'i gynnwys yn y fam) ynghyd â disg 2TB ar wahân ar gyfer copïo canolraddol o gyflwr presennol y ffeiliau. Roedd yn bosibl defnyddio unrhyw ddosbarthiad Linux, ond roedd y peiriant hwn eisoes ar gael gydag arae cyrch a thrwydded Windows.
Gosod ar weinydd wrth gefn , fe wnaethom sefydlu “drych” o bopeth yn olynol o bob cyfran gweinydd ffeil unwaith y dydd gyda'r nos ar ôl 18 awr trwy ei redeg trwy'r amserlennydd.
Pwynt pwysig: wrth arbed tasg swp, gwnewch yn siŵr eich bod yn gwirio “Caewch y ffenestr dasg ar ôl ei chwblhau,” fel arall bydd y prosesau'n lluosi ac yn lluosi.
Rydym yn taflu ffeiliau dros dro i eithriadau mwgwd: *.dwl, *.dwl2, *.tmp.
Mae FreeFileSync yn defnyddio'r rhwydwaith yn hynod o dda, mae copïo'n digwydd mewn sawl edafedd, mae'r cyflymder yn cyrraedd 80 Mbps wrth gopïo ffeiliau mawr, ni ddarganfuwyd unrhyw rwystro ar ffeiliau bach.
Bydd yr archifo yn cael ei wneud ar weinydd wrth gefn lleol, yn lle'r un a ddefnyddiwyd yn flaenorol gydag archifo rhwydwaith. Gyda llaw, mae TheCopier yn wych! Ond gyda chyfeintiau o'r fath, yn syml, nid oes ganddo amser i drosglwyddo popeth, er gwaethaf y rhyngwyneb 1Gbps ar y copi wrth gefn a 2Gbps ar y ffeil un (bond o ddau gerdyn rhwydwaith).
Defnyddiwyd o'r blaen hefyd , ond pan oedd nifer y ffeiliau yn fwy na 1,5-2 miliwn, rhoddodd y gorau i weithio fel arfer, ni allai ymdopi.
I archifo'r ffolderi angenrheidiol, rydym yn ysgrifennu ffeil swp ar gyfer :
set now=% AMSER:~0,-3%
gosod nawr=% nawr::=.%
gosod nawr=% nawr: =0%
set now=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_% now%
C:"Ffeiliau Rhaglen"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D: backupsAll%now%_10-04.zip E:10-04
C:"Ffeiliau Rhaglen"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D: backupsAll%now%_35-110.zip E:35-110
C:"Ffeiliau Rhaglen"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=oddi ar -ssw D: backupsAll%now%_asu.zip E:asu
C: “Ffeiliau Rhaglen”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=oddi ar -ssw D: backupsAll%now%_director.zip E:director
C: “Ffeiliau Rhaglen”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=oddi ar -ssw D: backupsAll%now%_gpr.zip E:gpr
C:"Ffeiliau Rhaglen"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=oddi ar -ssw D: backupsAll%now%_otiz.zip E:otiz
C: “Ffeiliau Rhaglen”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=oddi ar -ssw D: backupsAll%now%_ps.zip E:ps
C: “Ffeiliau Rhaglen”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=oddi ar -ssw D: backupsAll%now%_pto.zip E:pto
C: “Ffeiliau Rhaglen”7-Zip7z.exe a -tzip -mx=1 -mmt=ar -mtc=oddi ar -ssw D: backupsAll%now%_rza.zip E:rza
C: “Ffeiliau Rhaglen”7-Zip7z.exe a -tzip -mx=1 -mmt=ar -mtc=oddi ar -ssw D: backupsAll%now%_smeta.zip E:smeta
::a - creu archif
:: -tzip neu -t7z - math o archif (mae zip 1.5-2 gwaith yn gyflymach)
:: -mx=1 — cymhareb cywasgu (1 lleiafswm, 9 gwerth uchaf x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - yn galluogi multithreading lle nad yw wedi'i alluogi
:: -mtc=off - yn analluogi stampiau amser system ffeiliau (pan gaiff ei gadw, ei addasu, ac ati)
:: -ssw - hefyd yn cywasgu ffeiliau a agorwyd i'w hysgrifennu
:: -xr!.Sync* - yn eithrio ffeiliau BtSync dros dro rhag eu harchifo, gan adael rhai parhaol
Mae adeiladu set nawr = % ac yn y blaen yn eich galluogi i arbed fformat cofnodi amser mewn enw ffeil heb y problemau a gododd pan oedd nifer y diwrnod neu'r mis yn llai na 10, hynny yw, rydym yn amnewid sero.
Sylw -xr!.Mae Sync* yn elfen sy'n weddill o'r un a ddefnyddiwyd yn wreiddiol .
Hyd at 500 GB a 700-800 mil o ffeiliau, roedd BTSync yn dal i weithio'n iawn, wedi'i gydamseru ar y hedfan, ond gyda'r cyfrolau cyfredol roedd yn cymryd llawer iawn o adnoddau cof a phrosesydd ar weinydd ffeiliau Ubuntu ac ar y copi wrth gefn Windows lle cafodd ei lansio gan y gwasanaeth, a hefyd yn syml treisio system ddisg gan gyson yn darllen ac yn ysgrifennu.
Er mai 7-zip yw'r archifydd, rydym yn ei archifo yn y fformat sip yn lle'r 7z brodorol, oherwydd ei fod yn llawer cyflymach, ac nid oes bron unrhyw wahaniaeth mewn cywasgu gyda mx=1, mae hyn wedi'i wirio gan lawer o arbrofion.
Mae archifau'n cael eu gweithredu fesul un.
Mae'r ffolder gydag archifau hefyd yn cael ei lanhau trwy dasg a drefnwyd gan ddefnyddio'r cyfleustodau fpurge, gan adael archifau heb fod yn hŷn nag wythnos.
O ganlyniad, mae gennym gopi o'r ffeiliau ar gyfer y diwrnod blaenorol, yn ogystal ag archifau ar gyfer yr wythnos ddiwethaf; mae FreeFileSync yn rhoi'r ffeiliau sydd wedi'u dileu yn y sbwriel.
Ffynhonnell: hab.com