Anamnesis, kaya sabihin:
Fujitsu rx300 s6 server, RAID6 ng 6 1TB disk, XenServer 6.2 na naka-install, maraming mga server na umiikot, kasama ng mga ito ang Ubuntu na may ilang mga bola, 3,5 milyong mga file, 1,5 TB ng data, lahat ng ito ay unti-unting lumalaki at namamaga.
Gawain: mag-set up ng backup ng data mula sa isang file server, bahagyang araw-araw, bahagyang lingguhan.
Mayroon kaming Windows backup machine na may RAID5 (isang mahinang standard system unit na may RAID controller na nakapaloob sa ina) kasama ang isang hiwalay na 2TB disk para sa intermediate na pagkopya ng kasalukuyang estado ng mga file. Posibleng gumamit ng anumang pamamahagi ng Linux, ngunit available na ang makinang ito na may raid array at lisensya ng Windows.
I-install sa isang backup na server , nag-set up kami ng "salamin" ng lahat ng magkakasunod mula sa lahat ng pagbabahagi ng file server isang beses sa isang araw sa gabi pagkatapos ng 18 oras sa pamamagitan ng pagpapatakbo nito sa scheduler.
Isang mahalagang punto: kapag nagse-save ng isang batch na gawain, tiyaking suriin ang "Isara ang window ng gawain kapag nakumpleto," kung hindi, ang mga proseso ay dadami at dadami.
Inilalagay namin ang mga pansamantalang file sa mga pagbubukod sa mask: *.dwl, *.dwl2, *.tmp.
Ang FreeFileSync ay gumagamit ng network nang napakahusay, ang pagkopya ay nagaganap sa maraming mga thread, ang bilis ay umabot sa 80 Mbps kapag kinopya ang malalaking file, walang naharang na nakita sa maliliit na file.
Ang pag-archive ay isasagawa sa isang lokal na backup na server, sa halip na ang ginamit dati na may network archive. Siyanga pala, ang galing ng TheCopier! Ngunit sa gayong mga volume, wala itong oras upang ilipat ang lahat, sa kabila ng 1Gbps interface sa backup at 2Gbps sa file isa (bond ng dalawang network card).
Ginamit din dati , ngunit kapag ang bilang ng mga file ay lumampas sa 1,5-2 milyon, huminto ito sa normal na paggana, hindi na ito nakayanan.
Upang i-archive ang mga kinakailangang folder, nagsusulat kami ng isang batch file para sa :
itakda ngayon=%ORAS:~0,-3%
itakda na=%now::=.%
itakda ngayon=%now: =0%
itakda ngayon=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%now%
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C: βProgram Filesβ7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C: βProgram Filesβ7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C: βMga File ng Programaβ7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C: βProgram Filesβ7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C: βProgram Filesβ7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C: βProgram Filesβ7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
::a - paggawa ng archive
:: -tzip o -t7z - uri ng archive (zip ay 1.5-2 beses na mas mabilis)
:: -mx=1 β compression ratio (1 minimum, 9 maximum values ββββx=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - pinapagana ang multithreading kung saan hindi ito pinagana
:: -mtc=off - hindi pinapagana ang mga timestamp ng file system (kapag na-save, binago, atbp.)
:: -ssw - din compresses file na binuksan para sa pagsusulat
:: -xr!.Sync* - hindi kasama ang mga pansamantalang BtSync file mula sa pag-archive, nag-iiwan ng mga permanenteng
Ang pagtatayo ng set now=% at iba pa ay nagpapahintulot sa iyo na i-save ang format ng oras ng pag-record sa isang pangalan ng file nang walang mga problema na lumitaw kapag ang bilang ng araw o buwan ay mas mababa sa 10, iyon ay, pinapalitan namin ang isang zero.
Ang Komento -xr!.Sync* ay isang panimula na natitira sa orihinal na ginamit .
Hanggang sa 500 GB at 700-800 libong mga file, gumagana pa rin ang BTSync, naka-synchronize sa mabilisang, ngunit sa kasalukuyang mga volume ito ay napaka-ubos ng memorya at mga mapagkukunan ng processor kapwa sa Ubuntu file server at sa Windows backup kung saan ito inilunsad ng ang serbisyo, at simpleng ginahasa ang disk system sa pamamagitan ng patuloy na pagbabasa at pagsusulat.
Bagama't 7-zip ang archiver, ini-archive namin ito sa format na zip sa halip na sa native na 7z, dahil mas mabilis ito, at halos walang pagkakaiba sa compression sa mx=1, na-verify na ito ng maraming eksperimento.
Ang mga archive ay isa-isang isinasagawa.
Ang folder na may mga archive ay nililinis din sa pamamagitan ng isang naka-iskedyul na gawain gamit ang fpurge utility, na iniiwan ang mga archive na hindi lalampas sa isang linggo.
Bilang resulta, mayroon kaming kopya ng mga file para sa nakaraang araw, pati na rin ang mga archive para sa nakaraang linggo; inilalagay ng FreeFileSync ang mga tinanggal na file sa basurahan.
Pinagmulan: www.habr.com