Povijest, tako reći:
Server Fujitsu rx300 s6, RAID6 od 6 1TB diskova, pokrenut XenServer 6.2, radi nekoliko servera, među kojima je Ubuntu sa nekoliko dijelova, 3,5 milijuna datoteka, 1,5 TB podataka, sve to postupno raste i širi se.
Zadatak: postaviti backup podataka s datotečnog servera, dijelom dnevno, dijelom tjedno.
Imamo Windows stroj za backup s RAID5 (zbog uštede običan sistem s ugrađenim RAID kontrolerom) plus zaseban 2TB disk za privremeno kopiranje trenutnog stanja datoteka. Mogao se koristiti bilo koji Linux distribucija, ali ovaj stroj je već bio dostupan s RAID-om i Windows licencom.
Instaliramo na backup server , postavljamo "zrcalo" svega sa svih dijelova datotečnog servera jednom dnevno u večernjim satima nakon 18 sati pokretanjem putem planer.
Važna stvar: prilikom spremanja paketa zadatka obavezno označiti "Zatvori prozor zadatka pri završetku", inače će se procesi umnožavati.
U izuzeća prema maski ubacujemo privremene datoteke: *.dwl, *.dwl2, *.tmp.
FreeFileSync nevjerojatno dobro koristi mrežu, kopiranje ide u nekoliko tokova, brzina dostiže 80 MB/s prilikom kopiranja velikih datoteka, zagušenja na malim datotekama nisu otkrivena.
Arhiviranje ćemo provoditi već na lokalnom backup serveru, umjesto korištenog ranije s arhiviranjem putem mreže. Usput, TheCopier je izvrstan! No, pri ovim količinama jednostavno ne stigne sve prenijeti, unatoč 1Gb/s sučelju na backupu i 2Gb/s na datotečnom serveru (bonda dvaju mrežnih kartica).
Također je ranije korišten , ali pri broju datoteka od više od 1,5-2 milijuna prestao je normalno raditi, jednostavno nije mogao podnijeti.
Za arhiviranje potrebnih mapa pišemo batch skriptu za :
set now=%TIME:~0,-3%
set now=%now::=.%
set now=%now: =0%
set now=TE:~-4%.TE:~3,2%.TE:~0,2%_%now%
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
:: a — izrada arhiva
:: -tzip ili -t7z — tip arhiva (zip je 1.5-2 puta brži)
:: -mx=1 — razina kompresije (1 minimalno, 9 maksimalno, x=[0 | 1 | 3 | 5 | 7 | 9])
:: -mmt=on — uključuje višekratno procesiranje gdje nije uključeno
:: -mtc=off — isključuje vremenske oznake datotečnog sustava (kada je sačuvano, promijenjeno itd.)
:: -ssw — također komprimira datoteke otvorene za pisanje
:: -xr!.Sync* — isključuje privremene datoteke BtSync iz arhiviranja, ostavljajući trajne
Konstukcija iz set now=% i tako dalje omogućuje očuvanje formata zapisa vremena u ime datoteke bez problema koji su se javljali kada je broj dana ili mjeseca bio manji od 10, tj. dodajemo nulu.
Komentar -xr!.Sync* je relikt koji je ostao od prvotno korištenog .
Do 500 GB i 700-800 tisuća datoteka, BTSync je još uvijek radio solidno, sinkronizirao u realnom vremenu, ali pri trenutnim volumenima jako je trošio memoriju i procesorske resurse, kako na Ubuntu file serveru, tako i na Windows backup serveru, gdje je bio pokrenut kao usluga, a također je konstantno opterećivao diskski sustav stalnim čitanjem i pisanjem.
Iako je arhivator 7-zip, arhiviramo u zip format umjesto izvornog 7z, jer je znatno brži, a razlika u kompresiji s mx=1 praktički ne postoji, provjereno mnogim eksperimentima.
Arhivi se obrađuju redom.
Čišćenje mape s arhivima također se odvija preko zakazane zadaće pomoću alata fpurge, ostavljajući arhive ne starije od tjedan dana.
Kao rezultat imamo kopiju datoteka od prethodnog dana, kao i arhive za posljednji tjedan, a obrisane datoteke FreeFileSync premješta u smeće.
Izvor: habr.com
