Historie, tak říkajíc:
Server Fujitsu rx300 s6, RAID6 z 6 1TB disků, běží na XenServer 6.2, provozuje několik serverů, včetně Ubuntu s několika sdílenými složkami, 3,5 milionu souborů, 1,5 TB dat, to vše postupně roste a zvětšuje se.
Úkol: nastavit zálohování dat z file serveru, částečně denně, částečně týdně.
Máme Windows stroj pro zálohování s RAID5 (z nedostatku běžný systémový počítač s integrovaným RAIDovém ovladačem na základní desce) plus samostatný 2TB disk pro dočasné kopírování aktuálního stavu souborů. Mohli jsme použít jakoukoliv distribuci Linuxu, ale tento stroj již měl RAID pole a licenci na Windows.
Nainstalujeme na zálohovací server , nastavíme 'zrcadlení' všech složek z file serveru jednou za den večer po 18. hodině pomocí plánovače úloh.
Důležitý bod: při ukládání dávkové úlohy nezapomeňte zaškrtnout 'Zavřít okno úlohy po dokončení', jinak se procesy budou množit a replikovat.
Do výjimek podle masky přidáváme dočasné soubory: *.dwl, *.dwl2, *.tmp.
FreeFileSync extrémně dobře využívá síť, kopírování probíhá v několika vláknech, rychlost dosahuje 80 MB/s při kopírování velkých souborů, u malých souborů nebyly zjištěny žádné zácpy.
Archivaci budeme provádět již na lokálním zálohovacím serveru, místo dříve používaného s archivací po síti. Mimochodem, TheCopier je skvělý! Ale při takových objemech prostě nestíhá všechno přenést, i když má zálohovací server 1Gb/s rozhraní a file server 2Gb/s (spojující dvě síťové karty).
Také jsme dříve používali , ale při počtu souborů přes 1,5–2 miliony přestal správně fungovat, jednoduše to nezvládal.
Pro archivaci potřebných složek napíšeme dávkový skript pro :
set now=%TIME:~0,-3%
set now=%now::=.%
set now=%now: =0%
set now=TE:~-4%.TE:~3,2%.TE:~0,2%_%now%
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:«Program Files»7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:„Program Files“7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:„Program Files“7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
:: a — vytvoření archivu
:: -tzip nebo -t7z — typ archivu ( zip je 1,5-2 krát rychlejší )
:: -mx=1 — stupeň komprese (1 minimum, 9 maximum hodnoty x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on — zahrnuje vícetrh, pokud není náhodou zapnuto
:: -mtc=off — vypíná časové značky souborového systému (kdy byl uložen, změněn atd.)
:: -ssw — komprimuje také soubory, které jsou otevřeny pro zápis
:: -xr!.Sync* — vylučuje dočasné soubory BtSync z archivačních procesů, přičemž ponechává trvalé
Konstrukce set now=% a tak dále umožňuje uchovat formát zápisu času v názvu souboru bez problémů, které vznikly, když bylo číslo dne nebo měsíce méně než 10, tím se přidává nula.
Komentář -xr!.Sync* je relikt, který zůstal od původně používaného .
Do 500 GB a 700-800 tisíc souborů BTSync fungoval docela dobře, synchronizoval v reálném čase, ale při současných objemech velmi využíval paměť a procesorové zdroje jak na ubuntu souborovém serveru, tak na Windows zálohovém, kde běžel jako služba, a také neustále zatěžoval diskový systém trvalým čtením a zápisy.
I když je archivátor a 7-zip, archivujeme ve formátu zip místo nativního 7z, protože je to mnohem rychlejší, a rozdíl v kompresi při mx=1 téměř neexistuje, bylo to potvrzeno mnoha experimenty.
Archivy jsou zpracovány postupně.
Úklid složky s archivy také probíhá prostřednictvím naplánované úlohy pomocí nástroje fpurge, přičemž se ponechávají archivy starší než týden.
V důsledku toho máme kopii souborů za předchozí den a také archivy za poslední týden, odstraněné soubory FreeFileSync ukládá do koše.
Zdroj: habr.com
