Anamnéza, abych tak řekl:
Server Fujitsu rx300 s6, RAID6 6 1TB disků, nainstalovaný XenServer 6.2, několik točících se serverů, mezi nimi Ubuntu s několika koulemi, 3,5 milionu souborů, 1,5 TB dat, to vše postupně roste a bobtná.
Úkol: nastavit zálohování dat ze souborového serveru, částečně denně, částečně týdně.
Máme zálohovací stroj Windows s RAID5 (nekvalitní standardní systémová jednotka s RAID řadičem zabudovaným v matce) plus samostatný 2TB disk pro mezikopírování aktuálního stavu souborů. Bylo možné použít jakoukoli distribuci Linuxu, ale tento stroj byl již k dispozici s polem raid a licencí Windows.
Nainstalujte na záložní server , jednou denně večer po 18 hodinách nastavíme „zrcadlení“ všeho v řadě ze všech sdílení souborového serveru spuštěním přes plánovač.
Důležitý bod: při ukládání dávkové úlohy nezapomeňte zaškrtnout „Po dokončení zavřít okno úlohy“, jinak se procesy budou množit a množit.
Do výjimek masky hodíme dočasné soubory: *.dwl, *.dwl2, *.tmp.
FreeFileSync využívá síť mimořádně dobře, kopírování probíhá v několika vláknech, rychlost dosahuje 80 Mbps při kopírování velkých souborů, u malých souborů nebylo zjištěno žádné blokování.
Archivace bude provedena na místním záložním serveru, nikoli na dříve používaném se síťovou archivací. Mimochodem, TheCopier je skvělý! Ale s takovými objemy prostě nestihne přenést vše, i přes 1Gbps rozhraní na zálohování a 2Gbps na souborové (vazba dvou síťových karet).
Také dříve používané , ale když počet souborů přesáhl 1,5-2 miliony, přestalo to normálně fungovat, prostě to nezvládlo.
Pro archivaci potřebných složek napíšeme dávkový soubor pro :
nastavit teď=%TIME:~0,-3%
nastavit nyní=%now::=.%
nastavit teď=%teď: =0%
nastavit nyní=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%now%
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
::a - vytvoření archivu
:: -tzip nebo -t7z - typ archivu (zip je 1.5-2krát rychlejší)
:: -mx=1 — kompresní poměr (1 minimální, 9 maximálních hodnot x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - povolí vícevláknové zpracování tam, kde není povoleno
:: -mtc=off - deaktivuje časová razítka systému souborů (při uložení, úpravě atd.)
:: -ssw - také komprimuje soubory otevřené pro zápis
:: -xr!.Sync* - vyloučí dočasné soubory BtSync z archivace a ponechá trvalé
Konstrukce set now=% a tak dále umožňuje uložit formát času záznamu do názvu souboru bez problémů, které nastaly, když číslo dne nebo měsíce bylo menší než 10, tedy dosadíme nulu.
Komentář -xr!.Sync* je rudiment zbylý z původně použitého .
Do 500 GB a 700-800 tisíc souborů BTSync stále fungoval dobře, synchronizoval se za chodu, ale při současných objemech velmi spotřebovával paměť a zdroje procesoru jak na souborovém serveru Ubuntu, tak na záloze Windows, kde byl spuštěn službu a také jednoduše znásilněný diskový systém neustálým čtením a zápisem.
Přestože je archivátor 7-zip, archivujeme jej ve formátu zip místo nativního 7z, protože je mnohem rychlejší a v kompresi s mx=1 není prakticky žádný rozdíl, to bylo ověřeno mnoha experimenty.
Archivy jsou zpracovávány jeden po druhém.
Složka s archivy se také vyčistí pomocí naplánované úlohy pomocí nástroje fpurge, takže archivy nebudou starší než týden.
Výsledkem je, že máme kopii souborů za předchozí den a také archivy za minulý týden; FreeFileSync ukládá smazané soubory do koše.
Zdroj: www.habr.com