Архивиране на данни с помощта на FreeFileSync и 7-zip

Анамнеза, така да се каже:

Сървър Fujitsu rx300 s6, RAID6 от 6 диска по 1TB, инсталиран XenServer 6.2, въртят се няколко сървъра, сред които Ubuntu с няколко топки, 3,5 милиона файла, 1,5 TB данни, всичко това постепенно расте и набъбва.

Задача: настройка на архивиране на данни от файлов сървър, частично ежедневно, частично седмично.
Разполагаме с Windows backup машина с RAID5 (беден стандартен системен блок с RAID контролер вграден в майката) плюс отделен 2TB диск за междинно копиране на текущото състояние на файловете. Беше възможно да се използва всяка Linux дистрибуция, но тази машина вече беше налична с raid масив и лиценз за Windows.

Инсталирайте на резервен сървър FreeFileSync, настройваме „огледало“ на всичко подред от всички споделяния на файлов сървър веднъж на ден вечер след 18 часа, като го пускаме през планировчика.

Важен момент: когато запазвате партидна задача, не забравяйте да поставите отметка до „Затваряне на прозореца на задачата, когато е завършен“, в противен случай процесите ще се умножават и умножават.

Хвърляме временни файлове в маска изключения: *.dwl, *.dwl2, *.tmp.

FreeFileSync използва мрежата изключително добре, копирането става в няколко потока, скоростта достига 80 Mbps при копиране на големи файлове, не е открито блокиране на малки файлове.

Архивирането ще се извършва на локален резервен сървър, вместо на използвания досега Копирната машина с мрежово архивиране. Между другото TheCopier е страхотен! Но с такива обеми просто няма време да прехвърли всичко, въпреки интерфейса 1Gbps на архива и 2Gbps на файла (свързване на две мрежови карти).

Също използван преди SyncToy, но когато броят на файловете надхвърли 1,5-2 милиона, той спря да работи нормално, просто не можеше да се справи.

За да архивираме необходимите папки, пишем пакетен файл за 7-цип:

зададено сега=%ВРЕМЕ:~0,-3%
set now=%now::=.%
задайте сега=%сега: =0%
задайте сега=%ДАТА:~-4%.%ДАТА:~3,2%.%ДАТА:~0,2%_%сега%
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:“Програмни файлове”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:директор
C:“Програмни файлове”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“Програмни файлове”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:“Програмни файлове”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“Програмни файлове”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“Програмни файлове”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

::a - създаване на архив
:: -tzip или -t7z - тип архив (zip е 1.5-2 пъти по-бърз)
:: -mx=1 — степен на компресия (1 минимална, 9 максимални стойности x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - разрешава многопоточност там, където не е активирана
:: -mtc=off - деактивира времевите марки на файловата система (когато са записани, модифицирани и т.н.)
:: -ssw - също компресира файлове, отворени за запис
:: -xr!.Sync* - изключва временните BtSync файлове от архивиране, оставяйки постоянни

Конструкцията на set now=% и т.н. ви позволява да запазите формата на времето за запис в името на файла без проблемите, които възникват, когато номерът на деня или месеца е по-малък от 10, тоест заместваме нула.

Коментар -xr!.Sync* е рудимент, останал от първоначално използвания BTSync.

До 500 GB и 700-800 хиляди файла, BTSync все още работеше добре, синхронизираше се в движение, но с текущите обеми консумираше много памет и процесорни ресурси както на файловия сървър на Ubuntu, така и на резервното копие на Windows, където беше стартирано от услугата, а също и просто изнасилена дискова система чрез постоянно четене и запис.

Въпреки че архиваторът е 7-zip, ние го архивираме в zip формат вместо родния 7z, защото е много по-бърз и практически няма разлика в компресията с mx=1, това е потвърдено от много експерименти.

Архивите се изпълняват един по един.

Папката с архиви също се почиства чрез планирана задача с помощта на помощната програма fpurge, оставяйки архиви не по-стари от седмица.
В резултат на това имаме копие на файловете за предишния ден, както и архиви за последната седмица; FreeFileSync поставя изтритите файлове в кошчето.

Източник: www.habr.com