Бекап на податоци користејќи FreeFileSync и 7-zip

Анамнеза, така да се каже:

Сервер Fujitsu rx300 s6, RAID6 од 6 дискови од 1TB, инсталиран XenServer 6.2, се вртат неколку сервери, меѓу нив и Ubuntu со неколку топки, 3,5 милиони датотеки, 1,5 TB податоци, сето тоа постепено расте и отекува.

Задача: поставете резервна копија на податоци од сервер за датотеки, делумно дневно, делумно неделно.
Имаме машина за резервни копии на Windows со RAID5 (лоша стандардна системска единица со RAID контролер вграден во мајката) плус посебен диск од 2 TB за средно копирање на моменталната состојба на датотеките. Беше можно да се користи која било дистрибуција на Линукс, но оваа машина веќе беше достапна со низа за рација и лиценца за Windows.

Инсталирајте на резервен сервер Слободен датотека, поставуваме „огледало“ на сè по ред од сите споделувања на сервери за датотеки еднаш дневно навечер по 18 часа со тоа што ќе го поминеме низ распоредувачот.

Важна точка: кога зачувувате сериска задача, проверете дали ќе проверите „Затвори го прозорецот за задача кога ќе заврши“, инаку процесите ќе се множат и множат.

Ние фрламе привремени датотеки во исклучоци од маски: *.dwl, *.dwl2, *.tmp.

FreeFileSync ја користи мрежата исклучително добро, копирањето се одвива во неколку нишки, брзината достигнува 80 Mbps при копирање големи датотеки, не беше пронајдено блокирање на мали датотеки.

Архивирањето ќе се врши на локален резервен сервер, наместо на претходно користениот Копирот со мрежно архивирање. Патем, TheCopier е одличен! Но, со такви волумени, едноставно нема време да пренесе сè, и покрај интерфејсот од 1Gbps на резервната копија и 2Gbps на датотеката еден (врзување на две мрежни картички).

Исто така претходно користени SyncToy, но кога бројот на датотеки надмина 1,5-2 милиони, престана да работи нормално, едноставно не можеше да се справи.

За да ги архивираме потребните папки, пишуваме сериска датотека за 7-zip:

постави сега=%TIME:~0,-3%
постави сега=%сега::=.%
постави сега=%сега: =0%
постави сега=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%сега%
C:"Програмски датотеки"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Програмски датотеки"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Програмски датотеки"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:„Програмски датотеки“7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll% now%_director.zip E:director
C:„Програмски датотеки“7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Програмски датотеки"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:„Програмски датотеки“7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:„Програмски датотеки“7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:„Програмски датотеки“7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:„Програмски датотеки“7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

::a - создавање архива
:: -tzip или -t7z - тип на архива (zip е 1.5-2 пати побрз)
:: -mx=1 — однос на компресија (1 минимум, 9 максимални вредности x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - овозможува повеќенишки каде што не е овозможено
:: -mtc=off - ги оневозможува временските ознаки на датотечниот систем (кога е зачувано, изменето, итн.)
:: -ssw - ги компресира и датотеките отворени за пишување
:: -xr!.Sync* - ги исклучува привремените BtSync датотеки од архивирање, оставајќи ги трајните

Конструкцијата на set now=% и така натаму ви овозможува да го зачувате форматот на времето за снимање во име на датотека без проблеми што се појавија кога бројот на денот или месецот беше помал од 10, односно заменуваме нула.

Коментар -xr!.Sync* е зачеток што останало од првично користеното BTSync.

До 500 GB и 700-800 илјади датотеки, BTSync сè уште работеше добро, синхронизиран во лет, но со сегашните волумени многу трошеше меморија и ресурси на процесорот и на серверот за датотеки Ubuntu и на резервната копија на Windows каде што беше лансирана од услугата, а исто така и едноставно силуван диск систем со постојано читање и пишување.

Иако архиверот е 7-zip, ние го архивираме во zip формат наместо мајчин 7z, бидејќи е многу побрз, и практично нема разлика во компресија со mx=1, тоа е потврдено со многу експерименти.

Архивите се извршуваат еден по еден.

Папката со архиви исто така се чисти преку закажана задача користејќи ја алатката fpurge, оставајќи ги архивите не постари од една недела.
Како резултат на тоа, имаме копија од датотеките за претходниот ден, како и архиви за минатата недела; FreeFileSync ги става избришаните датотеки во корпата за отпадоци.

Извор: www.habr.com