Анамнеза, да тако кажем:
Фујитсу рк300 с6 сервер, РАИД6 од 6 дискова од 1ТБ, инсталиран КсенСервер 6.2, неколико сервера се окреће, међу њима и Убунту са неколико куглица, 3,5 милиона фајлова, 1,5 ТБ података, све то постепено расте и расте.
Задатак: подесити резервну копију података са сервера датотека, делом дневно, делом недељно.
Имамо Виндовс машину за прављење резервних копија са РАИД5 (лоша стандардна системска јединица са РАИД контролером уграђеним у матичну) плус посебан диск од 2ТБ за средње копирање тренутног стања датотека. Било је могуће користити било коју Линук дистрибуцију, али ова машина је већ била доступна са раид низом и лиценцом за Виндовс.
Инсталирајте на резервном серверу , поставили смо „огледало“ свега по реду са свих дељења сервера датотека једном дневно увече после 18 сати тако што смо га покренули кроз планер.
Важна тачка: када чувате групни задатак, обавезно означите „Затвори прозор задатка када се заврши“, иначе ће се процеси множити и множити.
Бацамо привремене датотеке у изузетке маске: *.двл, *.двл2, *.тмп.
ФрееФилеСинц изузетно добро користи мрежу, копирање се одвија у неколико нити, брзина достиже 80 Мбпс при копирању великих датотека, није пронађено блокирање на малим датотекама.
Архивирање ће се вршити на локалном бацкуп серверу, уместо на претходно коришћеном са мрежним архивирањем. Иначе, ТхеЦопиер је одличан! Али са таквим обима, једноставно нема времена да пренесе све, упркос интерфејсу од 1Гбпс на резервној копији и 2Гбпс на првом фајлу (веза две мрежне картице).
Такође раније коришћен , али када је број датотека прешао 1,5-2 милиона, престао је да ради нормално, једноставно није могао да се носи.
Да бисмо архивирали потребне фасцикле, пишемо батцх датотеку за :
постави сада=%ТИМЕ:~0,-3%
постави сада=%сада::=.%
постави сада=%сада: =0%
постави сада=%ДАТЕ:~-4%.%ДАТЕ:~3,2%.%ДАТЕ:~0,2%_%нов%
Ц:"Програм Филес"7-Зип7з.еке а -тзип -мк=1 -ммт=он -мтц=офф -ссв Д:бацкупсАлл%нов%_10-04.зип Е:10-04
Ц:"Програм Филес"7-Зип7з.еке а -тзип -мк=1 -ммт=он -мтц=офф -ссв Д:бацкупсАлл%нов%_35-110.зип Е:35-110
Ц:"Програм Филес"7-Зип7з.еке а -тзип -мк=1 -ммт=он -мтц=офф -ссв Д:бацкупсАлл%нов%_асу.зип Е:асу
Ц:“Програм Филес”7-Зип7з.еке а -тзип -мк=1 -ммт=он -мтц=офф -ссв Д:бацкупсАлл%нов%_дирецтор.зип Е:директор
Ц:“Програм Филес”7-Зип7з.еке а -тзип -мк=1 -ммт=он -мтц=офф -ссв Д:бацкупсАлл%нов%_гпр.зип Е:гпр
Ц:"Програм Филес"7-Зип7з.еке а -тзип -мк=1 -ммт=он -мтц=офф -ссв Д:бацкупсАлл%нов%_отиз.зип Е:отиз
Ц:“Програмске датотеке”7-Зип7з.еке а -тзип -мк=1 -ммт=он -мтц=офф -ссв Д:бацкупсАлл%нов%_пс.зип Е:пс
Ц:“Програм Филес”7-Зип7з.еке а -тзип -мк=1 -ммт=он -мтц=офф -ссв Д:бацкупсАлл%нов%_пто.зип Е:пто
Ц:“Програм Филес”7-Зип7з.еке а -тзип -мк=1 -ммт=он -мтц=офф -ссв Д:бацкупсАлл%нов%_рза.зип Е:рза
Ц:“Програмске датотеке”7-Зип7з.еке а -тзип -мк=1 -ммт=он -мтц=офф -ссв Д:бацкупсАлл%нов%_смета.зип Е:смета
::а - креирање архиве
:: -тзип или -т7з - тип архиве (зип је 1.5-2 пута бржи)
:: -мк=1 — степен компресије (1 минимална, 9 максималних вредности к=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -ммт=он - омогућава мултитхреадинг тамо где није омогућено
:: -мтц=офф - онемогућава временске ознаке система датотека (када се чувају, мењају, итд.)
:: -ссв - такође компримује датотеке отворене за писање
:: -кр!.Синц* - искључује привремене БтСинц датотеке из архивирања, остављајући трајне
Конструкција сет нов=% и тако даље омогућава вам да сачувате формат времена снимања у називу датотеке без проблема који су настали када је број дана или месеца био мањи од 10, односно, заменимо нулу.
Коментар -кр!.Синц* је рудимент који је остао од првобитно коришћеног .
До 500 ГБ и 700-800 хиљада датотека, БТСинц је и даље радио добро, синхронизован у ходу, али са тренутним волуменима је веома трошио меморију и ресурсе процесора како на Убунту серверу датотека тако и на Виндовс резервној копији где га је покренуо сервис, а такође једноставно силовао систем диска сталним читањем и писањем.
Иако је архиватор 7-зип, ми га архивирамо у зип формату уместо у матичном 7з, јер је много бржи, а практично нема разлике у компресији са мк=1, то је потврђено многим експериментима.
Архиве се извршавају једна по једна.
Фасцикла са архивама се такође чисти кроз заказани задатак помоћу услужног програма фпурге, остављајући архиве не старије од недељу дана.
Као резултат тога, имамо копију датотека за претходни дан, као и архиве за прошлу недељу; ФрееФилеСинц ставља избрисане датотеке у смеће.
Извор: ввв.хабр.цом