FreeFileSync және 7-zip көмегімен деректердің сақтық көшірмесін жасау

Анамнез, былайша айтқанда:

Fujitsu rx300 s6 сервері, 6 6ТБ дискіден тұратын RAID1, XenServer 6.2 орнатылған, бірнеше серверлер айналады, оның ішінде бірнеше шарлары бар Ubuntu, 3,5 миллион файл, 1,5 ТБ деректер, мұның бәрі біртіндеп өсіп, ісініп келеді.

Тапсырма: ішінара күн сайын, ішінара апта сайын файл серверінен деректердің сақтық көшірмесін орнату.
Бізде RAID5 жүйесі бар Windows сақтық көшірме машинасы (анасына орнатылған RAID контроллері бар нашар стандартты жүйелік блок) және файлдардың ағымдағы күйін аралық көшіруге арналған бөлек 2 ТБ дискісі бар. Кез келген Linux дистрибутивтерін пайдалануға болады, бірақ бұл құрылғы рейд массивімен және Windows лицензиясымен бұрыннан қол жетімді болды.

Сақтық көшірме серверіне орнатыңыз FreeFileSync, біз күн сайын кешке бір рет 18 сағаттан кейін жоспарлаушы арқылы іске қосу арқылы барлық файл серверінің бөлісулерінен қатардағы барлығының «айнасын» орнатамыз.

Маңызды мәселе: топтамалық тапсырманы сақтау кезінде «Аяқтаған кезде тапсырма терезесін жабу» құсбелгісін қойыңыз, әйтпесе процестер көбейеді және көбейеді.

Біз уақытша файлдарды маска ерекшеліктеріне шығарамыз: *.dwl, *.dwl2, *.tmp.

FreeFileSync желіні өте жақсы пайдаланады, көшіру бірнеше ағындарда орын алады, үлкен файлдарды көшіру кезінде жылдамдық 80 Мбит / с жетеді, шағын файлдарда блоктау табылмады.

Мұрағаттау бұрын пайдаланылған сервердің орнына жергілікті резервтік серверде жүзеге асырылады TheCopier желілік мұрағаттау арқылы. Айтпақшы, TheCopier тамаша! Бірақ мұндай көлемдерде сақтық көшірмедегі 1 Гбит / с интерфейсіне және бірінші файлдағы 2 Гбит / с интерфейсіне қарамастан (екі желілік картаның байланысы) барлығын тасымалдауға уақыт жоқ.

Сондай-ақ бұрын қолданылған SyncToy, бірақ файлдардың саны 1,5-2 миллионнан асқанда, ол қалыпты жұмысын тоқтатты, ол жай ғана жеңе алмады.

Қажетті қалталарды мұрағаттау үшін біз пакеттік файлды жазамыз 7-zip:

қазір орнату=%TIME:~0,-3%
қазір орнату=%қазір::=.%
қазір орнату=%қазір: =0%
қазір орнату=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%қазір%
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

::a - мұрағатты құру
:: -tzip немесе -t7z - мұрағат түрі (zip 1.5-2 есе жылдам)
:: -mx=1 — қысу коэффициенті (1 минимум, 9 максималды мән x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - қосылмаған жерде көп ағынды қосады
:: -mtc=off - файлдық жүйе уақыт белгілерін өшіреді (сақталғанда, өзгертілгенде, т.б.)
:: -ssw - сонымен қатар жазу үшін ашылған файлдарды қысады
:: -xr!.Sync* - тұрақты файлдарды қалдырып, уақытша BtSync файлдарын мұрағаттаудан шығарады.

Set now=% және т.б. құрастыру күннің немесе айдың саны 10-нан аз болған кезде пайда болған проблемаларсыз файл атауында жазу уақытының пішімін сақтауға мүмкіндік береді, яғни нөлді ауыстырамыз.

Түсініктеме -xr!.Sync* - бастапқыда қолданылғаннан қалған рудимент BTSync.

500 ГБ және 700-800 мың файлдарға дейін BTSync әлі де жақсы жұмыс істеді, жылдам синхрондалады, бірақ ағымдағы көлемдерде ол Ubuntu файл серверінде де, Windows сақтық көшірмесінде де жад пен процессор ресурстарын өте тұтынды. қызмет, сондай-ақ тұрақты оқу және жазу арқылы диск жүйесін жай ғана зорлады.

Мұрағаттаушы 7-zip болса да, біз оны жергілікті 7z емес, zip пішімінде мұрағаттаймыз, себебі ол әлдеқайда жылдамырақ және mx=1 арқылы сығуда іс жүзінде ешқандай айырмашылық жоқ, бұл көптеген тәжірибелермен расталды.

Мұрағаттар бірінен соң бірі орындалады.

Мұрағаттары бар қалта да fpurge утилитасының көмегімен жоспарланған тапсырма арқылы тазаланады, мұрағаттар бір аптадан аспайды.
Нәтижесінде бізде алдыңғы күндегі файлдардың көшірмесі, сондай-ақ соңғы аптаның мұрағаттары бар; FreeFileSync жойылған файлдарды себетке салады.

Ақпарат көзі: www.habr.com