Fai unha copia de seguranza dos datos usando unha morea de FreeFileSync e 7-zip

Anamnese, por así dicir:

Servidor Fujitsu rx300 s6, RAID6 de 6 discos de 1TB, XenServer 6.2 instalado, varios servidores xirando, entre eles Ubuntu con varias bólas, 3,5 millóns de ficheiros, 1,5 TB de datos, todo isto vai medrando e inchando pouco a pouco.

Tarefa: configurar a copia de seguridade de datos dun servidor de ficheiros, en parte diariamente, en parte semanal.
Temos unha máquina de copia de seguridade de Windows con RAID5 (unha unidade de sistema estándar deficiente cunha controladora RAID integrada na nai) máis un disco separado de 2 TB para a copia intermedia do estado actual dos ficheiros. Era posible usar calquera distribución de Linux, pero esta máquina xa estaba dispoñible cunha matriz raid e unha licenza de Windows.

Instalar nun servidor de copia de seguridade FreeFileSync, configuramos un "espello" de todo en fila de todos os recursos compartidos do servidor de ficheiros unha vez ao día pola noite despois de 18 horas executándoo a través do programador.

Un punto importante: ao gardar unha tarefa por lotes, asegúrese de marcar "Pechar a xanela da tarefa cando se complete", se non, os procesos multiplicaranse e multiplicaranse.

Lanzamos ficheiros temporais a excepcións de máscara: *.dwl, *.dwl2, *.tmp.

FreeFileSync usa a rede moi ben, a copia ten lugar en varios fíos, a velocidade alcanza os 80 Mbps ao copiar ficheiros grandes, non se atopou ningún bloqueo en ficheiros pequenos.

O arquivo realizarase nun servidor de copia de seguridade local, en lugar do utilizado anteriormente TheCopier con arquivo en rede. Por certo, TheCopier é xenial! Pero con tales volumes, simplemente non ten tempo para transferir todo, a pesar da interface de 1 Gbps na copia de seguridade e 2 Gbps no ficheiro (enlace de dúas tarxetas de rede).

Tamén usado anteriormente SyncToy, pero cando o número de ficheiros superou 1,5-2 millóns, deixou de funcionar normalmente, simplemente non puido facer fronte.

Para arquivar os cartafoles necesarios, escribimos un ficheiro por lotes para 7-zip:

definir agora=%TIME:~0,-3%
establecer agora=%agora::=.%
establecer agora=%agora: =0%
establecer agora=%DATA:~-4%.%DATA:~3,2%.%DATA:~0,2%_%agora%
C:"Arquivos de programas"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Arquivos de programas"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Arquivos de programas"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:“Arquivos de programas”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:“Arquivos de programas”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Arquivos de programas"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“Arquivos de programas”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:“Arquivos de programas”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“Arquivos de programas”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“Arquivos de programas”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

::a - creación dun arquivo
:: -tzip ou -t7z - tipo de arquivo (o zip é 1.5-2 veces máis rápido)
:: -mx=1 — relación de compresión (1 mínimo, 9 valores máximos x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - activa o multithreading onde non está activado
:: -mtc=off - desactiva as marcas de tempo do sistema de ficheiros (cando se gardan, modifican, etc.)
:: -ssw - tamén comprime os ficheiros abertos para escribir
:: -xr!.Sync* - exclúe os ficheiros temporais BtSync do arquivado, deixando os permanentes

A construción de set now=% etc. permítelle gardar o formato do tempo de gravación nun nome de ficheiro sen os problemas que xurdían cando o número do día ou do mes era inferior a 10, é dicir, substituímos un cero.

Comentario -xr!.Sync* é un rudimento que sobra do usado orixinalmente BTSync.

Ata 500 GB e 700-800 mil ficheiros, BTSync aínda funcionaba ben, sincronizado sobre a marcha, pero cos volumes actuais consumía moito memoria e recursos do procesador tanto no servidor de ficheiros de Ubuntu como na copia de seguridade de Windows onde foi lanzado por o servizo, e tamén simplemente violar o sistema de disco mediante lecturas e escrituras constantes.

Aínda que o arquivador é 7-zip, arquivámolo no formato zip en lugar do nativo 7z, porque é moito máis rápido, e practicamente non hai diferenzas na compresión con mx=1, isto foi verificado por moitos experimentos.

Os arquivos realízanse un por un.

O cartafol con arquivos tamén se limpa mediante unha tarefa programada mediante a utilidade fpurge, co que os arquivos non teñen máis dunha semana.
Como resultado, temos unha copia dos ficheiros do día anterior, así como os arquivos da última semana; FreeFileSync pon os ficheiros eliminados na papeleira.

Fonte: www.habr.com