Anamnesis, por así decirlo:
Servidor Fujitsu rx300 s6, RAID6 de 6 discos de 1TB, XenServer 6.2 instalado, varios servidores girando, entre ellos Ubuntu con varias bolas, 3,5 millones de archivos, 1,5 TB de datos, todo esto poco a poco va creciendo e hinchado.
Tarea: configurar una copia de seguridad de los datos desde un servidor de archivos, en parte diariamente y en parte semanalmente.
Tenemos una máquina de respaldo de Windows con RAID5 (una unidad de sistema estándar deficiente con un controlador RAID integrado en la madre) más un disco separado de 2 TB para la copia intermedia del estado actual de los archivos. Era posible utilizar cualquier distribución de Linux, pero esta máquina ya estaba disponible con una matriz raid y una licencia de Windows.
Instalar en un servidor de respaldo , configuramos un "espejo" de todo lo que está en una fila desde todos los servidores de archivos compartidos una vez al día por la noche después de 18 horas ejecutándolo a través del programador.
Un punto importante: al guardar una tarea por lotes, asegúrese de marcar "Cerrar ventana de tarea cuando se complete", de lo contrario los procesos se multiplicarán y multiplicarán.
Lanzamos archivos temporales en excepciones de máscara: *.dwl, *.dwl2, *.tmp.
FreeFileSync utiliza la red muy bien, la copia se realiza en varios subprocesos, la velocidad alcanza los 80 Mbps al copiar archivos grandes, no se encontró ningún bloqueo en archivos pequeños.
El archivo se realizará en un servidor de copia de seguridad local, en lugar del utilizado anteriormente. con archivado en red. Por cierto, ¡TheCopier es genial! Pero con tales volúmenes, simplemente no tiene tiempo para transferir todo, a pesar de la interfaz de 1 Gbps en la copia de seguridad y 2 Gbps en la de archivos (unión de dos tarjetas de red).
También usado anteriormente , pero cuando la cantidad de archivos superó los 1,5-2 millones, dejó de funcionar normalmente, simplemente no pudo hacer frente.
Para archivar las carpetas necesarias, escribimos un archivo por lotes para :
establecer ahora=%TIEMPO:~0,-3%
establecer ahora=%ahora::=.%
establecer ahora=%ahora: =0%
establecer ahora=%FECHA:~-4%.%FECHA:~3,2%.%FECHA:~0,2%_%ahora%
C:"Archivos de programa"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Archivos de programa"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Archivos de programa"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:“Archivos de programa”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:“Archivos de programa”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Archivos de programa"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“Archivos de programa”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:“Archivos de programa”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“Archivos de programa”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“Archivos de programa”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
::a - creando un archivo
:: -tzip o -t7z - tipo de archivo (zip es entre 1.5 y 2 veces más rápido)
:: -mx=1 — relación de compresión (1 mínimo, 9 valores máximos x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on: habilita el subproceso múltiple donde no está habilitado
:: -mtc=off: desactiva las marcas de tiempo del sistema de archivos (cuando se guarda, modifica, etc.)
:: -ssw - también comprime archivos abiertos para escritura
:: -xr!.Sync* - excluye los archivos BtSync temporales del archivo, dejando los permanentes
La construcción de set now=% y así sucesivamente permite guardar el formato de tiempo de grabación en un nombre de archivo sin los problemas que surgían cuando el número del día o mes era menor a 10, es decir, sustituimos un cero.
El comentario -xr!.Sync* es un rudimento que quedó del usado originalmente. .
Hasta 500 GB y 700-800 mil archivos, BTSync todavía funcionaba bien, se sincronizaba sobre la marcha, pero con los volúmenes actuales consumía mucha memoria y recursos del procesador tanto en el servidor de archivos de Ubuntu como en la copia de seguridad de Windows donde se inició. el servicio, y también simplemente violaron el sistema de disco mediante lecturas y escrituras constantes.
Aunque el archivador es 7-zip, lo archivamos en formato zip en lugar del 7z nativo, porque es mucho más rápido y prácticamente no hay diferencia en la compresión con mx=1, esto ha sido verificado por muchos experimentos.
Los archivos se ejecutan uno por uno.
La carpeta con archivos comprimidos también se limpia mediante una tarea programada utilizando la utilidad fpurge, dejando los archivos comprimidos con no más de una semana de antigüedad.
Como resultado, tenemos una copia de los archivos del día anterior, así como de los archivos de la última semana; FreeFileSync coloca los archivos eliminados en la papelera.
Fuente: habr.com