FreeFileSync 및 7-zip을 사용하여 데이터 백업

기억 상실, 말하자면 :

Fujitsu rx300 s6 서버, 6개의 6TB 디스크의 RAID1, XenServer 6.2가 작동 중이고 여러 서버가 회전하고 있으며 그 중 여러 개의 볼이 있는 Ubuntu, 3,5만 개의 파일, 1,5TB의 데이터, 모두 점차 커지고 팽창합니다.

작업: 파일 서버에서 일부는 매일, 일부는 매주 데이터 백업을 설정합니다.
우리는 RAID5(가난한 경우 어머니에 RAID 컨트롤러가 내장된 일반 시스템 장치)가 있는 백업용 Windows 시스템과 현재 파일 상태의 중간 복사를 위한 별도의 2TB 디스크가 있습니다. 모든 Linux 배포판을 사용할 수 있었지만 이 시스템은 이미 RAID 어레이와 Windows 라이선스로 사용할 수 있었습니다.

백업 서버에 설치 FreeFileSync, 우리는 스케줄러를 통해 시작하여 18:XNUMX 이후 저녁에 하루에 한 번 모든 파일 서버 공유에서 연속으로 모든 항목의 "미러"를 설정합니다.

중요한 점: 배치 작업을 저장할 때 "완료 시 작업 창 닫기"를 선택해야 합니다. 그렇지 않으면 프로세스가 계속해서 증가합니다.

*.dwl, *.dwl2, *.tmp 마스크로 임시 파일을 예외에 넣습니다.

FreeFileSync는 네트워크를 매우 잘 사용하고 복사가 여러 스트림으로 진행되며 큰 파일을 복사할 때 속도가 80Mbps에 도달하고 작은 파일에서 연결이 발견되지 않았습니다.

아카이빙은 이전에 사용된 백업 서버 대신 로컬 백업 서버에서 이미 수행됩니다. 복사기 네트워크 아카이빙. 그건 그렇고, TheCopier는 훌륭합니다! 그러나 이러한 볼륨을 사용하면 백업의 1Gbps 인터페이스와 파일 2의 XNUMXGbps(두 개의 네트워크 카드 결합)에도 불구하고 모든 것을 전송할 시간이 없습니다.

또한 이전에 사용 SyncToy,하지만 파일 수가 1,5 ~ 2 만 개가 넘으면 정상적으로 작동하지 않고 대처할 수 없었습니다.

필요한 폴더를 보관하기 위해 배치 파일을 작성합니다. 7 지퍼:

지금 설정=%TIME:~0,-3%
지금 설정=%지금::=.%
지금 설정=%현재: =0%
지금 설정=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%now%
C:"프로그램 파일"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"프로그램 파일"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"프로그램 파일"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:"프로그램 파일"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:디렉터
C:"프로그램 파일"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"프로그램 파일"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:"프로그램 파일"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:"프로그램 파일"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:"프로그램 파일"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:"프로그램 파일"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

:: a - 아카이브 생성
:: -tzip 또는 -t7z - 아카이브 유형(zip이 1.5-2배 더 빠름)
:: -mx=1 — 압축률(최소 1, 최대 9 x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - 갑자기 켜지지 않는 멀티스레딩을 켭니다.
:: -mtc=off - 파일 시스템 타임스탬프 비활성화(저장, 변경 등)
:: -ssw - 쓰기용으로 연 파일도 압축합니다.
:: -xr!.Sync* - 보관에서 임시 BtSync 파일을 제외하고 영구적인 파일만 남깁니다.

set now=% 등의 구성을 사용하면 일 또는 월의 수가 10보다 작을 때 발생하는 문제 없이 파일 이름에 시간 형식을 저장할 수 있습니다. 즉, XNUMX으로 대체합니다.

-xr!.Sync* 주석은 원본의 흔적입니다. 비티싱크.

최대 500GB 및 700-800개의 파일, BTSync는 여전히 작동하고 즉석에서 동기화되었지만 현재 볼륨에서는 Ubuntu 파일 서버와 시작된 Windows 백업 모두에서 많은 메모리와 프로세서 리소스를 사용했습니다. 서비스에 의해, 그리고 지속적인 읽기 및 쓰기로 단순히 디스크 시스템을 강간했습니다.

아카이버는 7-zip이지만 기본 7z 대신 zip 형식으로 아카이브합니다. 훨씬 빠르고 mx=1과의 압축에 실질적으로 차이가 없기 때문에 많은 실험을 통해 검증되었습니다.

아카이브가 차례로 실행됩니다.

보관 파일이 있는 폴더도 fpurge 유틸리티를 사용하여 예약된 작업을 통해 정리되므로 일주일 이상 보관된 보관 파일은 남지 않습니다.
결과적으로 전날의 파일 사본과 지난주의 아카이브가 있으며 FreeFileSync는 삭제된 파일을 휴지통에 넣습니다.

출처 : habr.com