FreeFileSync болон 7-zip ашиглан өгөгдлийг нөөцлөх

Анамнез, өөрөөр хэлбэл:

Fujitsu rx300 s6 сервер, 6 6TB дискний RAID1, XenServer 6.2 суулгасан, хэд хэдэн серверүүд эргэлддэг, тэдгээрийн дотор хэд хэдэн бөмбөгтэй Ubuntu, 3,5 сая файл, 1,5 TB өгөгдөл, энэ бүхэн аажмаар нэмэгдэж, хавдаж байна.

Даалгавар: файлын серверээс өгөгдлийн нөөцлөлтийг хэсэгчлэн өдөр бүр, хэсэгчлэн долоо хоног бүр тохируулах.
Бидэнд RAID5 бүхий Windows нөөц машин (эхдээ суурилуулсан RAID хянагчтай стандарт муу систем) ба файлуудын одоогийн төлөвийг завсрын хугацаанд хуулах тусдаа 2TB дисктэй. Ямар ч Linux түгээлтийг ашиглах боломжтой байсан ч энэ машин нь raid массив болон Windows лицензтэй байсан.

Нөөц сервер дээр суулгана уу FreeFileSync програм, бид бүх файлын серверийн хувьцаанаас дараалсан бүх зүйлийн "толин тусгал"-ыг өдөрт нэг удаа оройн цагаар 18 цагийн дараа хуваарьлагчаар ажиллуулж суулгадаг.

Чухал зүйл: багц даалгаврыг хадгалахдаа "Ажил дууссаны дараа цонхыг хаах" гэснийг шалгаарай, эс тэгвээс процессууд үржиж, үржих болно.

Бид түр зуурын файлуудыг маскын үл хамаарах зүйлд оруулдаг: *.dwl, *.dwl2, *.tmp.

FreeFileSync нь сүлжээг маш сайн ашигладаг, хуулах нь хэд хэдэн урсгалаар явагддаг, том файлуудыг хуулах үед хурд нь 80 Mbps хүрдэг, жижиг файлууд дээр ямар ч хаалт олдсонгүй.

Архивлах ажлыг өмнө нь ашиглаж байсан сервер дээр биш харин дотоод нөөц сервер дээр хийх болно Хувилагч сүлжээний архивтай. Дашрамд хэлэхэд TheCopier бол гайхалтай! Гэхдээ ийм хэмжээний хувьд нөөц хуулбар дээр 1Gbps интерфэйс, нэг файл дээр 2Gbps (хоёр сүлжээний картын холболт) байгаа хэдий ч бүх зүйлийг шилжүүлэх цаг зав байдаггүй.

Мөн өмнө нь хэрэглэж байсан SyncToy, гэхдээ файлын тоо 1,5-2 саяас хэтэрсэн үед хэвийн ажиллахаа больсон, тэр зүгээр л даван туулж чадсангүй.

Шаардлагатай фолдеруудыг архивлахын тулд бид багц файл бичдэг 7-зип:

одоо тохируулах=%TIME:~0,-3%
одоо тохируулах=%одоо::=.%
одоо тохируулах=%одоо: =0%
одоо тохируулах=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%одоо%
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

::a - архив үүсгэх
:: -tzip эсвэл -t7z - архивын төрөл (zip нь 1.5-2 дахин хурдан)
:: -mx=1 — шахалтын харьцаа (хамгийн багадаа 1, хамгийн ихдээ 9 утга x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - идэвхжээгүй тохиолдолд олон урсгалыг идэвхжүүлнэ
:: -mtc=off - файлын системийн цагийн тэмдгийг (хадгалах, өөрчлөх гэх мэт) идэвхгүй болгоно.
:: -ssw - мөн бичихээр нээгдсэн файлуудыг шахдаг
:: -xr!.Sync* - түр зуурын BtSync файлуудыг архивлахаас хасаж, байнгын файлуудыг үлдээдэг.

Set now=% гэх мэтийн бүтэц нь тухайн өдөр эсвэл сарын тоо 10-аас бага байх үед үүссэн асуудалгүйгээр файлын нэрэнд бичлэгийн цагны форматыг хадгалах боломжийг олгодог, өөрөөр хэлбэл бид тэгийг орлуулдаг.

Сэтгэгдэл -xr!.Sync* нь анх хэрэглэж байсан зүйлээсээ үлдэгдэл юм BTSync.

500 ГБ, 700-800 мянган файлын багтаамжтай BTSync нь маш сайн ажиллаж, шууд синхрончлогдсон боловч одоогийн эзлэхүүний хувьд Ubuntu файлын сервер болон Windows-ийн нөөцлөлт дээр санах ой болон процессорын нөөцийг маш их зарцуулж байсан. үйлчилгээ, мөн зүгээр л дискний системийг байнга уншиж, бичих замаар хүчиндсэн.

Хэдийгээр архивлагч нь 7-zip боловч бид үүнийг 7z-ийн оронд zip форматаар архивладаг, учир нь энэ нь илүү хурдан бөгөөд mx=1-тэй шахалтын ялгаа бараг байхгүй тул үүнийг олон туршилтаар баталгаажуулсан.

Архивуудыг нэг нэгээр нь гүйцэтгэдэг.

Архив бүхий хавтсыг мөн fpurge хэрэглүүрийг ашиглан хуваарьт даалгаврын дагуу цэвэрлэж, архивыг долоо хоногоос илүүгүй үлдээдэг.
Үүний үр дүнд бид өмнөх өдрийн файлуудын хуулбар, мөн сүүлийн долоо хоногийн архивтай болсон; FreeFileSync устгасан файлуудыг хогийн саванд хийнэ.

Эх сурвалж: www.habr.com

сэтгэгдэл нэмэх