Anamnez, boshqacha aytganda:
Fujitsu rx300 s6 serveri, 6 6TB diskli RAID1, XenServer 6.2 o'rnatilgan, bir nechta serverlar aylanmoqda, ular orasida bir nechta to'pli Ubuntu, 3,5 million fayl, 1,5 TB ma'lumotlar, bularning barchasi asta-sekin o'sib bormoqda.
Vazifa: qisman kunlik, qisman haftalik fayl serveridan ma'lumotlarning zaxira nusxasini o'rnating.
Bizda RAID5 (onaga o'rnatilgan RAID kontrollerli yomon standart tizim bloki) va fayllarning joriy holatini oraliq nusxalash uchun alohida 2TB disk mavjud bo'lgan Windows zaxira mashinasi mavjud. Har qanday Linux distributividan foydalanish mumkin edi, lekin bu mashina allaqachon reyd massivi va Windows litsenziyasi bilan mavjud edi.
Zaxira serverga o'rnating , biz har kuni bir marta kechki payt 18 soatdan so'ng uni rejalashtiruvchi orqali ishga tushirish orqali barcha fayl-server aktsiyalaridan ketma-ket hamma narsaning "oynasini" o'rnatamiz.
Muhim nuqta: ommaviy topshiriqni saqlashda "Bajarilgandan so'ng vazifa oynasini yopish" belgisini qo'yishni unutmang, aks holda jarayonlar ko'payadi va ko'payadi.
Biz vaqtinchalik fayllarni niqob istisnolariga tashlaymiz: *.dwl, *.dwl2, *.tmp.
FreeFileSync tarmoqdan juda yaxshi foydalanadi, nusxa ko'chirish bir nechta iplarda amalga oshiriladi, katta fayllarni nusxalashda tezlik 80 Mbit / s ga etadi, kichik fayllarda blokirovka topilmadi.
Arxivlash avval ishlatilgani o'rniga mahalliy zaxira serverida amalga oshiriladi tarmoq arxivi bilan. Aytgancha, TheCopier ajoyib! Ammo bunday hajmlar bilan, zaxiradagi 1 Gbit / s interfeys va birinchi faylda 2 Gbit / s (ikkita tarmoq kartasining ulanishi) bo'lishiga qaramay, hamma narsani o'tkazish uchun vaqt topa olmaydi.
Bundan tashqari, ilgari ishlatilgan , lekin fayllar soni 1,5-2 milliondan oshganda, u normal ishlashni to'xtatdi, u oddiygina bardosh bera olmadi.
Kerakli papkalarni arxivlash uchun biz ommaviy ish faylini yozamiz :
hozir o'rnatish=%TIME:~0,-3%
hozir sozlang=%hozir::=.%
hozir o'rnatish=%hozir: =0%
hozir o'rnating=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%hozir%
C:"Dastur fayllari"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Dastur fayllari"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:“Dastur fayllari”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:“Dastur fayllari”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“Dastur fayllari”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:“Dastur fayllari”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
::a - arxiv yaratish
:: -tzip yoki -t7z - arxiv turi (zip 1.5-2 baravar tezroq)
:: -mx=1 — siqish nisbati (1 minimal, 9 maksimal qiymat x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - yoqilmagan joyda ko'p ish zarralarini o'tkazish imkonini beradi
:: -mtc=off - fayl tizimi vaqt belgilarini o'chirib qo'yadi (saqlanganda, o'zgartirilganda va h.k.)
:: -ssw - yozish uchun ochilgan fayllarni ham siqadi
:: -xr!.Sync* - doimiy fayllarni qoldirib, vaqtinchalik BtSync fayllarini arxivlashdan istisno qiladi.
Set now=% va shunga o'xshashlarning konstruktsiyasi kun yoki oy soni 10 dan kam bo'lganda paydo bo'lgan muammolarsiz fayl nomidagi vaqtni yozib olish formatini saqlashga imkon beradi, ya'ni biz nolni almashtiramiz.
Izoh -xr!.Sync* - dastlab ishlatilganidan qolgan rudiment .
500 Gb gacha va 700-800 ming fayllar, BTSync hali ham yaxshi ishladi, tez sinxronlashtirildi, ammo joriy hajmlar bilan u Ubuntu fayl serverida ham, Windows zaxira nusxasida ham xotira va protsessor resurslarini juda iste'mol qildi. xizmat, shuningdek, doimiy o'qish va yozish orqali oddiygina zo'rlangan disk tizimi.
Arxivlovchi 7-zip bo'lsa-da, biz uni mahalliy 7z o'rniga zip formatida arxivlaymiz, chunki u ancha tezroq va mx=1 bilan siqishda deyarli farq yo'q, bu ko'plab tajribalar bilan tasdiqlangan.
Arxivlar birma-bir bajariladi.
Arxivlari bo'lgan papka, shuningdek, fpurge yordam dasturidan foydalangan holda rejalashtirilgan vazifa orqali tozalanadi va arxivlarni bir haftadan ko'p bo'lmagan holda qoldirib ketadi.
Natijada, bizda oldingi kun uchun fayllar nusxasi, shuningdek, o'tgan hafta arxivlari mavjud; FreeFileSync o'chirilgan fayllarni axlat qutisiga qo'yadi.
Manba: www.habr.com