Անամնեզ, այսպես ասած.
Fujitsu rx300 s6 սերվեր, 6 6TB սկավառակի RAID1, XenServer 6.2-ն ավարտված է, մի քանի սերվերներ են պտտվում, այդ թվում՝ Ubuntu-ն մի քանի գնդակներով, 3,5 միլիոն ֆայլերով, 1,5 ՏԲ տվյալներից, այդ ամենն աստիճանաբար աճում և ուռչում է։
Առաջադրանք. ստեղծել տվյալների կրկնօրինակում ֆայլերի սերվերից, մասամբ ամեն օր, մասամբ շաբաթական:
Մենք ունենք Windows մեքենա՝ RAID5-ով կրկնօրինակման համար (աղքատության համար, սովորական համակարգային միավոր՝ մայրիկի մեջ ներկառուցված RAID կարգավորիչով) և առանձին 2 ՏԲ սկավառակ՝ ֆայլերի ընթացիկ վիճակի միջանկյալ պատճենման համար: Հնարավոր էր օգտագործել Linux-ի ցանկացած բաշխում, բայց այս մեքենան արդեն հասանելի էր ռեյդ զանգվածով և Windows լիցենզիայով:
Տեղադրում պահուստային սերվերի վրա , մենք ստեղծեցինք ամեն ինչի «հայելին» անընդմեջ բոլոր ֆայլերի սերվերի համօգտագործումներից՝ օրը մեկ անգամ երեկոյան ժամը 18:XNUMX-ից հետո՝ գործարկելով ժամանակացույցի միջոցով:
Կարևոր կետ․ խմբաքանակային առաջադրանքը պահելիս անպայման նշեք «Փակել առաջադրանքի պատուհանը ավարտին», հակառակ դեպքում գործընթացները կբազմապատկվեն և կբազմապատկվեն։
Մենք ժամանակավոր ֆայլերը բացառությունների մեջ ենք նետում դիմակով՝ *.dwl, *.dwl2, *.tmp:
FreeFileSync-ը չափազանց լավ է օգտագործում ցանցը, պատճենումն անցնում է մի քանի հոսքով, մեծ ֆայլերը պատճենելիս արագությունը հասնում է 80 Մբիթ/վրկ-ի, փոքր ֆայլերի վրա միացում չի հայտնաբերվել:
Արխիվացումը կիրականացվի արդեն տեղական պահեստային սերվերի վրա՝ նախկինում օգտագործվածի փոխարեն ցանցային արխիվացման հետ։ Ի դեպ, TheCopier-ը հիանալի է: Բայց նման ծավալներով, այն պարզապես ժամանակ չունի փոխանցելու ամեն ինչ, չնայած պահուստային 1 Գբիտ/վ ինտերֆեյսին և 2 Գբ/վ ֆայլ մեկում (երկու ցանցային քարտերի կապ):
Նաև նախկինում օգտագործված , բայց երբ ֆայլերի թիվը 1,5-2 միլիոնից ավել էր, նորմալ չէր աշխատում, ուղղակի չէր կարողանում գլուխ հանել։
Անհրաժեշտ թղթապանակները արխիվացնելու համար մենք գրում ենք խմբաքանակի ֆայլ :
սահմանել հիմա=%TIME:~0,-3%
սահմանել հիմա=%հիմա::=.%
սահմանել հիմա=%հիմա՝ =0%
սահմանել հիմա=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%այժմ%
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
:: ա - արխիվի ստեղծում
:: -tzip կամ -t7z - արխիվի տեսակ (zip-ը 1.5-2 անգամ ավելի արագ է)
:: -mx=1 — սեղմման հարաբերակցություն (1 նվազագույն, 9 առավելագույն x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - միացնում է բազմաշերտությունը, որտեղ հանկարծ այն միացված չէ
:: -mtc=off - անջատում է ֆայլային համակարգի ժամանակային դրոշմանիշերը (երբ պահվում է, փոխվում և այլն)
:: -ssw - նաև սեղմում է գրելու համար բացված ֆայլերը
:: -xr!.Sync* - բացառում է ժամանակավոր BtSync ֆայլերը արխիվացումից՝ թողնելով մշտականները
Set now=% և այլնի կառուցումը թույլ է տալիս պահպանել ժամանակի ձևաչափը ֆայլի անվան մեջ՝ առանց խնդիրների, որոնք առաջացել են, երբ օրվա կամ ամսվա թիվը 10-ից պակաս էր, այսինքն՝ մենք փոխարինում ենք զրո:
-xr!.Sync* մեկնաբանությունը բնօրինակի մնացորդ է .
Մինչև 500 ԳԲ և 700-800 հազար ֆայլեր, BTSync-ը դեռ աշխատում էր, սինխրոնիզացվում էր թռիչքի ժամանակ, բայց ներկայիս ծավալներով այն ուտում էր շատ հիշողություն և պրոցեսորային ռեսուրսներ ինչպես Ubuntu ֆայլերի սերվերում, այնպես էլ Windows-ի կրկնօրինակում, որտեղ այն գործարկվեց: ծառայության կողմից, ինչպես նաև պարզապես բռնաբարված սկավառակային համակարգ՝ անընդհատ կարդալով և գրելով:
Թեև արխիվատորը 7-zip է, բայց մենք այն արխիվացնում ենք zip ձևաչափով, ոչ թե մայրենի 7z-ի, քանի որ այն շատ ավելի արագ է, և mx=1-ով սեղմման մեջ գործնականում տարբերություն չկա, այն հաստատվել է բազմաթիվ փորձերով։
Արխիվները կատարվում են հերթով։
Արխիվներով թղթապանակը նույնպես մաքրվում է պլանավորված առաջադրանքի միջոցով՝ օգտագործելով fpurge կոմունալ ծրագիրը՝ թողնելով արխիվները մեկ շաբաթից ոչ ավելի հին:
Արդյունքում մենք ունենք նախորդ օրվա ֆայլերի պատճենը, ինչպես նաև վերջին շաբաթվա արխիվները, FreeFileSync-ը ջնջված ֆայլերը դնում է աղբարկղը։
Source: www.habr.com