მონაცემთა სარეზერვო ასლი FreeFileSync-ისა და 7-zip-ის გამოყენებით

ანამნეზი, ასე ვთქვათ:

Fujitsu rx300 s6 სერვერი, RAID6 6 1TB დისკიდან, XenServer 6.2 დაინსტალირებული, რამდენიმე სერვერი ტრიალებს, მათ შორის Ubuntu რამდენიმე ბურთით, 3,5 მილიონი ფაილი, 1,5 ტბ მონაცემები, ეს ყველაფერი თანდათან იზრდება და შეშუპებულია.

ამოცანა: დააყენეთ მონაცემთა სარეზერვო ასლი ფაილური სერვერიდან, ნაწილობრივ ყოველდღიურად, ნაწილობრივ ყოველკვირეულად.
ჩვენ გვაქვს Windows-ის სარეზერვო მანქანა RAID5-ით (ცუდი სტანდარტული სისტემური ერთეული დედაში ჩაშენებული RAID კონტროლერით) პლუს ცალკე 2 ტბ დისკი ფაილების მიმდინარე მდგომარეობის შუალედური კოპირებისთვის. შესაძლებელი იყო ლინუქსის ნებისმიერი დისტრიბუციის გამოყენება, მაგრამ ეს მანქანა უკვე ხელმისაწვდომი იყო რეიდის მასივით და Windows ლიცენზიით.

დააინსტალირეთ სარეზერვო სერვერზე უფასოFileSync, ჩვენ ვაყენებთ ყველაფრის „სარკეს“ ზედიზედ ყველა ფაილ სერვერის გაზიარებიდან დღეში ერთხელ, საღამოს 18 საათის შემდეგ, განრიგის მეშვეობით.

მნიშვნელოვანი პუნქტი: პარტიული დავალების შენახვისას აუცილებლად მონიშნეთ „დახურე დავალების ფანჯრის დასრულებისას“, წინააღმდეგ შემთხვევაში პროცესები გამრავლდება და გამრავლდება.

დროებით ფაილებს ვყრით ნიღბის გამონაკლისებში: *.dwl, *.dwl2, *.tmp.

FreeFileSync ძალიან კარგად იყენებს ქსელს, კოპირება ხდება რამდენიმე თემაში, დიდი ფაილების კოპირებისას სიჩქარე აღწევს 80 Mbps-ს, მცირე ფაილებზე დაბლოკვა არ იქნა ნაპოვნი.

დაარქივება განხორციელდება ადგილობრივ სარეზერვო სერვერზე, ადრე გამოყენებულის ნაცვლად ქსეროქსი ქსელის არქივირებით. სხვათა შორის, TheCopier შესანიშნავია! მაგრამ ასეთი მოცულობით, მას უბრალოდ არ აქვს დრო, რომ გადაიტანოს ყველაფერი, მიუხედავად იმისა, რომ სარეზერვო 1 გბ/წმ ინტერფეისი და 2 გბ/წმ ფაილი ერთი (ორი ქსელის ბარათის კავშირი).

ასევე ადრე გამოყენებული SyncToy, მაგრამ როცა ფაილების რაოდენობამ 1,5-2 მილიონს გადააჭარბა, ნორმალურად შეწყვიტა მუშაობა, უბრალოდ ვერ უმკლავდებოდა.

საჭირო საქაღალდეების დაარქივებისთვის, ჩვენ ვწერთ Batch ფაილს X-zip:

დაყენებულია ახლა=%TIME:~0,-3%
დააყენეთ ახლა=%ახლა::=.%
დააყენეთ ახლა=%ახლა: =0%
დაყენებულია ახლა=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%ახლა%
C:"პროგრამის ფაილები"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"პროგრამის ფაილები"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"პროგრამის ფაილები"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:"პროგრამის ფაილები"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:"პროგრამის ფაილები"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"პროგრამის ფაილები"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:"პროგრამის ფაილები"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:"პროგრამის ფაილები"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:"პროგრამის ფაილები"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

::a - არქივის შექმნა
:: -tzip ან -t7z - არქივის ტიპი (zip 1.5-2-ჯერ უფრო სწრაფია)
:: -mx=1 — შეკუმშვის კოეფიციენტი (1 მინიმალური, 9 მაქსიმალური მნიშვნელობა x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - რთავს მრავალნაკადს იქ, სადაც ის არ არის ჩართული
:: -mtc=off - გამორთავს ფაილური სისტემის დროის ნიშანს (როდესაც ინახება, შეცვლილია და ა.შ.)
:: -ssw - ასევე შეკუმშავს ჩასაწერად გახსნილ ფაილებს
:: -xr!.Sync* - გამორიცხავს დროებით BtSync ფაილებს დაარქივებიდან და ტოვებს მუდმივ ფაილებს

ნაკრების ახლა=% და ა.შ. კონსტრუქცია საშუალებას გაძლევთ შეინახოთ ჩაწერის დროის ფორმატი ფაილის სახელში იმ პრობლემების გარეშე, რაც წარმოიშვა, როდესაც დღის ან თვის რიცხვი 10-ზე ნაკლები იყო, ანუ ჩვენ ვცვლით ნულს.

კომენტარი -xr!.Sync* არის რუდიმენტი, რომელიც დარჩა თავდაპირველად გამოყენებულიდან BTSync.

500 გბ-მდე და 700-800 ათასამდე ფაილი, BTSync ჯერ კიდევ კარგად მუშაობდა, სინქრონიზებული იყო, მაგრამ ამჟამინდელი მოცულობებით ის ძალიან მოიხმარდა მეხსიერების და პროცესორის რესურსებს, როგორც Ubuntu ფაილურ სერვერზე, ასევე Windows-ის სარეზერვო ასლს, სადაც ის გაუშვა. სერვისი და ასევე უბრალოდ გააუპატიურეს დისკის სისტემა მუდმივი წაკითხვისა და ჩაწერის გზით.

მიუხედავად იმისა, რომ არქივი არის 7-zip, ჩვენ მას არქივივებთ zip ფორმატში, ნაცვლად მშობლიური 7z-ისა, რადგან ის გაცილებით სწრაფია და შეკუმშვაში პრაქტიკულად განსხვავება არ არის mx=1-ით, ეს დადასტურდა მრავალი ექსპერიმენტით.

არქივები შესრულებულია სათითაოდ.

საქაღალდე არქივებით ასევე იწმინდება დაგეგმილი ამოცანის მეშვეობით fpurge უტილიტის გამოყენებით, არქივები ტოვებს არაუმეტეს ერთი კვირისა.
შედეგად, ჩვენ გვაქვს წინა დღის ფაილების ასლი, ასევე ბოლო კვირის არქივები; FreeFileSync წაშლილ ფაილებს ურნაში აყენებს.

წყარო: www.habr.com