FreeFileSync और 7-ज़िप का उपयोग करके डेटा बैकअप

इतिहास, तो बोलने के लिए:

फुजित्सु आरएक्स300 एस6 सर्वर, 6 6टीबी डिस्क का RAID1, ज़ेनसर्वर 6.2 स्थापित, कई सर्वर घूम रहे हैं, उनमें से कई गेंदों के साथ उबंटू, 3,5 मिलियन फ़ाइलें, 1,5 टीबी डेटा, यह सब धीरे-धीरे बढ़ रहा है और बढ़ रहा है।

कार्य: फ़ाइल सर्वर से डेटा बैकअप सेट करें, आंशिक रूप से दैनिक, आंशिक रूप से साप्ताहिक।
हमारे पास RAID5 (मदर में निर्मित RAID नियंत्रक के साथ एक खराब मानक सिस्टम इकाई) के साथ एक विंडोज़ बैकअप मशीन है और साथ ही फ़ाइलों की वर्तमान स्थिति की मध्यवर्ती प्रतिलिपि बनाने के लिए एक अलग 2TB डिस्क है। किसी भी लिनक्स वितरण का उपयोग करना संभव था, लेकिन यह मशीन पहले से ही एक रेड ऐरे और एक विंडोज लाइसेंस के साथ उपलब्ध थी।

बैकअप सर्वर पर स्थापित करें फ्रीफाइलसिंक, हम शेड्यूलर के माध्यम से इसे चलाकर 18 घंटे के बाद दिन में एक बार शाम को सभी फ़ाइल सर्वर शेयरों से एक पंक्ति में सब कुछ का "मिरर" सेट करते हैं।

एक महत्वपूर्ण बिंदु: बैच कार्य को सहेजते समय, "पूरा होने पर कार्य विंडो बंद करें" की जांच करना सुनिश्चित करें, अन्यथा प्रक्रियाएं कई गुना बढ़ जाएंगी।

हम अस्थायी फ़ाइलों को मास्क अपवादों में डालते हैं: *.dwl, *.dwl2, *.tmp।

FreeFileSync नेटवर्क का बहुत अच्छी तरह से उपयोग करता है, प्रतिलिपि कई थ्रेड्स में होती है, बड़ी फ़ाइलों की प्रतिलिपि बनाते समय गति 80 एमबीपीएस तक पहुंच जाती है, छोटी फ़ाइलों पर कोई अवरोध नहीं पाया गया।

संग्रहण पहले उपयोग किए गए सर्वर के बजाय स्थानीय बैकअप सर्वर पर किया जाएगा द कॉपियर नेटवर्क संग्रह के साथ. वैसे, TheCopier बढ़िया है! लेकिन ऐसे वॉल्यूम के साथ, बैकअप पर 1 जीबीपीएस इंटरफ़ेस और फ़ाइल एक (दो नेटवर्क कार्ड का बॉन्ड) पर 2 जीबीपीएस के बावजूद, इसमें सब कुछ स्थानांतरित करने का समय नहीं है।

पहले भी प्रयोग किया जाता था सिंकटॉय, लेकिन जब फ़ाइलों की संख्या 1,5-2 मिलियन से अधिक हो गई, तो इसने सामान्य रूप से काम करना बंद कर दिया, यह आसानी से सामना नहीं कर सका।

आवश्यक फ़ोल्डरों को संग्रहीत करने के लिए, हम एक बैच फ़ाइल लिखते हैं 7-ज़िप:

अभी सेट करें=%समय:~0,-3%
अभी सेट करें=%अभी::=.%
अभी सेट करें=%अभी: =0%
अभी सेट करें=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%अभी%
C:"प्रोग्राम फ़ाइलें"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"प्रोग्राम फ़ाइलें"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"प्रोग्राम फ़ाइलें"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:“प्रोग्राम फ़ाइलें”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:“प्रोग्राम फ़ाइलें”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"प्रोग्राम फ़ाइलें"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“प्रोग्राम फ़ाइलें”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:“प्रोग्राम फ़ाइलें”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“प्रोग्राम फ़ाइलें”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“प्रोग्राम फ़ाइलें”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

::ए - एक संग्रह बनाना
:: -tzip या -t7z - संग्रह प्रकार (ज़िप 1.5-2 गुना तेज़ है)
:: -mx=1 — संपीड़न अनुपात (1 न्यूनतम, 9 अधिकतम मान x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - मल्टीथ्रेडिंग को सक्षम करता है जहां यह सक्षम नहीं है
:: -mtc=off - फ़ाइल सिस्टम टाइमस्टैम्प को अक्षम करता है (जब सहेजा गया, संशोधित किया गया, आदि)
:: -ssw - लिखने के लिए खोली गई फ़ाइलों को भी संपीड़ित करता है
:: -xr!.Sync* - अस्थायी BtSync फ़ाइलों को संग्रहित करने से रोकता है, स्थायी फ़ाइलों को छोड़ देता है

सेट नाउ=% इत्यादि का निर्माण आपको फ़ाइल नाम में रिकॉर्डिंग समय के प्रारूप को उन समस्याओं के बिना सहेजने की अनुमति देता है जो तब उत्पन्न होती हैं जब दिन या महीने की संख्या 10 से कम होती है, यानी हम शून्य को प्रतिस्थापित करते हैं।

टिप्पणी -xr!.Sync* मूल रूप से उपयोग किए गए अवशेष से बचा हुआ एक अवशेष है BTSync.

500 जीबी और 700-800 हजार फ़ाइलों तक, BTSync अभी भी ठीक काम करता है, तुरंत सिंक्रनाइज़ होता है, लेकिन वर्तमान वॉल्यूम के साथ यह उबंटू फ़ाइल सर्वर और विंडोज बैकअप दोनों पर मेमोरी और प्रोसेसर संसाधनों का बहुत अधिक उपभोग कर रहा था, जहां इसे लॉन्च किया गया था। सेवा, और लगातार पढ़ने और लिखने से डिस्क सिस्टम का भी बलात्कार हुआ।

हालाँकि संग्रहकर्ता 7-ज़िप है, हम इसे मूल 7z के बजाय ज़िप प्रारूप में संग्रहीत करते हैं, क्योंकि यह बहुत तेज़ है, और mx=1 के साथ संपीड़न में व्यावहारिक रूप से कोई अंतर नहीं है, यह कई प्रयोगों द्वारा सत्यापित किया गया है।

पुरालेखों को एक-एक करके निष्पादित किया जाता है।

संग्रह वाले फ़ोल्डर को fpurge उपयोगिता का उपयोग करके एक निर्धारित कार्य के माध्यम से भी साफ किया जाता है, जिससे संग्रह एक सप्ताह से अधिक पुराना नहीं रहता है।
परिणामस्वरूप, हमारे पास पिछले दिन की फ़ाइलों की एक प्रति, साथ ही पिछले सप्ताह के संग्रह भी हैं; FreeFileSync हटाई गई फ़ाइलों को कूड़ेदान में डाल देता है।

स्रोत: www.habr.com