FreeFileSync र 7-zip प्रयोग गरेर डाटा ब्याकअप

Anamnesis, त्यसैले बोल्न:

Fujitsu rx300 s6 सर्भर, RAID6 को 6 1TB डिस्कहरू, XenServer 6.2 स्थापित, धेरै सर्भरहरू घुमिरहेका छन्, तीमध्ये धेरै बलहरू भएको Ubuntu, 3,5 मिलियन फाइलहरू, 1,5 TB डाटा, यी सबै बिस्तारै बढ्दै गइरहेको छ।

कार्य: फाइल सर्भरबाट डाटा ब्याकअप सेट अप गर्नुहोस्, आंशिक रूपमा दैनिक, आंशिक रूपमा साप्ताहिक।
हामीसँग RAID5 भएको विन्डोज ब्याकअप मेसिन छ (आमामा निर्मित RAID नियन्त्रकको साथ कमजोर मानक प्रणाली इकाई) साथै फाइलहरूको हालको अवस्थाको मध्यवर्ती प्रतिलिपि गर्नको लागि छुट्टै 2TB डिस्क छ। यो कुनै पनि लिनक्स वितरण प्रयोग गर्न सम्भव थियो, तर यो मेसिन पहिले नै छापा एरे र विन्डोज लाइसेन्स संग उपलब्ध थियो।

ब्याकअप सर्भरमा स्थापना गर्नुहोस् FreeFileSync, हामीले दिनको एक पटक सबै फाइल सर्भर सेयरहरूबाट पङ्क्तिमा सबै चीजहरूको "मिरर" सेटअप गर्छौं 18 घण्टा पछि यसलाई शेड्युलर मार्फत चलाएर।

एउटा महत्त्वपूर्ण बिन्दु: ब्याच कार्य बचत गर्दा, "सम्पन्न भएपछि कार्य विन्डो बन्द गर्नुहोस्" जाँच गर्न निश्चित हुनुहोस्, अन्यथा प्रक्रियाहरू गुणा र गुणा हुनेछन्।

हामी अस्थायी फाइलहरूलाई मास्क अपवादहरूमा फाल्छौं: *.dwl, *.dwl2, *.tmp।

FreeFileSync ले सञ्जाललाई धेरै राम्रोसँग प्रयोग गर्दछ, प्रतिलिपि धेरै थ्रेडहरूमा हुन्छ, ठूला फाइलहरू प्रतिलिपि गर्दा गति 80 Mbps पुग्छ, साना फाइलहरूमा कुनै अवरोध फेला परेन।

अभिलेख पहिले प्रयोग गरिएको सर्भरको सट्टा स्थानीय ब्याकअप सर्भरमा गरिन्छ कपियर नेटवर्क संग्रह संग। वैसे, TheCopier महान छ! तर त्यस्ता भोल्युमहरूसँग, ब्याकअपमा 1Gbps इन्टरफेस र फाइल एक (दुई सञ्जाल कार्डहरूको बन्ड) मा 2Gbps इन्टरफेसको बावजुद सबै चीजहरू स्थानान्तरण गर्न समय हुँदैन।

पहिले पनि प्रयोग गरिएको थियो SyncToy, तर जब फाईलहरूको संख्या 1,5-2 मिलियन नाघ्यो, यसले सामान्य रूपमा काम गर्न छोड्यो, यसले सामना गर्न सकेन।

आवश्यक फोल्डरहरू संग्रह गर्न, हामी एक ब्याच फाइल लेख्छौं 7-zip:

अहिले सेट गर्नुहोस्=%TIME:~0,-3%
अहिले सेट गर्नुहोस्=%now::=।%
अहिले सेट गर्नुहोस् =% अब: = 0%
अहिले सेट गर्नुहोस्=%DATE:~-4%।%DATE:~3,2%।%DATE:~0,2%_%now%
C:"कार्यक्रम फाइलहरू"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"कार्यक्रम फाइलहरू"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"कार्यक्रम फाइलहरू"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:"कार्यक्रम फाइलहरू"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:"कार्यक्रम फाइलहरू"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"कार्यक्रम फाइलहरू"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:"कार्यक्रम फाइलहरू"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:"कार्यक्रम फाइलहरू"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:"कार्यक्रम फाइलहरू"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:"कार्यक्रम फाइलहरू"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

::a - एउटा अभिलेख सिर्जना गर्दै
:: -tzip वा -t7z - संग्रह प्रकार (zip 1.5-2 गुणा छिटो छ)
:: -mx=1 — कम्प्रेसन अनुपात (1 न्यूनतम, 9 अधिकतम मान x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - बहुथ्रेडिङ सक्षम गर्दछ जहाँ यो सक्षम छैन
:: -mtc=off - फाइल प्रणाली टाइमस्ट्याम्पहरू असक्षम पार्छ (जब बचत, परिमार्जन, आदि)
:: -ssw - लेख्नका लागि खोलिएका फाइलहरूलाई पनि कम्प्रेस गर्दछ
:: -xr!.Sync* - अस्थायी BtSync फाइलहरूलाई सङ्ग्रहमा समावेश गर्दैन, स्थायी फाइलहरू छोड्छ।

सेट अब =% र यस्तै अन्यको निर्माणले तपाईंलाई फाइल नाममा रेकर्डिङ समयको ढाँचा बचत गर्न अनुमति दिन्छ जुन समस्याहरू बिना दिन वा महिनाको संख्या 10 भन्दा कम थियो, जुन हामीले शून्यलाई प्रतिस्थापन गर्छौं।

Comment -xr!.Sync* मौलिक रूपमा प्रयोग गरिएको बाट बाँकी रहेको मूल कुरा हो BTSync.

500 GB र 700-800 हजार फाइलहरू सम्म, BTSync ले अझै राम्रोसँग काम गर्यो, फ्लाईमा सिङ्क्रोनाइज गरियो, तर हालको भोल्युमहरूको साथ यसले धेरै मेमोरी र प्रोसेसर स्रोतहरू दुवै खपत गरिरहेको थियो Ubuntu फाइल सर्भर र Windows ब्याकअपमा जहाँ यो सुरु गरिएको थियो। सेवा, र पनि निरन्तर पढ्ने र लेखेर डिस्क प्रणाली बलात्कार।

यद्यपि आर्काइभर 7-zip हो, हामी यसलाई नेटिभ 7z को सट्टा zip ढाँचामा संग्रह गर्छौं, किनभने यो धेरै छिटो छ, र mx=1 सँग कम्प्रेसनमा व्यावहारिक रूपमा कुनै भिन्नता छैन, यो धेरै प्रयोगहरूद्वारा प्रमाणित गरिएको छ।

अभिलेखहरू एक एक गरी कार्यान्वयन गरिन्छ।

अभिलेखहरू भएको फोल्डरलाई fpurge उपयोगिता प्रयोग गरेर निर्धारित कार्य मार्फत पनि सफा गरिन्छ, अभिलेखहरूलाई एक हप्ता भन्दा पुरानो छोडेर।
नतिजाको रूपमा, हामीसँग अघिल्लो दिनका लागि फाइलहरूको प्रतिलिपि छ, साथै पछिल्लो हप्ताका लागि अभिलेखहरू; FreeFileSync ले मेटाइएका फाइलहरूलाई रद्दीटोकरीमा राख्छ।

स्रोत: www.habr.com