FreeFileSync आणि 7-zip वापरून डेटा बॅकअप

Anamnesis, म्हणून बोलण्यासाठी:

Fujitsu rx300 s6 सर्व्हर, 6 6TB डिस्कचा RAID1, XenServer 6.2 स्थापित, अनेक सर्व्हर फिरत आहेत, त्यापैकी अनेक बॉलसह उबंटू, 3,5 दशलक्ष फाइल्स, 1,5 TB डेटा, हे सर्व हळूहळू वाढत आहे आणि सूजत आहे.

कार्य: फाईल सर्व्हरवरून डेटा बॅकअप सेट करा, अंशतः दररोज, अंशतः साप्ताहिक.
आमच्याकडे RAID5 सह विंडोज बॅकअप मशीन आहे (मदरमध्ये तयार केलेल्या RAID कंट्रोलरसह एक खराब मानक सिस्टम युनिट) तसेच फाइल्सच्या सद्य स्थितीची इंटरमीडिएट कॉपी करण्यासाठी वेगळी 2TB डिस्क आहे. कोणतेही लिनक्स वितरण वापरणे शक्य होते, परंतु हे मशीन आधीपासूनच रेड अॅरे आणि विंडोज परवान्यासह उपलब्ध होते.

बॅकअप सर्व्हरवर स्थापित करा फ्रीफाईलसिंक, आम्ही शेड्युलरद्वारे चालवून 18 तासांनंतर सर्व फाईल सर्व्हर शेअर्समधून एका ओळीत प्रत्येक गोष्टीचा "मिरर" सेट करतो.

एक महत्त्वाचा मुद्दा: बॅच टास्क सेव्ह करताना, "पूर्ण झाल्यावर टास्क विंडो बंद करा" तपासण्याचे सुनिश्चित करा, अन्यथा प्रक्रिया गुणाकार आणि गुणाकार होतील.

आम्ही तात्पुरत्या फाइल्स मास्क अपवादांमध्ये टाकतो: *.dwl, *.dwl2, *.tmp.

FreeFileSync नेटवर्क अतिशय चांगले वापरते, कॉपी करणे अनेक थ्रेड्समध्ये होते, मोठ्या फायली कॉपी करताना वेग 80 Mbps पर्यंत पोहोचतो, लहान फायलींवर कोणतेही ब्लॉकिंग आढळले नाही.

पूर्वी वापरलेल्या सर्व्हरऐवजी स्थानिक बॅकअप सर्व्हरवर संग्रहण केले जाईल TheCopier नेटवर्क संग्रहण सह. तसे, TheCopier छान आहे! परंतु अशा व्हॉल्यूमसह, बॅकअपवर 1Gbps इंटरफेस आणि फाईल वन (दोन नेटवर्क कार्ड्सचे बॉण्ड) वर 2Gbps असूनही, सर्वकाही हस्तांतरित करण्यास वेळ नाही.

पूर्वी देखील वापरले SyncToy, परंतु जेव्हा फायलींची संख्या 1,5-2 दशलक्ष ओलांडली, तेव्हा ती सामान्यपणे कार्य करणे थांबवते, ती फक्त सामना करू शकत नाही.

आवश्यक फोल्डर्स संग्रहित करण्यासाठी, आम्ही यासाठी बॅच फाइल लिहितो 7-zip:

आता सेट करा=%TIME:~0,-3%
आता सेट करा=%now::=.%
आता सेट करा=%आता: =0%
आता सेट करा=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%आता%
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

::a - संग्रहण तयार करणे
:: -tzip किंवा -t7z - संग्रहण प्रकार (झिप 1.5-2 पट वेगवान आहे)
:: -mx=1 — कॉम्प्रेशन रेशो (1 किमान, 9 कमाल मूल्ये x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - जेथे सक्षम नाही तेथे मल्टीथ्रेडिंग सक्षम करते
:: -mtc=off - फाइल सिस्टम टाइमस्टॅम्प अक्षम करते (जेव्हा जतन, सुधारित, इ.)
:: -ssw - लेखनासाठी उघडलेल्या फाइल्स देखील संकुचित करते
:: -xr!.Sync* - तात्पुरत्या BtSync फायली संग्रहणातून वगळते, कायमस्वरूपी सोडून

सेट नाऊ=% आणि असेच बांधकाम तुम्हाला फाईल नावामध्ये रेकॉर्डिंग वेळेचे स्वरूप जतन करण्यास अनुमती देते जेव्हा दिवस किंवा महिन्याची संख्या 10 पेक्षा कमी होती तेव्हा उद्भवलेल्या समस्यांशिवाय, आम्ही शून्य बदलतो.

Comment -xr!.Sync* हे मूळतः वापरल्या गेलेल्या एक मूलतत्त्व आहे BTSync.

500 GB पर्यंत आणि 700-800 हजार फाईल्स पर्यंत, BTSync ने अद्याप चांगले काम केले, फ्लायवर सिंक्रोनाइझ केले, परंतु सध्याच्या व्हॉल्यूमसह ते उबंटू फाइल सर्व्हरवर आणि विंडोज बॅकअपवर दोन्ही मेमरी आणि प्रोसेसर संसाधने वापरत होते जिथे ते लॉन्च केले गेले होते. सेवा, आणि सतत वाचन आणि लिहिण्याद्वारे फक्त डिस्क सिस्टमवर बलात्कार केला.

आर्काइव्हर 7-झिप असला तरी, आम्ही ते मूळ 7z ऐवजी झिप फॉरमॅटमध्ये संग्रहित करतो, कारण ते खूप वेगवान आहे, आणि mx=1 सह कॉम्प्रेशनमध्ये व्यावहारिकदृष्ट्या कोणताही फरक नाही, हे अनेक प्रयोगांद्वारे सत्यापित केले गेले आहे.

संग्रहण एक एक करून कार्यान्वित केले जातात.

संग्रहण असलेले फोल्डर देखील fpurge युटिलिटी वापरून शेड्यूल केलेल्या कार्याद्वारे साफ केले जाते, संग्रहण एका आठवड्यापेक्षा जुने नसतात.
परिणामी, आमच्याकडे मागील दिवसाच्या फायलींची प्रत, तसेच गेल्या आठवड्यासाठी संग्रहण आहे; FreeFileSync हटवलेल्या फायली कचरापेटीत टाकते.

स्त्रोत: www.habr.com