ब्याकअप भाग 3: डुप्लिसिटीको समीक्षा र परीक्षण, नक्कल

यो नोटले ब्याकअप सर्भरमा अभिलेखहरू सिर्जना गरेर ब्याकअप गर्ने ब्याकअप उपकरणहरू बारे छलफल गर्छ।

आवश्यकताहरू पूरा गर्नेहरू मध्ये डुप्लिसिटी (जसको डेजा डुपको रूपमा राम्रो इन्टरफेस छ) र नक्कलहरू छन्।

अर्को धेरै उल्लेखनीय ब्याकअप उपकरण डार हो, तर योसँग विकल्पहरूको धेरै विस्तृत सूची भएको हुनाले - परीक्षण पद्धतिले यो सक्षम भएको 10% मात्र समेट्छ - हामीले यसलाई हालको चक्रको भागको रूपमा परीक्षण गरिरहेका छैनौं।

अपेक्षित परिणामहरू

दुबै उम्मेद्वारहरूले कुनै न कुनै रूपमा अभिलेखहरू सिर्जना गर्ने भएकोले, नियमित टारलाई गाइडको रूपमा प्रयोग गर्न सकिन्छ।

थप रूपमा, हामी पूर्ण प्रतिलिपि र फाइलहरूको हालको अवस्था, वा अघिल्लो र हालको अभिलेखहरू (बृद्धिशील, घट्ने, आदि) बीचको भिन्नता समावेश गरी ब्याकअप प्रतिलिपिहरू सिर्जना गरेर भण्डारण सर्भरमा डाटा भण्डारणलाई कत्तिको राम्रोसँग अप्टिमाइज गरिएको छ भनेर मूल्याङ्कन गर्नेछौं। ।

ब्याकअप सिर्जना गर्दा व्यवहार:

1. ब्याकअप भण्डारण सर्भरमा फाइलहरूको तुलनात्मक रूपमा सानो संख्या (ब्याकअप प्रतिलिपिहरूको संख्या वा GB मा डाटाको आकारसँग तुलना गर्न सकिन्छ), तर तिनीहरूको आकार एकदम ठूलो छ (दशौं मेगाबाइटहरू)।
2. रिपोजिटरी साइजले परिवर्तनहरू मात्र समावेश गर्दछ - कुनै नक्कलहरू भण्डारण गरिने छैन, त्यसैले भण्डारको आकार rsync-आधारित सफ्टवेयरको तुलनामा सानो हुनेछ।
3. कम्प्रेसन र/वा इन्क्रिप्सन प्रयोग गर्दा भारी CPU लोडको अपेक्षा गर्नुहोस्, र यदि अभिलेख र/वा एन्क्रिप्शन प्रक्रिया ब्याकअप भण्डारण सर्भरमा चलिरहेको छ भने सम्भवतः धेरै उच्च नेटवर्क र डिस्क लोड।

सन्दर्भ मानको रूपमा निम्न आदेश चलाउनुहोस्:

cd /src/dir; tar -cf - * | ssh backup_server "cat > /backup/dir/archive.tar"

कार्यान्वयन परिणामहरू निम्नानुसार थिए:

कार्यान्वयन समय 3m12s। यो देख्न सकिन्छ कि गति ब्याकअप भण्डारण सर्भरको डिस्क सबसिस्टम द्वारा सीमित छ, जस्तै उदाहरणमा rsync। केवल अलि छिटो, किनभने ... रेकर्डिङ एउटा फाइलमा जान्छ।

साथै, कम्प्रेसन मूल्याङ्कन गर्न, उही विकल्प चलाउनुहोस्, तर ब्याकअप सर्भर साइडमा कम्प्रेसन सक्षम गर्नुहोस्:

cd /src/dir; tar -cf - * | ssh backup_server "gzip > /backup/dir/archive.tgz"

परिणामहरू हुन्:

कार्यान्वयन समय 10m11s। सम्भवतः अड्चन प्राप्त गर्ने अन्तमा एकल-प्रवाह कम्प्रेसर हो।

एउटै आदेश, तर कम्प्रेसनको साथ सर्भरमा मूल डाटाको साथ परिकल्पना परीक्षण गर्नको लागि स्थानान्तरण गरिएको छ कि बाधा एकल-थ्रेडेड कम्प्रेसर हो।

cd /src/dir; tar -czf - * | ssh backup_server "cat > /backup/dir/archive.tgz"

यो यस्तो निस्कियो:

कार्यान्वयन समय 9m37s थियो। कम्प्रेसर द्वारा एक कोर मा लोड स्पष्ट देखिने छ, किनभने नेटवर्क स्थानान्तरण गति र स्रोत डिस्क उपप्रणालीमा लोड समान छन्।

गुप्तिकरणको मूल्याङ्कन गर्न, तपाईंले अतिरिक्त आदेश जडान गरेर openssl वा gpg प्रयोग गर्न सक्नुहुन्छ openssl वा gpg पाइप मा। सन्दर्भको लागि त्यहाँ यस्तो आदेश हुनेछ:

cd /src/dir; tar -cf - * | ssh backup_server "gzip | openssl enc -e -aes256 -pass pass:somepassword -out /backup/dir/archive.tgz.enc"

नतिजा यस प्रकार बाहिर आयो:

कार्यान्वयन समय 10m30s भयो, किनकि 2 प्रक्रियाहरू प्राप्त पक्षमा चलिरहेको थियो - बाधा फेरि एकल-थ्रेडेड कम्प्रेसर हो, साथै सानो एन्क्रिप्शन ओभरहेड।

UPS: bliznezz को अनुरोधमा म pigz को साथ परीक्षणहरू थप्दै छु। यदि तपाइँ कम्प्रेसर मात्र प्रयोग गर्नुहुन्छ भने, यसले 6m30s लिन्छ, यदि तपाइँ इन्क्रिप्शन पनि थप्नुहुन्छ भने, यो लगभग 7m हुनेछ। तलको ग्राफमा डुब्नु एक अनफ्लश गरिएको डिस्क क्यास हो:

डुप्लिकेट परीक्षण

डुप्लिसिटी टार ढाँचामा एन्क्रिप्टेड अभिलेखहरू सिर्जना गरेर ब्याकअपको लागि पाइथन सफ्टवेयर हो।

वृद्धिशील अभिलेखहरूका लागि, librsync प्रयोग गरिन्छ, त्यसैले तपाईंले मा वर्णन गरिएको व्यवहारको अपेक्षा गर्न सक्नुहुन्छ श्रृंखला मा अघिल्लो पोस्ट.

ब्याकअपहरू गुप्तिकरण गर्न सकिन्छ र gnupg प्रयोग गरेर साइन इन गर्न सकिन्छ, जुन ब्याकअपहरू (s3, backblaze, gdrive, आदि) भण्डारण गर्नका लागि विभिन्न प्रदायकहरू प्रयोग गर्दा महत्त्वपूर्ण हुन्छ।

हेरौं नतिजा के छ:

यी नतिजाहरू हुन् जुन हामीले एन्क्रिप्शन बिना चल्दा प्राप्त गरेका छौं

बिगार्ने

प्रत्येक परीक्षण रनको चलिरहेको समय:

1 सुरु गर्नुहोस्
2 सुरु गर्नुहोस्
3 सुरु गर्नुहोस्

16m33s
17m20s
16m30s

8m29s
9m3s
8m45s

5m21s
6m04s
5m53s

र यहाँ नतिजाहरू छन् जब gnupg इन्क्रिप्सन सक्षम पारिएको छ, 2048 बिटको कुञ्जी आकारको साथ:

एउटै डाटामा अपरेटिङ समय, एन्क्रिप्शनको साथ:

1 सुरु गर्नुहोस्
2 सुरु गर्नुहोस्
3 सुरु गर्नुहोस्

17m22s
17m32s
17m28s

8m52s
9m13s
9m3s

5m48s
5m40s
5m30s

ब्लक साइज संकेत गरिएको थियो - 512 मेगाबाइट, जुन ग्राफमा स्पष्ट देखिने छ; प्रोसेसर लोड वास्तवमा 50% मा रह्यो, जसको मतलब प्रोग्रामले एक भन्दा बढी प्रोसेसर कोर प्रयोग गर्दैन।

कार्यक्रमको सञ्चालनको सिद्धान्त पनि स्पष्ट रूपमा देखिने छ: तिनीहरूले डाटाको एक टुक्रा लिए, यसलाई कम्प्रेस गरे, र यसलाई ब्याकअप भण्डारण सर्भरमा पठाए, जुन धेरै ढिलो हुन सक्छ।
अर्को विशेषता भनेको कार्यक्रमको अनुमानित चल्ने समय हो, जुन परिवर्तन गरिएको डाटाको आकारमा मात्र निर्भर गर्दछ।

एन्क्रिप्शन सक्षम गर्नाले कार्यक्रमको चलिरहेको समयलाई उल्लेखनीय रूपमा वृद्धि गरेन, तर यसले लगभग 10% ले प्रोसेसर लोड बढायो, जुन धेरै राम्रो बोनस हुन सक्छ।

दुर्भाग्यवश, यस कार्यक्रमले डाइरेक्टरी पुन: नामाकरणको साथ स्थितिलाई सही रूपमा पत्ता लगाउन असमर्थ भयो, र परिणामस्वरूप भण्डारको आकार परिवर्तनहरूको आकार (जस्तै, सबै 18GB) बराबर भयो, तर स्पष्ट रूपमा ब्याकअपको लागि अविश्वसनीय सर्भर प्रयोग गर्ने क्षमता। यस व्यवहारलाई समेट्छ।

डुप्लिकेट परीक्षण

यो सफ्टवेयर C# मा लेखिएको छ र मोनोबाट पुस्तकालयहरूको सेट प्रयोग गरेर चल्छ। त्यहाँ एक GUI साथै CLI संस्करण छ।

मुख्य सुविधाहरूको अनुमानित सूची विभिन्न ब्याकअप भण्डारण प्रदायकहरू सहित डुप्लिसिटीसँग मिल्दोजुल्दो छ, तथापि, डुप्लिसिटीको विपरीत, अधिकांश सुविधाहरू तेस्रो-पक्ष उपकरणहरू बिना नै उपलब्ध छन्। यो एक प्लस वा माइनस हो कि विशेष मामला मा निर्भर गर्दछ, तर शुरुवातकर्ताहरूको लागि, पाइथनका लागि थप प्याकेजहरू स्थापना गर्नुको सट्टा एकैचोटि तिनीहरूको अगाडि सबै सुविधाहरूको सूची राख्न सम्भव छ। दोहोरोपन संग मामला।

अर्को सानो nuance - कार्यक्रम सक्रिय रूपमा प्रयोगकर्ता को तर्फबाट एक स्थानीय sqlite डाटाबेस लेख्छ जसले ब्याकअप सुरु गर्दछ, त्यसैले तपाइँले थप रूपमा सुनिश्चित गर्न आवश्यक छ कि आवश्यक डाटाबेस सही रूपमा प्रत्येक पटक cli प्रयोग गरी प्रक्रिया सुरु गर्दा निर्दिष्ट गरिएको छ। GUI वा WEBGUI मार्फत काम गर्दा, विवरणहरू प्रयोगकर्ताबाट लुकाइनेछ।

यस समाधानले कुन संकेतकहरू उत्पादन गर्न सक्छ हेरौं:

यदि तपाईंले इन्क्रिप्सन बन्द गर्नुभयो (र WEBGUI ले यो गर्न सिफारिस गर्दैन), नतिजाहरू निम्नानुसार छन्:

कार्यको समय:

1 सुरु गर्नुहोस्
2 सुरु गर्नुहोस्
3 सुरु गर्नुहोस्

20m43s
20m13s
20m28s

5m21s
5m40s
5m35s

7m36s
7m54s
7m49s

एन्क्रिप्शन सक्षम संग, aes प्रयोग गरेर, यो यस्तो देखिन्छ:

कार्यको समय:

1 सुरु गर्नुहोस्
2 सुरु गर्नुहोस्
3 सुरु गर्नुहोस्

29m9s
30m1s
29m54s

5m29s
6m2s
5m54s

8m44s
9m12s
9m1s

र यदि तपाइँ बाह्य कार्यक्रम gnupg प्रयोग गर्नुहुन्छ भने, निम्न परिणामहरू बाहिर आउँछन्:

1 सुरु गर्नुहोस्
2 सुरु गर्नुहोस्
3 सुरु गर्नुहोस्

26m6s
26m35s
26m17s

5m20s
5m48s
5m40s

8m12s
8m42s
8m15s

तपाईले देख्न सक्नुहुने रूपमा, कार्यक्रमले धेरै थ्रेडहरूमा काम गर्न सक्छ, तर यसले यसलाई थप उत्पादक समाधान बनाउँदैन, र यदि तपाइँ एन्क्रिप्शन कार्य तुलना गर्नुहुन्छ भने, यसले बाह्य कार्यक्रम सुरु गर्दैछ।
मोनो सेटबाट पुस्तकालय प्रयोग गर्नु भन्दा छिटो भयो। यो बाह्य कार्यक्रम अधिक अनुकूलित छ भन्ने तथ्यको कारण हुन सक्छ।

अर्को राम्रो कुरा यो तथ्य थियो कि भण्डारको आकारले वास्तविक परिवर्तन गरिएको डाटा जत्तिकै लिन्छ, अर्थात्। डुप्लिकेटले डाइरेक्टरी पुन:नामा पत्ता लगायो र यो अवस्थालाई सही रूपमा ह्यान्डल गर्यो। दोस्रो परीक्षण चलाउँदा यो देख्न सकिन्छ।

समग्रमा, कार्यक्रमको एकदमै सकारात्मक प्रभावहरू, newbies को लागि उचित अनुकूल हुनु सहित।

Результаты

दुबै उम्मेद्वारहरूले बरु बिस्तारै काम गरे, तर सामान्य रूपमा, नियमित टारको तुलनामा, कम्तिमा डुप्लिकेटको साथ प्रगति छ। यस्तो प्रगति को मूल्य पनि स्पष्ट छ - एक उल्लेखनीय बोझ
प्रोसेसर। सामान्यतया, परिणामहरू भविष्यवाणी गर्न कुनै विशेष विचलनहरू छैनन्।

निष्कर्ष

यदि तपाईलाई कतै हतार गर्नु पर्दैन, र स्पेयर प्रोसेसर पनि छ भने, विचार गरिएका कुनै पनि समाधानहरूले गर्नेछ, कुनै पनि अवस्थामा, टारको शीर्षमा र्यापर स्क्रिप्टहरू लेखेर दोहोर्याउनु हुँदैन। । ब्याकअप प्रतिलिपिहरू भण्डारण गर्ने सर्भरलाई पूर्ण रूपमा विश्वास गर्न सकिँदैन भने एन्क्रिप्शनको उपस्थिति धेरै आवश्यक गुण हो।

आधारित समाधानको तुलनामा rsync - प्रदर्शन धेरै गुणा खराब हुन सक्छ, तथ्यको बावजुद यसको शुद्ध रूपमा टारले rsync भन्दा 20-30% छिटो काम गर्यो।
त्यहाँ भण्डारको आकारमा बचतहरू छन्, तर नक्कलको साथ मात्र।

घोषणा

ब्याकअप, भाग 1: किन ब्याकअप आवश्यक छ, विधिहरू, प्रविधिहरूको एक सिंहावलोकन
ब्याकअप भाग २: rsync-आधारित ब्याकअप उपकरणहरूको समीक्षा र परीक्षण
ब्याकअप भाग 3: डुप्लिसिटी, डुप्लिकेट, डेजा डुपको समीक्षा र परीक्षण
ब्याकअप भाग 4: zbackup, restic, borgbackup को समीक्षा र परीक्षण गर्दै
ब्याकअप भाग 5: लिनक्सको लागि ब्याकुला र भिम ब्याकअप परीक्षण गर्दै
ब्याकअप भाग 6: ब्याकअप उपकरणहरू तुलना गर्दै
ब्याकअप भाग 7: निष्कर्ष

द्वारा पोस्ट गरिएको: पावेल डेमकोविच

स्रोत: www.habr.com