ब्याकअप भाग 4: zbackup, restic, borgbackup को समीक्षा र परीक्षण गर्दै

यस लेखले ब्याकअप सफ्टवेयरलाई विचार गर्नेछ जुन डाटा स्ट्रिमलाई अलग-अलग कम्पोनेन्टहरू (खण्डहरूमा) तोडेर, भण्डार बनाउँछ।

रिपोजिटरी कम्पोनेन्टहरू थप संकुचित र गुप्तिकरण गर्न सकिन्छ, र सबैभन्दा महत्त्वपूर्ण - दोहोर्याइएको ब्याकअप प्रक्रियाहरूमा - पुन: प्रयोग गरिन्छ।

यस्तो रिपोजिटरीमा ब्याकअप प्रतिलिपि एकअर्कासँग जडान भएका कम्पोनेन्टहरूको नाम गरिएको श्रृंखला हो, उदाहरणका लागि, विभिन्न ह्यास प्रकार्यहरूमा आधारित।

त्यहाँ धेरै समान समाधानहरू छन्, म 3 मा फोकस गर्नेछु: zbackup, borgbackup र restic।

अपेक्षित परिणामहरू

सबै आवेदकहरूलाई कुनै न कुनै रूपमा भण्डारको सिर्जना आवश्यक भएकोले, सबैभन्दा महत्त्वपूर्ण कारकहरू मध्ये एउटा भण्डारको आकार अनुमान गर्नु हुनेछ। आदर्श रूपमा, यसको आकार स्वीकृत विधि अनुसार 13 GB भन्दा बढी हुनु हुँदैन, वा अझ कम - राम्रो अनुकूलनको अधीनमा।

टार जस्ता आर्काइभरहरू प्रयोग नगरी सीधा फाइलहरूको जगेडा प्रतिलिपिहरू सिर्जना गर्न सक्षम हुनु पनि अत्यधिक वांछनीय छ, साथै rsync र sshfs जस्ता अतिरिक्त उपकरणहरू बिना ssh/sftp सँग काम गर्न।

ब्याकअप सिर्जना गर्दा व्यवहार:

1. भण्डारको आकार परिवर्तनहरूको आकार बराबर वा कम हुनेछ।
2. कम्प्रेसन र/वा इन्क्रिप्सन प्रयोग गर्दा भारी CPU लोड अपेक्षित हुन्छ, र ब्याकअप भण्डारण सर्भरमा अभिलेख र/वा एन्क्रिप्शन प्रक्रिया चलिरहेको छ भने धेरै उच्च नेटवर्क र डिस्क लोड हुने सम्भावना हुन्छ।
3. यदि भण्डार क्षतिग्रस्त छ भने, नयाँ ब्याकअपहरू सिर्जना गर्दा र पुनर्स्थापना गर्ने प्रयास गर्दा ढिलाइ त्रुटि हुन सक्छ। भण्डारको अखण्डता सुनिश्चित गर्न थप उपायहरू योजना गर्न वा यसको अखण्डता जाँच गर्न निर्मित उपकरणहरू प्रयोग गर्न आवश्यक छ।

टारसँग काम गर्दा सन्दर्भ मानको रूपमा लिइन्छ, जस्तै अघिल्लो लेखहरू मध्ये एकमा देखाइएको थियो।

Zbackup परीक्षण गर्दै

zbackup को सामान्य संयन्त्र यो हो कि कार्यक्रमले इनपुट डेटा स्ट्रिम क्षेत्रहरूमा समान डेटा समावेश गर्दछ, त्यसपछि वैकल्पिक रूपमा कम्प्रेस गर्दछ र इन्क्रिप्ट गर्दछ, प्रत्येक क्षेत्रलाई एक पटक मात्र बचत गर्दछ।

डिडुप्लिकेशनले अवस्थित डाटा ब्लकहरू विरुद्ध बाइट-द्वारा-बाइट मिलानहरू जाँच गर्न स्लाइडिङ विन्डोको साथ 64-बिट रिंग ह्यास प्रकार्य प्रयोग गर्दछ (जस्तै rsync ले यसलाई लागू गर्छ)।

बहु-थ्रेडेड lzma र lzo सङ्कुचन को लागी प्रयोग गरिन्छ, र एन्क्रिप्शन को लागी aes। नवीनतम संस्करणहरूमा भविष्यमा भण्डारबाट पुरानो डाटा मेटाउने क्षमता छ।
कार्यक्रम न्यूनतम निर्भरता संग C++ मा लेखिएको छ। लेखक स्पष्ट रूपमा युनिक्स-वेबाट प्रेरित थिए, त्यसैले कार्यक्रमले ब्याकअपहरू सिर्जना गर्दा stdin मा डाटा स्वीकार गर्दछ, पुनर्स्थापना गर्दा stdout मा समान डाटा स्ट्रिम उत्पादन गर्दछ। यसैले, zbackup एक धेरै राम्रो "निर्माण ब्लक" को रूपमा प्रयोग गर्न सकिन्छ जब तपाइँको आफ्नै जगेडा समाधानहरू लेख्नुहोस्। उदाहरणका लागि, लेखको लेखकले लगभग 2014 देखि घर मेसिनहरूको लागि मुख्य ब्याकअप उपकरणको रूपमा यो कार्यक्रम प्रयोग गरेको छ।

अन्यथा उल्लेख नगरेसम्म डाटा स्ट्रिम नियमित टार हुनेछ।

हेरौं नतिजा के छ:

काम २ विकल्पहरूमा जाँच गरिएको थियो:

1. रिपोजिटरी बनाइन्छ र स्रोत डाटाको साथ सर्भरमा zbackup सुरु हुन्छ, त्यसपछि भण्डारको सामग्रीहरू ब्याकअप भण्डारण सर्भरमा स्थानान्तरण गरिन्छ।
2. ब्याकअप भण्डारण सर्भरमा भण्डार सिर्जना गरिएको छ, ब्याकअप भण्डारण सर्भरमा ssh मार्फत zbackup सुरु गरिएको छ, र डेटा पाइप मार्फत पठाइन्छ।

पहिलो विकल्पको नतिजाहरू निम्नानुसार थिए: 43m11s - एन्क्रिप्टेड भण्डार र lzma कम्प्रेसर प्रयोग गर्दा, 19m13s - lzo को साथ कम्प्रेसर प्रतिस्थापन गर्दा।

मूल डाटाको साथ सर्भरमा लोड निम्नानुसार थियो (lzma को साथ एक उदाहरण देखाइएको छ; lzo संग त्यहाँ लगभग समान तस्वीर थियो, तर rsync को साझेदारी समय को लगभग एक चौथाई थियो):

यो स्पष्ट छ कि यस्तो ब्याकअप प्रक्रिया केवल अपेक्षाकृत दुर्लभ र साना परिवर्तनहरूको लागि उपयुक्त छ। zbackup लाई 1 थ्रेडमा सीमित गर्न पनि अत्यधिक सल्लाह दिइन्छ, अन्यथा त्यहाँ धेरै उच्च CPU लोड हुनेछ, किनभने धेरै थ्रेडहरूमा काम गर्न कार्यक्रम धेरै राम्रो छ। डिस्कमा लोड सानो थियो, जुन सामान्य रूपमा आधुनिक एसएसडी-आधारित डिस्क उपप्रणालीसँग ध्यान दिन सक्नेछैन। तपाईले रिमोट सर्भरमा रिपोजिटरी डेटा सिङ्क्रोनाइज गर्ने प्रक्रियाको सुरुवात पनि स्पष्ट रूपमा देख्न सक्नुहुन्छ; सञ्चालनको गति नियमित rsync सँग तुलना गर्न सकिन्छ र ब्याकअप भण्डारण सर्भरको डिस्क सबसिस्टमको प्रदर्शनमा निर्भर गर्दछ। यस दृष्टिकोणको हानि भनेको स्थानीय भण्डारको भण्डारण हो र परिणाम स्वरूप, डाटाको नक्कल।

अधिक चाखलाग्दो र व्यवहारमा लागू दोस्रो विकल्प हो, ब्याकअप भण्डारण सर्भरमा सीधा zbackup चलाउँदै।

पहिले, हामी lzma कम्प्रेसर संग ईन्क्रिप्शन प्रयोग नगरी सञ्चालन परीक्षण गर्नेछौं:

प्रत्येक परीक्षण रनको चलिरहेको समय:

1 सुरु गर्नुहोस्
2 सुरु गर्नुहोस्
3 सुरु गर्नुहोस्

39m45s
40m20s
40m3s

7m36s
8m3s
7m48s

15m35s
15m48s
15m38s

यदि तपाईंले एईएस प्रयोग गरेर इन्क्रिप्शन सक्षम गर्नुभयो भने, परिणामहरू एकदम नजिक छन्:

एउटै डाटामा अपरेटिङ समय, एन्क्रिप्शनको साथ:

1 सुरु गर्नुहोस्
2 सुरु गर्नुहोस्
3 सुरु गर्नुहोस्

43m40s
44m12s
44m3s

8m3s
8m15s
8m12s

15m0s
15m40s
15m25s

यदि एन्क्रिप्शनलाई lzo प्रयोग गरेर सङ्कुचनसँग जोडिएको छ भने, यो यस्तो देखिन्छ:

कार्यको समय:

1 सुरु गर्नुहोस्
2 सुरु गर्नुहोस्
3 सुरु गर्नुहोस्

18m2s
18m15s
18m12s

5m13s
5m24s
5m20s

8m48s
9m3s
8m51s

नतिजा भण्डारको आकार 13GB मा अपेक्षाकृत समान थियो। यसको मतलब डुप्लिकेशनले सही रूपमा काम गरिरहेको छ। साथै, पहिल्यै कम्प्रेस गरिएको डाटामा, lzo प्रयोग गर्दा उल्लेखनीय प्रभाव हुन्छ; कुल सञ्चालन समयको सन्दर्भमा, zbackup डुप्लिसिटी/डुप्लिकेटीको नजिक आउँछ, तर librsync मा आधारित 2-5 पटक पछि हुन्छ।

फाइदाहरू स्पष्ट छन् - ब्याकअप भण्डारण सर्भरमा डिस्क ठाउँ बचत गर्दै। रिपोजिटरी जाँच उपकरणहरूको लागि, zbackup को लेखकले तिनीहरूलाई प्रदान गर्दैन; यो गल्ती-सहिष्णु डिस्क एरे वा क्लाउड प्रदायक प्रयोग गर्न सिफारिस गरिन्छ।

समग्रमा, एक धेरै राम्रो छाप, तथ्य को बावजुद परियोजना अझै 3 वर्ष को लागी खडा छ (अन्तिम सुविधा अनुरोध लगभग एक वर्ष पहिले थियो, तर प्रतिक्रिया बिना)।

Borgbackup परीक्षण गर्दै

बोर्गब्याकअप एटिकको फोर्क हो, zbackup जस्तै अर्को प्रणाली। पाइथनमा लेखिएको, यसमा zbackup जस्तै क्षमताहरूको सूची छ, तर थप गर्न सक्छ:

• फ्यूज मार्फत ब्याकअपहरू माउन्ट गर्नुहोस्
• भण्डार सामग्रीहरू जाँच गर्नुहोस्
• ग्राहक-सर्भर मोडमा काम गर्नुहोस्
• डेटाको लागि विभिन्न कम्प्रेसरहरू प्रयोग गर्नुहोस्, साथै फाइल प्रकारको हेराइस्टिक निर्धारण गर्दा यसलाई कम्प्रेस गर्दा।
• २ एन्क्रिप्शन विकल्पहरू, एईएस र ब्लेक
• को लागि निर्मित उपकरण

प्रदर्शन जाँचहरू

borgbackup बेन्चमार्क crud ssh://backup_server/repo/path local_dir

नतिजाहरू निम्नानुसार थिए:

CZ-BIG 96.51 MB/s (10 100.00 MB सबै-शून्य फाइलहरू: 10.36s)
RZ-BIG 57.22 MB/s (10 100.00 MB सबै-शून्य फाइलहरू: 17.48s)
UZ-BIG 253.63 MB/s (10 100.00 MB सबै-शून्य फाइलहरू: 3.94s)
DZ-BIG 351.06 MB/s (10 100.00 MB सबै-शून्य फाइलहरू: 2.85s)
CR-BIG 34.30 MB/s (10 100.00 MB अनियमित फाइलहरू: 29.15s)
RR-BIG 60.69 MB/s (10 100.00 MB अनियमित फाइलहरू: 16.48s)
UR-BIG 311.06 MB/s (10 100.00 MB अनियमित फाइलहरू: 3.21s)
DR-BIG 72.63 MB/s (10 100.00 MB अनियमित फाइलहरू: 13.77s)
CZ-MEDIUM 108.59 MB/s (1000 1.00 MB सबै-शून्य फाइलहरू: 9.21s)
RZ-MEDIUM 76.16 MB/s (1000 1.00 MB सबै-शून्य फाइलहरू: 13.13s)
UZ-MEDIUM 331.27 MB/s (1000 1.00 MB सबै-शून्य फाइलहरू: 3.02s)
DZ-MEDIUM 387.36 MB/s (1000 1.00 MB सबै-शून्य फाइलहरू: 2.58s)
CR-MEDIUM 37.80 MB/s (1000 1.00 MB अनियमित फाइलहरू: 26.45s)
RR-MEDIUM 68.90 MB/s (1000 1.00 MB अनियमित फाइलहरू: 14.51s)
UR-MEDIUM 347.24 MB/s (1000 1.00 MB अनियमित फाइलहरू: 2.88s)
DR-MEDIUM 48.80 MB/s (1000 1.00 MB अनियमित फाइलहरू: 20.49s)
CZ-SMALL 11.72 MB/s (10000 10.00 kB सबै-शून्य फाइलहरू: 8.53s)
RZ-SMALL 32.57 MB/s (10000 10.00 kB सबै-शून्य फाइलहरू: 3.07s)
UZ-SMALL 19.37 MB/s (10000 10.00 kB सबै-शून्य फाइलहरू: 5.16s)
DZ-SMALL 33.71 MB/s (10000 10.00 kB सबै-शून्य फाइलहरू: 2.97s)
CR-SMALL 6.85 MB/s (10000 10.00 kB अनियमित फाइलहरू: 14.60s)
RR-SMALL 31.27 MB/s (10000 10.00 kB अनियमित फाइलहरू: 3.20s)
UR-SMALL 12.28 MB/s (10000 10.00 kB अनियमित फाइलहरू: 8.14s)
DR-SMALL 18.78 MB/s (10000 10.00 kB अनियमित फाइलहरू: 5.32s)

परीक्षण गर्दा, सङ्कुचन heuristics फाइल प्रकार (संकुचन स्वत:) निर्धारण गर्न प्रयोग गरिनेछ, र परिणाम निम्नानुसार हुनेछ:

पहिले, जाँच गरौं कि यसले एन्क्रिप्शन बिना कसरी काम गर्छ:

कार्यको समय:

1 सुरु गर्नुहोस्
2 सुरु गर्नुहोस्
3 सुरु गर्नुहोस्

4m6s
4m10s
4m5s

56s
58s
54s

1m26s
1m34s
1m30s

यदि तपाईंले भण्डार प्राधिकरण (प्रमाणीकृत मोड) सक्षम गर्नुभयो भने, परिणामहरू नजिक हुनेछन्:

कार्यको समय:

1 सुरु गर्नुहोस्
2 सुरु गर्नुहोस्
3 सुरु गर्नुहोस्

4m11s
4m20s
4m12s

1m0s
1m3s
1m2s

1m30s
1m34s
1m31s

जब aes एन्क्रिप्शन सक्रिय भयो, परिणामहरू धेरै बिग्रिएन:

1 सुरु गर्नुहोस्
2 सुरु गर्नुहोस्
3 सुरु गर्नुहोस्

4m55s
5m2s
4m58s

1m0s
1m2s
1m0s

1m49s
1m50s
1m50s

र यदि तपाइँ ब्लेकमा aes परिवर्तन गर्नुहुन्छ भने, स्थिति पूर्ण रूपमा सुधार हुनेछ:

कार्यको समय:

1 सुरु गर्नुहोस्
2 सुरु गर्नुहोस्
3 सुरु गर्नुहोस्

4m33s
4m43s
4m40s

59s
1m0s
1m0s

1m38s
1m43s
1m40s

zbackup को मामला मा, रिपोजिटरी आकार 13GB थियो र अलि कम, जुन सामान्यतया अपेक्षित छ। म चलिरहेको समयसँग धेरै खुसी थिएँ; यो librsync मा आधारित समाधानहरूसँग तुलनात्मक छ, धेरै फराकिलो क्षमताहरू प्रदान गर्दै। म वातावरण चर मार्फत विभिन्न प्यारामिटरहरू सेट गर्ने क्षमतासँग पनि खुसी थिएँ, जसले स्वचालित मोडमा बोर्गब्याकअप प्रयोग गर्दा धेरै गम्भीर फाइदा दिन्छ। म ब्याकअपको समयमा लोडसँग पनि खुसी थिएँ: प्रोसेसर लोड द्वारा न्याय गर्दै, बोर्गब्याकअपले 1 थ्रेडमा काम गर्दछ।

यसलाई प्रयोग गर्दा कुनै विशेष हानि थिएन।

विश्राम परीक्षण

रेस्टिक एकदम नयाँ समाधान हो भन्ने तथ्यको बावजुद (पहिलो 2 उम्मेद्वारहरू 2013 र पुरानोमा चिनिन्थ्यो), यसमा धेरै राम्रो विशेषताहरू छन्। Go मा लेखिएको।

zbackup सँग तुलना गर्दा, यसले थप दिन्छ:

• भण्डारको अखण्डता जाँच गर्दै (भागहरूमा जाँच सहित)।
• ब्याकअपहरू भण्डारण गर्नका लागि समर्थित प्रोटोकलहरू र प्रदायकहरूको ठूलो सूची, साथै क्लाउड समाधानहरूको लागि rclone - rsync को समर्थन।
• एक अर्कासँग २ ब्याकअपहरू तुलना गर्दै।
• फ्यूज मार्फत भण्डार माउन्ट गर्दै।

सामान्यतया, सुविधाहरूको सूची बोर्गब्याकअपको नजिक छ, केही ठाउँहरूमा बढी, अरूमा कम। सुविधाहरू मध्ये एक यो हो कि त्यहाँ इन्क्रिप्सन असक्षम गर्ने कुनै तरिका छैन, र त्यसैले ब्याकअप प्रतिलिपिहरू सधैं इन्क्रिप्ट हुनेछन्। यस सफ्टवेयरबाट के निचोड गर्न सकिन्छ अभ्यासमा हेरौं:

नतिजाहरू निम्नानुसार थिए:

कार्यको समय:

1 सुरु गर्नुहोस्
2 सुरु गर्नुहोस्
3 सुरु गर्नुहोस्

5m25s
5m50s
5m38s

35s
38s
36s

1m54s
2m2s
1m58s

कार्यसम्पादन परिणामहरू rsync-आधारित समाधानहरूसँग पनि तुलनात्मक छन् र, सामान्यतया, borgbackup को धेरै नजिक, तर CPU लोड उच्च छ (बहु थ्रेडहरू चलिरहेको) र sawtooth।

सम्भवतः, कार्यक्रम डाटा भण्डारण सर्भरमा डिस्क उपप्रणालीको प्रदर्शन द्वारा सीमित छ, जस्तै पहिले नै rsync को मामला थियो। रिपोजिटरी साइज 13GB थियो, zbackup वा borgbackup जस्तै, यो समाधान प्रयोग गर्दा त्यहाँ कुनै स्पष्ट हानि थिएन।

Результаты

वास्तवमा, सबै उम्मेद्वारहरूले समान परिणामहरू हासिल गरे, तर फरक मूल्यहरूमा। Borgbackup ले सबै भन्दा राम्रो प्रदर्शन गर्यो, restic अलि ढिलो थियो, zbackup प्रयोग गर्न सुरु गर्न लायक छैन,
र यदि यो पहिले नै प्रयोगमा छ भने, यसलाई borgbackup वा restic मा परिवर्तन गर्ने प्रयास गर्नुहोस्।

निष्कर्ष

सबैभन्दा आशाजनक समाधान आरामदायी देखिन्छ, किनभने ... यो उहाँ हो जससँग अपरेटिङ गतिमा क्षमताहरूको उत्तम अनुपात छ, तर अहिलेको लागि सामान्य निष्कर्षमा हतार नगरौं।

Borgbackup मूलतः कुनै खराब छैन, तर zbackup सम्भवतः राम्रो प्रतिस्थापन गरिएको छ। साँचो, zbackup अझै पनि 3-2-1 नियम काम गर्दछ सुनिश्चित गर्न प्रयोग गर्न सकिन्छ। उदाहरणका लागि, (lib) rsync-आधारित ब्याकअप सुविधाहरूको अतिरिक्त।

घोषणा

ब्याकअप, भाग 1: किन ब्याकअप आवश्यक छ, विधिहरू, प्रविधिहरूको एक सिंहावलोकन
ब्याकअप भाग २: rsync-आधारित ब्याकअप उपकरणहरूको समीक्षा र परीक्षण
ब्याकअप भाग 3: डुप्लिसिटीको समीक्षा र परीक्षण, नक्कल
ब्याकअप भाग 4: zbackup, restic, borgbackup को समीक्षा र परीक्षण गर्दै
ब्याकअप भाग 5: लिनक्सको लागि ब्याकुला र भिम ब्याकअप परीक्षण गर्दै
ब्याकअप भाग 6: ब्याकअप उपकरणहरू तुलना गर्दै
ब्याकअप भाग 7: निष्कर्ष

द्वारा पोस्ट गरिएको: पावेल डेमकोविच

स्रोत: www.habr.com