🥇 नि: शुल्क उपकरणहरू प्रयोग गरेर हजारौं भर्चुअल मेसिनहरूको लागि ब्याकअप भण्डारण

नमस्ते, मैले भर्खरै एउटा चाखलाग्दो समस्या भेट्टाएँ: ठूलो संख्यामा ब्लक यन्त्रहरू ब्याकअप गर्न भण्डारण सेटअप।

प्रत्येक हप्ता हामी हाम्रो क्लाउडमा सबै भर्चुअल मेसिनहरू ब्याकअप गर्छौं, त्यसैले हामीले हजारौं ब्याकअपहरू कायम राख्न र यसलाई सकेसम्म छिटो र कुशलतापूर्वक गर्न सक्षम हुन आवश्यक छ।

दुर्भाग्यवश, मानक कन्फिगरेसनहरू RAID5, RAID6 यस अवस्थामा, हामीलाई त्यसो गर्न अनुमति दिइने छैन, किनकि हाम्रो जस्तो ठूला डिस्कहरूमा रिकभरी प्रक्रिया पीडादायी रूपमा लामो हुनेछ र सम्भवतः कहिल्यै अन्त्य हुनेछैन।

त्यहाँ के विकल्पहरू छन् हेरौं:

इरेजर कोडिङ — RAID5, RAID6 जस्तै, तर कन्फिगर योग्य समानता स्तरको साथ। यस अवस्थामा, आरक्षण ब्लक द्वारा ब्लक गरिएको छैन, तर प्रत्येक वस्तुको लागि अलग। इरेजर कोडिङ प्रयास गर्ने सबैभन्दा सजिलो तरिका विस्तार गर्नु हो मिनी.

DRAID हाल जारी नगरिएको ZFS सुविधा हो। RAIDZ को विपरीत, DRAID सँग वितरित समानता ब्लक छ र, रिकभरीको समयमा, एरेका सबै डिस्कहरू एकैचोटि प्रयोग गर्दछ, जसले यसलाई डिस्क विफलताहरू बाँच्न र विफलता पछि छिटो रिकभर गर्न सक्षम बनाउँछ।

सर्भर उपलब्ध छ Fujitsu Primergy RX300 S7 प्रोसेसर संग Intel Xeon CPU E5-2650L 0 @ 1.80GHz, RAM को नौ स्टिकहरू Samsung DDR3-1333 8Gb PC3L-10600R ECC दर्ता गरिएको (M393B1K70DH0-YH9), डिस्क शेल्फ सुपरमाइक्रो सुपरचेसिस 847E26-RJBOD1, मार्फत जोडिएको दोहोरो LSI SAS2X36 विस्तारक र 45 डिस्क सीगेज ST6000NM0115-1YZ110 मा 6TB प्रत्येक

हामीले कुनै पनि निर्णय गर्नु अघि, हामीले सबै कुरालाई राम्ररी परीक्षण गर्न आवश्यक छ।

यो गर्न, मैले विभिन्न कन्फिगरेसनहरू तयार र परीक्षण गरें। यो गर्नको लागि, मैले minio प्रयोग गरें, जसले S3 ब्याकइन्डको रूपमा काम गर्‍यो र यसलाई विभिन्न मोडहरूमा लक्ष्यहरूको बिभिन्न संख्यामा सुरू गर्यो।

साधारणतया, minio केस एरेजर कोडिङ बनाम सफ्टवेयर छापामा डिस्कको समान संख्या र डिस्कको समानताको साथ परीक्षण गरिएको थियो, र यी हुन्: RAID6, RAIDZ2 र DRAID2।

सन्दर्भको लागि: जब तपाइँ केवल एक लक्ष्यको साथ minio सुरु गर्नुहुन्छ, minio ले S3 गेटवे मोडमा काम गर्दछ, S3 भण्डारणको रूपमा तपाइँको स्थानीय फाइल प्रणाली डेलिभर गर्दछ। यदि तपाईंले धेरै लक्ष्यहरू निर्दिष्ट गर्दै minio सुरु गर्नुभयो भने, इरेजर कोडिङ मोड स्वतः सक्रिय हुनेछ, जसले त्रुटि सहिष्णुता प्रदान गर्दा तपाईंको लक्ष्यहरू बीच डाटा फैलाउनेछ।

पूर्वनिर्धारित रूपमा, minio ले लक्ष्यहरूलाई 16 डिस्कहरूको समूहमा विभाजन गर्दछ, प्रति समूह 2 parities सँग। ती। डाटा गुमाउन बिना दुई डिस्क एकै समयमा असफल हुन सक्छ।

कार्यसम्पादन परीक्षण गर्न, मैले प्रत्येक 16TB को 6 डिस्कहरू प्रयोग गरें र तिनीहरूमा 1MB आकारको साना वस्तुहरू लेखे, यसले हाम्रो भविष्यको लोडलाई सबैभन्दा सही रूपमा वर्णन गरेको छ, किनकि सबै आधुनिक ब्याकअप उपकरणहरूले डाटालाई धेरै मेगाबाइटको ब्लकहरूमा विभाजन गर्दछ र तिनीहरूलाई यसरी लेख्दछ।

बेन्चमार्क सञ्चालन गर्न, हामीले s3bench उपयोगिता प्रयोग गर्यौं, रिमोट सर्भरमा सुरू गरियो र सयौं थ्रेडहरूमा minio मा दसौं हजारौं वस्तुहरू पठाउँदै। त्यसपछि मैले उनीहरूलाई सोही तरिकाले फिर्ता अनुरोध गर्ने प्रयास गरें।

बेन्चमार्क परिणामहरू निम्न तालिकामा देखाइएको छ:

हामी देख्न सक्छौं, minio यसको आफ्नै इरेजर कोडिङ मोडमा सफ्टवेयर RAID6, RAIDZ2 र DRAID2 को माथि उही कन्फिगरेसनमा चलिरहेको minio भन्दा लेखनमा उल्लेखनीय रूपमा खराब प्रदर्शन गर्दछ।

मलाई अलग सोधे Ext4 बनाम XFS मा minio परीक्षण गर्नुहोस्। अचम्मको कुरा, मेरो प्रकारको कार्यभारको लागि, XFS ext4 भन्दा धेरै ढिलो भयो।

परीक्षणको पहिलो ब्याचमा, Mdadm ले ZFS मा श्रेष्ठता देखायो, तर पछि gmelikov सिफारिस गर्नुभयोतपाइँ निम्न विकल्पहरू सेट गरेर ZFS प्रदर्शन सुधार गर्न सक्नुहुन्छ:

xattr=sa atime=off recordsize=1M

र त्यसपछि ZFS संग परीक्षण धेरै राम्रो भयो।

तपाईले यो पनि नोट गर्न सक्नुहुन्छ कि DRAID ले RAIDZ मा धेरै प्रदर्शन लाभ प्रदान गर्दैन, तर सिद्धान्तमा यो धेरै सुरक्षित हुनुपर्छ।

पछिल्लो दुई परीक्षणहरूमा, मैले SSD बाट मिररमा मेटाडाटा (विशेष) र ZIL (लग) स्थानान्तरण गर्ने प्रयास गरें। तर मेटाडेटा हटाउनाले रेकर्डिङ गतिमा धेरै लाभ दिन सकेन, र ZIL हटाउँदा, मेरो SSDSC2KI128G8 100% उपयोगिता संग छत मा हिट, त्यसैले म यो परीक्षण एक असफलता मान्छु। म यो बहिष्कार गर्दिन कि यदि मसँग छिटो SSD ड्राइभहरू थिए, तब सायद यसले मेरो नतिजाहरूलाई धेरै सुधार गर्न सक्छ, तर, दुर्भाग्यवश, मसँग ती थिएनन्।

अन्तमा, मैले DRAID प्रयोग गर्ने निर्णय गरें र यसको बीटा स्थितिको बावजुद, यो हाम्रो मामलामा सबैभन्दा छिटो र सबैभन्दा कुशल भण्डारण समाधान हो।

मैले तीन समूह र दुई वितरित स्पेयरहरूको साथ कन्फिगरेसनमा साधारण DRAID2 सिर्जना गरें:

# zpool status data
  pool: data
 state: ONLINE
  scan: none requested
config:

    NAME                 STATE     READ WRITE CKSUM
    data                 ONLINE       0     0     0
      draid2:3g:2s-0     ONLINE       0     0     0
        sdy              ONLINE       0     0     0
        sdam             ONLINE       0     0     0
        sdf              ONLINE       0     0     0
        sdau             ONLINE       0     0     0
        sdab             ONLINE       0     0     0
        sdo              ONLINE       0     0     0
        sdw              ONLINE       0     0     0
        sdak             ONLINE       0     0     0
        sdd              ONLINE       0     0     0
        sdas             ONLINE       0     0     0
        sdm              ONLINE       0     0     0
        sdu              ONLINE       0     0     0
        sdai             ONLINE       0     0     0
        sdaq             ONLINE       0     0     0
        sdk              ONLINE       0     0     0
        sds              ONLINE       0     0     0
        sdag             ONLINE       0     0     0
        sdi              ONLINE       0     0     0
        sdq              ONLINE       0     0     0
        sdae             ONLINE       0     0     0
        sdz              ONLINE       0     0     0
        sdan             ONLINE       0     0     0
        sdg              ONLINE       0     0     0
        sdac             ONLINE       0     0     0
        sdx              ONLINE       0     0     0
        sdal             ONLINE       0     0     0
        sde              ONLINE       0     0     0
        sdat             ONLINE       0     0     0
        sdaa             ONLINE       0     0     0
        sdn              ONLINE       0     0     0
        sdv              ONLINE       0     0     0
        sdaj             ONLINE       0     0     0
        sdc              ONLINE       0     0     0
        sdar             ONLINE       0     0     0
        sdl              ONLINE       0     0     0
        sdt              ONLINE       0     0     0
        sdah             ONLINE       0     0     0
        sdap             ONLINE       0     0     0
        sdj              ONLINE       0     0     0
        sdr              ONLINE       0     0     0
        sdaf             ONLINE       0     0     0
        sdao             ONLINE       0     0     0
        sdh              ONLINE       0     0     0
        sdp              ONLINE       0     0     0
        sdad             ONLINE       0     0     0
    spares
      s0-draid2:3g:2s-0  AVAIL   
      s1-draid2:3g:2s-0  AVAIL   

errors: No known data errors

ठीक छ, हामीले भण्डारणलाई क्रमबद्ध गरेका छौं, अब हामी के ब्याकअप गर्ने बारे कुरा गरौं। यहाँ म तुरुन्तै मैले प्रयास गर्न व्यवस्थित गरेको तीन समाधानहरूको बारेमा कुरा गर्न चाहन्छु, र यी हुन्:

बेन्जी ब्याकअप - काँटा पछाडि २, ब्लक उपकरण ब्याकअप को लागी एक विशेष समाधान, Ceph संग तंग एकीकरण छ। स्न्यापसटहरू बीचको भिन्नता लिन र तिनीहरूबाट वृद्धिशील ब्याकअप बनाउन सक्छ। दुबै स्थानीय र S3 सहित भण्डारण ब्याकएन्डहरूको ठूलो संख्यालाई समर्थन गर्दछ। डुप्लिकेशन ह्यास तालिका भण्डारण गर्न छुट्टै डाटाबेस चाहिन्छ। बेफाइदाहरू: पाइथनमा लेखिएको, थोरै अनुत्तरदायी क्लाइ छ।

बोर्ग बैकअप - काँटा अटिक, एक लामो-ज्ञात र प्रमाणित ब्याकअप उपकरण, डेटा ब्याकअप गर्न र यसलाई राम्रोसँग डुप्लिकेट गर्न सक्छ। scp मार्फत स्थानीय र रिमोट सर्भरमा ब्याकअपहरू बचत गर्न सक्षम। ब्याकअप ब्लक उपकरणहरू यदि झण्डा संग सुरु गर्न सक्नुहुन्छ --special, माइनसहरू मध्ये एक: ब्याकअप सिर्जना गर्दा, भण्डार पूर्ण रूपमा अवरुद्ध हुन्छ, त्यसैले प्रत्येक भर्चुअल मेसिनको लागि छुट्टै भण्डार सिर्जना गर्न सिफारिस गरिन्छ, सिद्धान्तमा यो समस्या होइन, सौभाग्य देखि तिनीहरू धेरै सजिलै सिर्जना हुन्छन्।

विश्राम एक सक्रिय रूपमा विकासशील परियोजना हो, गो मा लेखिएको, एकदम छिटो र स्थानीय भण्डारण, scp, S3 र अधिक सहित, भण्डारण ब्याकएन्डहरूको ठूलो संख्यालाई समर्थन गर्दछ। अलग, म एक विशेष रूपमा सिर्जना गरिएको छ कि नोट गर्न चाहन्छु विश्राम सर्भर रेस्टिकका लागि, जसले तपाईंलाई टाढाबाट प्रयोगको लागि भण्डारण द्रुत रूपमा निर्यात गर्न अनुमति दिन्छ। माथिका सबै मध्ये, मलाई यो सबैभन्दा मन पर्यो। stdin बाट ब्याकअप गर्न सकिन्छ। यसमा लगभग कुनै उल्लेखनीय हानि छैन, तर त्यहाँ धेरै सुविधाहरू छन्:

सर्वप्रथम, मैले यसलाई सबै भर्चुअल मेसिनहरू (जस्तै बेन्जी) को लागि सामान्य भण्डार मोडमा प्रयोग गर्ने प्रयास गरें र यसले राम्रोसँग काम पनि गर्‍यो, तर पुनर्स्थापना कार्यहरूले धेरै लामो समय लियो, किनभने ... प्रत्येक पटक पुनर्स्थापना गर्नु अघि, रेस्टिकले सबै ब्याकअपहरूको मेटाडेटा पढ्न प्रयास गर्दछ। प्रत्येक भर्चुअल मेसिनको लागि छुट्टै रिपोजिटरी बनाएर यो समस्या सजिलै हल भएको थियो, बोर्गसँग जस्तै। यो दृष्टिकोण ब्याकअप प्रबन्ध गर्न को लागी धेरै प्रभावकारी साबित भएको छ। डाटा पहुँच गर्नको लागि छुट्टै रिपोजिटरीहरूमा छुट्टै पासवर्ड हुन सक्छ, र हामी पनि डराउनु पर्दैन कि ग्लोबल रिपो कुनै न कुनै रूपमा तोड्न सक्छ। तपाईले नयाँ रिपोजिटरीहरू सजिलैसँग बोर्ग ब्याकअपमा बनाउन सक्नुहुन्छ।

कुनै पनि अवस्थामा, ब्याकअपको अघिल्लो संस्करणको सापेक्षमा डुप्लिकेशन मात्र गरिन्छ; अघिल्लो ब्याकअप निर्दिष्ट ब्याकअपको लागि मार्गद्वारा निर्धारण गरिन्छ, त्यसैले यदि तपाइँ stdin बाट साझा भण्डारमा विभिन्न वस्तुहरू ब्याकअप गर्नुहुन्छ भने, निर्दिष्ट गर्न नबिर्सनुहोस्। विकल्प --stdin-filename, वा स्पष्ट रूपमा प्रत्येक पटक विकल्प निर्दिष्ट गर्नुहोस् --parent.

दोस्रो, stdout मा रिकभरी यसको समानान्तर प्रकृतिको कारण फाइल प्रणालीमा रिकभरी भन्दा धेरै समय लाग्छ। भविष्यमा, हामी ब्लक यन्त्रहरूको लागि ब्याकअपहरूको लागि नजिकको समर्थन थप्ने योजना गर्छौं।
तेस्रो, यो हाल प्रयोग गर्न सिफारिस गरिएको छ मास्टरबाट संस्करण, किनभने संस्करण ०.९.६ मा ठूला फाइलहरूको लामो रिकभरीसँग बग छ।

ब्याकअपको प्रभावकारिता र ब्याकअपबाट लेखन / पुनर्स्थापनाको गति परीक्षण गर्न, मैले एउटा छुट्टै भण्डार सिर्जना गरें र भर्चुअल मेसिन (21 जीबी) को सानो छवि जगेडा गर्ने प्रयास गरें। दुईवटा ब्याकअपहरू मूल परिवर्तन नगरी प्रदर्शन गरियो, प्रत्येक सूचीबद्ध समाधानहरू प्रयोग गरेर डुप्लिकेट गरिएको डाटा कति छिटो/ढिलो भयो भनेर जाँच गर्न।

हामी देख्न सक्छौं, बोर्ग ब्याकअपसँग उत्कृष्ट प्रारम्भिक ब्याकअप दक्षता अनुपात छ, तर लेखन र पुनर्स्थापना गति दुवैको हिसाबले निम्न छ।

रेस्टिक बेन्जी ब्याकअप भन्दा छिटो भयो, तर stdout मा पुनर्स्थापना गर्न लामो समय लाग्छ, र, दुर्भाग्यवश, यसलाई ब्लक उपकरणमा सिधै कसरी लेख्ने भनेर अझै थाहा छैन।

सबै फाइदा र बेफाइदा तौल पछि, मैले बसोबास गर्ने निर्णय गरें विश्राम с विश्राम सर्भर सबैभन्दा सुविधाजनक र आशाजनक ब्याकअप समाधानको रूपमा।

यस स्क्रिनकास्टमा तपाईले 10-गीगाबिट च्यानल कसरी एकै साथ चलिरहेको धेरै ब्याकअप अपरेशनहरूमा पूर्ण रूपमा प्रयोग गरिन्छ भनेर देख्न सक्नुहुन्छ। यो ध्यान दिन लायक छ कि डिस्क रिसाइकिलिंग 30% माथि बढ्दैन।

मैले प्राप्त गरेको समाधानबाट म धेरै खुसी थिए!

स्रोत: www.habr.com

निःशुल्क उपकरणहरू प्रयोग गरेर हजारौं भर्चुअल मेसिनहरूको लागि ब्याकअप भण्डारण

एक टिप्पणी थप्न Отменить ответ