एसडीएस आर्किटेक्चर की संक्षिप्त तुलना या सही स्टोरेज प्लेटफॉर्म ढूंढना (GlusterVsCephVsVirtuozzoStorage)

यह लेख आपको अपने लिए सही समाधान चुनने और ग्लस्टर, सेफ और वीस्टोरेज (वर्चुओज़ो) जैसे एसडीएस के बीच अंतर को समझने में मदद करने के लिए लिखा गया था।

पाठ कुछ समस्याओं के अधिक विस्तृत प्रकटीकरण के साथ लेखों के लिंक का उपयोग करता है, इसलिए विवरण यथासंभव संक्षिप्त होंगे, बिना अनावश्यक दिखावा और परिचयात्मक जानकारी के मुख्य बिंदुओं का उपयोग करते हुए, जिसे आप चाहें तो इंटरनेट पर स्वतंत्र रूप से प्राप्त कर सकते हैं।

वास्तव में, निश्चित रूप से, उठाए गए विषयों के लिए पाठ के स्वर की आवश्यकता होती है, लेकिन आधुनिक दुनिया में अधिक से अधिक लोग बहुत अधिक पढ़ना पसंद नहीं करते हैं))), इसलिए आप जल्दी से पढ़ सकते हैं और विकल्प चुन सकते हैं, और यदि कुछ है स्पष्ट नहीं है, लिंक का अनुसरण करें या अस्पष्ट शब्दों को गूगल करें))), और यह लेख इन गहन विषयों के लिए एक पारदर्शी आवरण की तरह है, जो प्रत्येक निर्णय के मुख्य बिंदुओं को भरता हुआ दिखाता है।

चमकता हुआ

आइए ग्लस्टर से शुरू करें, जो वर्चुअल वातावरण के लिए ओपन सोर्स पर आधारित एसडीएस के साथ हाइपरकन्वर्ज्ड प्लेटफॉर्म के निर्माताओं द्वारा सक्रिय रूप से उपयोग किया जाता है और इसे स्टोरेज सेक्शन में रेडहैट वेबसाइट पर पाया जा सकता है, जहां आप दो एसडीएस विकल्पों में से चुन सकते हैं: ग्लस्टर या सेफ।

ग्लस्टर में अनुवादकों का एक समूह होता है - ऐसी सेवाएँ जो फ़ाइलों को वितरित करने आदि का सारा काम करती हैं। ब्रिक एक ऐसी सेवा है जो एक डिस्क की सेवा करती है, वॉल्यूम एक वॉल्यूम (पूल) है जो इन ईंटों को एकजुट करता है। इसके बाद DHT (डिस्ट्रीब्यूटेड हैश टेबल) फ़ंक्शन का उपयोग करके फ़ाइलों को समूहों में वितरित करने की सेवा आती है। हम विवरण में शेयरिंग सेवा को शामिल नहीं करेंगे क्योंकि नीचे दिए गए लिंक इससे जुड़ी समस्याओं का वर्णन करेंगे।

लिखते समय पूरी फाइल ब्रिक में स्टोर हो जाती है और उसकी कॉपी एक साथ दूसरे सर्वर पर ब्रिक में लिखी जाती है। इसके बाद, दूसरी फ़ाइल अलग-अलग सर्वर पर दो ईंटों (या अधिक) के दूसरे समूह को लिखी जाएगी।

यदि फ़ाइलें लगभग समान आकार की हैं और वॉल्यूम में केवल एक समूह है, तो सब कुछ ठीक है, लेकिन अन्य स्थितियों में विवरण से निम्नलिखित समस्याएं उत्पन्न होंगी:

• समूहों में स्थान का उपयोग असमान रूप से किया जाता है, यह फ़ाइलों के आकार पर निर्भर करता है और यदि समूह में फ़ाइल लिखने के लिए पर्याप्त स्थान नहीं है, तो आपको एक त्रुटि प्राप्त होगी, फ़ाइल नहीं लिखी जाएगी और दूसरे समूह में पुनर्वितरित नहीं की जाएगी ;
• एक फ़ाइल लिखते समय, IO केवल एक समूह में जाता है, बाकी निष्क्रिय रहते हैं;
• एक फ़ाइल लिखते समय आपको संपूर्ण वॉल्यूम का IO नहीं मिल सकता;
• और ब्लॉकों में डेटा वितरण की कमी के कारण सामान्य अवधारणा कम उत्पादक दिखती है, जहां समान वितरण की समस्या को संतुलित करना और हल करना आसान होता है, न कि अब पूरी फ़ाइल एक ब्लॉक में चली जाती है।

आधिकारिक विवरण से वास्तुकला हम अनायास ही यह समझ लेते हैं कि ग्लस्टर क्लासिक हार्डवेयर RAID के शीर्ष पर फ़ाइल भंडारण के रूप में काम करता है। फ़ाइलों को ब्लॉकों में काटने (साझा करने) के विकास के प्रयास किए गए हैं, लेकिन यह सब एक अतिरिक्त है जो पहले से मौजूद वास्तुशिल्प दृष्टिकोण पर प्रदर्शन हानि लगाता है, साथ ही फ़्यूज़ जैसी प्रदर्शन सीमाओं के साथ ऐसे स्वतंत्र रूप से वितरित घटकों का उपयोग करता है। कोई मेटाडेटा सेवाएँ नहीं हैं, जो फ़ाइलों को ब्लॉकों में वितरित करते समय भंडारण के प्रदर्शन और दोष सहनशीलता क्षमताओं को सीमित करती हैं। बेहतर प्रदर्शन संकेतक "वितरित प्रतिकृति" कॉन्फ़िगरेशन के साथ देखे जा सकते हैं और इष्टतम लोड वितरण के साथ एक विश्वसनीय प्रतिकृति 6 को व्यवस्थित करने के लिए नोड्स की संख्या कम से कम 3 होनी चाहिए।

ये निष्कर्ष उपयोगकर्ता अनुभव के विवरण से भी संबंधित हैं चमकता हुआ और जब तुलना की जाती है सिफ, और इस अधिक उत्पादक और अधिक विश्वसनीय कॉन्फ़िगरेशन की समझ के लिए अनुभव का विवरण भी है "प्रतिकृति वितरित"।


चित्र दो फ़ाइलें लिखते समय लोड वितरण दिखाता है, जहां पहली फ़ाइल की प्रतियां पहले तीन सर्वरों में वितरित की जाती हैं, जिन्हें वॉल्यूम 0 समूह में संयोजित किया जाता है, और दूसरी फ़ाइल की तीन प्रतियां तीन में से दूसरे समूह वॉल्यूम1 पर रखी जाती हैं। सर्वर. प्रत्येक सर्वर में एक डिस्क होती है।

सामान्य निष्कर्ष यह है कि आप ग्लस्टर का उपयोग कर सकते हैं, लेकिन इस समझ के साथ कि प्रदर्शन और दोष सहनशीलता में सीमाएं होंगी जो हाइपरकन्वर्ज्ड समाधान की कुछ शर्तों के तहत कठिनाइयां पैदा करती हैं, जहां आभासी वातावरण के कंप्यूटिंग भार के लिए संसाधनों की भी आवश्यकता होती है।

कुछ ग्लस्टर प्रदर्शन संकेतक भी हैं जिन्हें कुछ शर्तों के तहत ही हासिल किया जा सकता है दोष सहिष्णुता।

सिफ

अब आइए सेफ को वास्तुकला विवरण से देखें जो मैं करने में सक्षम था खोजो। के बीच तुलना भी होती है ग्लस्टरफ़्स और सेफ़, जहां आप तुरंत समझ सकते हैं कि सेफ को अलग-अलग सर्वर पर तैनात करने की सलाह दी जाती है, क्योंकि इसकी सेवाओं के लिए लोड के तहत सभी हार्डवेयर संसाधनों की आवश्यकता होती है।

आर्किटेक्चर सेफ ग्लस्टर से अधिक जटिल और मेटाडेटा सेवाओं जैसी सेवाएं हैं, लेकिन घटकों का पूरा ढेर काफी जटिल है और वर्चुअलाइजेशन समाधान में इसका उपयोग करने के लिए बहुत लचीला नहीं है। डेटा को ब्लॉकों में संग्रहीत किया जाता है, जो अधिक उत्पादक दिखता है, लेकिन सभी सेवाओं (घटकों) के पदानुक्रम में, कुछ भार और आपातकालीन स्थितियों के तहत नुकसान और विलंबता होती है, उदाहरण के लिए निम्नलिखित लेख।

वास्तुकला के विवरण से, हृदय CRUSH है, जिसकी बदौलत डेटा संग्रहीत करने के लिए स्थान का चयन किया जाता है। इसके बाद पीजी आता है - यह समझने में सबसे कठिन अमूर्तन (तार्किक समूह) है। CRUSH को और अधिक प्रभावी बनाने के लिए PGs की आवश्यकता है। पीजी का मुख्य उद्देश्य संसाधन खपत को कम करने, प्रदर्शन और स्केलेबिलिटी को बढ़ाने के लिए वस्तुओं का समूह बनाना है। वस्तुओं को पीजी में संयोजित किए बिना सीधे, व्यक्तिगत रूप से संबोधित करना बहुत महंगा होगा। ओएसडी प्रत्येक व्यक्तिगत डिस्क के लिए एक सेवा है।

एक क्लस्टर में विभिन्न उद्देश्यों के लिए और विभिन्न सेटिंग्स के साथ एक या कई डेटा पूल हो सकते हैं। पूलों को प्लेसमेंट समूहों में विभाजित किया गया है। प्लेसमेंट समूह उन वस्तुओं को संग्रहीत करते हैं जिन तक ग्राहक पहुँचते हैं। यहीं पर तार्किक स्तर समाप्त होता है, और भौतिक स्तर शुरू होता है, क्योंकि प्रत्येक प्लेसमेंट समूह को एक मुख्य डिस्क और कई प्रतिकृति डिस्क सौंपी जाती हैं (कितने वास्तव में पूल प्रतिकृति कारक पर निर्भर करते हैं)। दूसरे शब्दों में, तार्किक स्तर पर वस्तु को एक विशिष्ट प्लेसमेंट समूह में संग्रहीत किया जाता है, और भौतिक स्तर पर - उसे सौंपी गई डिस्क पर। इस मामले में, डिस्क भौतिक रूप से विभिन्न नोड्स पर या यहां तक ​​कि विभिन्न डेटा केंद्रों में भी स्थित हो सकती है।

इस योजना में, प्लेसमेंट समूह संपूर्ण समाधान के लचीलेपन के लिए एक आवश्यक स्तर की तरह दिखते हैं, लेकिन साथ ही, इस श्रृंखला में एक अतिरिक्त लिंक के रूप में भी दिखते हैं, जो अनजाने में उत्पादकता के नुकसान का सुझाव देता है। उदाहरण के लिए, डेटा लिखते समय, सिस्टम को इसे इन समूहों में विभाजित करने की आवश्यकता होती है और फिर भौतिक स्तर पर मुख्य डिस्क और प्रतिकृतियों के लिए डिस्क में विभाजित करने की आवश्यकता होती है। अर्थात्, हैश फ़ंक्शन किसी ऑब्जेक्ट को खोजते और सम्मिलित करते समय काम करता है, लेकिन इसका एक साइड इफेक्ट भी होता है - इसमें हैश के पुनर्निर्माण (डिस्क को जोड़ते या हटाते समय) पर बहुत अधिक लागत और प्रतिबंध होते हैं। एक अन्य हैश समस्या डेटा का स्पष्ट रूप से निर्धारित स्थान है जिसे बदला नहीं जा सकता है। अर्थात्, यदि किसी तरह डिस्क बढ़े हुए लोड के अधीन है, तो सिस्टम के पास इसे न लिखने का अवसर नहीं है (किसी अन्य डिस्क का चयन करके), हैश फ़ंक्शन नियम के अनुसार डेटा को स्थित करने के लिए बाध्य करता है, चाहे कितना भी बुरा क्यों न हो डिस्क है, इसलिए स्व-उपचार या भंडारण बढ़ाने के मामले में पीजी का पुनर्निर्माण करते समय सेफ बहुत सारी मेमोरी खाता है। निष्कर्ष यह है कि सेफ अच्छी तरह से काम करता है (यद्यपि धीरे-धीरे), लेकिन केवल तब जब कोई स्केलिंग, आपातकालीन स्थिति या अपडेट न हो।

बेशक, कैशिंग और कैश शेयरिंग के माध्यम से प्रदर्शन बढ़ाने के विकल्प हैं, लेकिन इसके लिए अच्छे हार्डवेयर की आवश्यकता है और फिर भी नुकसान होगा। लेकिन कुल मिलाकर, उत्पादकता के मामले में सेफ ग्लस्टर से अधिक आकर्षक दिखता है। इसके अलावा, इन उत्पादों का उपयोग करते समय, एक महत्वपूर्ण कारक को ध्यान में रखना आवश्यक है - यह लिनक्स पर बहुत अधिक जोर देने के साथ उच्च स्तर की क्षमता, अनुभव और व्यावसायिकता है, क्योंकि सब कुछ सही ढंग से तैनात करना, कॉन्फ़िगर करना और बनाए रखना बहुत महत्वपूर्ण है। जो प्रशासक पर और भी अधिक जिम्मेदारी और बोझ डालता है।

Vभंडारण

वास्तुकला और भी दिलचस्प लगती है Virtuozzo भंडारण(Vstorage), जिसका उपयोग समान नोड्स पर हाइपरवाइजर के साथ संयोजन में किया जा सकता है ग्रंथि, लेकिन अच्छा प्रदर्शन प्राप्त करने के लिए सब कुछ सही ढंग से कॉन्फ़िगर करना बहुत महत्वपूर्ण है। अर्थात्, आर्किटेक्चर के अनुसार सिफारिशों को ध्यान में रखे बिना किसी भी कॉन्फ़िगरेशन पर बॉक्स से ऐसे उत्पाद को तैनात करना बहुत आसान होगा, लेकिन उत्पादक नहीं।

Kvm-qemu हाइपरवाइज़र की सेवाओं के बगल में भंडारण के लिए क्या सह-अस्तित्व हो सकता है, और ये केवल कुछ सेवाएँ हैं जहाँ घटकों का एक कॉम्पैक्ट इष्टतम पदानुक्रम पाया गया है: FUSE (संशोधित, खुला स्रोत नहीं), MDS मेटाडेटा सेवा के माध्यम से माउंट की गई क्लाइंट सेवा (मेटाडेटा सेवा), सेवा चंक सेवा डेटा ब्लॉक, जो भौतिक स्तर पर एक डिस्क के बराबर है और बस इतना ही। गति के संदर्भ में, निश्चित रूप से, दो प्रतिकृतियों के साथ दोष-सहिष्णु योजना का उपयोग करना इष्टतम है, लेकिन यदि आप एसएसडी ड्राइव पर कैशिंग और लॉग का उपयोग करते हैं, तो त्रुटि-सहिष्णु कोडिंग (कोडिंग मिटाएं या RAID6) को शालीनता से ओवरक्लॉक किया जा सकता है हाइब्रिड योजना या सभी फ्लैश पर इससे भी बेहतर। ईसी (कोडिंग मिटाएं) के साथ कुछ नुकसान हैं: एक डेटा ब्लॉक को बदलते समय, समता मात्रा की पुनर्गणना करना आवश्यक है। इस ऑपरेशन से जुड़े नुकसान को बायपास करने के लिए, सेफ ईसी को आस्थगित रूप से लिखता है और प्रदर्शन की समस्याएं एक निश्चित अनुरोध के दौरान हो सकती हैं, जब, उदाहरण के लिए, सभी ब्लॉकों को पढ़ने की आवश्यकता होती है, और वर्चुओज़ो स्टोरेज के मामले में, परिवर्तित ब्लॉकों को लिखा जाता है "लॉग-स्ट्रक्चर्ड फ़ाइल सिस्टम" दृष्टिकोण का उपयोग करना, जो समता गणना लागत को कम करता है। अनुमान लगाने के लिए, ईसी के साथ और उसके बिना काम में तेजी लाने के लगभग विकल्प हैं कैलकुलेटर। - उपकरण निर्माता के सटीकता गुणांक के आधार पर आंकड़े अनुमानित हो सकते हैं, लेकिन गणना का परिणाम कॉन्फ़िगरेशन की योजना बनाने में एक अच्छी मदद है।

भंडारण घटकों के एक सरल आरेख का मतलब यह नहीं है कि ये घटक अवशोषित नहीं होते हैं लौह संसाधन, लेकिन यदि आप सभी लागतों की पहले से गणना करते हैं, तो आप हाइपरवाइज़र के बगल में सहयोग पर भरोसा कर सकते हैं।
सेफ और वर्चुओज़ो भंडारण सेवाओं द्वारा हार्डवेयर संसाधनों की खपत की तुलना करने की एक योजना है।

यदि पहले पुराने लेखों का उपयोग करके, उनमें से सबसे महत्वपूर्ण पंक्तियों का उपयोग करके ग्लस्टर और सेफ की तुलना करना संभव था, तो वर्चुओज़ो के साथ यह अधिक कठिन है। इस उत्पाद पर अधिक लेख नहीं हैं और जानकारी केवल दस्तावेज़ीकरण से ही प्राप्त की जा सकती है अंग्रेजी या रूसी में अगर हम Vstorage को ऐसी स्टोरेज के रूप में मानते हैं जिसका उपयोग कंपनियों में कुछ हाइपरकन्वर्ज्ड समाधानों में किया जाता है Rosplatforma और एक्रोनिस.

मैं इस वास्तुकला के विवरण में मदद करने की कोशिश करूंगा, इसलिए थोड़ा और पाठ होगा, लेकिन दस्तावेज़ को स्वयं समझने में बहुत समय लगता है, और मौजूदा दस्तावेज़ को केवल तालिका को संशोधित करके संदर्भ के रूप में उपयोग किया जा सकता है सामग्री की या कीवर्ड द्वारा खोज।

आइए ऊपर वर्णित घटकों के साथ हाइब्रिड हार्डवेयर कॉन्फ़िगरेशन में रिकॉर्डिंग प्रक्रिया पर विचार करें: रिकॉर्डिंग उस नोड पर जाना शुरू होती है जहां से क्लाइंट ने इसे शुरू किया था (FUSE माउंट पॉइंट सेवा), लेकिन मेटाडेटा सेवा (एमडीएस) मास्टर घटक निश्चित रूप से होगा क्लाइंट को सीधे वांछित चंक सेवा (भंडारण सेवा सीएस ब्लॉक) पर निर्देशित करें, यानी, एमडीएस रिकॉर्डिंग प्रक्रिया में भाग नहीं लेता है, बल्कि सेवा को आवश्यक चंक पर निर्देशित करता है। सामान्य तौर पर, हम बैरल में पानी डालने के साथ रिकॉर्डिंग की सादृश्यता दे सकते हैं। प्रत्येक बैरल 256MB डेटा ब्लॉक है।

यानी, एक डिस्क ऐसे बैरल की एक निश्चित संख्या है, यानी, डिस्क की मात्रा 256 एमबी से विभाजित है। प्रत्येक प्रतिलिपि एक नोड में वितरित की जाती है, दूसरी लगभग दूसरे नोड के समानांतर में, आदि... यदि हमारे पास तीन प्रतिकृतियां हैं और कैश के लिए एसएसडी डिस्क हैं (लॉग पढ़ने और लिखने के लिए), तो लिखने की पुष्टि लिखने के बाद होगी एसएसडी में लॉग इन करें, और एसएसडी से समानांतर रीसेट एचडीडी पर जारी रहेगा, जैसे कि पृष्ठभूमि में। तीन प्रतिकृतियों के मामले में, रिकॉर्ड तीसरे नोड के एसएसडी से पुष्टि के बाद प्रतिबद्ध किया जाएगा। ऐसा लग सकता है कि तीन एसएसडी की लिखने की गति के योग को तीन से विभाजित किया जा सकता है और हमें एक प्रतिकृति की लिखने की गति मिलेगी, लेकिन प्रतियां समानांतर में लिखी जाती हैं और नेटवर्क विलंबता गति आमतौर पर एसएसडी की तुलना में अधिक होती है, और वास्तव में लेखन प्रदर्शन नेटवर्क पर निर्भर करेगा। इस संबंध में, वास्तविक IOPS देखने के लिए, आपको संपूर्ण Vstorage को सही ढंग से लोड करने की आवश्यकता है कार्यप्रणाली, यानी, वास्तविक लोड का परीक्षण करना, न कि मेमोरी और कैश का, जहां सही डेटा ब्लॉक आकार, थ्रेड्स की संख्या आदि को ध्यान में रखना आवश्यक है।

एसएसडी पर उपर्युक्त रिकॉर्डिंग लॉग इस तरह से काम करता है कि जैसे ही डेटा इसमें आता है, इसे तुरंत सेवा द्वारा पढ़ा जाता है और एचडीडी पर लिखा जाता है। प्रति क्लस्टर कई मेटाडेटा सेवाएं (एमडीएस) हैं और उनकी संख्या कोरम द्वारा निर्धारित की जाती है, जो पैक्सोस एल्गोरिदम के अनुसार काम करती है। क्लाइंट के दृष्टिकोण से, FUSE माउंट पॉइंट एक क्लस्टर स्टोरेज फ़ोल्डर है जो क्लस्टर में सभी नोड्स को एक साथ दिखाई देता है, इस सिद्धांत के अनुसार प्रत्येक नोड में एक माउंटेड क्लाइंट होता है, इसलिए यह स्टोरेज प्रत्येक नोड के लिए उपलब्ध है।

ऊपर वर्णित किसी भी दृष्टिकोण के प्रदर्शन के लिए, योजना और परिनियोजन चरण में, नेटवर्क को सही ढंग से कॉन्फ़िगर करना बहुत महत्वपूर्ण है, जहां एकत्रीकरण और सही ढंग से चयनित नेटवर्क चैनल बैंडविड्थ के कारण संतुलन होगा। एकत्रीकरण में, सही हैशिंग मोड और फ़्रेम आकार चुनना महत्वपूर्ण है। ऊपर वर्णित एसडीएस से भी एक बहुत मजबूत अंतर है, यह Virtuozzo स्टोरेज में फास्ट पाथ तकनीक के साथ फ्यूज है। जो, आधुनिक फ़्यूज़ के अलावा, अन्य ओपन सोर्स समाधानों के विपरीत, IOPS को महत्वपूर्ण रूप से बढ़ाता है और आपको क्षैतिज या ऊर्ध्वाधर स्केलिंग द्वारा सीमित नहीं होने देता है। सामान्य तौर पर, ऊपर वर्णित आर्किटेक्चर की तुलना में, यह अधिक शक्तिशाली दिखता है, लेकिन इस तरह के आनंद के लिए, निश्चित रूप से, आपको सेफ और ग्लस्टर के विपरीत, लाइसेंस खरीदने की आवश्यकता है।

संक्षेप में, हम तीनों में से शीर्ष पर प्रकाश डाल सकते हैं: आर्किटेक्चर के प्रदर्शन और विश्वसनीयता के मामले में वर्चुओज़ो स्टोरेज पहले स्थान पर है, सेफ़ दूसरे स्थान पर है, और ग्लस्टर तीसरे स्थान पर है।

वे मानदंड जिनके द्वारा Virtuozzo स्टोरेज का चयन किया गया था: यह वास्तुशिल्प घटकों का एक इष्टतम सेट है, जो तेज़ पथ, हार्डवेयर कॉन्फ़िगरेशन के लचीले सेट, कम संसाधन खपत और गणना (कंप्यूटिंग / वर्चुअलाइजेशन) के साथ साझा करने की क्षमता के साथ इस फ़्यूज़ दृष्टिकोण के लिए आधुनिक है। अर्थात्, यह हाइपरकन्वर्ज्ड समाधान के लिए पूरी तरह से उपयुक्त है, जिसका वह हिस्सा है। दूसरे स्थान पर सेफ है क्योंकि यह ग्लस्टर की तुलना में अधिक उत्पादक वास्तुकला है, ब्लॉकों में इसके संचालन के साथ-साथ अधिक लचीले परिदृश्यों और बड़े समूहों में काम करने की क्षमता के कारण।

vSAN, स्पेस डायरेक्ट स्टोरेज, Vstorage और Nutanix स्टोरेज के बीच तुलना लिखने, HPE और Huawei उपकरणों पर Vstorage का परीक्षण करने, साथ ही बाहरी हार्डवेयर स्टोरेज सिस्टम के साथ Vstorage को एकीकृत करने के परिदृश्यों को लिखने की योजना है, इसलिए यदि आपको लेख पसंद आया, तो यह होगा आपसे प्रतिक्रिया पाकर अच्छा लगा, जिससे आपकी टिप्पणियों और इच्छाओं को ध्यान में रखते हुए नए लेखों के लिए प्रेरणा बढ़ सकती है।

स्रोत: www.habr.com