नई वस्तु भंडारण मेट्रिक्स

नेले-डिएल द्वारा फ्लाइंग किला

S3 ऑब्जेक्ट स्टोरेज कमांड Mail.ru क्लाउड स्टोरेज किसी वस्तु भंडारण को चुनते समय कौन से मानदंड महत्वपूर्ण हैं, इसके बारे में एक लेख का अनुवाद किया। लेखक के दृष्टिकोण से निम्नलिखित पाठ है।

जब वस्तु भंडारण की बात आती है, तो लोग आमतौर पर केवल एक ही चीज़ के बारे में सोचते हैं: कीमत प्रति टीबी/जीबी। बेशक, यह मीट्रिक महत्वपूर्ण है, लेकिन यह दृष्टिकोण को एकतरफा बनाता है और ऑब्जेक्ट स्टोरेज को आर्काइव स्टोरेज टूल के बराबर बनाता है। साथ ही, यह दृष्टिकोण एंटरप्राइज़ प्रौद्योगिकी स्टैक के लिए ऑब्जेक्ट स्टोरेज के महत्व को कम करता है।

ऑब्जेक्ट स्टोरेज चुनते समय, आपको पाँच विशेषताओं पर ध्यान देना चाहिए:

• प्रदर्शन;
• मापनीयता;
• S3 संगत;
• विफलताओं पर प्रतिक्रिया;
• अखंडता।

ये पाँच विशेषताएँ लागत के साथ-साथ वस्तु भंडारण के लिए नई मीट्रिक हैं। आइए उन सभी पर नजर डालें।

निष्पादन

पारंपरिक वस्तु भंडार में प्रदर्शन की कमी है। कम कीमतों के चक्कर में सेवा प्रदाताओं ने लगातार इसका त्याग किया। हालाँकि, आधुनिक वस्तु भंडारण के साथ चीजें अलग हैं।

विभिन्न भंडारण प्रणालियाँ Hadoop की गति तक पहुँचती हैं या उससे भी अधिक गति रखती हैं। पढ़ने और लिखने की गति के लिए आधुनिक आवश्यकताएँ: हार्ड ड्राइव के लिए 10 जीबी/सेकेंड से, एनवीएमई के लिए 35 जीबी/सेकेंड तक। 

यह थ्रूपुट एनालिटिक्स स्टैक में स्पार्क, प्रेस्टो, टेन्सरफ्लो, टेराडेटा, वर्टिका, स्प्लंक और अन्य आधुनिक कंप्यूटिंग फ्रेमवर्क के लिए पर्याप्त है। तथ्य यह है कि एमपीपी डेटाबेस को ऑब्जेक्ट स्टोरेज के लिए कॉन्फ़िगर किया जा रहा है, यह बताता है कि इसे प्राथमिक स्टोरेज के रूप में तेजी से उपयोग किया जा रहा है।

यदि आपका भंडारण सिस्टम आपको आवश्यक गति प्रदान नहीं करता है, तो आप डेटा का उपयोग नहीं कर सकते हैं और उससे मूल्य नहीं निकाल सकते हैं। भले ही आप ऑब्जेक्ट स्टोरेज से इन-मेमोरी प्रोसेसिंग संरचना में डेटा पुनर्प्राप्त करते हैं, फिर भी आपको डेटा को मेमोरी से स्थानांतरित करने के लिए बैंडविड्थ की आवश्यकता होगी। लीगेसी ऑब्जेक्ट स्टोर्स के पास इसकी पर्याप्त मात्रा नहीं है।

यह मुख्य बिंदु है: नया प्रदर्शन मीट्रिक थ्रूपुट है, विलंबता नहीं। यह बड़े पैमाने पर डेटा के लिए आवश्यक है और आधुनिक डेटा बुनियादी ढांचे में यह आदर्श है।

हालाँकि बेंचमार्क प्रदर्शन निर्धारित करने का एक अच्छा तरीका है, लेकिन इसे वातावरण में एप्लिकेशन चलाने से पहले सटीक रूप से मापा नहीं जा सकता है। इसके बाद ही आप कह सकते हैं कि वास्तव में अड़चन कहां है: सॉफ्टवेयर, डिस्क, नेटवर्क या कंप्यूटिंग स्तर पर।

scalability

स्केलेबिलिटी से तात्पर्य पेटाबाइट की संख्या से है जो एक नामस्थान में फिट होती है। विक्रेता जो दावा करते हैं वह आसान स्केलेबिलिटी है, जो वे नहीं कहते हैं वह यह है कि जैसे-जैसे वे बड़े होते हैं, बड़े पैमाने पर मोनोलिथिक सिस्टम नाजुक, जटिल, अस्थिर और महंगे हो जाते हैं।

स्केलेबिलिटी के लिए नया मीट्रिक उन नेमस्पेस या क्लाइंट्स की संख्या है जिन्हें आप सेवा दे सकते हैं। मीट्रिक सीधे हाइपरस्केलर्स से ली जाती है, जहां भंडारण बिल्डिंग ब्लॉक छोटे होते हैं लेकिन अरबों इकाइयों के पैमाने के होते हैं। सामान्य तौर पर, यह एक क्लाउड मीट्रिक है।

जब बिल्डिंग ब्लॉक छोटे होते हैं, तो उन्हें सुरक्षा, पहुंच नियंत्रण, नीति प्रबंधन, जीवनचक्र प्रबंधन और गैर-विघटनकारी अपडेट के लिए अनुकूलित करना आसान होता है। और अंततः उत्पादकता सुनिश्चित करते हैं। बिल्डिंग ब्लॉक का आकार विफलता क्षेत्र की नियंत्रणीयता का एक कार्य है, जिसके आधार पर अत्यधिक लचीले सिस्टम बनाए जाते हैं।

बहु-किरायेदारी की कई विशेषताएं हैं। जबकि आयाम बताता है कि संगठन डेटा और अनुप्रयोगों तक कैसे पहुंच प्रदान करते हैं, यह स्वयं अनुप्रयोगों और उन्हें एक-दूसरे से अलग करने के पीछे के तर्क को भी संदर्भित करता है।

बहु-ग्राहक के लिए आधुनिक दृष्टिकोण की विशेषताएं:

• थोड़े ही समय में ग्राहकों की संख्या कई सौ से बढ़कर कई मिलियन तक हो सकती है।
• ग्राहक एक-दूसरे से पूरी तरह अलग-थलग हैं। यह उन्हें एक ही सॉफ़्टवेयर के विभिन्न संस्करण चलाने और विभिन्न कॉन्फ़िगरेशन, अनुमतियाँ, सुविधाएँ, सुरक्षा और रखरखाव स्तरों के साथ ऑब्जेक्ट संग्रहीत करने की अनुमति देता है। नए सर्वर, अपडेट और भौगोलिक क्षेत्रों में स्केलिंग करते समय यह आवश्यक है।
• भंडारण लचीले ढंग से मापनीय है, मांग पर संसाधन उपलब्ध कराए जाते हैं।
• प्रत्येक ऑपरेशन को एक एपीआई द्वारा नियंत्रित किया जाता है और मानवीय हस्तक्षेप के बिना स्वचालित किया जाता है।
• सॉफ़्टवेयर को कंटेनरों में होस्ट किया जा सकता है और कुबेरनेट्स जैसे मानक ऑर्केस्ट्रेशन सिस्टम का उपयोग किया जा सकता है।

S3 संगत

Amazon S3 API ऑब्जेक्ट स्टोरेज के लिए वास्तविक मानक है। प्रत्येक ऑब्जेक्ट स्टोरेज सॉफ़्टवेयर विक्रेता इसके साथ अनुकूलता का दावा करता है। S3 के साथ संगतता द्विआधारी है: या तो यह पूरी तरह से लागू है या नहीं।

व्यवहार में, ऐसे सैकड़ों या हजारों किनारे परिदृश्य हैं जहां ऑब्जेक्ट स्टोरेज का उपयोग करते समय कुछ गलत हो जाता है। विशेष रूप से मालिकाना सॉफ़्टवेयर और सेवाओं के प्रदाताओं से। इसके मुख्य उपयोग के मामले प्रत्यक्ष संग्रह या बैकअप हैं, इसलिए एपीआई को कॉल करने के कुछ कारण हैं, उपयोग के मामले सजातीय हैं।

ओपन सोर्स सॉफ्टवेयर के महत्वपूर्ण फायदे हैं। यह अनुप्रयोगों, ऑपरेटिंग सिस्टम और हार्डवेयर आर्किटेक्चर के आकार और विविधता को देखते हुए अधिकांश किनारे के परिदृश्यों को कवर करता है।

यह सब एप्लिकेशन डेवलपर्स के लिए महत्वपूर्ण है, इसलिए स्टोरेज प्रदाताओं के साथ एप्लिकेशन का परीक्षण करना उचित है। ओपन सोर्स प्रक्रिया को आसान बनाता है—यह समझना आसान है कि आपके एप्लिकेशन के लिए कौन सा प्लेटफ़ॉर्म सही है। प्रदाता को भंडारण में प्रवेश के एकल बिंदु के रूप में उपयोग किया जा सकता है, जिसका अर्थ है कि यह आपकी आवश्यकताओं को पूरा करेगा। 

ओपन सोर्स का अर्थ है: एप्लिकेशन किसी विक्रेता से बंधे नहीं हैं और अधिक पारदर्शी हैं। यह एक लंबे अनुप्रयोग जीवनचक्र को सुनिश्चित करता है।

और ओपन सोर्स और S3 के बारे में कुछ और नोट्स। 

यदि आप एक बड़ा डेटा एप्लिकेशन चला रहे हैं, तो S3 SELECT परिमाण के आधार पर प्रदर्शन और दक्षता में सुधार करता है। यह एसक्यूएल का उपयोग करके केवल उन वस्तुओं को पुनर्प्राप्त करने के लिए करता है जिनकी आपको भंडारण से आवश्यकता होती है।

मुख्य बिंदु बकेट नोटिफिकेशन के लिए समर्थन है। बकेट नोटिफिकेशन सर्वर रहित कंप्यूटिंग की सुविधा प्रदान करता है, जो किसी भी माइक्रोसर्विस आर्किटेक्चर का एक महत्वपूर्ण घटक है जो एक सेवा के रूप में वितरित किया जाता है। यह देखते हुए कि ऑब्जेक्ट स्टोरेज प्रभावी रूप से क्लाउड स्टोरेज है, यह क्षमता तब महत्वपूर्ण हो जाती है जब ऑब्जेक्ट स्टोरेज का उपयोग क्लाउड-आधारित अनुप्रयोगों द्वारा किया जाता है।

अंत में, S3 कार्यान्वयन को Amazon S3 सर्वर-साइड एन्क्रिप्शन API का समर्थन करना चाहिए: SSE-C, SSE-S3, SSE-KMS। इससे भी बेहतर, S3 छेड़छाड़ से सुरक्षा का समर्थन करता है जो वास्तव में सुरक्षित है। 

असफलताओं पर प्रतिक्रिया

एक मीट्रिक जिसे संभवतः अक्सर अनदेखा कर दिया जाता है वह यह है कि सिस्टम विफलताओं को कैसे संभालता है। विफलताएं कई कारणों से होती हैं, और ऑब्जेक्ट स्टोरेज को उन सभी को संभालना होगा।

उदाहरण के लिए, विफलता का एक बिंदु है, इसका मीट्रिक शून्य है।

दुर्भाग्य से, कई ऑब्जेक्ट स्टोरेज सिस्टम विशेष नोड्स का उपयोग करते हैं जिन्हें क्लस्टर के ठीक से काम करने के लिए सक्षम किया जाना चाहिए। इनमें नाम नोड्स या मेटाडेटा सर्वर शामिल हैं - यह विफलता का एक बिंदु बनाता है।

यहां तक ​​कि जहां विफलता के कई बिंदु हों, विनाशकारी विफलता को झेलने की क्षमता सर्वोपरि है। डिस्क विफल, सर्वर विफल। विफलता को सामान्य स्थिति के रूप में संभालने के लिए डिज़ाइन किया गया सॉफ़्टवेयर बनाना महत्वपूर्ण है। यदि कोई डिस्क या नोड विफल हो जाता है, तो ऐसा सॉफ़्टवेयर बिना बदलाव के काम करना जारी रखेगा।

डेटा मिटाने और डेटा क्षरण के खिलाफ अंतर्निहित सुरक्षा यह सुनिश्चित करती है कि आप उतने ही डिस्क या नोड्स खो सकते हैं जितने आपके पास समता ब्लॉक हैं - आमतौर पर आधे डिस्क। तभी सॉफ्टवेयर डेटा वापस करने में असमर्थ होगा।

लोड के तहत विफलता का परीक्षण शायद ही कभी किया जाता है, लेकिन ऐसे परीक्षण की आवश्यकता होती है। लोड विफलता का अनुकरण विफलता के बाद हुई कुल लागत दिखाएगा।

स्थिरता

100% की स्थिरता स्कोर को सख्त स्थिरता भी कहा जाता है। संगति किसी भी भंडारण प्रणाली का एक प्रमुख घटक है, लेकिन मजबूत स्थिरता दुर्लभ है। उदाहरण के लिए, Amazon S3 ListObject सख्ती से सुसंगत नहीं है, यह केवल अंत में सुसंगत है।

सख्त निरंतरता से क्या तात्पर्य है? पुष्टि किए गए PUT ऑपरेशन के बाद सभी ऑपरेशनों के लिए, निम्नलिखित होना चाहिए:

• किसी भी नोड से पढ़ने पर अद्यतन मान दिखाई देता है।
• अद्यतन नोड विफलता अतिरेक से सुरक्षित है।

इसका मतलब यह है कि यदि आप रिकॉर्डिंग के बीच में प्लग खींचते हैं, तो कुछ भी खो नहीं जाएगा। सिस्टम कभी भी दूषित या पुराना डेटा नहीं लौटाता। यह एक उच्च पट्टी है जो लेनदेन संबंधी अनुप्रयोगों से लेकर बैकअप और पुनर्प्राप्ति तक कई परिदृश्यों में मायने रखती है।

निष्कर्ष

ये नए ऑब्जेक्ट स्टोरेज मेट्रिक्स हैं जो आज के संगठनों में उपयोग पैटर्न को दर्शाते हैं, जहां प्रदर्शन, स्थिरता, स्केलेबिलिटी, गलती डोमेन और एस 3 संगतता क्लाउड अनुप्रयोगों और बड़े डेटा एनालिटिक्स के लिए बिल्डिंग ब्लॉक हैं। मैं आधुनिक डेटा स्टैक बनाते समय कीमत के अतिरिक्त इस सूची का उपयोग करने की सलाह देता हूं। 

Mail.ru क्लाउड सॉल्यूशंस ऑब्जेक्ट स्टोरेज के बारे में: S3 वास्तुकला. Mail.ru क्लाउड स्टोरेज के विकास के 3 साल.

और क्या पढ़ें:

1. Mail.ru क्लाउड सॉल्यूशंस के S3 ऑब्जेक्ट स्टोरेज में वेबहुक पर आधारित इवेंट-संचालित एप्लिकेशन का एक उदाहरण.
2. सेफ से अधिक: एमसीएस क्लाउड ब्लॉक स्टोरेज 
3. फ़ाइल सिस्टम के रूप में Mail.ru क्लाउड सॉल्यूशंस S3 ऑब्जेक्ट स्टोरेज के साथ कार्य करना.
4. S3 स्टोरेज और अन्य उत्पादों के अपडेट के बारे में समाचारों के साथ हमारा टेलीग्राम चैनल. 

स्रोत: www.habr.com