नयाँ वस्तु भण्डारण मेट्रिक्स

नेले-डिएल द्वारा उडान किल्ला

S3 वस्तु भण्डारण आदेश Mail.ru क्लाउड भण्डारण वस्तु भण्डारण छनौट गर्दा कुन मापदण्डहरू महत्त्वपूर्ण छन् भन्ने बारे एउटा लेख अनुवाद गरियो। लेखकको दृष्टिकोणबाट निम्न पाठ हो।

जब वस्तु भण्डारणको कुरा आउँछ, मानिसहरू सामान्यतया एउटा कुराको बारेमा सोच्छन्: मूल्य प्रति TB/GB। निस्सन्देह, यो मेट्रिक महत्त्वपूर्ण छ, तर यसले दृष्टिकोणलाई एक-पक्षीय बनाउँछ र वस्तु भण्डारणलाई अभिलेख भण्डारण उपकरणसँग बराबर गर्छ। साथै, यस दृष्टिकोणले इन्टरप्राइज टेक्नोलोजी स्ट्याकको लागि वस्तु भण्डारणको महत्त्व कम गर्दछ।

वस्तु भण्डारण छनौट गर्दा, तपाईंले पाँच विशेषताहरूमा ध्यान दिनुपर्छ:

• प्रदर्शन;
• स्केलेबिलिटी;
• S3 संगत;
• असफलता को प्रतिक्रिया;
• अखण्डता।

यी पाँच विशेषताहरू लागतको साथमा वस्तु भण्डारणका लागि नयाँ मेट्रिक्स हुन्। ती सबैलाई हेरौं।

उत्पादकता

परम्परागत वस्तु स्टोरहरूमा प्रदर्शनको कमी छ। सेवा प्रदायकहरूले कम मूल्यको खोजीमा यसलाई निरन्तर बलिदान दिए। यद्यपि, आधुनिक वस्तु भण्डारण चीजहरू फरक छन्।

विभिन्न भण्डारण प्रणालीहरू पहुँच वा हडूपको गति भन्दा बढि। पढ्ने र लेख्ने गतिका लागि आधुनिक आवश्यकताहरू: हार्ड ड्राइभका लागि 10 GB/s बाट, NVMe का लागि 35 GB/s सम्म। 

यो थ्रुपुट Spark, Presto, Tensorflow, Teradata, Vertica, Splunk र एनालिटिक्स स्ट्याकमा रहेका अन्य आधुनिक कम्प्युटिङ फ्रेमवर्कका लागि पर्याप्त छ। वस्तु भण्डारणको लागि MPP डाटाबेसहरू कन्फिगर गरिँदैछ भन्ने तथ्यले यो बढ्दो रूपमा प्राथमिक भण्डारणको रूपमा प्रयोग भइरहेको छ भनी बताउँछ।

यदि तपाईंको भण्डारण प्रणालीले तपाईंलाई आवश्यक गति प्रदान गर्दैन भने, तपाईंले डेटा प्रयोग गर्न सक्नुहुन्न र त्यसबाट मूल्य निकाल्न सक्नुहुन्न। यदि तपाईले वस्तु भण्डारणबाट डेटा इन-मेमोरी प्रशोधन संरचनामा पुन: प्राप्त गर्नुभयो भने, तपाईलाई अझै पनि मेमोरीमा र डेटा स्थानान्तरण गर्न ब्यान्डविथ चाहिन्छ। लिगेसी वस्तु स्टोरहरूमा यसको पर्याप्त छैन।

यो मुख्य बिन्दु हो: नयाँ प्रदर्शन मेट्रिक थ्रुपुट हो, विलम्बता होइन। यो स्केलमा डेटाको लागि आवश्यक छ र आधुनिक डेटा पूर्वाधारमा सामान्य हो।

जबकि बेन्चमार्कहरू प्रदर्शन निर्धारण गर्न एक राम्रो तरिका हो, यो वातावरणमा अनुप्रयोग चलाउनु अघि सही मापन गर्न सकिँदैन। यो पछि मात्र तपाईले भन्न सक्नुहुन्छ कि बाधा कहाँ छ: सफ्टवेयर, डिस्क, नेटवर्क वा कम्प्युटिङ स्तरमा।

स्केलेबिलिटी

स्केलेबिलिटीले एउटा नेमस्पेसमा फिट हुने पेटाबाइटको सङ्ख्यालाई जनाउँछ। विक्रेताहरूले के दाबी गर्छन् सजिलो स्केलेबिलिटी हो, तिनीहरूले के भन्दैनन् कि तिनीहरूले मापन गर्दा, विशाल मोनोलिथिक प्रणालीहरू कमजोर, जटिल, अस्थिर र महँगो हुन्छन्।

स्केलेबिलिटीको लागि नयाँ मेट्रिक भनेको तपाईंले सेवा दिन सक्ने नेमस्पेस वा ग्राहकहरूको संख्या हो। मेट्रिक सिधै हाइपरस्केलरहरूबाट लिइन्छ, जहाँ भण्डारण निर्माण ब्लकहरू साना छन् तर अरबौं एकाइहरूमा स्केल छन्। सामान्यतया, यो क्लाउड मेट्रिक हो।

जब निर्माण ब्लकहरू साना हुन्छन्, तिनीहरू सुरक्षा, पहुँच नियन्त्रण, नीति व्यवस्थापन, जीवनचक्र व्यवस्थापन, र गैर-विघटनकारी अद्यावधिकहरूको लागि अनुकूलन गर्न सजिलो हुन्छन्। र अन्ततः उत्पादकता सुनिश्चित गर्नुहोस्। बिल्डिंग ब्लकको साइज विफलता क्षेत्रको नियन्त्रणको कार्य हो, जुन कसरी उच्च लचिलो प्रणालीहरू निर्माण गरिन्छ।

बहु-भाडामा धेरै विशेषताहरू छन्। जबकि आयामले संगठनहरूले डेटा र अनुप्रयोगहरूमा पहुँच कसरी प्रदान गर्दछ भनेर बोल्छ, यसले अनुप्रयोगहरू आफैं र तिनीहरूलाई एकअर्काबाट अलग पार्ने तर्कलाई पनि जनाउँछ।

बहु-ग्राहकको लागि आधुनिक दृष्टिकोणको विशेषताहरू:

• छोटो समयमा, ग्राहकहरूको संख्या धेरै सय बाट धेरै मिलियनमा बढ्न सक्छ।
• ग्राहकहरू एक अर्काबाट पूर्ण रूपमा अलग छन्। यसले तिनीहरूलाई एउटै सफ्टवेयरको विभिन्न संस्करणहरू चलाउन र विभिन्न कन्फिगरेसनहरू, अनुमतिहरू, सुविधाहरू, सुरक्षा र मर्मतसम्भार स्तरहरूसँग वस्तुहरू भण्डारण गर्न अनुमति दिन्छ। नयाँ सर्भरहरू, अद्यावधिकहरू, र भौगोलिकहरूमा स्केलिंग गर्दा यो आवश्यक छ।
• भण्डारण लोचदार रूपमा स्केलेबल छ, स्रोतहरू मागमा प्रदान गरिन्छ।
• प्रत्येक अपरेशन एपीआई द्वारा नियन्त्रित छ र मानव हस्तक्षेप बिना स्वचालित छ।
• सफ्टवेयरलाई कन्टेनरहरूमा होस्ट गर्न सकिन्छ र कुबर्नेट्स जस्ता मानक अर्केस्ट्रेशन प्रणालीहरू प्रयोग गर्न सकिन्छ।

S3 संगत

Amazon S3 API वस्तु भण्डारणको लागि वास्तविक मानक हो। प्रत्येक वस्तु भण्डारण सफ्टवेयर विक्रेता यसको संग अनुकूलता दावी गर्दछ। S3 संग अनुकूलता बाइनरी हो: या त यो पूर्ण रूपमा लागू गरिएको छ वा यो छैन।

अभ्यासमा, त्यहाँ सयौं वा हजारौं किनारा परिदृश्यहरू छन् जहाँ वस्तु भण्डारण प्रयोग गर्दा केहि गलत हुन्छ। विशेष गरी स्वामित्व सफ्टवेयर र सेवाहरू प्रदायकहरूबाट। यसको मुख्य प्रयोग केसहरू प्रत्यक्ष अभिलेख वा ब्याकअप हुन्, त्यसैले API लाई कल गर्ने केही कारणहरू छन्, प्रयोगका केसहरू समान छन्।

खुला स्रोत सफ्टवेयरको महत्त्वपूर्ण फाइदाहरू छन्। यसले एप, अपरेटिङ सिस्टम, र हार्डवेयर आर्किटेक्चरको साइज र विविधतालाई ध्यानमा राखेर अधिकांश किनारा परिदृश्यहरू समेट्छ।

यो सबै अनुप्रयोग विकासकर्ताहरूको लागि महत्त्वपूर्ण छ, त्यसैले यो भण्डारण प्रदायकहरूसँग अनुप्रयोग परीक्षण गर्न लायक छ। खुला स्रोतले प्रक्रियालाई सजिलो बनाउँछ—तपाईँको आवेदनको लागि कुन प्लेटफर्म सही छ भनेर बुझ्न सजिलो हुन्छ। प्रदायकलाई भण्डारणमा प्रविष्टिको एकल बिन्दुको रूपमा प्रयोग गर्न सकिन्छ, यसको मतलब यसले तपाईंको आवश्यकताहरू पूरा गर्नेछ। 

खुला स्रोत भनेको: अनुप्रयोगहरू विक्रेतासँग बाँधिएका छैनन् र अधिक पारदर्शी छन्। यसले लामो आवेदन जीवनचक्र सुनिश्चित गर्दछ।

र खुला स्रोत र S3 बारे केही थप टिप्पणीहरू। 

यदि तपाइँ ठूलो डेटा अनुप्रयोग चलाउँदै हुनुहुन्छ भने, S3 SELECT ले परिमाणको अर्डरद्वारा प्रदर्शन र दक्षता सुधार गर्दछ। तपाईले भण्डारणबाट आवश्यक वस्तुहरू मात्र पुन: प्राप्त गर्न SQL प्रयोग गरेर यो गर्छ।

मुख्य बिन्दु बाल्टी सूचनाहरूको लागि समर्थन हो। बकेट अधिसूचनाहरूले सर्भरलेस कम्प्युटिङलाई सुविधा दिन्छ, कुनै पनि माइक्रोसर्भिस आर्किटेक्चरको महत्त्वपूर्ण भाग जुन सेवाको रूपमा डेलिभर गरिन्छ। वस्तु भण्डारण प्रभावकारी रूपमा क्लाउड भण्डारण हो भनेर दिइएको छ, क्लाउड-आधारित अनुप्रयोगहरू द्वारा वस्तु भण्डारण प्रयोग गर्दा यो क्षमता महत्वपूर्ण हुन्छ।

अन्तमा, S3 कार्यान्वयनले Amazon S3 सर्भर-साइड एन्क्रिप्शन API लाई समर्थन गर्नुपर्छ: SSE-C, SSE-S3, SSE-KMS। अझ राम्रो, S3 ले छेडछाड संरक्षणलाई समर्थन गर्दछ जुन वास्तवमै सुरक्षित छ। 

असफलताहरूको प्रतिक्रिया

एक मेट्रिक जुन प्राय: बेवास्ता गरिन्छ प्रणालीले कसरी विफलताहरू ह्यान्डल गर्छ। विफलताहरू विभिन्न कारणहरूका लागि हुन्छन्, र वस्तु भण्डारणले ती सबैलाई ह्यान्डल गर्नुपर्छ।

उदाहरणका लागि, त्यहाँ असफलताको एकल बिन्दु छ, यसको मेट्रिक शून्य छ।

दुर्भाग्यवश, धेरै वस्तु भण्डारण प्रणालीहरूले विशेष नोडहरू प्रयोग गर्छन् जुन क्लस्टरलाई ठीकसँग काम गर्न सक्षम हुनुपर्छ। यसमा नाम नोडहरू वा मेटाडेटा सर्भरहरू समावेश छन् - यसले विफलताको एकल बिन्दु सिर्जना गर्दछ।

असफलताका धेरै बिन्दुहरू भए पनि, विनाशकारी असफलतालाई सामना गर्ने क्षमता सर्वोपरि हुन्छ। डिस्क असफल, सर्भर असफल। कुञ्जी भनेको सामान्य अवस्थाको रूपमा असफलतालाई ह्यान्डल गर्न डिजाइन गरिएको सफ्टवेयर सिर्जना गर्नु हो। यदि डिस्क वा नोड असफल भएमा, त्यस्ता सफ्टवेयर बिना परिवर्तन काम गर्न जारी रहनेछ।

डाटा इरेजर र डाटा डिग्रेडेसन विरुद्ध निर्मित सुरक्षाले तपाइँसँग समानता ब्लकहरू - सामान्यतया आधा डिस्कहरू भएका डिस्क वा नोडहरू हराउन सक्नुहुन्छ भन्ने सुनिश्चित गर्दछ। त्यसपछि मात्र सफ्टवेयर डाटा फिर्ता गर्न असक्षम हुनेछ।

असफलता लोड अन्तर्गत विरलै परीक्षण गरिन्छ, तर यस्तो परीक्षण आवश्यक छ। लोड विफलता अनुकरण गर्दा असफलता पछि लाग्ने कुल लागतहरू देखाउनेछ।

एकरूपता

100% को एक स्थिरता स्कोरलाई सख्त स्थिरता पनि भनिन्छ। स्थिरता कुनै पनि भण्डारण प्रणालीको एक प्रमुख घटक हो, तर बलियो स्थिरता दुर्लभ छ। उदाहरण को लागी, Amazon S3 ListObject कडाई संग संगत छैन, यो अन्त मा मात्र संगत छ।

कडा एकरूपता भन्नाले के बुझिन्छ? पुष्टि गरिएको PUT अपरेसन पछि सबै अपरेसनहरूको लागि, निम्न हुनुपर्दछ:

• कुनै पनि नोडबाट पढ्दा अद्यावधिक गरिएको मान देखिन्छ।
• अद्यावधिक नोड विफलता रिडन्डन्सी विरुद्ध सुरक्षित छ।

यसको मतलब यो हो कि यदि तपाईंले रेकर्डिङको बीचमा प्लग तान्नु भयो भने, केहि पनि हराउने छैन। प्रणालीले कहिल्यै भ्रष्ट वा पुरानो डाटा फिर्ता गर्दैन। यो एक उच्च पट्टी हो जुन लेनदेन अनुप्रयोगहरूबाट ब्याकअप र रिकभरी सम्म धेरै परिदृश्यहरूमा महत्त्वपूर्ण हुन्छ।

निष्कर्षमा

यी नयाँ वस्तु भण्डारण मेट्रिक्स हुन् जसले आजका संगठनहरूमा प्रयोग ढाँचाहरू प्रतिबिम्बित गर्दछ, जहाँ प्रदर्शन, स्थिरता, स्केलेबिलिटी, गल्ती डोमेनहरू र S3 अनुकूलता क्लाउड अनुप्रयोगहरू र ठूला डाटा एनालिटिक्सका लागि निर्माण ब्लकहरू हुन्। म आधुनिक डेटा स्ट्याकहरू निर्माण गर्दा मूल्यको अतिरिक्त यो सूची प्रयोग गर्न सिफारिस गर्दछु। 

Mail.ru क्लाउड समाधान वस्तु भण्डारण बारे: S3 वास्तुकला। Mail.ru क्लाउड भण्डारणको विकासको ३ वर्ष.

अरु के पढ्ने:

1. S3 वस्तु भण्डारण Mail.ru Cloud Solutions मा वेबहुकहरूमा आधारित घटना-संचालित अनुप्रयोगको उदाहरण.
2. Ceph भन्दा बढि: MCS क्लाउड ब्लक भण्डारण 
3. फाइल प्रणालीको रूपमा Mail.ru Cloud Solutions S3 वस्तु भण्डारणसँग काम गर्दै.
4. हाम्रो टेलिग्राम च्यानल S3 भण्डारण र अन्य उत्पादनहरूमा अद्यावधिकहरू बारे समाचारहरू सहित. 

स्रोत: www.habr.com