नवीन ऑब्जेक्ट स्टोरेज मेट्रिक्स

नेले-डील द्वारे उडणारा किल्ला

S3 ऑब्जेक्ट स्टोरेज कमांड Mail.ru क्लाउड स्टोरेज ऑब्जेक्ट स्टोरेज निवडताना कोणते निकष महत्वाचे आहेत याबद्दल लेख अनुवादित केला. लेखकाच्या दृष्टीकोनातून खालील मजकूर आहे.

जेव्हा ऑब्जेक्ट स्टोरेजचा विचार केला जातो, तेव्हा लोक सामान्यतः फक्त एका गोष्टीबद्दल विचार करतात: प्रति TB/GB किंमत. अर्थात, हा मेट्रिक महत्त्वाचा आहे, परंतु तो दृष्टीकोन एकतर्फी बनवतो आणि आर्काइव्ह स्टोरेज टूलसह ऑब्जेक्ट स्टोरेजची बरोबरी करतो. शिवाय, हा दृष्टिकोन एंटरप्राइझ तंत्रज्ञान स्टॅकसाठी ऑब्जेक्ट स्टोरेजचे महत्त्व कमी करतो.

ऑब्जेक्ट स्टोरेज निवडताना, आपण पाच वैशिष्ट्यांकडे लक्ष दिले पाहिजे:

• कामगिरी;
• स्केलेबिलिटी;
• S3 सुसंगत;
• अपयशांना प्रतिसाद;
• अखंडता

ही पाच वैशिष्ट्ये किंमतीसह ऑब्जेक्ट स्टोरेजसाठी नवीन मेट्रिक्स आहेत. चला ते सर्व पाहूया.

उत्पादकता

पारंपारिक ऑब्जेक्ट स्टोअरमध्ये कार्यक्षमतेचा अभाव आहे. सेवा प्रदात्यांनी कमी किमतीच्या मागे लागून त्याचा सतत त्याग केला. तथापि, आधुनिक ऑब्जेक्ट स्टोरेजसह गोष्टी वेगळ्या आहेत.

विविध स्टोरेज सिस्टीम हडूपच्या वेगापर्यंत पोहोचतात किंवा त्यापेक्षा जास्त असतात. वाचन आणि लेखन गतीसाठी आधुनिक आवश्यकता: हार्ड ड्राइव्हसाठी 10 GB/s पासून, NVMe साठी 35 GB/s पर्यंत. 

हे थ्रूपुट स्पार्क, प्रेस्टो, टेन्सरफ्लो, टेराडेटा, व्हर्टिका, स्प्लंक आणि विश्लेषण स्टॅकमधील इतर आधुनिक संगणकीय फ्रेमवर्कसाठी पुरेसे आहे. MPP डेटाबेस ऑब्जेक्ट स्टोरेजसाठी कॉन्फिगर केले जात आहेत हे सूचित करते की ते अधिकाधिक प्राथमिक स्टोरेज म्हणून वापरले जात आहे.

तुमची स्टोरेज सिस्टीम तुम्हाला आवश्यक गती देत ​​नसल्यास, तुम्ही डेटा वापरू शकत नाही आणि त्यातून मूल्य काढू शकत नाही. जरी तुम्ही ऑब्जेक्ट स्टोरेजमधून इन-मेमरी प्रोसेसिंग स्ट्रक्चरमध्ये डेटा पुनर्प्राप्त केला तरीही, तुम्हाला मेमरीमध्ये आणि त्यामधून डेटा हस्तांतरित करण्यासाठी बँडविड्थची आवश्यकता असेल. लेगसी ऑब्जेक्ट स्टोअरमध्ये ते पुरेसे नाही.

हा मुख्य मुद्दा आहे: नवीन कार्यप्रदर्शन मेट्रिक थ्रूपुट आहे, विलंब नाही. हे स्केल डेटासाठी आवश्यक आहे आणि आधुनिक डेटा इन्फ्रास्ट्रक्चरमध्ये सर्वसामान्य प्रमाण आहे.

बेंचमार्क हे कार्यप्रदर्शन निर्धारित करण्याचा एक चांगला मार्ग असला तरी, वातावरणात अनुप्रयोग चालवण्यापूर्वी ते अचूकपणे मोजले जाऊ शकत नाही. त्यानंतरच तुम्ही सांगू शकता की अडथळे कुठे आहेत: सॉफ्टवेअर, डिस्क, नेटवर्क किंवा संगणकीय स्तरावर.

स्केलेबिलिटी

स्केलेबिलिटी म्हणजे एका नेमस्पेसमध्ये बसणार्‍या पेटाबाइट्सची संख्या. विक्रेते ज्याचा दावा करतात ते सोपे स्केलेबिलिटी आहे, ते काय म्हणत नाहीत ते असे आहे की ते जसे मापन करतात, मोठ्या मोनोलिथिक प्रणाली नाजूक, जटिल, अस्थिर आणि महाग होतात.

स्केलेबिलिटीसाठी नवीन मेट्रिक म्हणजे नेमस्पेसेस किंवा क्लायंटची संख्या ज्या तुम्ही सेवा देऊ शकता. मेट्रिक थेट हायपरस्केलर्सकडून घेतले जाते, जेथे स्टोरेज बिल्डिंग ब्लॉक्स लहान असतात परंतु अब्जावधी युनिट्सपर्यंत असतात. सर्वसाधारणपणे, हे क्लाउड मेट्रिक आहे.

जेव्हा बिल्डिंग ब्लॉक्स लहान असतात, तेव्हा ते सुरक्षितता, ऍक्सेस कंट्रोल, पॉलिसी मॅनेजमेंट, लाइफसायकल मॅनेजमेंट आणि विना-व्यत्यय अपडेट्ससाठी ऑप्टिमाइझ करणे सोपे असते. आणि शेवटी उत्पादकता सुनिश्चित करा. बिल्डिंग ब्लॉकचा आकार हा अयशस्वी प्रदेशाच्या नियंत्रणक्षमतेचा एक कार्य आहे, ज्यामुळे उच्च लवचिक प्रणाली तयार केल्या जातात.

मल्टी-टेनन्सीची अनेक वैशिष्ट्ये आहेत. संस्था डेटा आणि ऍप्लिकेशन्समध्ये प्रवेश कसा प्रदान करतात हे परिमाण बोलत असताना, ते स्वतः ऍप्लिकेशन्स आणि त्यांना एकमेकांपासून वेगळे ठेवण्यामागील तर्क देखील सूचित करते.

मल्टी-क्लायंटसाठी आधुनिक दृष्टिकोनाची वैशिष्ट्ये:

• अल्पावधीत, क्लायंटची संख्या शंभर ते अनेक दशलक्षांपर्यंत वाढू शकते.
• ग्राहक एकमेकांपासून पूर्णपणे अलिप्त आहेत. हे त्यांना एकाच सॉफ्टवेअरच्या भिन्न आवृत्त्या चालवण्यास आणि भिन्न कॉन्फिगरेशन, परवानग्या, वैशिष्ट्ये, सुरक्षा आणि देखभाल पातळीसह वस्तू संग्रहित करण्यास अनुमती देते. नवीन सर्व्हर, अद्यतने आणि भौगोलिक स्थानांवर स्केलिंग करताना हे आवश्यक आहे.
• स्टोरेज लवचिकपणे स्केलेबल आहे, मागणीनुसार संसाधने प्रदान केली जातात.
• प्रत्येक ऑपरेशन API द्वारे नियंत्रित केले जाते आणि मानवी हस्तक्षेपाशिवाय स्वयंचलित आहे.
• सॉफ्टवेअर कंटेनरमध्ये होस्ट केले जाऊ शकते आणि कुबर्नेट्स सारख्या मानक ऑर्केस्ट्रेशन सिस्टम वापरतात.

S3 सुसंगत

Amazon S3 API हे ऑब्जेक्ट स्टोरेजसाठी वास्तविक मानक आहे. प्रत्येक ऑब्जेक्ट स्टोरेज सॉफ्टवेअर विक्रेता त्याच्याशी सुसंगततेचा दावा करतो. S3 सह सुसंगतता बायनरी आहे: एकतर ती पूर्णपणे अंमलात आली आहे किंवा ती नाही.

व्यवहारात, शेकडो किंवा हजारो किनारी परिस्थिती आहेत जिथे ऑब्जेक्ट स्टोरेज वापरताना काहीतरी चूक होते. विशेषत: मालकीचे सॉफ्टवेअर आणि सेवा प्रदात्यांकडून. त्याची मुख्य वापर प्रकरणे थेट संग्रहण किंवा बॅकअप आहेत, त्यामुळे API कॉल करण्याची काही कारणे आहेत, वापर प्रकरणे एकसंध आहेत.

मुक्त स्रोत सॉफ्टवेअरचे महत्त्वपूर्ण फायदे आहेत. हे ऍप्लिकेशन्स, ऑपरेटिंग सिस्टम आणि हार्डवेअर आर्किटेक्चर्सचा आकार आणि विविधता लक्षात घेऊन, बहुतेक किनारी परिस्थिती समाविष्ट करते.

हे सर्व अॅप्लिकेशन डेव्हलपर्ससाठी महत्त्वाचे आहे, त्यामुळे स्टोरेज प्रदात्यांसोबत अॅप्लिकेशनची चाचणी घेणे योग्य आहे. मुक्त स्रोत प्रक्रिया सुलभ करते—तुमच्या अर्जासाठी कोणते प्लॅटफॉर्म योग्य आहे हे समजणे सोपे आहे. प्रदात्याचा वापर स्टोरेजमध्ये प्रवेशाचा एकल बिंदू म्हणून केला जाऊ शकतो, याचा अर्थ ते आपल्या गरजा पूर्ण करेल. 

मुक्त स्त्रोत म्हणजे: अनुप्रयोग विक्रेत्याशी जोडलेले नाहीत आणि ते अधिक पारदर्शक आहेत. हे दीर्घ अनुप्रयोग जीवनचक्र सुनिश्चित करते.

आणि मुक्त स्रोत आणि S3 बद्दल आणखी काही टिपा. 

तुम्ही मोठा डेटा अॅप्लिकेशन चालवत असल्यास, S3 SELECT परिमाणाच्या क्रमाने कार्यप्रदर्शन आणि कार्यक्षमता सुधारते. स्टोरेजमधून तुम्हाला आवश्यक असलेल्या वस्तू पुनर्प्राप्त करण्यासाठी SQL वापरून हे करते.

मुख्य मुद्दा म्हणजे बकेट सूचनांसाठी समर्थन. बकेट नोटिफिकेशन सर्व्हरलेस कंप्युटिंगची सुविधा देतात, सेवा म्हणून वितरित केलेल्या कोणत्याही मायक्रोसर्व्हिस आर्किटेक्चरचा एक महत्त्वाचा घटक. ऑब्जेक्ट स्टोरेज प्रभावीपणे क्लाउड स्टोरेज आहे हे लक्षात घेता, क्लाउड-आधारित ऍप्लिकेशन्सद्वारे ऑब्जेक्ट स्टोरेज वापरले जाते तेव्हा ही क्षमता गंभीर बनते.

शेवटी, S3 अंमलबजावणीने Amazon S3 सर्व्हर-साइड एन्क्रिप्शन API चे समर्थन केले पाहिजे: SSE-C, SSE-S3, SSE-KMS. आणखी चांगले, S3 छेडछाड संरक्षणास समर्थन देते जे खरोखर सुरक्षित आहे. 

अपयशांना प्रतिसाद

एक मेट्रिक ज्याकडे बहुधा दुर्लक्ष केले जाते ते म्हणजे सिस्टम अपयश कसे हाताळते. विविध कारणांमुळे अयशस्वी होतात आणि ऑब्जेक्ट स्टोरेजने ते सर्व हाताळले पाहिजेत.

उदाहरणार्थ, अपयशाचा एकच बिंदू आहे, याचे मेट्रिक शून्य आहे.

दुर्दैवाने, अनेक ऑब्जेक्ट स्टोरेज सिस्टम विशेष नोड्स वापरतात जे क्लस्टर योग्यरित्या कार्य करण्यासाठी सक्षम केले पाहिजेत. यामध्ये नाव नोड्स किंवा मेटाडेटा सर्व्हर समाविष्ट आहेत - यामुळे अपयशाचा एकच बिंदू निर्माण होतो.

अपयशाचे अनेक मुद्दे असले तरी, आपत्तीजनक अपयशाला तोंड देण्याची क्षमता सर्वोपरि आहे. डिस्क अयशस्वी, सर्व्हर अयशस्वी. सामान्य स्थितीप्रमाणे अपयश हाताळण्यासाठी डिझाइन केलेले सॉफ्टवेअर तयार करणे ही मुख्य गोष्ट आहे. डिस्क किंवा नोड अयशस्वी झाल्यास, असे सॉफ्टवेअर बदलांशिवाय कार्य करत राहील.

डेटा इरेजर आणि डेटा डिग्रेडेशन विरूद्ध अंगभूत संरक्षण हे सुनिश्चित करते की तुमच्याकडे पॅरिटी ब्लॉक्स असलेल्या डिस्क्स किंवा नोड्स - सामान्यतः अर्ध्या डिस्क्स तुम्ही गमावू शकता. तरच सॉफ्टवेअर डेटा परत करण्यास अक्षम असेल.

लोड अंतर्गत अपयशाची चाचणी क्वचितच केली जाते, परंतु अशी चाचणी आवश्यक आहे. लोड फेल्युअरचे नक्कल केल्याने बिघाड झाल्यानंतर आलेला एकूण खर्च दर्शविला जाईल.

सुसंगतता

100% च्या सातत्य स्कोअरला कठोर सुसंगतता देखील म्हणतात. सुसंगतता हा कोणत्याही स्टोरेज सिस्टमचा मुख्य घटक आहे, परंतु मजबूत सुसंगतता दुर्मिळ आहे. उदाहरणार्थ, Amazon S3 ListObject काटेकोरपणे सुसंगत नाही, ते फक्त शेवटी सुसंगत आहे.

कठोर सुसंगतता म्हणजे काय? पुष्टी केलेल्या PUT ऑपरेशननंतरच्या सर्व ऑपरेशन्ससाठी, खालील गोष्टी घडल्या पाहिजेत:

• कोणत्याही नोडमधून वाचताना अद्यतनित मूल्य दृश्यमान आहे.
• अद्यतन नोड अयशस्वी रिडंडंसीपासून संरक्षित आहे.

याचा अर्थ असा की जर तुम्ही रेकॉर्डिंगच्या मध्यभागी प्लग खेचला तर काहीही गमावले जाणार नाही. सिस्टम कधीही दूषित किंवा कालबाह्य डेटा परत करत नाही. हा एक उच्च बार आहे जो व्यवहाराच्या अनुप्रयोगांपासून बॅकअप आणि पुनर्प्राप्तीपर्यंत अनेक परिस्थितींमध्ये महत्त्वाचा आहे.

निष्कर्ष

हे नवीन ऑब्जेक्ट स्टोरेज मेट्रिक्स आहेत जे आजच्या संस्थांमधील वापराचे नमुने प्रतिबिंबित करतात, जेथे कार्यप्रदर्शन, सातत्य, स्केलेबिलिटी, फॉल्ट डोमेन आणि S3 सुसंगतता क्लाउड ऍप्लिकेशन्स आणि मोठ्या डेटा विश्लेषणासाठी बिल्डिंग ब्लॉक्स आहेत. मी आधुनिक डेटा स्टॅक तयार करताना किंमतीव्यतिरिक्त ही सूची वापरण्याची शिफारस करतो. 

Mail.ru Cloud Solutions ऑब्जेक्ट स्टोरेज बद्दल: S3 आर्किटेक्चर. Mail.ru क्लाउड स्टोरेजच्या उत्क्रांतीची 3 वर्षे.

आणखी काय वाचायचे:

1. Mail.ru क्लाउड सोल्यूशन्सच्या S3 ऑब्जेक्ट स्टोरेजमधील वेबहुकवर आधारित इव्हेंट-चालित अनुप्रयोगाचे उदाहरण.
2. Ceph पेक्षा जास्त: MCS क्लाउड ब्लॉक स्टोरेज 
3. फाइल सिस्टम म्हणून Mail.ru Cloud Solutions S3 ऑब्जेक्ट स्टोरेजसह कार्य करणे.
4. आमचे टेलीग्राम चॅनल S3 स्टोरेज आणि इतर उत्पादनांच्या अपडेट्सच्या बातम्यांसह. 

स्त्रोत: www.habr.com