क्यों OceanStor Dorado V6 सबसे तेज और सबसे विश्वसनीय भंडारण समाधान है

कृपया शीर्षक के कारण निष्कर्ष पर न पहुँचें! इसका समर्थन करने के लिए हमारे पास वजनदार तर्क हैं, और हमने उन्हें यथासंभव सघन रूप से पैक किया है। हम आपके ध्यान में हमारे नए स्टोरेज सिस्टम के संचालन की अवधारणा और सिद्धांतों के बारे में एक पोस्ट लाए हैं, जिसे जनवरी 2020 में जारी किया गया था।

हमारी राय में, Dorado V6 स्टोरेज परिवार का मुख्य प्रतिस्पर्धी लाभ शीर्षक में उल्लिखित प्रदर्शन और विश्वसनीयता द्वारा प्रदान किया गया है। हां, हां, यह इतना आसान है, लेकिन हम इस "सरल" को हासिल करने में कितने मुश्किल और इतने मुश्किल फैसले लेने में कामयाब रहे, हम आज बात करेंगे।

नई पीढ़ी की प्रणालियों की क्षमता को बेहतर ढंग से उजागर करने के लिए, हम मॉडल रेंज (मॉडल 8000, 18000) के पुराने प्रतिनिधियों के बारे में बात करेंगे। जब तक अन्यथा न कहा जाए, वे होने के लिए हैं।

बाजार के बारे में कुछ शब्द

बाजार में हुआवेई समाधानों की स्थिति को बेहतर ढंग से समझने के लिए, आइए एक सिद्ध मापदंड की ओर मुड़ें - "जादू चतुर्भुज» गार्टनर। दो साल पहले, सामान्य-उद्देश्य डिस्क सरणी क्षेत्र में, हमारी कंपनी ने आत्मविश्वास से नेताओं के समूह में प्रवेश किया, जो केवल NetApp और Hewlett Packard Enterprise के बाद दूसरे स्थान पर था। 2018 में SSD स्टोरेज मार्केट में हुआवेई की स्थिति को "चैलेंजर" की स्थिति की विशेषता थी, लेकिन नेतृत्व की स्थिति हासिल करने के लिए कुछ गायब था।

2019 में, गार्टनर ने अपने अध्ययन में उपरोक्त दोनों क्षेत्रों को एक - "मुख्य भंडारण" में जोड़ दिया। परिणामस्वरूप, आईबीएम, हिताची वंतारा और इनफिनिडैट जैसे विक्रेताओं के बाद हुआवेई एक बार फिर अग्रणी चतुर्थांश में आ गया।

तस्वीर को पूरा करने के लिए, हम ध्यान दें कि गार्टनर अमेरिकी बाजार में विश्लेषण के लिए 80% डेटा एकत्र करता है, और यह उन कंपनियों के पक्ष में एक महत्वपूर्ण पूर्वाग्रह की ओर ले जाता है जो अमेरिका में अच्छी तरह से प्रतिनिधित्व करते हैं। इस बीच, यूरोपीय और एशियाई बाजारों के लिए उन्मुख आपूर्तिकर्ता खुद को स्पष्ट रूप से कम लाभप्रद स्थिति में पाते हैं। इसके बावजूद, पिछले साल हुआवेई उत्पादों ने ऊपरी दाएं चतुर्थांश में अपना सही स्थान ले लिया और गार्टनर के फैसले के अनुसार, "इस्तेमाल के लिए सिफारिश की जा सकती है।"

डोराडो V6 में नया क्या है

डोरैडो V6 उत्पाद लाइन, विशेष रूप से, प्रवेश-स्तर 3000 श्रृंखला प्रणालियों द्वारा प्रस्तुत की जाती है। प्रारंभ में दो नियंत्रकों से सुसज्जित, उन्हें क्षैतिज रूप से 16 नियंत्रकों, 1200 ड्राइव और 192 जीबी कैश तक विस्तारित किया जा सकता है। साथ ही, सिस्टम बाहरी फाइबर चैनल (8/16/32 Gb/s) और ईथरनेट (1/10/25/40/100 Gb/s) पोर्ट से लैस होगा।

ध्यान दें कि ऐसे प्रोटोकॉल का उपयोग जो व्यावसायिक रूप से सफल नहीं है, अब समाप्त किया जा रहा है, इसलिए प्रारंभ में हमने फाइबर चैनल ओवर इथरनेट (FCoE) और Infiniband (IB) के लिए समर्थन छोड़ने का निर्णय लिया। उन्हें बाद के फर्मवेयर संस्करणों में जोड़ा जाएगा। फैब्रिक पर एनवीएमई (एनवीएमई-ओएफ) के लिए समर्थन फाइबर चैनल के शीर्ष पर बॉक्स से बाहर उपलब्ध है। अगला फर्मवेयर, जो जून में रिलीज के लिए निर्धारित है, ईथरनेट मोड पर NVMe का समर्थन करने के लिए निर्धारित है। हमारी राय में, उपरोक्त सेट ज्यादातर Huawei ग्राहकों की जरूरतों को पूरा करेगा।

वर्तमान फर्मवेयर संस्करण में फ़ाइल एक्सेस उपलब्ध नहीं है और वर्ष के अंत में अगले अपडेट में से एक में दिखाई देगा। अतिरिक्त उपकरणों के उपयोग के बिना, ईथरनेट बंदरगाहों के साथ नियंत्रकों द्वारा, स्थानीय स्तर पर कार्यान्वयन माना जाता है।

Dorado V6 3000 श्रृंखला मॉडल और पुराने वाले के बीच मुख्य अंतर यह है कि यह बैकएंड पर एक प्रोटोकॉल - SAS 3.0 का समर्थन करता है। तदनुसार, वहां ड्राइव का उपयोग केवल नामित इंटरफ़ेस के साथ किया जा सकता है। हमारे दृष्टिकोण से, इसके द्वारा प्रदान किया गया प्रदर्शन इस प्रकार के डिवाइस के लिए काफी पर्याप्त है।

Dorado V6 5000 और 6000 श्रृंखला प्रणालियां मध्य-श्रेणी के समाधान हैं। वे फॉर्म फैक्टर 2U में भी बने हैं और दो नियंत्रकों से सुसज्जित हैं। वे प्रदर्शन, प्रोसेसर की संख्या, डिस्क की अधिकतम संख्या और कैश आकार में एक दूसरे से भिन्न होते हैं। हालाँकि, वास्तुकला और इंजीनियरिंग की दृष्टि से, डोरैडो V6 5000 और 6000 समान हैं और समान दिखते हैं।

हाई-एंड क्लास में Dorado V6 8000 और 18000 सीरीज़ सिस्टम शामिल हैं। 4U आकार में निर्मित, उनके पास डिफ़ॉल्ट रूप से एक अलग आर्किटेक्चर है, जिसमें नियंत्रक और ड्राइव अलग-अलग स्थान पर हैं। वे कम से कम दो नियंत्रकों के साथ भी आ सकते हैं, हालांकि ग्राहक आमतौर पर चार या अधिक की मांग करते हैं।

डोरैडो V6 8000 16 नियंत्रकों तक और डोरैडो V6 18000 32 तक स्केल करता है। इन प्रणालियों में अलग-अलग संख्या में कोर और कैश आकार के साथ अलग-अलग प्रोसेसर होते हैं। उसी समय, इंजीनियरिंग समाधानों की पहचान को संरक्षित किया जाता है, जैसा कि मध्य-अंत वर्ग के मॉडल में होता है।

2 Gb/s की बैंडविड्थ के साथ RDMA के माध्यम से 100U स्टोरेज शेल्फ जुड़े हुए हैं। पुराना डोरैडो V6 बैकएंड भी SAS 3.0 का समर्थन करता है, लेकिन इस इंटरफ़ेस के साथ SSDs के मामले में कीमत में बहुत अधिक गिरावट आई है। तब कम उत्पादकता को ध्यान में रखते हुए भी उनके उपयोग की आर्थिक व्यवहार्यता होगी। फिलहाल, एसएएस और एनवीएमई इंटरफेस वाले एसएसडी के बीच लागत का अंतर इतना कम है कि हम इस तरह के समाधान की सिफारिश करने के लिए तैयार नहीं हैं।

नियंत्रक के अंदर

Dorado V6 कंट्रोलर हमारे अपने एलिमेंट बेस पर बने हैं। इंटेल से कोई प्रोसेसर नहीं, ब्रॉडकॉम से कोई एएसआईसी नहीं। इस प्रकार, मदरबोर्ड का हर एक घटक, साथ ही स्वयं मदरबोर्ड, अमेरिकी कंपनियों के प्रतिबंधों के दबाव से जुड़े जोखिमों के प्रभाव से पूरी तरह से दूर हो जाता है। जिन लोगों ने हमारे किसी भी उपकरण को अपनी आँखों से देखा है, उन्होंने शायद लोगो के नीचे लाल पट्टी वाली ढाल देखी होगी। इसका मतलब है कि उत्पाद में अमेरिकी घटक नहीं हैं। यह हुआवेई का आधिकारिक पाठ्यक्रम है - अपने स्वयं के उत्पादन के घटकों के लिए संक्रमण, या किसी भी मामले में, उन देशों में उत्पादित जो अमेरिकी नीति का पालन नहीं करते हैं।

यहां आप कंट्रोलर बोर्ड पर ही देख सकते हैं।

• यूनिवर्सल नेटवर्क इंटरफेस (हिसिलिकॉन 1822 चिप) फाइबर चैनल या ईथरनेट से कनेक्ट करने के लिए जिम्मेदार है।
• सिस्टम की पूर्ण विशेषताओं वाले रिमोट कंट्रोल और निगरानी के लिए सिस्टम बीएमसी चिप, अर्थात् हिसिलिकॉन 1710 की रिमोट एक्सेसिबिलिटी प्रदान करना। इसी तरह के सर्वर हमारे सर्वर और अन्य समाधानों में भी उपयोग किए जाते हैं।
• सेंट्रल प्रोसेसिंग यूनिट, जो हुवेई द्वारा निर्मित एआरएम आर्किटेक्चर पर निर्मित कुनपेंग 920 चिप है। यह वह है जो उपरोक्त आरेख में दिखाया गया है, हालांकि अन्य नियंत्रकों के पास अलग-अलग संख्या में कोर, एक अलग घड़ी की गति आदि के साथ अलग-अलग मॉडल हो सकते हैं। एक नियंत्रक में प्रोसेसर की संख्या भी मॉडल से मॉडल में बदलती है। उदाहरण के लिए, पुराने डोरैडो V6 श्रृंखला में, उनमें से चार एक बोर्ड पर हैं।
• SSD कंट्रोलर (हिसिलिकॉन 1812e चिप) जो SAS और NVMe दोनों ड्राइव को सपोर्ट करता है। इसके अलावा, हुआवेई स्वतंत्र रूप से एसएसडी का उत्पादन करती है, लेकिन खुद एनएएनडी सेल का निर्माण नहीं करती है, उन्हें दुनिया के चार सबसे बड़े निर्माताओं से अनकट सिलिकॉन वेफर्स के रूप में खरीदना पसंद करती है। चिप्स में काटना, परीक्षण करना और पैकेजिंग करना हुआवेई स्वतंत्र रूप से उत्पादन करता है, जिसके बाद वह उन्हें अपने ब्रांड के तहत जारी करता है।
• आरोही 310 कृत्रिम बुद्धिमत्ता चिप है। डिफ़ॉल्ट रूप से, यह नियंत्रक पर अनुपस्थित है और एक अलग कार्ड के माध्यम से लगाया जाता है, जो नेटवर्क एडेप्टर के लिए आरक्षित स्लॉट में से एक पर कब्जा कर लेता है। चिप का उपयोग बुद्धिमान कैश व्यवहार, प्रदर्शन प्रबंधन या डुप्लिकेशन और संपीड़न प्रक्रियाओं को प्रदान करने के लिए किया जाता है। इन सभी कार्यों को सेंट्रल प्रोसेसर की मदद से हल किया जा सकता है, लेकिन एआई चिप आपको इसे और अधिक कुशलता से करने की अनुमति देती है।

कुनपेंग प्रोसेसर के बारे में अलग से

कुनपेंग प्रोसेसर एक चिप (एसओसी) पर एक प्रणाली है, जहां कंप्यूटिंग यूनिट के अतिरिक्त, हार्डवेयर मॉड्यूल होते हैं जो विभिन्न प्रक्रियाओं को तेज करते हैं, जैसे चेकसम की गणना करना या इरेज़र कोडिंग निष्पादित करना। यह SAS, ईथरनेट, DDR4 (छह से आठ चैनलों से), आदि के लिए हार्डवेयर समर्थन को भी लागू करता है। यह सब हुआवेई को स्टोरेज कंट्रोलर बनाने की अनुमति देता है जो क्लासिक इंटेल समाधानों के प्रदर्शन में हीन नहीं हैं।

इसके अलावा, एआरएम आर्किटेक्चर पर आधारित मालिकाना समाधान हुआवेई को पूर्ण सर्वर समाधान बनाने और x86 के विकल्प के रूप में अपने ग्राहकों को पेश करने में सक्षम बनाता है।

नई डोरैडो V6 आर्किटेक्चर...

पुरानी श्रृंखला के स्टोरेज सिस्टम डोरैडो V6 की आंतरिक वास्तुकला को चार मुख्य उप डोमेन (कारखानों) द्वारा दर्शाया गया है।

पहला कारखाना एक सामान्य दृश्यपटल (सैन कारखाने या मेजबानों के साथ संचार के लिए जिम्मेदार नेटवर्क इंटरफेस) है।

दूसरा नियंत्रकों का एक सेट है, जिनमें से प्रत्येक आरडीएमए प्रोटोकॉल के माध्यम से किसी भी फ्रंट-एंड नेटवर्क कार्ड और पड़ोसी "इंजन" दोनों के लिए "पहुंच" सकता है, जो चार नियंत्रकों वाला एक बॉक्स है, साथ ही शक्ति और शीतलन भी है। उनके लिए सामान्य इकाइयाँ। अब हाई-एंड क्लास डोरैडो V6 मॉडल दो ऐसे "इंजन" (क्रमशः, आठ नियंत्रक) से लैस हो सकते हैं।

तीसरा कारखाना बैकएंड के लिए जिम्मेदार है और इसमें RDMA 100G नेटवर्क कार्ड शामिल हैं।

अंत में, चौथा कारखाना "हार्डवेयर में" प्लग-इन बुद्धिमान भंडारण अलमारियों द्वारा दर्शाया गया है।

यह सममित संरचना NVMe प्रौद्योगिकी की पूरी क्षमता को उजागर करती है और उच्च प्रदर्शन और विश्वसनीयता की गारंटी देती है। I / O प्रक्रिया प्रोसेसर और कोर में अधिकतम समानांतर है, एक साथ कई थ्रेड्स को पढ़ने और लिखने की सुविधा प्रदान करती है।

…और उसने हमें क्या दिया

Dorado V6 समाधानों का अधिकतम प्रदर्शन पिछली पीढ़ी के सिस्टम (उसी वर्ग के) की तुलना में लगभग तीन गुना अधिक है और 20 मिलियन IOPS तक पहुंच सकता है।

यह इस तथ्य के कारण है कि पिछली पीढ़ी के उपकरणों में, NVMe समर्थन केवल ड्राइव के साथ ड्रॉ-इन अलमारियों तक विस्तारित था। अब यह होस्ट से लेकर एसएसडी तक सभी चरणों में मौजूद है। बैकएंड नेटवर्क में भी बदलाव आया है: SAS/PCIe ने RoCEv2 को 100 Gb/s के थ्रूपुट के साथ रास्ता दिया है।

SSD फॉर्म फैक्टर भी बदल गया है। यदि पहले 2U शेल्फ प्रति 25 ड्राइव थे, तो अब इसे 36 हथेली के आकार के भौतिक डिस्क तक लाया गया है। इसके अलावा, अलमारियां "बुद्धिमान" हैं। उनमें से प्रत्येक में अब एआरएम चिप्स पर आधारित दो नियंत्रकों की दोष-सहिष्णु प्रणाली है, जो केंद्रीय नियंत्रकों में स्थापित हैं।

अब तक, वे केवल डेटा पुनर्गठन में लगे हुए हैं, लेकिन नए फर्मवेयर की रिहाई के साथ, इसमें संपीड़न और इरेज़र कोडिंग को जोड़ा जाएगा, जो मुख्य नियंत्रकों पर लोड को 15 से 5% तक कम कर देगा। एक ही समय में कुछ कार्यों को शेल्फ पर स्थानांतरित करने से आंतरिक नेटवर्क की बैंडविड्थ मुक्त हो जाती है। और यह सब सिस्टम की मापनीयता क्षमता को महत्वपूर्ण रूप से बढ़ाता है।

पिछली पीढ़ी के स्टोरेज सिस्टम में संपीड़न और डुप्लीकेशन निश्चित-लंबाई वाले ब्लॉकों के साथ किया गया था। अब, चर लंबाई के ब्लॉकों के साथ काम करने का एक तरीका जोड़ा गया है, जिसे अब तक जबरन चालू करने की आवश्यकता है। बाद के अपडेट इस परिस्थिति को बदल सकते हैं।

विफलताओं के लिए सहनशीलता के बारे में भी संक्षेप में। यदि दो नियंत्रकों में से एक विफल हो जाता है तो डोरैडो V3 चालू रहता है। डोरैडो V6 डेटा की उपलब्धता सुनिश्चित करेगा भले ही आठ में से सात नियंत्रक उत्तराधिकार में विफल हों या एक इंजन में से चार एक साथ विफल हों।

अर्थशास्त्र के संदर्भ में विश्वसनीयता

हाल ही में, हुआवेई के ग्राहकों के बीच एक सर्वेक्षण किया गया था कि आईटी अवसंरचना के व्यक्तिगत तत्वों का कितना डाउनटाइम कंपनी स्वीकार्य मानती है। अधिकांश भाग के लिए, उत्तरदाता एक काल्पनिक स्थिति के प्रति सहिष्णु थे जिसमें एप्लिकेशन कुछ सौ सेकंड के भीतर प्रतिक्रिया नहीं देता। ऑपरेटिंग सिस्टम या होस्ट बस एडॉप्टर के लिए, दसियों सेकंड (अनिवार्य रूप से रिबूट समय) महत्वपूर्ण डाउनटाइम थे। ग्राहक नेटवर्क पर और भी अधिक मांग करते हैं: इसकी बैंडविड्थ 10-20 सेकंड से अधिक के लिए गायब नहीं होनी चाहिए। जैसा कि आप अनुमान लगा सकते हैं, सबसे गंभीर रूप से महत्वपूर्ण उत्तरदाताओं ने स्टोरेज सिस्टम विफलताओं पर विचार किया। व्यापार प्रतिनिधियों के दृष्टिकोण से, साधारण भंडारण ... वर्ष में कुछ सेकंड से अधिक नहीं होना चाहिए!

दूसरे शब्दों में, यदि बैंक का क्लाइंट एप्लिकेशन 100 सेकंड के लिए प्रतिक्रिया नहीं देता है, तो यह सबसे अधिक विनाशकारी परिणाम नहीं देगा। लेकिन अगर भंडारण प्रणाली उसी राशि के लिए काम नहीं करती है, तो व्यवसाय ठप होने और महत्वपूर्ण वित्तीय नुकसान होने की संभावना है।

ऊपर दिया गया चार्ट दस सबसे बड़े बैंकों (2017 के फोर्ब्स डेटा) के लिए एक घंटे के काम की लागत को दर्शाता है। सहमत हूं, अगर आपकी कंपनी चीनी बैंकों के आकार के करीब पहुंच रही है, तो कई मिलियन डॉलर में स्टोरेज सिस्टम खरीदने की आवश्यकता को सही ठहराना इतना मुश्किल नहीं होगा। उलटा कथन भी सही है: यदि किसी व्यवसाय को डाउनटाइम के दौरान महत्वपूर्ण नुकसान नहीं होता है, तो यह हाई-एंड स्टोरेज सिस्टम खरीदने की संभावना नहीं है। किसी भी मामले में, इस बात का अंदाजा होना जरूरी है कि आपके बटुए में किस आकार का छेद होने का खतरा है, जबकि सिस्टम एडमिनिस्ट्रेटर स्टोरेज सिस्टम से निपटता है जिसने काम करने से इनकार कर दिया है।

सेकंड प्रति फेलओवर

उपरोक्त उदाहरण में समाधान A में, आप हमारी पिछली पीढ़ी के Dorado V3 सिस्टम को पहचान सकते हैं। इसके चार नियंत्रक जोड़े में काम करते हैं, और केवल दो नियंत्रकों में कैश की प्रतियां होती हैं। एक जोड़ी के भीतर नियंत्रक लोड को पुनर्वितरित कर सकते हैं। साथ ही, जैसा कि आप देख सकते हैं, यहां कोई फ्रंट-एंड और बैक-एंड "कारखाने" नहीं हैं, इसलिए प्रत्येक स्टोरेज शेल्फ एक विशिष्ट नियंत्रक जोड़ी से जुड़ा हुआ है।

समाधान बी आरेख वर्तमान में किसी अन्य विक्रेता (मान्यता प्राप्त?) से बाजार पर एक समाधान दिखाता है। यहां पहले से ही फ्रंट-एंड और बैक-एंड फैक्ट्रियां हैं, और ड्राइव एक साथ चार नियंत्रकों से जुड़े हैं। सच है, ऐसी बारीकियां हैं जो सिस्टम के आंतरिक एल्गोरिदम के काम में पहले सन्निकटन में स्पष्ट नहीं हैं।

दाईं ओर हमारा वर्तमान डोरैडो V6 स्टोरेज आर्किटेक्चर है जिसमें इंटर्नल का पूरा सेट है। विचार करें कि ये प्रणालियाँ एक विशिष्ट स्थिति से कैसे बचती हैं - एक नियंत्रक की विफलता।

शास्त्रीय प्रणालियों में, जिसमें डोरैडो V3 शामिल है, विफलता के मामले में लोड को पुनर्वितरित करने के लिए आवश्यक अवधि चार सेकंड तक पहुंच जाती है। इस समय के दौरान, I/O पूरी तरह से बंद हो जाता है। अधिक आधुनिक वास्तुकला के बावजूद, हमारे सहयोगियों के समाधान बी में छह सेकंड की विफलता पर और भी अधिक डाउनटाइम है।

भंडारण डोरैडो V6 विफलता के बाद सिर्फ एक सेकंड में अपना काम बहाल करता है। यह परिणाम एक सजातीय आंतरिक RDMA वातावरण के लिए धन्यवाद प्राप्त किया गया है जो नियंत्रक को "विदेशी" मेमोरी तक पहुंचने की अनुमति देता है। दूसरी महत्वपूर्ण परिस्थिति फ्रंट-एंड फैक्ट्री की उपस्थिति है, जिसकी बदौलत मेजबान के लिए रास्ता नहीं बदलता है। पोर्ट वही रहता है, और मल्टीपासिंग ड्राइवरों द्वारा लोड को केवल स्वस्थ नियंत्रकों को भेजा जाता है।

डोरैडो V6 में दूसरे नियंत्रक की विफलता को उसी योजना के अनुसार एक सेकंड में पूरा किया जाता है। Dorado V3 में लगभग छह सेकंड लगते हैं, और दूसरे विक्रेता के समाधान में नौ लगते हैं। कई DBMS के लिए, ऐसे अंतराल को अब स्वीकार्य नहीं माना जा सकता है, क्योंकि इस समय के दौरान सिस्टम स्टैंडबाय मोड में चला जाता है और काम करना बंद कर देता है। यह सबसे पहले DBMS की चिंता करता है जिसमें कई खंड होते हैं।

तीसरे नियंत्रक समाधान ए की विफलता जीवित रहने में सक्षम नहीं है। केवल इस तथ्य के कारण कि डेटा डिस्क के हिस्से तक पहुंच खो गई है। बदले में, समाधान बी ऐसी स्थिति में अपनी कार्य क्षमता को पुनर्स्थापित करता है, जो पिछले मामले की तरह नौ सेकंड लेता है।

डोरैडो V6 में क्या है? एक सेकंड।

एक सेकेंड में क्या किया जा सकता है

लगभग कुछ भी नहीं, लेकिन हमें इसकी आवश्यकता नहीं है। एक बार फिर, हाई-एंड क्लास के डोरैडो V6 में, फ्रंट-एंड फैक्ट्री को कंट्रोलर फैक्ट्री से अलग किया जाता है। इसका मतलब है कि किसी विशिष्ट नियंत्रक से संबंधित हार्ड-कोडेड पोर्ट नहीं हैं। फ़ेलओवर में वैकल्पिक पथ खोजना या मल्टीपासिंग को फिर से शुरू करना शामिल नहीं है। सिस्टम पहले की तरह ही काम कर रहा है।

एकाधिक विफलता सहिष्णुता

पुराने Dorado V6 मॉडल किसी भी "इंजन" से किन्हीं दो (!) नियंत्रकों की एक साथ विफलता से आसानी से बच सकते हैं। यह इस तथ्य से संभव हुआ है कि समाधान अब कैश की तीन प्रतियाँ रखता है। इसलिए, दोहरी विफलता के साथ भी, हमेशा एक पूर्ण प्रतिलिपि होगी।

"इंजनों" में से एक में सभी चार नियंत्रकों की एक समकालिक विफलता भी घातक परिणाम नहीं देगी, क्योंकि कैश की सभी तीन प्रतियां किसी भी समय "इंजनों" के बीच वितरित की जाती हैं। सिस्टम स्वयं कार्य के ऐसे तर्क के अनुपालन की निगरानी करता है।

अंत में, एक बहुत ही असंभावित परिदृश्य आठ में से सात नियंत्रकों की क्रमिक विफलता है। इसके अलावा, संचालन क्षमता बनाए रखने के लिए व्यक्तिगत विफलताओं के बीच न्यूनतम स्वीकार्य अंतराल 15 मिनट है। इस समय के दौरान, स्टोरेज सिस्टम के पास कैश माइग्रेशन के लिए आवश्यक संचालन करने का समय होता है।

अंतिम जीवित नियंत्रक डेटा स्टोर चलाएगा और कैश को पांच दिनों तक बनाए रखेगा (डिफ़ॉल्ट मान, जिसे सेटिंग्स में आसानी से बदला जा सकता है)। उसके बाद, कैश अक्षम हो जाएगा, लेकिन स्टोरेज सिस्टम काम करना जारी रखेगा।

परेशान न करने वाले अपडेट

नया OS Dorado V6 आपको नियंत्रकों को रिबूट किए बिना स्टोरेज फ़र्मवेयर को अपडेट करने की अनुमति देता है।

ऑपरेटिंग सिस्टम, जैसा कि पिछले समाधानों के मामले में, लिनक्स पर आधारित है, हालाँकि, कई ऑपरेटिंग प्रक्रियाओं को कर्नेल से उपयोगकर्ता मोड में स्थानांतरित कर दिया गया है। अधिकांश कार्य, जैसे डुप्लीकेशन और संपीड़न के लिए जिम्मेदार, अब नियमित डेमॉन पृष्ठभूमि में चल रहे हैं। नतीजतन, अलग-अलग मॉड्यूल को अपडेट करने के लिए पूरे ऑपरेटिंग सिस्टम को बदलना जरूरी नहीं है। मान लीजिए, एक नए प्रोटोकॉल के लिए समर्थन जोड़ने के लिए, केवल संबंधित सॉफ़्टवेयर मॉड्यूल को बंद करना और एक नया प्रारंभ करना आवश्यक होगा।

यह स्पष्ट है कि सिस्टम को पूरी तरह से अपडेट करने के मुद्दे अभी भी बने हुए हैं, क्योंकि कर्नेल में ऐसे तत्व हो सकते हैं जिन्हें अपडेट करने की आवश्यकता है। लेकिन वे, हमारी टिप्पणियों के अनुसार, कुल के 6% से कम हैं। यह आपको नियंत्रकों को पहले की तुलना में दस गुना कम बार रीबूट करने की अनुमति देता है।

आपदा सहिष्णु और उच्च उपलब्धता (एचए/डीआर) समाधान

डोरैडो V6 बॉक्स से बाहर भू-वितरित समाधानों, शहर-स्तरीय समूहों (मेट्रो) और "ट्रिपल" डेटा केंद्रों में एकीकरण के लिए तैयार है।

ऊपर के उदाहरण में बाईं ओर एक मेट्रो क्लस्टर है जो पहले से ही कई लोगों से परिचित है। दो स्टोरेज सिस्टम एक दूसरे से 100 किमी की दूरी पर सक्रिय / सक्रिय मोड में काम करते हैं। एक या एक से अधिक कोरम सर्वर वाले इस तरह के बुनियादी ढांचे को हमारे फ्यूज़नस्फेयर क्लाउड ऑपरेटिंग सिस्टम सहित विभिन्न कंपनियों के समाधानों द्वारा समर्थित किया जा सकता है। ऐसी परियोजनाओं में विशेष महत्व साइटों के बीच चैनल की विशेषताएं हैं, हमारे मामले में अन्य सभी कार्यों को हाइपरमेट्रो फ़ंक्शन द्वारा लिया जाता है, फिर से, बॉक्स से बाहर। फाइबर चैनल के साथ-साथ IP नेटवर्क में iSCSI पर एकीकरण संभव है, यदि ऐसी आवश्यकता उत्पन्न होती है। समर्पित "डार्क" ऑप्टिक्स की अनिवार्य उपस्थिति की अब आवश्यकता नहीं है, क्योंकि सिस्टम मौजूदा चैनलों के माध्यम से संवाद करने में सक्षम है।

ऐसी प्रणालियों का निर्माण करते समय, भंडारण के लिए केवल हार्डवेयर की आवश्यकता प्रतिकृति के लिए बंदरगाहों का आवंटन है। लाइसेंस खरीदना, कोरम सर्वर चलाना - भौतिक या आभासी - और नियंत्रकों (10 एमबीपीएस, 50 एमएस) को आईपी कनेक्टिविटी प्रदान करना पर्याप्त है।

इस आर्किटेक्चर को तीन डेटा केंद्रों वाले सिस्टम में आसानी से स्थानांतरित किया जा सकता है (चित्रण के दाईं ओर देखें)। उदाहरण के लिए, जब दो डेटा केंद्र मेट्रो क्लस्टर मोड में काम करते हैं, और तीसरी साइट, जो 100 किमी से अधिक की दूरी पर स्थित है, अतुल्यकालिक प्रतिकृति का उपयोग करती है।

प्रणाली तकनीकी रूप से विभिन्न व्यावसायिक परिदृश्यों का समर्थन करती है जो बड़े पैमाने पर अतिरिक्त होने की स्थिति में लागू की जाएगी।

कई विफलताओं के साथ एक मेट्रो क्लस्टर का अस्तित्व

ऊपर और नीचे एक क्लासिक मेट्रो क्लस्टर भी दिखाया गया है, जिसमें दो स्टोरेज सिस्टम और एक कोरम सर्वर शामिल है। जैसा कि आप देख सकते हैं, कई विफलताओं के नौ संभावित परिदृश्यों में से छह में, हमारा बुनियादी ढांचा चालू रहेगा।

उदाहरण के लिए, दूसरे परिदृश्य में, यदि कोरम सर्वर विफल हो जाता है और साइटों के बीच सिंक्रनाइज़ेशन विफल हो जाता है, तो सिस्टम उत्पादक बना रहता है क्योंकि दूसरी साइट काम करना बंद कर देती है। यह व्यवहार पहले से ही अंतर्निर्मित एल्गोरिथम में अंतर्निहित है।

तीन विफलताओं के बाद भी, सूचनाओं तक पहुंच को बनाए रखा जा सकता है यदि उनके बीच का अंतराल कम से कम 15 सेकंड हो।

आस्तीन से सामान्य ट्रम्प कार्ड

याद रखें कि हुआवेई न केवल स्टोरेज सिस्टम बनाती है, बल्कि नेटवर्क उपकरणों की पूरी श्रृंखला भी बनाती है। आप जो भी स्टोरेज प्रदाता चुनते हैं, अगर साइटों के बीच WDM नेटवर्क का उपयोग किया जाता है, तो 90% मामलों में यह हमारी कंपनी के समाधान पर बनाया जाएगा। एक तार्किक प्रश्न उठता है: जब सभी हार्डवेयर जो एक दूसरे के साथ संगत होने की गारंटी देते हैं, एक विक्रेता से प्राप्त किए जा सकते हैं, तो सिस्टम के एक चिड़ियाघर को क्यों इकट्ठा किया जाए?

प्रदर्शन के सवाल पर

शायद, किसी को भी आश्वस्त होने की आवश्यकता नहीं है कि ऑल-फ्लैश स्टोरेज में संक्रमण बुनियादी ढांचे के रखरखाव की लागत को काफी कम कर सकता है, क्योंकि सभी नियमित संचालन कई गुना तेजी से किए जाते हैं। ऐसे उपकरणों के सभी आपूर्तिकर्ता इसकी गवाही देते हैं। इस बीच, विभिन्न भंडारण मोड सक्षम होने पर प्रदर्शन में गिरावट आने पर कई विक्रेता चालाक होने लगे हैं।

हमारे उद्योग में, एक या दो दिनों के लिए परीक्षण संचालन के लिए भंडारण प्रणाली जारी करने का व्यापक रूप से अभ्यास किया जाता है। ब्रह्मांडीय प्रदर्शन के आंकड़े प्राप्त करते हुए, विक्रेता एक खाली सिस्टम पर 20 मिनट का परीक्षण चलाता है। और वास्तविक ऑपरेशन में, "पानी के नीचे की रेक" जल्दी से बाहर निकल जाती है। एक दिन के बाद, सुंदर IOPS मान आधे या तीन गुना कम हो जाते हैं, और यदि भंडारण प्रणाली 80% से भर जाती है, तो वे और भी कम हो जाते हैं। जब RAID 5 के बजाय RAID 10 सक्षम किया जाता है, तो अन्य 10-15% खो जाता है, और मेट्रो क्लस्टर मोड में, प्रदर्शन अतिरिक्त रूप से आधा हो जाता है।

ऊपर सूचीबद्ध सब कुछ Dorado V6 के बारे में नहीं है। हमारे ग्राहकों के पास सप्ताहांत में या कम से कम रात भर प्रदर्शन परीक्षण चलाने का अवसर है। फिर कचरा संग्रह स्वयं प्रकट होता है, और यह भी स्पष्ट हो जाता है कि विभिन्न विकल्पों की सक्रियता - जैसे स्नैपशॉट और प्रतिकृति - प्राप्त IOPS की मात्रा को कैसे प्रभावित करती है।

डोरैडो V6 में, समता के साथ स्नैपशॉट और RAID का प्रदर्शन पर लगभग कोई प्रभाव नहीं पड़ता है (3-5% के बजाय 10-15%)। कचरा संग्रह (शून्य के साथ ड्राइव कोशिकाओं को भरना), संपीड़न, 80% पूर्ण भंडारण प्रणाली पर डुप्लीकेशन हमेशा अनुरोध प्रसंस्करण की समग्र गति को प्रभावित करेगा। लेकिन यह डोरैडो वी 6 है जो इसमें दिलचस्प है, चाहे आप किसी भी प्रकार के कार्यों और सुरक्षात्मक तंत्र को सक्रिय करें, अंतिम भंडारण प्रदर्शन लोड के बिना प्राप्त आंकड़े के 80% से कम नहीं होगा।

भार का संतुलन

Dorado V6 का उच्च प्रदर्शन हर स्तर पर संतुलन बनाकर प्राप्त किया जाता है, अर्थात्:

• मल्टीपासिंग;
• एक होस्ट से कई कनेक्शन का उपयोग करना;
• फ्रंट-एंड फैक्ट्री की उपलब्धता;
• भंडारण नियंत्रकों के संचालन का समानांतरकरण;
• RAID 2.0+ स्तर पर सभी ड्राइव्स में लोड वितरण।

मूल रूप से, यह एक आम प्रथा है। इन दिनों, बहुत कम लोग एक LUN पर सारा डेटा रखते हैं: हर कोई आठ, चालीस, या इससे भी अधिक पाने की कोशिश कर रहा है। यह एक स्पष्ट और सही दृष्टिकोण है, जिसे हम साझा करते हैं। लेकिन यदि आपके कार्य के लिए केवल एक LUN की आवश्यकता है, जिसे बनाए रखना आसान है, तो हमारे वास्तुशिल्प समाधान इसे कई LUN के साथ उपलब्ध प्रदर्शन का 80% प्राप्त करने की अनुमति देते हैं।

डायनेमिक सीपीयू शेड्यूलिंग

एक LUN का उपयोग करते समय प्रोसेसर पर लोड का वितरण निम्न तरीके से कार्यान्वित किया जाता है: LUN स्तर पर कार्यों को अलग-अलग छोटे "शर्ड्स" में विभाजित किया जाता है, जिनमें से प्रत्येक को "इंजन" में एक विशिष्ट नियंत्रक को सख्ती से सौंपा जाता है। ऐसा इसलिए किया जाता है ताकि विभिन्न नियंत्रकों के बीच डेटा के इस टुकड़े के साथ "जंप" करते समय सिस्टम का प्रदर्शन कम न हो।

उच्च प्रदर्शन को बनाए रखने के लिए एक अन्य तंत्र डायनेमिक शेड्यूलिंग है, जिसमें कुछ प्रोसेसर कोर को कार्यों के विभिन्न पूलों में आवंटित किया जा सकता है। उदाहरण के लिए, यदि सिस्टम अब डिडुप्लीकेशन और कम्प्रेशन के स्तर पर निष्क्रिय है, तो कुछ कोर सर्विसिंग I / O की प्रक्रिया में शामिल हो सकते हैं। या विपरीत। यह सब उपयोगकर्ता के लिए स्वचालित और पारदर्शी रूप से किया जाता है।

प्रत्येक डोरैडो V6 कोर के वर्तमान लोड पर डेटा ग्राफिकल इंटरफ़ेस में प्रदर्शित नहीं होता है, लेकिन कमांड लाइन के माध्यम से आप नियंत्रक ओएस तक पहुंच सकते हैं और सामान्य लिनक्स कमांड का उपयोग कर सकते हैं ऊपर का.

एनवीएमई और आरओसीई समर्थन

जैसा कि पहले ही उल्लेख किया गया है, डोरैडो V6 वर्तमान में बॉक्स से बाहर फाइबर चैनल पर NVMe का पूरी तरह से समर्थन करता है और इसके लिए किसी लाइसेंस की आवश्यकता नहीं है। वर्ष के मध्य में ईथरनेट मोड पर एनवीएमई के लिए समर्थन दिखाई देगा। इसके पूर्ण उपयोग के लिए, आपको डायरेक्ट मेमोरी एक्सेस (DMA) संस्करण v2.0 के साथ ईथरनेट के लिए स्टोरेज सिस्टम और स्विच और नेटवर्क एडेप्टर दोनों से समर्थन की आवश्यकता होगी। उदाहरण के लिए, जैसे मेलानॉक्स ConnectX-4 या ConnectX-5। आप हमारे चिप्स के आधार पर बने नेटवर्क कार्ड का भी उपयोग कर सकते हैं। साथ ही, ऑपरेटिंग सिस्टम स्तर पर आरओसीई समर्थन लागू किया जाना चाहिए।

कुल मिलाकर, हम Dorado V6 को एक NVMe-केंद्रित सिस्टम मानते हैं। फाइबर चैनल और iSCSI के लिए मौजूदा समर्थन के बावजूद, भविष्य में इसे RDMA के साथ हाई-स्पीड ईथरनेट पर स्विच करने की योजना है।

एक चुटकी मार्केटिंग

इस तथ्य के कारण कि डोरैडो V6 प्रणाली अत्यधिक दोष-सहिष्णु है, अच्छी तरह से स्केल करती है, विभिन्न प्रवासन तकनीकों का समर्थन करती है, इसके अधिग्रहण का आर्थिक प्रभाव भंडारण प्रणालियों के गहन उपयोग की शुरुआत के साथ स्पष्ट हो जाता है। हम सिस्टम के स्वामित्व को यथासंभव लाभदायक बनाने का प्रयास करना जारी रखेंगे, भले ही पहले चरण में यह स्पष्ट न हो।

विशेष रूप से, हमने स्टोरेज सिस्टम के जीवन चक्र को विस्तारित करने से जुड़े फ्लैश एवर प्रोग्राम का गठन किया है और अपग्रेड के दौरान जितना संभव हो सके ग्राहक को ऑफलोड करने के लिए डिज़ाइन किया है।

इस कार्यक्रम में कई उपाय शामिल हैं:

• पूरे उपकरण को बदले बिना नए संस्करणों के साथ धीरे-धीरे नियंत्रकों और डिस्क अलमारियों को बदलने की क्षमता (डोरैडो वी 6 हाई-एंड सिस्टम के लिए);
• फ़ेडरेटेड स्टोरेज की संभावना (एक हाइब्रिड स्टोरेज क्लस्टर के हिस्से के रूप में डोरैडो के विभिन्न संस्करणों को मिलाकर);
• स्मार्ट वर्चुअलाइजेशन (डोरैडो समाधान के हिस्से के रूप में तीसरे पक्ष के हार्डवेयर का उपयोग करने की क्षमता)।

यह ध्यान दिया जाना बाकी है कि दुनिया में कठिन परिस्थितियों का नई प्रणाली की व्यावसायिक संभावनाओं पर बहुत कम प्रभाव पड़ा। इस तथ्य के बावजूद कि डोराडो V6 की आधिकारिक रिलीज जनवरी में ही हुई थी, हम चीन में इसके लिए महत्वपूर्ण मांग देखते हैं, साथ ही वित्तीय और सरकारी क्षेत्रों से रूसी और अंतरराष्ट्रीय भागीदारों से इसमें बहुत रुचि देखते हैं।

अन्य बातों के अलावा, महामारी के संबंध में, चाहे वे कितने भी लंबे समय तक रहें, दूरस्थ कर्मचारियों को वर्चुअल डेस्कटॉप प्रदान करने का मुद्दा विशेष रूप से तीव्र है। इस प्रक्रिया में Dorado V6 कई सवालों को भी दूर कर सका। इसके लिए, हम VMware संगतता सूची में नई प्रणाली को शामिल करने पर व्यावहारिक रूप से सहमत होने सहित हर संभव प्रयास कर रहे हैं।

***

वैसे, न केवल रूसी भाषी खंड में, बल्कि वैश्विक स्तर पर आयोजित हमारे कई वेबिनार के बारे में मत भूलिए। अप्रैल के लिए वेबिनार की सूची पर उपलब्ध है लिंक.

स्रोत: www.habr.com