Huawei OceanStor Dorado 18000 V6: इसकी हाई-एंड प्रकृति क्या है

हम विस्तार से चर्चा करते हैं कि क्या चीज़ ओसियनस्टोर डोराडो 18000 वी6 को आने वाले वर्षों के लिए अच्छे रिज़र्व के साथ वास्तव में उच्च-स्तरीय भंडारण प्रणाली बनाती है। साथ ही, हम ऑल-फ्लैश स्टोरेज के बारे में आम आशंकाओं को दूर करते हैं और दिखाते हैं कि हुआवेई उनमें से सबसे अधिक कैसे निचोड़ता है: एंड-टू-एंड एनवीएमई, एससीएम पर अतिरिक्त कैशिंग, और अन्य समाधानों का एक पूरा समूह।

नया डेटा परिदृश्य - नया डेटा भंडारण

सभी उद्योगों में डेटा की सघनता बढ़ रही है। और बैंकिंग क्षेत्र इसका स्पष्ट उदाहरण है। पिछले कुछ वर्षों में, बैंकिंग लेनदेन की संख्या दस गुना से अधिक बढ़ गई है। जैसा दिखाता है बीसीजी अध्ययन, केवल रूस में 2010 से 2018 की अवधि में प्लास्टिक कार्ड का उपयोग करके गैर-नकद लेनदेन की संख्या में तीस गुना से अधिक वृद्धि देखी गई - 5,8 से 172 प्रति व्यक्ति प्रति वर्ष। सबसे पहले, सूक्ष्म भुगतान की विजय: हममें से अधिकांश लोग ऑनलाइन बैंकिंग से संबंधित हो गए हैं, और बैंक अब हमारी उंगलियों पर है - फोन पर।

किसी क्रेडिट संस्थान का आईटी बुनियादी ढांचा ऐसी चुनौती के लिए तैयार रहना चाहिए। और यह वास्तव में एक चुनौती है. अन्य बातों के अलावा, यदि पहले बैंक को केवल अपने व्यावसायिक घंटों के दौरान डेटा की उपलब्धता सुनिश्चित करने की आवश्यकता होती थी, तो अब यह 24/7 है। हाल तक, 5 एमएस को स्वीकार्य विलंबता दर माना जाता था, तो क्या हुआ? अब 1 एमएस भी बहुत ज़्यादा है। आधुनिक भंडारण प्रणाली के लिए, लक्ष्य 0,5 एमएस है।

विश्वसनीयता के साथ भी यही बात है: 2010 के दशक में, एक अनुभवजन्य समझ बनी कि यह अपने स्तर को "पांच दहाई" - 99,999% तक लाने के लिए पर्याप्त है। सच है, यह समझ पुरानी हो गई है। 2020 में, व्यवसायों के लिए भंडारण के लिए 99,9999% और समग्र आर्किटेक्चर समाधान के लिए 99,99999% की मांग करना बिल्कुल सामान्य है। और यह कोई सनक नहीं है, बल्कि एक तत्काल आवश्यकता है: या तो बुनियादी ढांचे के रखरखाव के लिए कोई समय सीमा नहीं है, या यह छोटी है।

स्पष्टता के लिए, इन संकेतकों को धन के स्तर पर प्रक्षेपित करना सुविधाजनक है। वित्तीय संगठनों के उदाहरण का उपयोग करना सबसे आसान तरीका है। ऊपर दिए गए चार्ट से पता चलता है कि दुनिया के शीर्ष 10 बैंकों में से प्रत्येक प्रति घंटे कितना कमाता है। अकेले चीन के औद्योगिक और वाणिज्यिक बैंक के लिए, यह $5 मिलियन से कम नहीं है। यह ठीक यही है कि चीन में सबसे बड़े क्रेडिट संगठन के आईटी बुनियादी ढांचे के एक घंटे के डाउनटाइम की लागत कितनी होगी (और इसमें केवल खोए हुए मुनाफे को ध्यान में रखा जाता है) हिसाब!)। इस परिप्रेक्ष्य से, यह स्पष्ट है कि डाउनटाइम में कमी और विश्वसनीयता में वृद्धि, न केवल कुछ प्रतिशत तक, बल्कि प्रतिशत के कुछ अंशों तक, पूरी तरह से तर्कसंगत रूप से उचित है। न केवल प्रतिस्पर्धात्मकता बढ़ाने के कारणों से, बल्कि बाज़ार में स्थिति बनाए रखने के लिए भी।

अन्य उद्योगों में भी तुलनीय परिवर्तन हो रहे हैं। उदाहरण के लिए, हवाई परिवहन में: महामारी से पहले, हवाई यात्रा साल-दर-साल गति पकड़ रही थी, और कई लोगों ने इसे लगभग टैक्सी की तरह उपयोग करना शुरू कर दिया था। जहां तक ​​उपभोक्ता पैटर्न का सवाल है, सेवाओं की कुल उपलब्धता की आदत ने समाज में जड़ें जमा ली हैं: हवाई अड्डे पर पहुंचने पर, हमें वाई-फाई से जुड़ने, भुगतान सेवाओं तक पहुंच, क्षेत्र के मानचित्र तक पहुंच आदि की आवश्यकता होती है। परिणामस्वरूप, सार्वजनिक स्थानों पर बुनियादी ढांचे और सेवाओं पर भार कई गुना बढ़ गया। और इसके बुनियादी ढांचे, निर्माण के वे दृष्टिकोण, जिन्हें हमने एक साल पहले भी स्वीकार्य माना था, तेजी से अप्रचलित हो रहे हैं।

क्या ऑल-फ़्लैश पर स्विच करना बहुत जल्दी है?

ऊपर उल्लिखित समस्याओं को हल करने के लिए, प्रदर्शन के संदर्भ में, एएफए - ऑल-फ्लैश ऐरे, यानी, पूरी तरह से फ्लैश पर निर्मित ऐरे - सबसे उपयुक्त हैं। जब तक, हाल तक, इस बारे में संदेह नहीं था कि क्या वे एचडीडी और हाइब्रिड के आधार पर इकट्ठे किए गए लोगों के साथ विश्वसनीयता में तुलनीय हैं। आख़िरकार, सॉलिड-स्टेट फ़्लैश मेमोरी में एक मीट्रिक होती है जिसे विफलताओं के बीच का औसत समय या MTBF (विफलताओं के बीच का औसत समय) कहा जाता है। अफ़सोस, I/O संचालन के कारण कोशिकाओं का क्षरण निश्चित है।

इसलिए ऑल-फ्लैश की संभावनाएं इस सवाल से घिर गईं कि एसएसडी द्वारा लंबे समय तक रहने का आदेश दिए जाने की स्थिति में डेटा हानि को कैसे रोका जाए। बैकअप एक परिचित विकल्प है, केवल पुनर्प्राप्ति समय आधुनिक आवश्यकताओं के आधार पर अस्वीकार्य रूप से बड़ा होगा। दूसरा तरीका स्पिंडल ड्राइव पर भंडारण का दूसरा स्तर स्थापित करना है, हालांकि, ऐसी योजना के साथ, "कड़ाई से फ्लैश" प्रणाली के कुछ फायदे खो जाते हैं।

हालाँकि, संख्याएँ कुछ और ही कहती हैं: हाल के वर्षों में Google सहित डिजिटल अर्थव्यवस्था के दिग्गजों के आँकड़े बताते हैं कि फ्लैश हार्ड ड्राइव की तुलना में कई गुना अधिक विश्वसनीय है। इसके अलावा, थोड़े समय में और लंबे समय में: फ्लैश ड्राइव विफल होने में औसतन चार से छह साल लग जाते हैं। डेटा भंडारण विश्वसनीयता के मामले में, वे किसी भी तरह से स्पिंडल चुंबकीय डिस्क पर ड्राइव से कमतर नहीं हैं, या यहां तक ​​​​कि उनसे आगे भी नहीं हैं।

स्पिंडल ड्राइव के पक्ष में एक और पारंपरिक तर्क उनकी सामर्थ्य है। इसमें कोई संदेह नहीं है, हार्ड ड्राइव पर एक टेराबाइट संग्रहीत करने की लागत अभी भी अपेक्षाकृत कम है। और यदि आप केवल उपकरण की लागत को ध्यान में रखते हैं, तो एसएसडी की तुलना में स्पिंडल ड्राइव पर टेराबाइट रखना सस्ता है। हालाँकि, वित्तीय नियोजन के संदर्भ में, यह न केवल मायने रखता है कि कोई विशेष उपकरण कितने में खरीदा गया, बल्कि यह भी मायने रखता है कि इसे लंबे समय तक रखने की कुल लागत क्या है - तीन से सात साल तक।

इस नजरिए से यह बिल्कुल अलग है. यहां तक ​​कि अगर हम डिडुप्लीकेशन और संपीड़न को नजरअंदाज करते हैं, जो, एक नियम के रूप में, फ्लैश सरणियों पर उपयोग किया जाता है और उनके संचालन को अधिक आर्थिक रूप से लाभदायक बनाता है, तो मीडिया द्वारा कब्जा किए गए रैक स्थान, गर्मी अपव्यय और बिजली की खपत जैसी विशेषताएं बनी रहती हैं। और उनके अनुसार, फ्लश अपने पूर्ववर्तियों से बेहतर प्रदर्शन करता है। परिणामस्वरूप, फ्लैश स्टोरेज सिस्टम का टीसीओ, सभी मापदंडों को ध्यान में रखते हुए, अक्सर स्पिंडल ड्राइव या हाइब्रिड पर एरे के मामले में लगभग आधा होता है।

ईएसजी रिपोर्टों के अनुसार, डोरैडो वी6 ऑल-फ्लैश स्टोरेज सिस्टम पांच साल के अंतराल में स्वामित्व की लागत में 78% तक की कमी प्राप्त कर सकता है, जिसमें कुशल डिडुप्लीकेशन और संपीड़न, और कम बिजली की खपत और गर्मी अपव्यय शामिल है। जर्मन विश्लेषणात्मक कंपनी डीसीआईजी भी उन्हें आज उपलब्ध टीसीओ के मामले में सर्वश्रेष्ठ के रूप में उपयोग करने की अनुशंसा करती है।

सॉलिड-स्टेट ड्राइव के उपयोग से प्रयोग करने योग्य स्थान बचाना, विफलताओं की संख्या कम करना, समाधान की सर्विसिंग का समय कम करना और भंडारण प्रणालियों की ऊर्जा खपत और गर्मी अपव्यय को कम करना संभव हो जाता है। और यह पता चला है कि एएफए आर्थिक रूप से कम से कम स्पिंडल ड्राइव पर पारंपरिक सरणियों के बराबर है, और अक्सर उनसे आगे निकल जाता है।

हुआवेई रॉयल फ्लश

हमारे ऑल-फ़्लैश स्टोरेज में, शीर्ष स्थान हाई-एंड सिस्टम ओसियनस्टोर डोरैडो 18000 वी6 का है। और न केवल हमारे बीच: सामान्य तौर पर, उद्योग में, यह गति रिकॉर्ड रखता है - अधिकतम कॉन्फ़िगरेशन में 20 मिलियन आईपीओएस तक। इसके अलावा, यह बेहद विश्वसनीय है: भले ही दो नियंत्रक एक साथ उड़ान भरते हों, या एक के बाद एक सात नियंत्रक, या एक साथ पूरा इंजन उड़ता हो, डेटा जीवित रहेगा। "अठारह हजारवें" के उल्लेखनीय लाभ इसमें जुड़े एआई द्वारा दिए गए हैं, जिसमें आंतरिक प्रक्रियाओं के प्रबंधन में लचीलापन भी शामिल है। आइए देखें कि यह कैसे हासिल किया जाता है।

बड़े पैमाने पर, हुआवेई ने बढ़त बना ली है क्योंकि यह बाजार में एकमात्र निर्माता है जो स्टोरेज सिस्टम खुद बनाता है - पूरी तरह से। हमारी अपनी सर्किटरी, अपना माइक्रोकोड, अपनी सेवा है।

ओसियनस्टोर डोराडो सिस्टम में नियंत्रक हुआवेई के स्वयं के डिजाइन और उत्पादन के प्रोसेसर - कुनपेंग 920 पर बनाया गया है। यह इंटेलिजेंट बेसबोर्ड मैनेजमेंट कंट्रोलर (आईबीएमसी) नियंत्रण मॉड्यूल का उपयोग करता है, जो हमारा भी है। एआई चिप्स, अर्थात् एसेंड 310, जो विफलता की भविष्यवाणियों को अनुकूलित करते हैं और सेटिंग्स के लिए सिफारिशें करते हैं, हुआवेई के साथ-साथ आई/ओ बोर्ड - स्मार्ट आई/ओ मॉड्यूल भी हैं। अंत में, SSDs में नियंत्रक हमारे द्वारा डिज़ाइन और निर्मित किए जाते हैं। इन सभी ने एक समग्र रूप से संतुलित और उच्च-प्रदर्शन समाधान बनाने का आधार प्रदान किया।

पिछले वर्ष के दौरान, हमने सबसे बड़े रूसी बैंकों में से एक में, हमारी सबसे शीर्ष भंडारण प्रणाली को पेश करने के लिए एक परियोजना लागू की है। परिणामस्वरूप, मेट्रो क्लस्टर में 40 से अधिक ओसियनस्टोर डोरैडो 18000 V6 इकाइयां स्थिर प्रदर्शन दिखाती हैं: प्रत्येक सिस्टम से एक मिलियन से अधिक IOPS को हटाया जा सकता है, और इसमें दूरी के कारण होने वाली देरी को ध्यान में रखा जा रहा है।

एंड-टू-एंड एनवीएमई

हुआवेई के नवीनतम स्टोरेज सिस्टम एंड-टू-एंड एनवीएमई का समर्थन करते हैं, जिस पर हम एक कारण से जोर देते हैं। ड्राइव तक पहुंचने के लिए पारंपरिक रूप से उपयोग किए जाने वाले प्रोटोकॉल पुराने आईटी पुरातनता में विकसित किए गए थे: वे एससीएसआई कमांड (हैलो, 1980 के दशक!) पर आधारित हैं, जो बैकवर्ड संगतता सुनिश्चित करने के लिए बहुत सारे फ़ंक्शन खींचते हैं। आप पहुंच का जो भी तरीका अपनाएं, इस मामले में प्रोटोकॉल ओवरहेड बहुत बड़ा है। परिणामस्वरूप, एससीएसआई से जुड़े प्रोटोकॉल का उपयोग करने वाले स्टोरेज के लिए, I/O विलंब 0,4–0,5 एमएस से कम नहीं हो सकता है। बदले में, फ्लैश मेमोरी के साथ काम करने के लिए डिज़ाइन किया गया प्रोटोकॉल और कुख्यात बैकवर्ड संगतता के लिए बैसाखी से मुक्त, एनवीएमई - गैर-वाष्पशील मेमोरी एक्सप्रेस - विलंबता को 0,1 एमएस तक कम कर देता है, इसके अलावा, स्टोरेज सिस्टम पर नहीं, बल्कि संपूर्ण स्टैक, होस्ट से ड्राइव तक। आश्चर्य की बात नहीं है, एनवीएमई निकट भविष्य के लिए डेटा भंडारण विकास रुझानों के अनुरूप है। हमने एनवीएमई पर भी भरोसा किया - और धीरे-धीरे एससीएसआई से दूर जा रहे हैं। डोरैडो लाइन सहित आज उत्पादित सभी हुआवेई स्टोरेज सिस्टम एनवीएमई का समर्थन करते हैं (हालांकि, एंड-टू-एंड के रूप में इसे केवल डोरैडो वी 6 श्रृंखला के उन्नत मॉडल पर लागू किया गया है)।

फ्लैशलिंक: प्रौद्योगिकियों की एक मुट्ठी

संपूर्ण ओसियनस्टोर डोरैडो लाइन के लिए आधारशिला तकनीक फ्लैशलिंक है। अधिक सटीक रूप से, यह एक ऐसा शब्द है जो प्रौद्योगिकियों के एक अभिन्न सेट को जोड़ता है जो उच्च प्रदर्शन और विश्वसनीयता सुनिश्चित करने का काम करता है। इसमें डिडुप्लीकेशन और कम्प्रेशन प्रौद्योगिकियां, RAID 2.0+ डेटा वितरण प्रणाली की कार्यप्रणाली, "ठंडा" और "गर्म" डेटा को अलग करना, पूर्ण-धारी अनुक्रमिक डेटा रिकॉर्डिंग (नए और बदले हुए डेटा के साथ यादृच्छिक लेखन, एक में एकत्रित किया जाता है) शामिल हैं बड़े ढेर और क्रमिक रूप से लिखे गए, जिससे पढ़ने-लिखने की गति बढ़ जाती है)।

अन्य बातों के अलावा, फ्लैशलिंक में दो महत्वपूर्ण घटक शामिल हैं - वियर लेवलिंग और ग्लोबल गारबेज कलेक्शन। उनसे अलग से निपटा जाना चाहिए.

वास्तव में, कोई भी सॉलिड-स्टेट ड्राइव लघु रूप में एक भंडारण प्रणाली है, जिसमें बड़ी संख्या में ब्लॉक और एक नियंत्रक होता है जो डेटा उपलब्धता सुनिश्चित करता है। और यह, अन्य बातों के अलावा, इस तथ्य से सुनिश्चित होता है कि "मारे गए" कोशिकाओं से डेटा "नहीं मारे गए" कोशिकाओं में स्थानांतरित किया जाता है। यह सुनिश्चित करता है कि उन्हें पढ़ा जा सके। ऐसे स्थानांतरण के लिए विभिन्न एल्गोरिदम हैं। सामान्य तौर पर, नियंत्रक सभी भंडारण कोशिकाओं की टूट-फूट को संतुलित करने का प्रयास करता है। इस दृष्टिकोण का एक नकारात्मक पहलू है। जब डेटा SSD के अंदर चलता है, तो उसके द्वारा किए जाने वाले I/O संचालन की संख्या नाटकीय रूप से कम हो जाती है। फिलहाल यह एक जरूरी बुराई है.

इस प्रकार, यदि सिस्टम में बहुत सारे एसएसडी हैं, तो प्रदर्शन ग्राफ पर तेज उतार-चढ़ाव के साथ एक "आरा" दिखाई देता है। परेशानी यह है कि पूल से एक ड्राइव किसी भी समय डेटा माइग्रेशन शुरू कर सकती है, और सरणी में सभी एसएसडी से एक ही समय में समग्र प्रदर्शन हटा दिया जाता है। लेकिन हुआवेई के इंजीनियरों ने यह पता लगा लिया कि "आरी" से कैसे बचा जाए।

सौभाग्य से, ड्राइव में नियंत्रक, और भंडारण नियंत्रक, और हुआवेई के फर्मवेयर दोनों "मूल" हैं, ओसियनस्टोर डोराडो 18000 वी 6 में ये प्रक्रियाएं केंद्रीय रूप से, सरणी में सभी ड्राइव पर समकालिक रूप से लॉन्च की जाती हैं। इसके अलावा, स्टोरेज कंट्रोलर के आदेश पर, और ठीक तब जब कोई भारी I/O लोड न हो।

कृत्रिम बुद्धिमत्ता चिप डेटा स्थानांतरित करने के लिए सही समय चुनने में भी शामिल है: पिछले कुछ महीनों के हिट आंकड़ों के आधार पर, यह उच्चतम संभावना के साथ भविष्यवाणी करने में सक्षम है कि निकट भविष्य में सक्रिय I/O की उम्मीद की जाए या नहीं, और यदि उत्तर नकारात्मक है, और वर्तमान समय में सिस्टम पर लोड छोटा है, तो नियंत्रक सभी ड्राइव को आदेश देता है: जिन्हें वियर लेवलिंग की आवश्यकता है, उन्हें इसे एक बार और समकालिक रूप से करना चाहिए।

साथ ही, प्रतिस्पर्धी निर्माताओं के स्टोरेज सिस्टम के विपरीत, सिस्टम नियंत्रक देखता है कि ड्राइव के प्रत्येक सेल में क्या हो रहा है: उन्हें तीसरे पक्ष के विक्रेताओं से सॉलिड-स्टेट मीडिया खरीदने के लिए मजबूर किया जाता है, यही कारण है कि सेल-स्तरीय विवरण उपलब्ध नहीं है ऐसे भंडारों के नियंत्रक.

परिणामस्वरूप, ओसियनस्टोर डोरैडो 18000 वी6 में वियर लेवलिंग ऑपरेशन पर प्रदर्शन में गिरावट की बहुत कम अवधि होती है, और यह मुख्य रूप से तब किया जाता है जब यह किसी अन्य प्रक्रिया में हस्तक्षेप नहीं करता है। यह निरंतर आधार पर उच्च स्थिर प्रदर्शन देता है।

ओसियनस्टोर डोरैडो 18000 वी6 को क्या विश्वसनीय बनाता है

आधुनिक डेटा भंडारण प्रणालियों में विश्वसनीयता के चार स्तर हैं:

• हार्डवेयर, ड्राइव स्तर पर;
• वास्तुशिल्प, उपकरण स्तर पर;
• सॉफ्टवेयर भाग के साथ वास्तुशिल्प;
• संचयी, समग्र रूप से निर्णय से संबंधित।

चूंकि, हम याद करते हैं, हमारी कंपनी भंडारण प्रणाली के सभी घटकों को स्वयं डिजाइन और निर्मित करती है, हम चार स्तरों में से प्रत्येक पर विश्वसनीयता प्रदान करते हैं, साथ ही इस समय उनमें से किस पर क्या हो रहा है, इसकी पूरी तरह से निगरानी करने की क्षमता भी प्रदान करते हैं।

ड्राइव की विश्वसनीयता की गारंटी मुख्य रूप से पहले वर्णित वियर लेवलिंग और ग्लोबल गारबेज कलेक्शन द्वारा दी जाती है। जब एक एसएसडी सिस्टम को एक ब्लैक बॉक्स की तरह दिखता है, तो उसे पता नहीं चलता कि इसमें कोशिकाएं वास्तव में कैसे खराब हो रही हैं। ओसियनस्टोर डोरैडो 18000 वी6 के लिए, ड्राइव पारदर्शी हैं, जो सरणी में सभी ड्राइव पर समान रूप से संतुलन बनाना संभव बनाती है। इस प्रकार, यह एसएसडी के जीवन को महत्वपूर्ण रूप से विस्तारित करने और उनके संचालन की उच्च स्तर की विश्वसनीयता सुनिश्चित करने में सक्षम है।

ड्राइव की विश्वसनीयता उसमें अतिरिक्त अनावश्यक कोशिकाओं से भी प्रभावित होती है। और एक साधारण रिजर्व के साथ, स्टोरेज सिस्टम तथाकथित डीआईएफ कोशिकाओं का उपयोग करता है, जिसमें RAID सरणी स्तर पर सुरक्षा के अलावा, प्रत्येक ब्लॉक को एक त्रुटि से बचाने के लिए चेकसम, साथ ही अतिरिक्त कोड भी होते हैं।

वास्तुशिल्प विश्वसनीयता की कुंजी स्मार्टमैट्रिक्स समाधान है। संक्षेप में, ये चार नियंत्रक हैं जो एक इंजन (इंजन) के हिस्से के रूप में एक निष्क्रिय बैकप्लेन पर बैठते हैं। इनमें से दो इंजन - क्रमशः, आठ नियंत्रकों के साथ - ड्राइव के साथ सामान्य अलमारियों से जुड़े हुए हैं। स्मार्टमैट्रिक्स के लिए धन्यवाद, भले ही आठ में से सात नियंत्रक काम करना बंद कर दें, पढ़ने और लिखने दोनों के लिए सभी डेटा तक पहुंच बनी रहेगी। और आठ नियंत्रकों में से छह के नुकसान के साथ, कैशिंग संचालन जारी रखना भी संभव हो जाएगा।

समान निष्क्रिय बैकप्लेन पर I/O बोर्ड सभी नियंत्रकों के लिए उपलब्ध हैं, फ्रंट एंड और बैक एंड दोनों पर। ऐसी पूर्ण-मेष कनेक्शन योजना के साथ, चाहे कुछ भी विफल हो, ड्राइव तक पहुंच हमेशा संरक्षित रहती है।

किसी आर्किटेक्चर की विश्वसनीयता के बारे में विफलता मोड के संदर्भ में बात करना सबसे उपयुक्त है जिससे भंडारण प्रणाली रक्षा करने में सक्षम है।

यदि एक ही समय में दो नियंत्रक "गिर" जाते हैं, तो भंडारण बिना किसी नुकसान के स्थिति में जीवित रहेगा। ऐसी स्थिरता इस तथ्य के कारण हासिल की जाती है कि किसी भी कैश ब्लॉक में निश्चित रूप से विभिन्न नियंत्रकों पर दो और प्रतियां होती हैं, यानी कुल मिलाकर यह तीन प्रतियों में मौजूद होती है। इसके अलावा, कम से कम एक अलग इंजन पर है। इस प्रकार, भले ही पूरा इंजन काम करना बंद कर दे - अपने सभी चार नियंत्रकों के साथ - कैश मेमोरी में मौजूद सभी जानकारी के संरक्षण की गारंटी है, क्योंकि शेष इंजन से कम से कम एक नियंत्रक में कैश डुप्लिकेट किया जाएगा। अंत में, डेज़ी-चेन कनेक्शन के साथ, आप अधिकतम सात नियंत्रक खो सकते हैं, और भले ही उन्हें दो के ब्लॉक में हटा दिया जाए, और फिर से सभी I/O और कैश मेमोरी से सभी डेटा संरक्षित किया जाएगा।

जब अन्य निर्माताओं के हाई-एंड स्टोरेज के साथ तुलना की जाती है, तो यह देखा जा सकता है कि केवल Huawei ही दो नियंत्रकों या पूरे इंजन की मृत्यु के बाद भी पूर्ण डेटा सुरक्षा और पूर्ण उपलब्धता प्रदान करता है। अधिकांश विक्रेता तथाकथित नियंत्रक जोड़े वाली एक योजना का उपयोग करते हैं जिससे ड्राइव जुड़े होते हैं। दुर्भाग्य से, इस कॉन्फ़िगरेशन में, यदि दो नियंत्रक विफल हो जाते हैं, तो ड्राइव तक I/O पहुंच खोने का जोखिम होता है।

अफसोस, किसी एक घटक की विफलता को वस्तुनिष्ठ रूप से बाहर नहीं रखा गया है। इस मामले में, प्रदर्शन कुछ समय के लिए गिर जाएगा: यह आवश्यक है कि पथों को फिर से बनाया जाए और उन ब्लॉकों के संबंध में I/O संचालन के लिए पहुंच फिर से शुरू की जाए जो या तो लिखने के लिए आए थे, लेकिन अभी तक लिखे नहीं गए थे, या अनुरोध किया गया था पढ़ा जाए। ओसियनस्टोर डोरैडो 18000 वी6 का औसत पुनर्निर्माण समय लगभग एक सेकंड है, जो उद्योग में निकटतम एनालॉग (4 सेकंड) से काफी कम है। यह उसी निष्क्रिय बैकप्लेन की बदौलत हासिल किया जाता है: जब नियंत्रक विफल हो जाता है, तो बाकी लोग तुरंत इसका इनपुट/आउटपुट देखते हैं, और विशेष रूप से किस डेटा ब्लॉक को नहीं लिखा गया है; परिणामस्वरूप, निकटतम नियंत्रक इस प्रक्रिया को अपनाता है। इसलिए केवल एक सेकंड में प्रदर्शन को बहाल करने की क्षमता। मुझे जोड़ना होगा, अंतराल स्थिर है: एक नियंत्रक के लिए एक सेकंड, दूसरे के लिए एक सेकंड, आदि।

ओशनस्टोर डोरैडो 18000 वी6 पैसिव बैकप्लेन में, सभी बोर्ड बिना किसी अतिरिक्त एड्रेसिंग के सभी नियंत्रकों के लिए पहुंच योग्य हैं। इसका मतलब यह है कि कोई भी नियंत्रक किसी भी पोर्ट पर I/O लेने में सक्षम है। I/O जिस भी फ्रंटएंड पोर्ट पर आएगा, नियंत्रक उसे संसाधित करने के लिए तैयार होगा। इसके परिणामस्वरूप न्यूनतम संख्या में आंतरिक स्थानान्तरण होते हैं और संतुलन का ध्यान देने योग्य सरलीकरण होता है।

फ्रंटएंड संतुलन मल्टीपाथिंग ड्राइवर का उपयोग करके किया जाता है, और अतिरिक्त संतुलन सिस्टम के भीतर ही किया जाता है, क्योंकि सभी नियंत्रक सभी I/O पोर्ट देखते हैं।

परंपरागत रूप से, सभी Huawei सरणियों को इस तरह से डिज़ाइन किया गया है कि उनमें विफलता का एक भी बिंदु नहीं है। हॉट स्वैपिंग, सिस्टम को रिबूट किए बिना, इसके सभी घटकों को प्रदान करता है: नियंत्रक, पावर मॉड्यूल, कूलिंग मॉड्यूल, I / O बोर्ड, आदि।

समग्र रूप से सिस्टम की विश्वसनीयता और RAID-TP जैसी तकनीक को बढ़ाता है। यह एक RAID समूह का नाम है, जो आपको एक साथ तीन ड्राइव की विफलता के खिलाफ बीमा करने की अनुमति देता है। और 1 टीबी के पुनर्निर्माण में लगातार 30 मिनट से कम समय लगता है। स्पिंडल ड्राइव पर समान मात्रा में डेटा की तुलना में सबसे अच्छा रिकॉर्ड किया गया परिणाम आठ गुना तेज है। इस प्रकार, अत्यधिक कैपेसिटिव ड्राइव, जैसे कि 7,68 या यहां तक ​​कि 15 टीबी, का उपयोग करना संभव है, और सिस्टम विश्वसनीयता के बारे में चिंता न करें।

यह महत्वपूर्ण है कि पुनर्निर्माण किसी अतिरिक्त ड्राइव में नहीं, बल्कि एक अतिरिक्त स्थान - एक आरक्षित क्षमता में किया जाए। प्रत्येक ड्राइव में विफलता के बाद डेटा पुनर्प्राप्ति के लिए उपयोग की जाने वाली समर्पित जगह होती है। इस प्रकार, पुनर्प्राप्ति "अनेक से एक" योजना के अनुसार नहीं, बल्कि "अनेक से अनेक" योजना के अनुसार की जाती है, जिसके कारण प्रक्रिया में काफी तेजी लाना संभव है। और जब तक मुक्त क्षमता है, पुनर्प्राप्ति जारी रह सकती है।

हमें कई स्टोरेज से समाधान की विश्वसनीयता का भी उल्लेख करना चाहिए - मेट्रो क्लस्टर में, या, हुआवेई की शब्दावली में, हाइपरमेट्रो में। ऐसी योजनाएं हमारे डेटा स्टोरेज सिस्टम की संपूर्ण मॉडल रेंज पर समर्थित हैं और फ़ाइल और ब्लॉक दोनों तक पहुंच की अनुमति देती हैं। इसके अलावा, एक ब्लॉक पर, यह फाइबर चैनल और ईथरनेट (iSCSI सहित) दोनों के माध्यम से कार्य करता है।

संक्षेप में, हम एक भंडारण प्रणाली से दूसरे भंडारण प्रणाली में द्विदिश प्रतिकृति के बारे में बात कर रहे हैं, जिसमें प्रतिकृति LUN को मुख्य LUN-ID के समान दिया जाता है। प्रौद्योगिकी मुख्य रूप से दो अलग-अलग प्रणालियों से कैश की स्थिरता के कारण काम करती है। इस प्रकार, मेजबान के लिए इससे कोई फर्क नहीं पड़ता कि वह किस तरफ है: यहां और वहां दोनों जगह वह समान तार्किक ड्राइव देखता है। परिणामस्वरूप, आपको दो साइटों पर फैले फ़ेलओवर क्लस्टर को तैनात करने से कोई नहीं रोकता है।

कोरम के लिए, एक भौतिक या आभासी लिनक्स मशीन का उपयोग किया जाता है। यह तीसरी साइट पर स्थित हो सकता है, और इसके संसाधनों की आवश्यकताएं छोटी हैं। एक सामान्य परिदृश्य कोरम वीएम की मेजबानी के लिए विशेष रूप से एक वर्चुअल साइट किराए पर लेना है।

प्रौद्योगिकी विस्तार की भी अनुमति देती है: दो भंडारण - एक मेट्रो क्लस्टर में, एक अतिरिक्त साइट - अतुल्यकालिक प्रतिकृति के साथ।

ऐतिहासिक रूप से, कई ग्राहकों ने एक "भंडारण चिड़ियाघर" बनाया है: विभिन्न निर्माताओं, विभिन्न मॉडलों, विभिन्न पीढ़ियों, विभिन्न कार्यक्षमता वाले भंडारण प्रणालियों का एक समूह। हालाँकि, मेजबानों की संख्या प्रभावशाली हो सकती है, और अक्सर वे वर्चुअलाइज्ड होते हैं। ऐसी परिस्थितियों में, प्रशासन की प्राथमिकताओं में से एक मेजबानों को जल्दी, समान रूप से और आसानी से तार्किक डिस्क प्रदान करना है, अधिमानतः इस तरह से कि यह पता न चले कि ये डिस्क भौतिक रूप से कहां स्थित हैं। हमारा ओसियनस्टोर डीजे सॉफ्टवेयर समाधान इसी के लिए डिज़ाइन किया गया है, जो सर्वसम्मति से विभिन्न भंडारण प्रणालियों का प्रबंधन कर सकता है और किसी विशिष्ट भंडारण मॉडल से बंधे बिना उनसे सेवाएं प्रदान कर सकता है।

एआई के साथ भी ऐसा ही है

जैसा कि पहले ही उल्लेख किया गया है, ओशनस्टोर डोरैडो 18000 वी6 में कृत्रिम बुद्धिमत्ता एल्गोरिदम - एसेंड के साथ अंतर्निहित प्रोसेसर हैं। उनका उपयोग, सबसे पहले, विफलताओं की भविष्यवाणी करने के लिए किया जाता है, और दूसरा, ट्यूनिंग के लिए सिफारिशें तैयार करने के लिए किया जाता है, जिससे भंडारण के प्रदर्शन और विश्वसनीयता में भी वृद्धि होती है।

पूर्वानुमान क्षितिज दो महीने का है: एआई मशीनरी मानती है कि इस दौरान उच्च संभावना के साथ क्या होगा, क्या यह विस्तार करने, पहुंच नीतियों को बदलने आदि का समय है। सिफारिशें पहले से जारी की जाती हैं, जो आपको समय से पहले सिस्टम रखरखाव विंडो शेड्यूल करने की अनुमति देती है। .

हुआवेई के एआई के विकास के अगले चरण में इसे वैश्विक स्तर पर ले जाना शामिल है। सेवा रखरखाव के दौरान - विफलता प्रबंधन या अनुशंसाएँ - हुआवेई हमारे सभी ग्राहकों की भंडारण सुविधाओं से लॉगिंग सिस्टम से जानकारी एकत्र करता है। जो एकत्र किया गया है उसके आधार पर, घटित या संभावित संभावित विफलताओं का विश्लेषण किया जाता है और वैश्विक सिफारिशें की जाती हैं - एक विशिष्ट भंडारण प्रणाली या यहां तक ​​कि एक दर्जन के कामकाज पर आधारित नहीं, बल्कि इस पर आधारित कि क्या हो रहा है और ऐसे हजारों उपकरणों के साथ क्या हुआ है . नमूना बहुत बड़ा है, और इसके आधार पर, एआई एल्गोरिदम बहुत तेज़ी से सीखना शुरू करते हैं, यही कारण है कि भविष्यवाणियों की सटीकता काफी बढ़ जाती है।

अनुकूलता

2019-2020 में, VMware उत्पादों के साथ हमारे उपकरणों की परस्पर क्रिया के बारे में बहुत कुछ कहा गया था। अंततः उन्हें रोकने के लिए, हम जिम्मेदारी से घोषणा करते हैं: VMware हुआवेई का भागीदार है। हमारे हार्डवेयर की उसके सॉफ़्टवेयर के साथ अनुकूलता के लिए सभी संभावित परीक्षण किए गए, और परिणामस्वरूप, VMware वेबसाइट पर, हार्डवेयर संगतता शीट बिना किसी आरक्षण के हमारे उत्पादन की वर्तमान में उपलब्ध भंडारण प्रणालियों को सूचीबद्ध करती है। दूसरे शब्दों में, VMware सॉफ़्टवेयर वातावरण के साथ, आप पूर्ण समर्थन के साथ डोरैडो V6 सहित Huawei स्टोरेज का उपयोग कर सकते हैं।

ब्रोकेड के साथ हमारे सहयोग पर भी यही बात लागू होती है। हम संगतता के लिए अपने उत्पादों के साथ बातचीत और परीक्षण करना जारी रखते हैं और विश्वास के साथ कह सकते हैं कि हमारी भंडारण प्रणालियाँ नवीनतम ब्रोकेड एफसी स्विच के साथ पूरी तरह से संगत हैं।

आगे क्या है?

हम अपने प्रोसेसर का विकास और सुधार जारी रखते हैं: वे तेज़, अधिक विश्वसनीय हो जाते हैं, उनका प्रदर्शन बढ़ता है। हम एआई चिप्स में भी सुधार कर रहे हैं - उनके आधार पर, मॉड्यूल भी तैयार किए जाते हैं जो डिडुप्लीकेशन और संपीड़न को गति देते हैं। जिन लोगों के पास हमारे कॉन्फिगरेटर तक पहुंच है, उन्होंने देखा होगा कि ये कार्ड डोरैडो V6 मॉडल में ऑर्डर के लिए पहले से ही उपलब्ध हैं।

हम स्टोरेज क्लास मेमोरी पर अतिरिक्त कैशिंग की ओर भी बढ़ रहे हैं - विशेष रूप से कम विलंबता वाली गैर-वाष्पशील मेमोरी, प्रति रीड लगभग दस माइक्रोसेकंड। अन्य बातों के अलावा, एससीएम प्रदर्शन को बढ़ावा देता है, मुख्य रूप से बड़े डेटा के साथ काम करते समय और ओएलटीपी समस्याओं को हल करते समय। अगले अपडेट के बाद, एससीएम कार्ड ऑर्डर के लिए उपलब्ध हो जाने चाहिए।

और निश्चित रूप से, फ़ाइल एक्सेस कार्यक्षमता को Huawei डेटा स्टोरेज मॉडल की पूरी श्रृंखला में विस्तारित किया जाएगा - हमारे अपडेट के लिए बने रहें।

स्रोत: www.habr.com