Huawei OceanStor Dorado 18000 V6: त्याचा उच्च दर्जाचा स्वभाव काय आहे

आम्ही पूर्णपणे तर्क करतो की OceanStor Dorado 18000 V6 येत्या वर्षांसाठी एक सभ्य रिझर्व्हसह खरोखर उच्च-एंड डेटा स्टोरेज सिस्टम बनवते. त्याच वेळी, आम्ही ऑल-फ्लॅश स्टोरेजबद्दलच्या सामान्य चिंता दूर करतो आणि Huawei त्यांपैकी जास्तीत जास्त कसा मिळवतो ते दाखवतो: एंड-टू-एंड NVMe, SCM वर अतिरिक्त कॅशिंग आणि इतर उपायांचा संपूर्ण समूह.

नवीन डेटा लँडस्केप - नवीन डेटा स्टोरेज

सर्व उद्योगांमध्ये डेटाची तीव्रता वाढत आहे. आणि बँकिंग क्षेत्र हे याचे स्पष्ट उदाहरण आहे. गेल्या काही वर्षांत बँकिंग व्यवहारांची संख्या दहापटीने वाढली आहे. दाखविल्या प्रमाणे बीसीजी संशोधन, एकट्या रशियामध्ये, 2010 ते 2018 या कालावधीत, प्लास्टिक कार्ड वापरून नॉन-कॅश व्यवहारांची संख्या तीस पटीने वाढली - प्रति व्यक्ती प्रति वर्ष 5,8 ते 172 पर्यंत. मुद्दा प्रामुख्याने मायक्रोपेमेंट्सच्या विजयाचा आहे: आपल्यापैकी बरेच जण ऑनलाइन बँकिंगशी परिचित झाले आहेत, आणि आमच्याकडे आता बँक आमच्या बोटांच्या टोकावर आहे - आमच्या फोनवर.

पतसंस्थेची आयटी पायाभूत सुविधा अशा आव्हानासाठी सज्ज असणे आवश्यक आहे. आणि हे खरोखर एक आव्हान आहे. इतर गोष्टींबरोबरच, जर पूर्वी बँकेला फक्त त्याच्या व्यवसायाच्या वेळेत डेटा उपलब्धता सुनिश्चित करणे आवश्यक होते, तर आता ते 24/7 उपलब्ध असणे आवश्यक आहे. अलीकडे पर्यंत, 5 ms हे स्वीकार्य विलंब मानक मानले जात होते, पण मग काय? आता 1 ms देखील खूप आहे. आधुनिक स्टोरेज सिस्टमसाठी, लक्ष्य मूल्य 0,5 ms आहे.

तीच गोष्ट विश्वासार्हतेची आहे: 2010 च्या दशकात, एक अनुभवजन्य समज तयार झाली की त्याची पातळी "पाच दहा" - 99,999% पर्यंत आणणे पुरेसे आहे. खरे आहे, ही समज जुनी झाली आहे. 2020 मध्ये, व्यवसायांसाठी स्टोरेजसाठी 99,9999% आणि एकूण आर्किटेक्चर सोल्यूशनसाठी 99,99999% मागणी करणे अगदी सामान्य आहे. आणि ही एक लहरी नाही तर तातडीची गरज आहे: पायाभूत सुविधांच्या देखभालीसाठी एकतर वेळ नाही किंवा ती लहान आहे.

स्पष्टतेसाठी, हे संकेतक पैशाच्या विमानावर प्रक्षेपित करणे सोयीचे आहे. आर्थिक संस्थांचे उदाहरण वापरणे हा सर्वात सोपा मार्ग आहे. जगातील शीर्ष 10 बँकांपैकी प्रत्येक बँक दर तासाला किती कमावते हे वरील चार्ट दाखवते. एकट्या इंडस्ट्रियल अँड कमर्शियल बँक ऑफ चायना साठी, हे $5 दशलक्षपेक्षा कमी नाही. चीनमधील सर्वात मोठ्या क्रेडिट संस्थेच्या IT इन्फ्रास्ट्रक्चरच्या एका तासाच्या डाउनटाइमसाठी किती खर्च येईल (आणि गणना केवळ गमावलेला नफा विचारात घेते!). या दृष्टीकोनातून, हे स्पष्ट आहे की डाउनटाइम कमी करणे आणि विश्वासार्हता वाढवणे, केवळ काही टक्‍क्‍यांनीच नव्हे, तर काही टक्‍क्‍यांच्या अंशानेही, पूर्णपणे तर्कशुद्धपणे न्याय्य आहे. केवळ वाढत्या स्पर्धात्मकतेच्या कारणास्तवच नाही, तर केवळ बाजारातील स्थान राखण्यासाठी देखील.

इतर उद्योगांमध्ये तुलनात्मक बदल होत आहेत. उदाहरणार्थ, हवाई वाहतुकीमध्ये: साथीच्या आजारापूर्वी, हवाई प्रवास केवळ वर्षानुवर्षे वेगवान होत होता आणि अनेकांनी ते जवळजवळ टॅक्सीसारखे वापरण्यास सुरुवात केली. ग्राहकांच्या नमुन्यांबद्दल, सेवांच्या एकूण उपलब्धतेची सवय समाजात रुजली आहे: विमानतळावर पोहोचल्यावर, आम्हाला वाय-फाय कनेक्शन, पेमेंट सेवांमध्ये प्रवेश, क्षेत्राचा नकाशा इ. आवश्यक आहे. परिणामी, सार्वजनिक जागांवर पायाभूत सुविधा आणि सेवांवरील भार अनेक पटींनी वाढला आहे. आणि पायाभूत सुविधा आणि बांधकामासाठीचे ते दृष्टीकोन ज्यांना आम्ही एक वर्षापूर्वी देखील स्वीकार्य मानले होते ते झपाट्याने जुने होत आहेत.

ऑल-फ्लॅशवर स्विच करणे खूप लवकर आहे का?

वर नमूद केलेल्या समस्यांचे निराकरण करण्यासाठी, कार्यक्षमतेच्या दृष्टीने, AFA - ऑल-फ्लॅश अॅरे, म्हणजेच पूर्णपणे फ्लॅशवर तयार केलेले अॅरे - सर्वात योग्य आहेत. अलीकडे पर्यंत, एचडीडी आणि हायब्रिडच्या आधारे एकत्रित केलेल्या विश्वासार्हतेच्या तुलनेत ते तुलनात्मक आहेत की नाही याबद्दल अजूनही शंका होत्या. अखेरीस, सॉलिड-स्टेट फ्लॅश मेमरीला एक मेट्रिक आहे ज्यामध्ये अपयश दरम्यानचा वेळ किंवा MTBF (अयशस्वी दरम्यानचा वेळ) म्हणतात. I/O ऑपरेशन्समुळे सेल डिग्रेडेशन, अरेरे, दिलेले आहे.

त्यामुळे एसएसडी मरण पावला तर डेटाचे नुकसान कसे टाळता येईल या प्रश्नाने ऑल-फ्लॅशची शक्यता धुळीला मिळाली. बॅकअप हा एक सामान्य पर्याय आहे, परंतु आधुनिक आवश्यकतांवर आधारित पुनर्प्राप्ती वेळ अस्वीकार्यपणे लांब असेल. दुसरा मार्ग म्हणजे स्पिंडल ड्राइव्हवर स्टोरेजचा दुसरा स्तर सेट करणे, परंतु या योजनेसह "कठोरपणे फ्लॅश" प्रणालीचे काही फायदे गमावले आहेत.

तथापि, संख्या अन्यथा सांगतात: अलिकडच्या वर्षांत Google सह डिजिटल अर्थव्यवस्थेतील दिग्गजांची आकडेवारी दर्शवते की फ्लॅश हार्ड ड्राइव्हपेक्षा कितीतरी पट अधिक विश्वासार्ह आहे. शिवाय, अल्प कालावधीत आणि दीर्घ कालावधीत दोन्ही: फ्लॅश ड्राइव्ह अयशस्वी होण्यापूर्वी सरासरी चार ते सहा वर्षे निघून जातात. डेटा स्टोरेजच्या विश्वासार्हतेच्या बाबतीत, ते स्पिंडल मॅग्नेटिक डिस्कवरील ड्राइव्हपेक्षा कोणत्याही प्रकारे कनिष्ठ नाहीत आणि त्यांना मागे टाकतात.

स्पिंडल ड्राइव्हच्या बाजूने आणखी एक पारंपारिक युक्तिवाद म्हणजे त्यांची परवडणारी क्षमता. हार्ड ड्राइव्हवर टेराबाइट साठवण्याची किंमत अजूनही तुलनेने कमी आहे यात शंका नाही. आणि जर आपण फक्त हार्डवेअरची किंमत लक्षात घेतली तर, एसएसडीपेक्षा स्पिंडल ड्राइव्हवर टेराबाइट संग्रहित करणे स्वस्त आहे. तथापि, आर्थिक नियोजनाच्या संदर्भात, एखादे विशिष्ट उपकरण किती प्रमाणात खरेदी केले गेले हे महत्त्वाचे नाही, तर तीन ते सात वर्षांपर्यंत - दीर्घ काळासाठी त्याच्या मालकीची एकूण किंमत किती आहे हे देखील महत्त्वाचे आहे.

या कोनातून, सर्वकाही पूर्णपणे भिन्न आहे. जरी आम्ही डुप्लिकेशन आणि कॉम्प्रेशन काढले, जे सहसा फ्लॅश अॅरेवर वापरले जातात आणि त्यांचे ऑपरेशन अधिक आर्थिकदृष्ट्या फायदेशीर बनवतात, तरीही रॅकमधील मीडियाने व्यापलेली जागा, उष्णता नष्ट होणे आणि वीज वापर यासारखी वैशिष्ट्ये कायम राहतात. आणि त्यांच्या मते, फ्लश त्याच्या पूर्ववर्तींना मागे टाकतो. परिणामी, फ्लॅश स्टोरेज सिस्टमचा TCO, सर्व पॅरामीटर्स लक्षात घेऊन, स्पिंडल ड्राइव्ह किंवा हायब्रीड्सवरील अॅरेच्या बाबतीत जवळजवळ अर्धा कमी असतो.

ESG एजन्सीच्या अहवालानुसार, Dorado V6 ऑल-फ्लॅश स्टोरेज सिस्टीमवर पाच वर्षांच्या अंतराने 78% पर्यंत मालकी खर्चात कपात करणे शक्य आहे - प्रभावी डुप्लिकेशन आणि कॉम्प्रेशनसह आणि कमी पॉवरमुळे वापर आणि उष्णता अपव्यय. जर्मन विश्लेषणात्मक कंपनी DCIG देखील TCO च्या दृष्टीने आज उपलब्ध असलेल्या इष्टतम म्हणून वापरण्यासाठी शिफारस करते.

सॉलिड-स्टेट ड्राईव्हच्या वापरामुळे वापरण्यायोग्य जागा वाचवणे, अपयशांची संख्या कमी करणे, सोल्यूशन सर्व्हिसिंगसाठी वेळ कमी करणे आणि स्टोरेज सिस्टमचा ऊर्जेचा वापर आणि उष्णता कमी करणे शक्य होते. आणि असे दिसून आले की एएफए आर्थिकदृष्ट्या कमीतकमी स्पिंडल ड्राइव्हवरील पारंपारिक अॅरेशी तुलना करता येते आणि बर्याचदा त्यांना मागे टाकते.

Huawei कडून रॉयल फ्लश

आमच्या ऑल-फ्लॅश स्टोरेजमध्ये, सर्वोच्च स्थान हाय-एंड सिस्टम OceanStor Dorado 18000 V6 चे आहे. आणि केवळ आपल्यामध्येच नाही: संपूर्ण उद्योगात, त्याचा वेग रेकॉर्ड आहे - कमाल कॉन्फिगरेशनमध्ये 20 दशलक्ष आयपीओएस पर्यंत. याव्यतिरिक्त, हे अत्यंत विश्वासार्ह आहे: जरी दोन नियंत्रक एकाच वेळी उड्डाण केले, किंवा एकापाठोपाठ सात नियंत्रक किंवा एकाच वेळी संपूर्ण इंजिन, डेटा टिकून राहील. त्यामध्ये तयार केलेले AI अंतर्गत प्रक्रिया व्यवस्थापित करण्यात लवचिकतेसह "अठरा-हजारव्या" ला लक्षणीय फायदे प्रदान करते. हे सर्व कसे साध्य होते ते पाहूया.

मोठ्या प्रमाणात, Huawei ची सुरुवात चांगली आहे कारण ती बाजारपेठेतील एकमेव निर्माता आहे जी स्वतः डेटा स्टोरेज सिस्टम बनवते - संपूर्णपणे आणि पूर्णपणे. आमची स्वतःची सर्किटरी, आमचा स्वतःचा मायक्रोकोड आणि आमची स्वतःची सेवा आहे.

OceanStor Dorado सिस्टीममधील कंट्रोलर Huawei च्या स्वतःच्या डिझाईन आणि उत्पादनाच्या प्रोसेसरवर बनवलेले आहे - Kunpeng 920. हे इंटेलिजेंट बेसबोर्ड मॅनेजमेंट कंट्रोलर (iBMC) वापरते, आमचे देखील. AI चिप्स, म्हणजे Ascend 310, जे अयशस्वी अंदाज अनुकूल करतात आणि सेटिंग्जवर शिफारसी करतात, ते देखील Huawei कडून आहेत, जसे I/O बोर्ड - स्मार्ट I/O मॉड्यूल आहेत. शेवटी, सॉलिड-स्टेट ड्राइव्हमधील कंट्रोलर इन-हाउस डिझाइन आणि तयार केले जातात. या सर्वांनी अविभाज्यपणे संतुलित आणि उच्च-कार्यक्षमता समाधान तयार करण्यासाठी आधार प्रदान केला.

गेल्या वर्षभरात, आम्ही मोठ्या रशियन बँकांपैकी एकामध्ये, आमच्या टॉप-ऑफ-द-लाइन स्टोरेज सिस्टमची अंमलबजावणी करण्यासाठी एक प्रकल्प लागू केला आहे. परिणामी, मेट्रो क्लस्टरमधील OceanStor Dorado 40 V18000 च्या 6 पेक्षा जास्त युनिट्स स्थिर कामगिरी दर्शवतात: प्रत्येक सिस्टममधून एक दशलक्षाहून अधिक IOPS काढले जाऊ शकतात आणि हे अंतरामुळे होणारा विलंब लक्षात घेते.

एंड-टू-एंड NVMe

नवीनतम Huawei स्टोरेज सिस्टम एंड-टू-एंड NVMe ला समर्थन देतात, ज्यावर आम्ही एका कारणास्तव लक्ष केंद्रित करतो. पारंपारिकपणे वापरलेले स्टोरेज ऍक्सेस प्रोटोकॉल IT च्या उग्र दिवसांमध्ये विकसित केले गेले: ते SCSI आदेशांवर आधारित आहेत (हॅलो, 1980!), ज्यामध्ये बॅकवर्ड सुसंगतता सुनिश्चित करण्यासाठी बरीच कार्ये समाविष्ट आहेत. तुम्ही कोणतीही अ‍ॅक्सेस पद्धत निवडली तरी, या प्रकरणात प्रोटोकॉल ओव्हरहेड प्रचंड आहे. परिणामी, SCSI-आधारित प्रोटोकॉल वापरणाऱ्या स्टोरेज उपकरणांसाठी, I/O लेटन्सी 0,4–0,5 ms पेक्षा कमी असू शकत नाही. याउलट, फ्लॅश मेमरीसह कार्य करण्यासाठी तयार केलेला प्रोटोकॉल असल्याने आणि कुप्रसिद्ध बॅकवर्ड कंपॅटिबिलिटीच्या फायद्यासाठी क्रॅचमधून मुक्त केले जाते, NVMe - नॉन-व्होलाटाइल मेमरी एक्सप्रेस - लेटन्सी 0,1 ms पर्यंत कमी करते आणि स्टोरेज सिस्टमवर नाही तर संपूर्णपणे स्टॅक, होस्ट पासून ड्राइव्हस् पर्यंत. हे आश्चर्यकारक नाही की NVMe नजीकच्या भविष्यासाठी डेटा स्टोरेजच्या विकासाच्या ट्रेंडशी सुसंगत आहे. आम्ही देखील NVMe वर आमची बाजी लावली आहे आणि हळूहळू SCSI पासून दूर जात आहोत. Dorado लाइनसह आज उत्पादित सर्व Huawei स्टोरेज सिस्टीम NVMe ला समर्थन देतात (तथापि, एंड-टू-एंड म्हणून ते फक्त Dorado V6 मालिकेच्या प्रगत मॉडेल्सवर लागू केले जाते).

फ्लॅशलिंक: मूठभर तंत्रज्ञान

संपूर्ण OceanStor Dorado लाइनसाठी कोनशिला तंत्रज्ञान FlashLink आहे. अधिक स्पष्टपणे, ही एक संज्ञा आहे जी तंत्रज्ञानाचा अविभाज्य संच एकत्र करते जी उच्च कार्यक्षमता आणि विश्वासार्हता सुनिश्चित करते. यामध्ये डुप्लिकेशन आणि कॉम्प्रेशन तंत्रज्ञान, RAID 2.0+ डेटा वितरण प्रणालीचे कार्य, "कोल्ड" आणि "हॉट" डेटाचे पृथक्करण, सर्व-स्ट्राइप अनुक्रमिक डेटा रेकॉर्डिंग (यादृच्छिक रेकॉर्ड, नवीन आणि बदललेल्या डेटासह, एकत्रित केले जातात) समाविष्ट आहेत मोठा स्टॅक आणि क्रमाने लिहिलेला, ज्यामुळे वाचन-लेखनाचा वेग वाढतो).

इतर गोष्टींबरोबरच, FlashLink मध्ये दोन महत्त्वाचे घटक समाविष्ट आहेत - वेअर लेव्हलिंग आणि ग्लोबल गार्बेज कलेक्शन. ते स्वतंत्रपणे राहण्यासारखे आहेत.

खरं तर, कोणतीही सॉलिड-स्टेट ड्राइव्ह ही लघुचित्रातील स्टोरेज सिस्टीम असते, ज्यामध्ये मोठ्या संख्येने ब्लॉक्स असतात आणि एक कंट्रोलर असतो जो डेटाची उपलब्धता सुनिश्चित करतो. आणि इतर गोष्टींबरोबरच हे सुनिश्चित केले जाते की "मारलेल्या" पेशींमधील डेटा "मारलेल्या" पेशींमध्ये हस्तांतरित केला जातो. यामुळे ते वाचता येतात याची खात्री होते. अशा हस्तांतरणासाठी विविध अल्गोरिदम आहेत. सर्वसाधारणपणे, कंट्रोलर सर्व स्टोरेज सेलच्या पोशाखांना संतुलित करण्याचा प्रयत्न करतो. या दृष्टिकोनाचा एक तोटा आहे. जेव्हा डेटा SSD मध्ये हलतो, तेव्हा ते करत असलेल्या I/O ऑपरेशन्सची संख्या नाटकीयरित्या कमी होते. याक्षणी ते एक आवश्यक वाईट आहे.

अशाप्रकारे, जर एखाद्या सिस्टममध्ये भरपूर सॉलिड-स्टेट ड्राइव्ह्स असतील, तर त्याचा कार्यप्रदर्शन आलेख तीव्र चढ-उतारांसह "सॉ-टूथ" नमुना दर्शवेल. अडचण अशी आहे की पूलमधील कोणतीही एक ड्राइव्ह कधीही डेटा माइग्रेशन सुरू करू शकते आणि अॅरेमधील सर्व SSDs मधून एकंदर कामगिरी एकाच वेळी काढली जाते. परंतु Huawei अभियंत्यांनी "सॉ" कसे टाळायचे ते शोधून काढले.

सुदैवाने, ड्राईव्हमधील कंट्रोलर, स्टोरेज कंट्रोलर आणि मायक्रोकोड मूळचे Huawei चे आहेत; OceanStor Dorado 18000 V6 मधील या प्रक्रिया अ‍ॅरेमधील सर्व ड्राईव्हवर समकालिकपणे मध्यवर्तीपणे लाँच केल्या जातात. शिवाय, स्टोरेज कंट्रोलरच्या आदेशानुसार आणि तंतोतंत जेव्हा कोणतेही भारी I/O लोड नसते.

डेटा हस्तांतरित करण्यासाठी योग्य क्षण निवडण्यात कृत्रिम बुद्धिमत्ता चिप देखील सामील आहे: मागील काही महिन्यांतील विनंत्यांच्या आकडेवारीच्या आधारे, नजीकच्या भविष्यात सक्रिय I/O ची अपेक्षा करावी की नाही हे सर्वोच्च संभाव्यतेसह अंदाज लावण्यास सक्षम आहे, आणि जर उत्तर नकारात्मक असेल आणि या क्षणी सिस्टमवरील भार कमी असेल तर कंट्रोलर सर्व ड्राइव्हला आज्ञा देतो: ज्यांना वेअर लेव्हलिंगची आवश्यकता आहे त्यांनी ते एकाच वेळी आणि समकालिकपणे केले पाहिजे.

तसेच, सिस्टम कंट्रोलर प्रत्येक स्टोरेज सेलमध्ये काय चालले आहे ते पाहतो, प्रतिस्पर्धी उत्पादकांकडून स्टोरेज सिस्टमच्या विपरीत: त्यांना तृतीय-पक्ष विक्रेत्यांकडून सॉलिड-स्टेट मीडिया खरेदी करण्यास भाग पाडले जाते, म्हणूनच सेल-स्तरीय तपशील नियंत्रकांना उपलब्ध नाही. अशा स्टोरेजची.

परिणामी, OceanStor Dorado 18000 V6 मध्ये वेअर लेव्हलिंग ऑपरेशन दरम्यान कामगिरी कमी होण्याचा खूप कमी कालावधी असतो आणि तो मुख्यत्वे जेव्हा इतर कोणत्याही प्रक्रियेत व्यत्यय आणत नाही तेव्हा केला जातो. हे सतत उच्च, स्थिर कामगिरी देते.

OceanStor Dorado 18000 V6 कशामुळे विश्वसनीय होते?

आधुनिक डेटा स्टोरेज सिस्टममध्ये विश्वासार्हतेचे चार स्तर आहेत:

• हार्डवेअर, ड्राइव्ह स्तरावर;
• आर्किटेक्चरल, उपकरणे स्तरावर;
• सॉफ्टवेअर भागासह आर्किटेक्चरल;
• एकत्रित, संपूर्ण निर्णयाशी संबंधित.

आम्‍ही तुम्‍हाला आठवण करून देतो की, आमची कंपनी स्‍टोरेज सिस्‍टमचे सर्व घटक स्‍वत:च डिझाईन आणि उत्‍पादन करते, आम्‍ही चार स्‍तरांपैकी प्रत्‍येक स्‍तरावर विश्‍वासार्हता सुनिश्चित करतो, त्‍या क्षणी त्‍यापैकी कोणत्‍यावर काय चालले आहे याचे पूर्ण निरीक्षण करण्‍याच्‍या क्षमतेसह.

ड्राइव्हच्या विश्वासार्हतेची हमी प्रामुख्याने पूर्वी वर्णन केलेल्या वेअर लेव्हलिंग आणि ग्लोबल गार्बेज कलेक्शनद्वारे दिली जाते. जेव्हा एसएसडी सिस्टीमला ब्लॅक बॉक्स सारखा दिसतो, तेव्हा त्यातील पेशी नक्की कशा बाहेर पडतात याची कल्पना नसते. OceanStor Dorado 18000 V6 साठी, ड्राईव्ह पारदर्शक आहेत, ज्यामुळे अॅरेमधील सर्व ड्राईव्हमध्ये एकसमान संतुलन साधता येते. अशा प्रकारे, एसएसडीचे आयुष्य लक्षणीयरीत्या वाढवणे आणि त्यांच्या ऑपरेशनची उच्च पातळीची विश्वासार्हता सुनिश्चित करणे शक्य आहे.

ड्राइव्हची विश्वासार्हता देखील त्यातील अतिरिक्त अनावश्यक पेशींमुळे प्रभावित होते. आणि साध्या रिझर्व्हसह, स्टोरेज सिस्टम तथाकथित डीआयएफ सेल वापरते, ज्यात चेकसम असतात, तसेच अतिरिक्त कोड जे प्रत्येक ब्लॉकला एकाच त्रुटीपासून संरक्षित करणे शक्य करतात, RAID अॅरे स्तरावरील संरक्षणाव्यतिरिक्त.

आर्किटेक्चरल विश्वासार्हतेची गुरुकिल्ली म्हणजे स्मार्टमॅट्रिक्स सोल्यूशन. थोडक्यात, हे चार नियंत्रक आहेत जे एका इंजिनचा भाग म्हणून निष्क्रिय बॅकप्लेनवर बसतात. अशी दोन इंजिने - अनुक्रमे, आठ नियंत्रकांसह - ड्राईव्हसह सामान्य शेल्फ् 'चे अव रुप जोडलेले आहेत. स्मार्टमॅट्रिक्सचे आभार, जरी आठपैकी सात नियंत्रकांनी कार्य करणे थांबवले, तरीही सर्व डेटामध्ये प्रवेश, वाचणे आणि लिहिणे, दोन्ही राहील. आणि जर आठपैकी सहा नियंत्रक हरवले तर कॅशिंग ऑपरेशन्स सुरू ठेवणे देखील शक्य होईल.

समान पॅसिव्ह बॅकप्लेनवरील I/O बोर्ड फ्रंट-एंड आणि बॅक-एंड दोन्ही कंट्रोलर्ससाठी उपलब्ध आहेत. या पूर्ण-जाळी कनेक्शन योजनेसह, काहीही चूक झाली तरीही, ड्राइव्हमध्ये प्रवेश नेहमी राखला जातो.

अयशस्वी परिस्थितीच्या संदर्भात आर्किटेक्चरच्या विश्वासार्हतेबद्दल बोलणे सर्वात योग्य आहे, ज्याच्या विरूद्ध डेटा स्टोरेज सिस्टम संरक्षण प्रदान करण्यास सक्षम आहे.

एकाच वेळी दोन कंट्रोलर "बंद" झाल्यास स्टोरेज नुकसान न होता परिस्थितीत टिकून राहील. अशी स्थिरता या वस्तुस्थितीमुळे प्राप्त केली जाते की कोणत्याही कॅशे ब्लॉकच्या वेगवेगळ्या नियंत्रकांवर निश्चितपणे आणखी दोन प्रती असतात, म्हणजेच एकूण तीन प्रतींमध्ये ते अस्तित्वात असते. शिवाय, किमान एक वेगळ्या इंजिनवर आहे. अशा प्रकारे, जरी संपूर्ण इंजिन कार्य करणे थांबवले - त्याच्या चारही नियंत्रकांसह - कॅशे मेमरीमध्ये असलेल्या सर्व माहितीच्या जतनाची हमी दिली जाते, कारण उर्वरित इंजिनमधील कमीतकमी एका कंट्रोलरमध्ये कॅशे डुप्लिकेट केली जाईल. शेवटी, डेझी-चेन कनेक्शनसह, तुम्ही सात कंट्रोलर्स गमावू शकता, आणि जरी ते दोन ब्लॉक्समध्ये काढून टाकले तरीही, आणि पुन्हा सर्व I/O आणि कॅशे मेमरीमधील सर्व डेटा जतन केला जाईल.

इतर निर्मात्यांकडील हाय-एंड स्टोरेजशी तुलना केल्यास, हे स्पष्ट आहे की दोन नियंत्रक किंवा संपूर्ण इंजिनच्या मृत्यूनंतरही केवळ Huawei संपूर्ण डेटा संरक्षण आणि पूर्ण उपलब्धता प्रदान करते. बहुतेक विक्रेते तथाकथित कंट्रोलर जोड्यांसह एक योजना वापरतात ज्यात ड्राइव्ह जोडलेले असतात. दुर्दैवाने, या कॉन्फिगरेशनमध्ये, दोन नियंत्रक अयशस्वी झाल्यास, ड्राइव्हवरील I/O प्रवेश गमावण्याचा धोका असतो.

अरेरे, एकाच घटकाचे अपयश वस्तुनिष्ठपणे नाकारता येत नाही. या प्रकरणात, कार्यप्रदर्शन काही काळासाठी त्रासदायक ठरेल: पथ पुन्हा तयार करणे आणि I/O ऑपरेशन्ससाठी प्रवेश करणे आवश्यक आहे जे एकतर लेखनासाठी आले आहेत, परंतु अद्याप लिहिलेले नाहीत, किंवा त्यासाठी विनंती केली गेली आहे. वाचन OceanStor Dorado 18000 V6 ची सरासरी लेन बदलण्याची वेळ अंदाजे एक सेकंद आहे - उद्योगातील सर्वात जवळच्या अॅनालॉगपेक्षा लक्षणीयरीत्या कमी (4 सेकंद). हे त्याच निष्क्रीय बॅकप्लेमुळे प्राप्त झाले आहे: जेव्हा कंट्रोलर अयशस्वी होतो, तेव्हा इतर लगेच त्याचे इनपुट-आउटपुट पाहतात आणि विशेषतः कोणता डेटा ब्लॉक रेकॉर्ड केलेला नाही; परिणामी, जवळचा नियंत्रक प्रक्रिया उचलतो. त्यामुळे एका सेकंदात अक्षरशः उत्पादकता पुनर्संचयित करण्याची क्षमता. हे जोडले पाहिजे की मध्यांतर स्थिर आहे: एका नियंत्रकासाठी सेकंद, दुसर्‍यासाठी सेकंद इ.

OceanStor Dorado 18000 V6 पॅसिव्ह बॅकप्लेनमध्ये, सर्व बोर्ड कोणत्याही अतिरिक्त पत्त्याशिवाय सर्व नियंत्रकांसाठी प्रवेशयोग्य आहेत. याचा अर्थ कोणताही नियंत्रक कोणत्याही पोर्टवर I/O उचलण्यास सक्षम आहे. I/O कोणत्याही फ्रंटएंड पोर्टवर येईल, कंट्रोलर त्यावर प्रक्रिया करण्यासाठी तयार असेल. याचा परिणाम कमीत कमी अंतर्गत हस्तांतरण आणि समतोल साधण्याचे सहज लक्षात येण्यासारखे होते.

फ्रंटएंड बॅलन्सिंग मल्टीपाथिंग ड्रायव्हर वापरून केले जाते, आणि त्याव्यतिरिक्त बॅलन्सिंग सिस्टममध्येच केले जाते, कारण सर्व नियंत्रक सर्व I/O पोर्ट पाहतात.

पारंपारिकपणे, सर्व Huawei अॅरे अशा प्रकारे डिझाइन केले आहेत की त्यांच्याकडे अपयशाचा एकही बिंदू नाही. सिस्टम रीबूट न ​​करता सर्व घटक हॉट-स्वॅप केले जाऊ शकतात: कंट्रोलर, पॉवर मॉड्यूल, कूलिंग मॉड्यूल, I/O बोर्ड इ.

RAID-TP सारखे तंत्रज्ञान देखील संपूर्ण प्रणालीची विश्वासार्हता वाढवते. हे RAID गटाचे नाव आहे, जे तुम्हाला एकाच वेळी तीन ड्राईव्ह अयशस्वी झाल्यास तुमचा विमा काढू देते. शिवाय एक 1 TB पुनर्बांधणी सातत्याने 30 मिनिटांपेक्षा कमी वेळ घेते. स्पिंडल ड्राईव्हवरील डेटाच्या समान प्रमाणाच्या तुलनेत सर्वोत्तम रेकॉर्ड केलेला निकाल आठपट जलद आहे. अशा प्रकारे, 7,68 किंवा अगदी 15 टीबी, अत्यंत क्षमता असलेल्या ड्राइव्ह वापरणे शक्य आहे आणि सिस्टमच्या विश्वासार्हतेबद्दल काळजी करू नका.

हे महत्वाचे आहे की पुनर्बांधणी स्पेअर ड्राइव्हमध्ये नाही, परंतु अतिरिक्त जागेत - राखीव क्षमता. प्रत्येक ड्राइव्हमध्ये समर्पित जागा असते जी अयशस्वी झाल्यानंतर डेटा पुनर्प्राप्त करण्यासाठी वापरली जाते. अशा प्रकारे, जीर्णोद्धार “अनेक ते एक” योजनेनुसार नाही तर “अनेक ते अनेक” योजनेनुसार केले जाते, ज्यामुळे प्रक्रियेस लक्षणीय गती देणे शक्य आहे. आणि जोपर्यंत विनामूल्य क्षमता आहे, तोपर्यंत जीर्णोद्धार चालू ठेवता येईल.

स्वतंत्रपणे, अनेक स्टोरेजमधील सोल्यूशनच्या विश्वासार्हतेचा उल्लेख करणे योग्य आहे - मेट्रो क्लस्टरमध्ये किंवा, Huawei शब्दावलीत, HyperMetro. अशा योजना आमच्या डेटा स्टोरेज सिस्टमच्या संपूर्ण श्रेणीमध्ये समर्थित आहेत आणि फाइल आणि ब्लॉक ऍक्सेस दोन्हीसह कार्य करण्यास अनुमती देतात. शिवाय, ब्लॉकच्या आधारावर ते फायबर चॅनल आणि इथरनेट (iSCSI सह) दोन्हीद्वारे कार्य करते.

थोडक्यात, आम्ही एका स्टोरेज सिस्टीममधून दुस-याकडे द्विदिशात्मक प्रतिकृतीबद्दल बोलत आहोत, ज्यामध्ये प्रतिकृती बनवलेल्या LUN ला मुख्य प्रमाणे LUN-ID दिला जातो. तंत्रज्ञान प्रामुख्याने दोन भिन्न प्रणालींमधील कॅशेच्या सुसंगततेमुळे कार्य करते. अशा प्रकारे, यजमानासाठी ते कोणत्या बाजूला आहे याचा पूर्णपणे फरक पडत नाही: येथे आणि तेथे दोन्ही समान लॉजिकल ड्राइव्ह पाहतो. परिणामी, दोन साइटवर पसरलेले फेलओव्हर क्लस्टर तैनात करण्यापासून काहीही प्रतिबंधित करत नाही.

कोरमसाठी, भौतिक किंवा आभासी लिनक्स मशीन वापरली जाते. ते तिसऱ्या साइटवर स्थित असू शकते आणि त्याच्या संसाधनांची आवश्यकता लहान आहे. कोरम VM होस्ट करण्यासाठी व्हर्च्युअल साइट भाड्याने देणे ही एक सामान्य परिस्थिती आहे.

तंत्रज्ञान विस्तारासाठी देखील परवानगी देते: मेट्रो क्लस्टरमध्ये दोन स्टोरेज सुविधा, अॅसिंक्रोनस प्रतिकृतीसह अतिरिक्त साइट.

ऐतिहासिकदृष्ट्या, बर्‍याच ग्राहकांनी "स्टोरेज जू" तयार केले आहे: वेगवेगळ्या उत्पादकांकडून, भिन्न मॉडेल्स, भिन्न पिढ्यांमधील, भिन्न कार्यक्षमतेसह स्टोरेज सिस्टमचा एक समूह. त्याच वेळी, यजमानांची संख्या प्रभावशाली असू शकते आणि ते बर्‍याचदा आभासी केले जातात. अशा परिस्थितीत, प्रशासनाच्या प्राधान्य कार्यांपैकी एक म्हणजे यजमानांना तार्किक डिस्क त्वरीत, एकसमान आणि सोयीस्करपणे प्रदान करणे, शक्यतो या डिस्क भौतिकरित्या कोठे आहेत याचा शोध न घेता. आमचे सॉफ्टवेअर सोल्यूशन OceanStor DJ यासाठी डिझाइन केले आहे, जे विविध डेटा स्टोरेज सिस्टम एकत्रितपणे व्यवस्थापित करू शकते आणि विशिष्ट स्टोरेज मॉडेलशी जोडल्याशिवाय त्यांच्याकडून सेवा प्रदान करू शकते.

AI बरोबरच

आधीच नमूद केल्याप्रमाणे, OceanStor Dorado 18000 V6 मध्ये कृत्रिम बुद्धिमत्ता अल्गोरिदम - Ascend सह अंगभूत प्रोसेसर आहेत. ते वापरले जातात, प्रथम, अपयशांचा अंदाज लावण्यासाठी, आणि दुसरे म्हणजे, कॉन्फिगरेशन शिफारसी व्युत्पन्न करण्यासाठी, ज्यामुळे स्टोरेजची कार्यक्षमता आणि विश्वासार्हता देखील वाढते.

अंदाज क्षितीज दोन महिने आहे: एआय इंजिन गृहीत धरते की या काळात बहुधा काय घडेल, विस्तार करण्याची वेळ आली आहे की नाही, प्रवेश धोरणे बदलणे इ. शिफारशी आगाऊ जारी केल्या जातात, ज्यामुळे तुम्हाला विंडो शेड्यूल करण्याची परवानगी मिळते. वेळेपूर्वी सिस्टम देखभाल.

Huawei कडून AI च्या विकासाच्या पुढील टप्प्यात ते जागतिक स्तरावर नेणे समाविष्ट आहे. सेवा देखरेखीदरम्यान—अयशस्वी हाताळणी किंवा शिफारसी—हुआवेई आमच्या सर्व ग्राहकांच्या स्टोरेज सुविधांमधून लॉगिंग सिस्टममधील माहिती एकत्रित करते. जे संकलित केले जाते त्यावर आधारित, उद्भवलेल्या किंवा संभाव्य संभाव्य अपयशांचे विश्लेषण केले जाते आणि जागतिक शिफारसी केल्या जातात - एका विशिष्ट स्टोरेज सिस्टम किंवा अगदी डझनच्या कार्यावर आधारित नाही, परंतु अशा हजारो उपकरणांमध्ये काय घडत आहे आणि घडले आहे यावर आधारित आहे. . नमुना खूप मोठा आहे आणि त्यावर आधारित, एआय अल्गोरिदम खूप लवकर शिकू लागतात, म्हणूनच अंदाजांची अचूकता लक्षणीय वाढते.

सुसंगतता

2019-2020 मध्ये, VMware उत्पादनांसह आमच्या उपकरणांच्या परस्परसंवादाबद्दल अनेक सूचना होत्या. शेवटी त्यांना थांबवण्यासाठी, आम्ही जबाबदारीने घोषित करतो: VMware हा Huawei चा भागीदार आहे. आमच्या हार्डवेअरची त्याच्या सॉफ्टवेअरसह सुसंगतता निश्चित करण्यासाठी प्रत्येक कल्पना करण्यायोग्य चाचणी घेण्यात आली आणि परिणामी, VMware वेबसाइटवर, हार्डवेअर सुसंगतता पत्रक आमच्या उत्पादनाच्या सध्या उपलब्ध स्टोरेज सिस्टमची कोणत्याही आरक्षणाशिवाय यादी करते. दुसऱ्या शब्दांत, VMware सॉफ्टवेअर वातावरणासह तुम्ही पूर्ण समर्थनासह Dorado V6 सह Huawei स्टोरेज वापरू शकता.

ब्रोकेडसह आमच्या सहकार्यासाठीही तेच आहे. आम्ही आमच्या उत्पादनांच्या सुसंगततेचे सहयोग आणि चाचणी करणे सुरू ठेवतो - आणि त्यांच्या परिणामांवर आधारित, आम्ही आत्मविश्वासाने असे ठामपणे सांगू शकतो की आमच्या स्टोरेज सिस्टम नवीनतम ब्रोकेड एफसी स्विचेसशी पूर्णपणे सुसंगत आहेत.

पुढील काय आहे?

आम्ही आमचे प्रोसेसर विकसित आणि सुधारणे सुरू ठेवतो: ते जलद, अधिक विश्वासार्ह बनतात आणि त्यांची कार्यक्षमता वाढते. आम्ही AI चिप्समध्ये देखील सुधारणा करत आहोत - त्यांच्या आधारावर मॉड्यूल्स तयार केले जात आहेत जे डीडुप्लिकेशन आणि कॉम्प्रेशनला गती देतात. ज्यांना आमच्या कॉन्फिगरेटरमध्ये प्रवेश आहे त्यांच्या लक्षात आले असेल की Dorado V6 मॉडेलमध्ये ही कार्डे आधीच ऑर्डरसाठी उपलब्ध आहेत.

आम्ही स्टोरेज क्लास मेमरीवरील अतिरिक्त कॅशिंगकडेही जात आहोत - विशेषत: कमी विलंब असलेली नॉन-व्होलॅटाइल मेमरी, प्रति वाचन सुमारे दहा मायक्रोसेकंद. इतर गोष्टींबरोबरच, SCM मुख्यत्वे मोठ्या डेटासह काम करताना आणि OLTP समस्या सोडवताना कामगिरी वाढवते. पुढील अपडेटनंतर, SCM कार्ड ऑर्डरसाठी उपलब्ध झाले पाहिजेत.

आणि अर्थातच, फाइल ऍक्सेस कार्यक्षमता Huawei डेटा स्टोरेजच्या संपूर्ण श्रेणीमध्ये विस्तारित केली जाईल - आमच्या अद्यतनांसाठी संपर्कात रहा.

स्त्रोत: www.habr.com