मास स्टोरेजमधील उद्योग ट्रेंड

ज्या जगात पाचव्या पिढीचे नेटवर्क, जीनोम स्कॅनर आणि सेल्फ-ड्रायव्हिंग कार एका दिवसात औद्योगिक क्रांतीपूर्वी निर्माण झालेल्या संपूर्ण मानवजातीपेक्षा अधिक डेटा तयार करतात अशा जगात डेटा कसा संग्रहित करायचा याबद्दल आज आपण चर्चा करू.

आपले जग अधिकाधिक माहिती व्युत्पन्न करते. त्यातला काही क्षणभंगुर असतो आणि तो गोळा करताच हरवला जातो. दुसरा जास्त काळ संग्रहित केला पाहिजे आणि दुसरा पूर्णपणे "शतकांकरिता" डिझाइन केलेला आहे - कमीतकमी आम्ही सध्यापासून ते कसे पाहतो. माहितीचा प्रवाह डेटा केंद्रांमध्ये इतक्या वेगाने स्थिरावतो की कोणतीही नवीन पद्धत, या अंतहीन "मागणी" पूर्ण करण्यासाठी डिझाइन केलेले कोणतेही तंत्रज्ञान वेगाने अप्रचलित होत आहे.

वितरित स्टोरेज विकासाची 40 वर्षे

आम्हाला परिचित स्वरूपातील पहिले नेटवर्क स्टोरेज 1980 मध्ये दिसू लागले. तुमच्यापैकी अनेकांना NFS (Network File System), AFS (Andrew File System) किंवा Coda भेटले असेल. एका दशकानंतर, फॅशन आणि तंत्रज्ञान बदलले आहे, आणि वितरित फाइल सिस्टमने GPFS (जनरल पॅरलल फाइल सिस्टम), CFS (क्लस्टर्ड फाइल सिस्टम) आणि StorNext वर आधारित क्लस्टर स्टोरेज सिस्टमला मार्ग दिला आहे. आधार म्हणून, शास्त्रीय आर्किटेक्चरचे ब्लॉक स्टोरेज वापरले गेले, ज्याच्या वर सॉफ्टवेअर लेयर वापरून एकल फाइल सिस्टम तयार केली गेली. हे आणि तत्सम सोल्यूशन्स अजूनही वापरले जातात, त्यांचे कोनाडा व्यापतात आणि जोरदार मागणी आहे.

सहस्राब्दीच्या वळणावर, वितरित स्टोरेज प्रतिमान काहीसे बदलले आणि SN (सामायिक-नथिंग) आर्किटेक्चरसह सिस्टमने आघाडी घेतली. क्लस्टर स्टोरेजपासून वेगळ्या नोड्सवर स्टोरेजमध्ये संक्रमण होते, जे नियम म्हणून, विश्वसनीय स्टोरेज प्रदान करणारे सॉफ्टवेअर असलेले क्लासिक सर्व्हर होते; एचडीएफएस (हडूप डिस्ट्रिब्युटेड फाइल सिस्टम) आणि जीएफएस (ग्लोबल फाइल सिस्टम) अशी तत्त्वे तयार केली जातात.

2010 च्या जवळ, व्हीएमवेअर vSAN, Dell EMC Isilon आणि आमच्यासारख्या पूर्ण वाढ झालेल्या व्यावसायिक उत्पादनांमध्ये वितरीत स्टोरेज सिस्टमच्या अंतर्निहित संकल्पना वाढत्या प्रमाणात दिसून येऊ लागल्या. Huawei OceanStor. नमूद केलेल्या प्लॅटफॉर्मच्या मागे आता उत्साही लोकांचा समुदाय नाही, परंतु विशिष्ट विक्रेते जे उत्पादनाची कार्यक्षमता, समर्थन, सेवा देखभाल आणि त्याच्या पुढील विकासाची हमी यासाठी जबाबदार आहेत. अशा सोल्यूशन्सना अनेक क्षेत्रांमध्ये सर्वाधिक मागणी आहे.

दूरसंचार ऑपरेटर

कदाचित वितरित स्टोरेज सिस्टमच्या सर्वात जुन्या ग्राहकांपैकी एक टेलिकॉम ऑपरेटर आहेत. आकृती दर्शविते की अनुप्रयोगांचे कोणते गट मोठ्या प्रमाणात डेटा तयार करतात. OSS (ऑपरेशन सपोर्ट सिस्टम), MSS (व्यवस्थापन समर्थन सेवा) आणि BSS (बिझनेस सपोर्ट सिस्टम) हे तीन पूरक सॉफ्टवेअर स्तर आहेत जे सदस्यांना सेवा वितरण, प्रदात्याला आर्थिक अहवाल आणि ऑपरेटरच्या अभियंत्यांना ऑपरेशनल सपोर्टसाठी आवश्यक आहेत.

बर्‍याचदा, या स्तरांचा डेटा एकमेकांशी जोरदारपणे मिसळला जातो आणि अनावश्यक प्रती जमा होऊ नयेत म्हणून, वितरित स्टोरेज वापरले जातात जे कार्यरत नेटवर्कमधून येणारी संपूर्ण माहिती जमा करतात. स्टोरेज एका सामान्य पूलमध्ये एकत्र केले जातात, ज्यामध्ये सर्व सेवा प्रवेश करतात.

आमची गणना दर्शविते की क्लासिक ते ब्लॉक स्टोरेज सिस्टममधील संक्रमण तुम्हाला केवळ समर्पित हाय-एंड स्टोरेज सिस्टम सोडून आणि पारंपरिक शास्त्रीय आर्किटेक्चर सर्व्हर (सामान्यत: x70) वापरून, विशेष सॉफ्टवेअरच्या संयोगाने काम करून बजेटच्या 86% पर्यंत बचत करू देते. सेल्युलर ऑपरेटर बर्‍याच काळापासून अशा प्रकारचे समाधान लक्षणीय प्रमाणात मिळवत आहेत. विशेषतः, रशियन ऑपरेटर सहा वर्षांहून अधिक काळ Huawei कडून अशी उत्पादने वापरत आहेत.

होय, वितरित प्रणाली वापरून अनेक कार्ये करता येत नाहीत. उदाहरणार्थ, वाढीव कार्यप्रदर्शन आवश्यकता किंवा जुन्या प्रोटोकॉलसह सुसंगतता. परंतु ऑपरेटर प्रक्रिया करत असलेला डेटा किमान 70% वितरित पूलमध्ये ठेवला जाऊ शकतो.

बँकिंग

कोणत्याही बँकेत, प्रक्रिया करण्यापासून ते स्वयंचलित बँकिंग प्रणालीपर्यंत अनेक वैविध्यपूर्ण IT प्रणाली असतात. ही पायाभूत सुविधा मोठ्या प्रमाणात माहितीसह देखील कार्य करते, तर बहुतेक कार्यांसाठी स्टोरेज सिस्टमची कार्यक्षमता आणि विश्वासार्हता वाढवणे आवश्यक नसते, जसे की विकास, चाचणी, ऑफिस प्रक्रियांचे ऑटोमेशन इ. येथे, क्लासिक स्टोरेज सिस्टमचा वापर शक्य आहे. , परंतु दरवर्षी ते कमी आणि कमी फायदेशीर आहे. याव्यतिरिक्त, या प्रकरणात, स्टोरेज संसाधने खर्च करण्यात लवचिकता नाही, ज्याची कामगिरी पीक लोडवरून मोजली जाते.

वितरित स्टोरेज सिस्टम वापरताना, त्यांचे नोड्स, जे खरेतर सामान्य सर्व्हर आहेत, कोणत्याही वेळी बदलले जाऊ शकतात, उदाहरणार्थ, सर्व्हर फार्ममध्ये आणि संगणकीय प्लॅटफॉर्म म्हणून वापरले जाऊ शकतात.

डेटा तलाव

वरील आकृती विशिष्ट सेवा उपभोक्त्यांची सूची दर्शवते. डेटा तलाव. या ई-शासकीय सेवा (उदाहरणार्थ, “गोसुस्लुगी”), डिजिटलायझेशन, आर्थिक संरचना इ. अशा उपक्रमांतर्गत असू शकतात. त्या सर्वांना मोठ्या प्रमाणात विषम माहितीसह कार्य करणे आवश्यक आहे.

अशा समस्यांचे निराकरण करण्यासाठी शास्त्रीय स्टोरेज सिस्टमचे ऑपरेशन अकार्यक्षम आहे, कारण ब्लॉक डेटाबेसमध्ये उच्च-कार्यक्षमता प्रवेश आणि ऑब्जेक्ट्स म्हणून संग्रहित स्कॅन केलेल्या दस्तऐवजांच्या लायब्ररीमध्ये नियमित प्रवेश दोन्ही आवश्यक आहेत. येथे, उदाहरणार्थ, वेब पोर्टलद्वारे ऑर्डरची प्रणाली बांधली जाऊ शकते. क्लासिक स्टोरेज प्लॅटफॉर्मवर हे सर्व अंमलात आणण्यासाठी, आपल्याला वेगवेगळ्या कार्यांसाठी मोठ्या उपकरणांची आवश्यकता असेल. एक क्षैतिज युनिव्हर्सल स्टोरेज सिस्टम पूर्वी सूचीबद्ध केलेली सर्व कार्ये सहजपणे कव्हर करू शकते: आपल्याला त्यात भिन्न स्टोरेज वैशिष्ट्यांसह अनेक पूल तयार करण्याची आवश्यकता आहे.

नवीन माहितीचे जनरेटर

जगात साठवलेल्या माहितीचे प्रमाण दरवर्षी सुमारे 30% ने वाढत आहे. स्टोरेज विक्रेत्यांसाठी ही चांगली बातमी आहे, परंतु या डेटाचा मुख्य स्त्रोत काय आहे आणि असेल?

दहा वर्षांपूर्वी, सोशल नेटवर्क्स असे जनरेटर बनले, ज्यासाठी मोठ्या संख्येने नवीन अल्गोरिदम, हार्डवेअर सोल्यूशन्स इत्यादी तयार करणे आवश्यक होते. आता स्टोरेज वाढीचे तीन मुख्य चालक आहेत. पहिले क्लाउड कॉम्प्युटिंग आहे. सध्या, अंदाजे 70% कंपन्या क्लाउड सेवा एक किंवा दुसर्या मार्गाने वापरतात. हे ईमेल सिस्टम, बॅकअप आणि इतर आभासी घटक असू शकतात.
पाचव्या पिढीचे नेटवर्क दुसरे चालक बनत आहेत. हे नवीन गती आणि डेटा हस्तांतरणाचे नवीन खंड आहेत. आमच्या अंदाजानुसार, 5G चा व्यापक अवलंब केल्यामुळे फ्लॅश मेमरी कार्ड्सची मागणी कमी होईल. फोनमध्ये कितीही मेमरी असली तरीही ती संपते आणि गॅझेटमध्ये 100-मेगाबिट चॅनेल असल्यास, स्थानिक पातळीवर फोटो संग्रहित करण्याची गरज नाही.

स्टोरेज सिस्टीमची मागणी वाढत चाललेल्या कारणांच्या तिसऱ्या गटामध्ये कृत्रिम बुद्धिमत्तेचा वेगवान विकास, मोठ्या डेटा विश्लेषणाकडे संक्रमण आणि शक्य असलेल्या सर्व गोष्टींच्या सार्वत्रिक ऑटोमेशनकडे कल यांचा समावेश होतो.

"नवीन रहदारी" चे वैशिष्ट्य आहे असंरचित. आम्हाला हा डेटा कोणत्याही प्रकारे त्याचे स्वरूप परिभाषित न करता संग्रहित करणे आवश्यक आहे. हे फक्त त्यानंतरच्या वाचनासाठी आवश्यक आहे. उदाहरणार्थ, उपलब्ध कर्जाचा आकार निर्धारित करण्यासाठी बँक स्कोअरिंग सिस्टम तुम्ही सोशल नेटवर्क्सवर पोस्ट केलेले फोटो पाहतील, तुम्ही समुद्रात आणि रेस्टॉरंटमध्ये किती वेळा जाता हे ठरवेल आणि त्याच वेळी तुमच्याकडे उपलब्ध असलेल्या तुमच्या वैद्यकीय दस्तऐवजांच्या अर्कांचा अभ्यास करेल. हे डेटा, एकीकडे, सर्वसमावेशक आहेत, आणि दुसरीकडे, त्यांच्यात एकजिनसीपणाचा अभाव आहे.

असंरचित डेटाचा महासागर

"नवीन डेटा" च्या उदयामध्ये कोणत्या समस्या आहेत? त्यापैकी प्रथम, अर्थातच, माहितीचे प्रमाण आणि त्याच्या संचयनाचा अंदाजित कालावधी आहे. एक आधुनिक ऑटोनॉमस ड्रायव्हरलेस कार तिच्या सर्व सेन्सर्स आणि यंत्रणांमधून दररोज 60TB पर्यंत डेटा व्युत्पन्न करते. नवीन गती अल्गोरिदम विकसित करण्यासाठी, या माहितीवर त्याच दिवसात प्रक्रिया करणे आवश्यक आहे, अन्यथा ते जमा होण्यास सुरवात होईल. त्याच वेळी, ते बर्याच काळासाठी - दशके साठवले पाहिजे. तरच भविष्यात मोठ्या विश्लेषणात्मक नमुन्यांच्या आधारे निष्कर्ष काढणे शक्य होईल.

अनुवांशिक अनुक्रमांचा उलगडा करण्यासाठी एक उपकरण दररोज सुमारे 6 टेराबाइट्स तयार करते. आणि त्याच्या मदतीने गोळा केलेला डेटा हटविणे अजिबात सूचित करत नाही, म्हणजे, काल्पनिकदृष्ट्या, ते कायमचे संग्रहित केले जावे.

शेवटी, पाचव्या पिढीचे सर्व समान नेटवर्क. स्वतः प्रसारित केलेल्या माहितीव्यतिरिक्त, असे नेटवर्क स्वतःच एक प्रचंड डेटा जनरेटर आहे: क्रियाकलाप लॉग, कॉल रेकॉर्ड, मशीन-टू-मशीन परस्परसंवादाचे मध्यवर्ती परिणाम इ.

या सर्वांसाठी माहिती संचयित आणि प्रक्रिया करण्यासाठी नवीन दृष्टिकोन आणि अल्गोरिदम विकसित करणे आवश्यक आहे. आणि अशा पद्धती उदयास येत आहेत.

नवीन युगातील तंत्रज्ञान

माहिती स्टोरेज सिस्टमसाठी नवीन आवश्यकतांचा सामना करण्यासाठी डिझाइन केलेले समाधानांचे तीन गट वेगळे केले जाऊ शकतात: कृत्रिम बुद्धिमत्तेचा परिचय, स्टोरेज मीडियाची तांत्रिक उत्क्रांती आणि सिस्टम आर्किटेक्चरच्या क्षेत्रातील नवकल्पना. चला AI सह सुरुवात करूया.

नवीन Huawei सोल्यूशन्समध्ये, स्टोरेजच्या पातळीवर आधीच कृत्रिम बुद्धिमत्ता वापरली जाते, जी एआय प्रोसेसरसह सुसज्ज आहे जी सिस्टमला स्वतंत्रपणे त्याच्या स्थितीचे विश्लेषण करण्यास आणि अपयशाचा अंदाज लावू देते. जर स्टोरेज सिस्टीम सेवा क्लाउडशी जोडलेली असेल ज्यामध्ये महत्त्वपूर्ण संगणकीय क्षमता आहे, तर कृत्रिम बुद्धिमत्ता अधिक माहितीवर प्रक्रिया करू शकते आणि त्याच्या गृहितकांची अचूकता सुधारू शकते.

अपयशांव्यतिरिक्त, अशी AI भविष्यातील पीक लोड आणि क्षमता संपेपर्यंत उरलेल्या वेळेचा अंदाज लावण्यास सक्षम आहे. हे तुम्हाला कार्यप्रदर्शन ऑप्टिमाइझ करण्यास आणि कोणत्याही अवांछित घटना घडण्यापूर्वी सिस्टम स्केल करण्यास अनुमती देते.

आता डेटा वाहकांच्या उत्क्रांतीबद्दल. प्रथम फ्लॅश ड्राइव्ह एसएलसी (सिंगल-लेव्हल सेल) तंत्रज्ञान वापरून बनवले गेले. त्यावर आधारित उपकरणे जलद, विश्वासार्ह, स्थिर होती, परंतु त्यांची क्षमता लहान होती आणि ती खूप महाग होती. व्हॉल्यूममध्ये वाढ आणि किंमतीतील घट काही तांत्रिक सवलतींद्वारे प्राप्त झाली, ज्यामुळे ड्राइव्हची गती, विश्वसनीयता आणि आयुष्य कमी झाले. तरीसुद्धा, ट्रेंडने स्वतःच स्टोरेज सिस्टमवर परिणाम केला नाही, जे विविध आर्किटेक्चरल युक्त्यांमुळे, सर्वसाधारणपणे, अधिक उत्पादक आणि अधिक विश्वासार्ह बनले.

पण तुम्हाला ऑल-फ्लॅश क्लास स्टोरेज सिस्टमची गरज का होती? आधीपासून चालू असलेल्या सिस्टीममध्ये जुन्या HDD ला त्याच फॉर्म फॅक्टरच्या नवीन SSD सह बदलणे पुरेसे नव्हते का? नवीन SSD ची सर्व संसाधने कार्यक्षमतेने वापरण्यासाठी हे आवश्यक होते, जे जुन्या प्रणालींमध्ये केवळ अशक्य होते.

उदाहरणार्थ, Huawei ने या समस्येचे निराकरण करण्यासाठी अनेक तंत्रज्ञान विकसित केले आहेत, त्यापैकी एक आहे फ्लॅशलिंक, ज्यामुळे डिस्क-कंट्रोलर परस्परसंवादांना शक्य तितके ऑप्टिमाइझ करणे शक्य झाले.

बुद्धिमान ओळखीमुळे डेटाचे अनेक प्रवाहांमध्ये विघटन करणे आणि अनेक अनिष्ट घटनांचा सामना करणे शक्य झाले, जसे की WA (प्रवर्धन लिहा). त्याच वेळी, नवीन पुनर्प्राप्ती अल्गोरिदम, विशेषतः RAID 2.0+, पुनर्बांधणीचा वेग वाढवला, त्याचा वेळ पूर्णपणे क्षुल्लक मूल्यांपर्यंत कमी केला.

अयशस्वी होणे, गर्दी, कचरा गोळा करणे - हे घटक देखील यापुढे स्टोरेज सिस्टमच्या कार्यक्षमतेवर परिणाम करत नाहीत, नियंत्रकांच्या विशेष परिष्करणामुळे धन्यवाद.

आणि ब्लॉक डेटा स्टोअर्स भेटण्याची तयारी करत आहेत एनवीएमई. लक्षात ठेवा की डेटा ऍक्सेस आयोजित करण्यासाठी क्लासिक स्कीम याप्रमाणे कार्य करते: प्रोसेसरने PCI एक्सप्रेस बसद्वारे RAID कंट्रोलरमध्ये प्रवेश केला. ते, यामधून, SCSI किंवा SAS द्वारे यांत्रिक डिस्कशी संवाद साधतात. बॅकएंडवर NVMe चा वापर केल्याने संपूर्ण प्रक्रियेला लक्षणीय गती मिळाली, परंतु त्यात एक कमतरता होती: ड्राइव्हस् थेट मेमरी ऍक्सेस प्रदान करण्यासाठी प्रोसेसरशी थेट कनेक्ट करणे आवश्यक होते.

तंत्रज्ञान विकासाचा पुढचा टप्पा जो आपण आता पाहत आहोत तो म्हणजे NVMe-oF (NVMe over Fabrics) चा वापर. Huawei ब्लॉक तंत्रज्ञानासाठी, ते आधीच FC-NVMe (NVMe प्रती फायबर चॅनेल) चे समर्थन करतात आणि NVMe over RoCE (RDMA over Converged Ethernet) मार्गावर आहे. चाचणी मॉडेल जोरदार कार्यक्षम आहेत, त्यांच्या अधिकृत सादरीकरणापूर्वी काही महिने बाकी आहेत. लक्षात घ्या की हे सर्व वितरित प्रणालींमध्ये देखील दिसून येईल, जेथे "तोटाशिवाय इथरनेट" ला खूप मागणी असेल.

वितरित स्टोरेजचे कार्य ऑप्टिमाइझ करण्याचा एक अतिरिक्त मार्ग म्हणजे डेटा मिररिंगचा पूर्ण नकार. Huawei सोल्यूशन्स यापुढे नेहमीच्या RAID 1 प्रमाणे n प्रती वापरत नाहीत आणि पूर्णपणे यंत्रणेवर स्विच करतात EC (इरेजर कोडिंग). एक विशेष गणितीय पॅकेज विशिष्ट वारंवारतेसह नियंत्रण ब्लॉक्सची गणना करते, जे आपल्याला नुकसान झाल्यास मध्यवर्ती डेटा पुनर्संचयित करण्यास अनुमती देते.

डुप्लिकेशन आणि कॉम्प्रेशन मेकॅनिझम अनिवार्य होतात. जर क्लासिक स्टोरेज सिस्टममध्ये आम्ही कंट्रोलर्समध्ये स्थापित केलेल्या प्रोसेसरच्या संख्येद्वारे मर्यादित आहोत, तर वितरित क्षैतिज स्केलेबल स्टोरेज सिस्टममध्ये, प्रत्येक नोडमध्ये आपल्याला आवश्यक असलेली प्रत्येक गोष्ट असते: डिस्क, मेमरी, प्रोसेसर आणि इंटरकनेक्ट. ही संसाधने डुप्लिकेशन आणि कम्प्रेशनसाठी कार्यक्षमतेवर कमीतकमी प्रभाव टाकण्यासाठी पुरेशी आहेत.

आणि हार्डवेअर ऑप्टिमायझेशन पद्धतींबद्दल. येथे, अतिरिक्त समर्पित मायक्रोसर्किट्स (किंवा प्रोसेसरमध्येच समर्पित ब्लॉक्स) च्या मदतीने सेंट्रल प्रोसेसरवरील भार कमी करणे शक्य होते, जे भूमिका बजावतात. TOE (TCP/IP ऑफलोड इंजिन) किंवा EC, डुप्लिकेशन आणि कॉम्प्रेशनची गणिताची कार्ये घेणे.

डेटा स्टोरेजसाठी नवीन पध्दती वेगळ्या (वितरित) आर्किटेक्चरमध्ये मूर्त आहेत. केंद्रीकृत स्टोरेज सिस्टीममध्ये, फायबर चॅनेलद्वारे कनेक्ट केलेला सर्व्हर कारखाना आहे SAN अनेक अॅरे सह. या दृष्टिकोनाचे तोटे म्हणजे स्केलिंग आणि हमी दर्जाची सेवा प्रदान करण्यात अडचणी आहेत (कार्यप्रदर्शन किंवा विलंबाच्या दृष्टीने). हायपरकन्व्हर्ज्ड सिस्टम माहितीचे स्टोरेज आणि प्रोसेसिंग या दोन्हीसाठी समान होस्ट वापरतात. हे स्केलिंगसाठी जवळजवळ अमर्यादित वाव देते, परंतु डेटा अखंडता राखण्यासाठी जास्त खर्च येतो.

वरील दोन्ही विपरीत, एक विसंगत आर्किटेक्चर सूचित करते सिस्टीमचे कंप्युट फॅक्टरी आणि क्षैतिज स्टोरेज सिस्टममध्ये विभाजन करणे. हे दोन्ही आर्किटेक्चरचे फायदे प्रदान करते आणि केवळ ज्या घटकांचे कार्यप्रदर्शन पुरेसे नाही अशा घटकांचे जवळजवळ अमर्यादित स्केलिंग करण्यास अनुमती देते.

एकात्मतेपासून अभिसरणापर्यंत

एक उत्कृष्ट कार्य, ज्याची प्रासंगिकता गेल्या 15 वर्षांमध्ये वाढली आहे, एकाच वेळी ब्लॉक स्टोरेज, फाइल ऍक्सेस, ऑब्जेक्ट्समध्ये प्रवेश, मोठ्या डेटासाठी फार्मचे ऑपरेशन इत्यादी प्रदान करण्याची आवश्यकता आहे. केकवरील आयसिंग उदाहरणार्थ, चुंबकीय टेपसाठी बॅकअप सिस्टम देखील असू शकते.

पहिल्या टप्प्यावर, केवळ या सेवांचे व्यवस्थापन एकत्रित केले जाऊ शकते. विषम डेटा स्टोरेज सिस्टीम काही विशेष सॉफ्टवेअरसाठी बंद करण्यात आल्या होत्या, ज्याद्वारे प्रशासक उपलब्ध पूलमधून संसाधने वितरीत करतात. परंतु हे पूल हार्डवेअरमध्ये भिन्न असल्याने, त्यांच्यामधील भार स्थलांतरित करणे अशक्य होते. एकीकरणाच्या उच्च स्तरावर, एकत्रीकरण गेटवे स्तरावर झाले. सामायिक फाइल प्रवेश असल्यास, तो वेगवेगळ्या प्रोटोकॉलद्वारे दिला जाऊ शकतो.

आमच्यासाठी उपलब्ध असलेल्या सर्वात प्रगत अभिसरण पद्धतीमध्ये सार्वत्रिक संकरित प्रणाली तयार करणे समाविष्ट आहे. जसे आपले असावे OceanStor 100D. युनिव्हर्सल ऍक्सेस समान हार्डवेअर संसाधने वापरते, तार्किकदृष्ट्या भिन्न पूलमध्ये विभागलेले, परंतु लोड स्थलांतरास परवानगी देते. हे सर्व एकाच व्यवस्थापन कन्सोलद्वारे केले जाऊ शकते. अशाप्रकारे, आम्ही "एक डेटा सेंटर - एक स्टोरेज सिस्टम" ही संकल्पना लागू करण्यात व्यवस्थापित केले.

माहिती संचयित करण्याची किंमत आता अनेक वास्तुशास्त्रीय निर्णय ठरवते. आणि जरी ते सुरक्षितपणे आघाडीवर ठेवले जाऊ शकते, तरीही आम्ही आज सक्रिय प्रवेशासह "लाइव्ह" स्टोरेजवर चर्चा करत आहोत, त्यामुळे कार्यप्रदर्शन देखील विचारात घेतले पाहिजे. पुढील पिढीच्या वितरण प्रणालीचा आणखी एक महत्त्वाचा गुणधर्म म्हणजे एकीकरण. शेवटी, भिन्न कन्सोलमधून अनेक भिन्न प्रणाली व्यवस्थापित करू इच्छित नाही. हे सर्व गुण Huawei उत्पादनांच्या नवीन मालिकेत अंतर्भूत आहेत. OceanStor पॅसिफिक.

पुढील पिढीचे मास स्टोरेज

OceanStor पॅसिफिक सहा नाईन्स (99,9999%) विश्वासार्हता आवश्यकता पूर्ण करते आणि हायपरमेट्रो क्लास डेटा सेंटर तयार करण्यासाठी वापरला जाऊ शकतो. 100 किमी पर्यंतच्या दोन डेटा केंद्रांमधील अंतरासह, सिस्टम 2 एमएसचा अतिरिक्त विलंब दर्शवितात, ज्यामुळे कोरम सर्व्हरसह, त्यांच्यावर आधारित कोणतेही आपत्ती-पुरावा उपाय तयार करणे शक्य होते.

नवीन मालिकेतील उत्पादने प्रोटोकॉलच्या बाबतीत अष्टपैलुत्व दाखवतात. आधीच, OceanStor 100D ब्लॉक ऍक्सेस, ऑब्जेक्ट ऍक्सेस आणि हडूप ऍक्सेसला सपोर्ट करते. फाईल प्रवेश नजीकच्या भविष्यात लागू केला जाईल. डेटाच्या अनेक प्रती ठेवण्याची गरज नाही जर ते वेगवेगळ्या प्रोटोकॉलद्वारे जारी केले जाऊ शकतात.

असे दिसते की, "लॉसलेस नेटवर्क" या संकल्पनेचा स्टोरेजशी काय संबंध आहे? वस्तुस्थिती अशी आहे की वितरित स्टोरेज सिस्टम जलद नेटवर्कच्या आधारावर तयार केली गेली आहे जी योग्य अल्गोरिदम आणि RoCE यंत्रणा समर्थित करते. आमच्या स्विचेसद्वारे समर्थित कृत्रिम बुद्धिमत्ता प्रणाली नेटवर्कचा वेग आणखी वाढविण्यात आणि विलंब कमी करण्यात मदत करते. एआय फॅब्रिक. जेव्हा AI फॅब्रिक सक्रिय केले जाते तेव्हा स्टोरेज सिस्टमची कार्यक्षमता वाढ 20% पर्यंत पोहोचू शकते.

नवीन OceanStor पॅसिफिक वितरित स्टोरेज नोड काय आहे? 5U फॉर्म फॅक्टर सोल्यूशनमध्ये 120 ड्राइव्ह समाविष्ट आहेत आणि ते तीन क्लासिक नोड्स बदलू शकतात, रॅक स्पेस दुप्पट करण्यापेक्षा. कॉपी संग्रहित करण्यास नकार दिल्यामुळे, ड्राइव्हची कार्यक्षमता लक्षणीय वाढते (+ 92% पर्यंत).

आम्हाला या वस्तुस्थितीची सवय आहे की सॉफ्टवेअर-परिभाषित स्टोरेज हे क्लासिक सर्व्हरवर स्थापित केलेले एक विशेष सॉफ्टवेअर आहे. परंतु आता, इष्टतम पॅरामीटर्स प्राप्त करण्यासाठी, या आर्किटेक्चरल सोल्यूशनला विशेष नोड्स देखील आवश्यक आहेत. यात एआरएम प्रोसेसरवर आधारित दोन सर्व्हर असतात जे तीन-इंच ड्राइव्हचे अॅरे व्यवस्थापित करतात.

हे सर्व्हर हायपरकन्व्हर्ज्ड सोल्यूशन्ससाठी योग्य नाहीत. प्रथम, एआरएमसाठी काही अनुप्रयोग आहेत आणि दुसरे म्हणजे, लोड शिल्लक राखणे कठीण आहे. आम्ही वेगळ्या स्टोरेजवर स्विच करण्याचे सुचवितो: क्लासिक किंवा रॅक सर्व्हरद्वारे प्रतिनिधित्व केलेले एक संगणकीय क्लस्टर स्वतंत्रपणे कार्य करते, परंतु OceanStor पॅसिफिक स्टोरेज नोड्सशी कनेक्ट केलेले असते, जे त्यांचे थेट कार्य देखील करतात. आणि तो स्वतःला न्याय देतो.

उदाहरणार्थ, 15 सर्व्हर रॅक व्यापणारे क्लासिक हायपरकन्व्हर्ज्ड बिग डेटा स्टोरेज सोल्यूशन घेऊ. तुम्ही स्वतंत्र OceanStor पॅसिफिक कॉम्प्युट सर्व्हर आणि स्टोरेज नोड्स यांच्यात लोड वितरित केल्यास, त्यांना एकमेकांपासून विभक्त केल्यास, आवश्यक रॅकची संख्या निम्मी होईल! यामुळे डेटा सेंटर चालवण्याची किंमत कमी होते आणि मालकीची एकूण किंमत कमी होते. अशा जगात जिथे संग्रहित माहितीचे प्रमाण दरवर्षी 30% वेगाने वाढत आहे, असे फायदे विखुरलेले नाहीत.

***

Huawei सोल्यूशन्स आणि त्यांच्या अनुप्रयोग परिस्थितींबद्दल अधिक माहितीसाठी, कृपया आमच्या भेट द्या साइट किंवा कंपनीच्या प्रतिनिधींशी थेट संपर्क साधून.

स्त्रोत: www.habr.com