यूनिटी स्टोरेज पर फास्ट वीपी: यह कैसे काम करता है

आज हम यूनिटी/यूनिटी एक्सटी स्टोरेज सिस्टम - फास्ट वीपी में लागू एक दिलचस्प तकनीक के बारे में बात करेंगे। यदि आपने पहली बार यूनिटी के बारे में सुना है, तो सिस्टम की विशेषताओं से परिचित होने के लिए लेख के अंत में दिए गए लिंक का उपयोग किया जा सकता है। मैंने Dell EMC डिज़ाइन टीम में FAST VP पर एक वर्ष से अधिक समय तक काम किया। आज मैं इस तकनीक के बारे में अधिक विस्तार से बात करना चाहता हूं और इसके कार्यान्वयन के कुछ विवरण प्रकट करना चाहता हूं। निःसंदेह, केवल उन्हीं को प्रकट करने की अनुमति है। यदि आप कुशल डेटा भंडारण के मुद्दों में रुचि रखते हैं या दस्तावेज़ीकरण को पूरी तरह से नहीं समझ पाए हैं, तो यह लेख निश्चित रूप से उपयोगी और दिलचस्प होगा।

मैं आपको तुरंत बताऊंगा कि सामग्री में क्या नहीं होगा। प्रतिस्पर्धियों की खोज और उनसे तुलना नहीं होगी। मैं खुले स्रोत से समान तकनीकों के बारे में बात करने की भी योजना नहीं बना रहा हूं, क्योंकि जिज्ञासु पाठक उनके बारे में पहले से ही जानते हैं। और, निःसंदेह, मैं कुछ भी विज्ञापन नहीं करने जा रहा हूँ।

भण्डारण टियरिंग. फास्ट वीपी के लक्ष्य और उद्देश्य

फास्ट वीपी का मतलब वर्चुअल पूल के लिए फुली ऑटोमेटेड स्टोरेज टियरिंग है। क्या यह मुश्किल है? कुछ नहीं, हम इसका पता लगा लेंगे। टियरिंग डेटा भंडारण को व्यवस्थित करने का एक तरीका है, जिसमें कई स्तर (टियर) होते हैं जहां यह डेटा संग्रहीत किया जाता है। प्रत्येक की अपनी-अपनी विशेषताएँ हैं। सबसे महत्वपूर्ण: सूचना की एक इकाई को संग्रहीत करने का प्रदर्शन, मात्रा और कीमत। बेशक, उनके बीच एक रिश्ता है.

टियरिंग की एक महत्वपूर्ण विशेषता यह है कि डेटा तक पहुंच समान रूप से प्रदान की जाती है, भले ही यह वर्तमान में किस भंडारण स्तर पर हो, और पूल का आकार इसमें शामिल संसाधनों के आकार के योग के बराबर है। यहां कैश से अंतर है: कैश का आकार संसाधन की कुल मात्रा (इस मामले में पूल) में नहीं जोड़ा जाता है, और कैश डेटा मुख्य माध्यम से डेटा के कुछ टुकड़े को डुप्लिकेट करता है (या डुप्लिकेट होगा यदि कैश से डेटा अभी तक नहीं लिखा गया है)। साथ ही, स्तरों के अनुसार डेटा का वितरण उपयोगकर्ता से छिपा हुआ है। अर्थात्, वह यह नहीं देख पाता कि प्रत्येक स्तर पर कौन सा डेटा स्थित है, हालाँकि वह नीतियाँ निर्धारित करके (उनके बारे में बाद में) अप्रत्यक्ष रूप से इसे प्रभावित कर सकता है।

अब आइए यूनिटी में स्टोरेज टियरिंग के कार्यान्वयन की विशेषताओं पर नजर डालें। एकता में, 3 स्तर या स्तर हैं:

• चरम प्रदर्शन (एसएसडी)
• प्रदर्शन (एसएएस एचडीडी 10k/15k आरपीएम)
• क्षमता (एनएल-एसएएस एचडीडी 7200आरपीएम)

उन्हें प्रदर्शन और कीमत के घटते क्रम में प्रस्तुत किया गया है। चरम प्रदर्शन में केवल सॉलिड स्टेट ड्राइव (एसएसडी) शामिल हैं। अन्य दो स्तरों में चुंबकीय डिस्क ड्राइव हैं जो रोटेशन की गति और तदनुसार, प्रदर्शन में भिन्न हैं।

समान स्तर और समान आकार के स्टोरेज मीडिया को एक RAID सरणी में संयोजित किया जाता है, जिससे एक RAID समूह (RAID समूह, जिसे संक्षिप्त रूप में RG कहा जाता है) बनता है; आप आधिकारिक दस्तावेज़ में उपलब्ध और अनुशंसित RAID स्तरों के बारे में पढ़ सकते हैं। एक या अधिक स्तरों के RAID समूहों से, भंडारण पूल बनते हैं, जिनसे मुक्त स्थान वितरित किया जाता है। और पहले से ही पूल से फ़ाइल सिस्टम और LUN के लिए स्थान आवंटित किया गया है।

मुझे टियरिंग की आवश्यकता क्यों है?

संक्षेप और सार में: कम से कम संसाधनों में अधिक परिणाम प्राप्त करना। अधिक विशेष रूप से, परिणाम को आमतौर पर भंडारण प्रणाली की विशेषताओं के एक सेट के रूप में समझा जाता है - पहुंच की गति और समय, भंडारण की लागत, और अन्य। न्यूनतम संसाधनों का अर्थ है न्यूनतम लागत: धन, ऊर्जा, इत्यादि। फास्ट वीपी यूनिटी/यूनिटी एक्सटी स्टोरेज सिस्टम में विभिन्न स्तरों पर डेटा को पुनर्वितरित करने के लिए तंत्र को लागू करता है। यदि आप मुझ पर विश्वास करते हैं, तो आप अगला पैराग्राफ छोड़ सकते हैं। बाकी के लिए, मैं आपको थोड़ा और बताऊंगा।

डेटा को उचित रूप से विभाजित करके, आप कुछ दुर्लभ रूप से उपयोग की जाने वाली जानकारी तक पहुंच की गति का त्याग करके भंडारण की कुल लागत को बचा सकते हैं, और अक्सर एक्सेस किए गए डेटा को तेज़ मीडिया में ले जाकर प्रदर्शन में सुधार कर सकते हैं। यहां किसी को आपत्ति हो सकती है कि बिना टियरिंग के भी, एक सामान्य व्यवस्थापक जानता है कि कौन सा डेटा कहां रखना है, भंडारण प्रणाली की कौन सी विशेषताएं उसके कार्य के लिए वांछनीय हैं, आदि। निश्चित रूप से, यह सच है, लेकिन "मैन्युअल रूप से" डेटा के वितरण में इसकी कमियां हैं:

• प्रशासक के समय और ध्यान की आवश्यकता है;
• बदलती परिस्थितियों में भंडारण संसाधनों को "पुनर्आकार" देना हमेशा संभव नहीं होता है;
• एक महत्वपूर्ण लाभ गायब हो जाता है: विभिन्न भंडारण स्तरों पर स्थित संसाधनों तक एकीकृत पहुंच।

भंडारण व्यवस्थापकों को नौकरी की सुरक्षा के बारे में चिंता कम करने के लिए, मैं जोड़ूंगा कि यहां सक्षम संसाधन योजना भी आवश्यक है। अब जब टियरिंग के कार्यों को संक्षेप में रेखांकित किया गया है, तो आइए देखें कि आप FAST VP से क्या उम्मीद कर सकते हैं। यह परिभाषा पर लौटने का समय है। पहले दो शब्द - पूरी तरह से स्वचालित - का शाब्दिक अनुवाद "पूरी तरह से स्वचालित" है और इसका मतलब है कि स्तरों का वितरण स्वचालित रूप से होता है। खैर, वर्चुअल पूल एक डेटा पूल है जिसमें विभिन्न भंडारण स्तरों के संसाधन शामिल हैं। यहाँ यह कैसा दिखता है:

आगे देखते हुए, मैं कहूंगा कि FAST VP केवल एक ही पूल के भीतर डेटा स्थानांतरित करता है, कई पूलों के बीच नहीं।

फास्ट वीपी द्वारा हल किए गए कार्य

आइए पहले अमूर्त रूप से बात करें। हमारे पास एक पूल और कुछ तंत्र हैं जो इस पूल के भीतर डेटा को पुनर्वितरित कर सकते हैं। यह ध्यान में रखते हुए कि हमारा कार्य अधिकतम उत्पादकता प्राप्त करना है, आइए स्वयं से पूछें: इसे किन तरीकों से प्राप्त किया जा सकता है? उनमें से कई हो सकते हैं, और यहां फास्ट वीपी के पास उपयोगकर्ता को पेश करने के लिए कुछ है, क्योंकि तकनीक सिर्फ स्टोरेज टियरिंग से कहीं अधिक है। यहां कुछ तरीके दिए गए हैं जिनसे FAST VP पूल प्रदर्शन को बढ़ा सकता है:

• Распределение данных по разным типам дисков, уровням
• एक ही प्रकार की डिस्क के बीच डेटा का वितरण
• पूल का विस्तार करते समय डेटा का वितरण

इन कार्यों को कैसे पूरा किया जाता है, यह देखने से पहले, हमें FAST VP कैसे काम करता है, इसके बारे में कुछ आवश्यक तथ्य जानने की जरूरत है। फास्ट वीपी एक निश्चित आकार - 256 मेगाबाइट के ब्लॉक के साथ काम करता है। यह डेटा का सबसे छोटा सन्निहित "खंड" है जिसे स्थानांतरित किया जा सकता है। दस्तावेज़ीकरण में, इसे ऐसा कहा जाता है: स्लाइस। फास्ट वीपी के दृष्टिकोण से, सभी RAID समूहों में ऐसे "टुकड़ों" का एक सेट होता है। तदनुसार, सभी I/O आँकड़े ऐसे डेटा ब्लॉक के लिए जमा किए जाते हैं। यह ब्लॉक आकार क्यों चुना गया है और क्या इसे कम किया जाएगा? ब्लॉक काफी बड़ा है, लेकिन यह डेटा ग्रैन्युलैरिटी (छोटे ब्लॉक आकार - अधिक सटीक वितरण) और उपलब्ध कंप्यूटिंग संसाधनों के बीच एक समझौता है: रैम पर मौजूदा गंभीर प्रतिबंधों और बड़ी संख्या में ब्लॉक के साथ, सांख्यिकी डेटा बहुत अधिक ले सकता है, और गणनाओं की संख्या आनुपातिक रूप से बढ़ेगी.

वीपी कितनी तेजी से डेटा को पूल में रखता है। राजनेताओं

FAST VP सक्षम वाले पूल में डेटा के प्लेसमेंट को नियंत्रित करने के लिए, निम्नलिखित नीतियां हैं:

• उच्चतम उपलब्ध स्तर
• ऑटो टियर
• उच्च प्रारंभ करें फिर ऑटो-टियर (डिफ़ॉल्ट)
• न्यूनतम उपलब्ध स्तर

वे ब्लॉक के प्रारंभिक आवंटन (डेटा पहले लिखा जाता है) और उसके बाद के पुनर्आवंटन दोनों को प्रभावित करते हैं। जब डेटा पहले से ही डिस्क पर रखा गया है, तो पुनर्वितरण शेड्यूल के अनुसार या मैन्युअल रूप से शुरू किया जाएगा।

उच्चतम उपलब्ध स्तर नए ब्लॉक को उच्चतम प्रदर्शन स्तर पर रखने का प्रयास करता है। यदि उस पर पर्याप्त जगह नहीं है, तो प्रदर्शन के मामले में अगला, लेकिन फिर डेटा को अधिक उत्पादक स्तर पर ले जाया जा सकता है (यदि जगह है या अन्य डेटा को बाहर कर दिया गया है)। ऑटो-टियर उपलब्ध स्थान की मात्रा के आधार पर नए डेटा को विभिन्न स्तरों में रखता है, और मांग और खाली स्थान के आधार पर इसे पुनर्वितरित करता है। उच्च प्रारंभ करें फिर ऑटो-टियर डिफ़ॉल्ट नीति है और इसकी अनुशंसा भी की जाती है। शुरुआत में उच्चतम उपलब्ध स्तर के रूप में काम करता है, और फिर उपयोग के आँकड़ों के आधार पर डेटा को स्थानांतरित करता है। निम्नतम उपलब्ध स्तर की नीति डेटा को न्यूनतम प्रदर्शन स्तर पर रखने का प्रयास करती है।

डेटा स्थानांतरण कम प्राथमिकता के साथ होता है ताकि भंडारण प्रणाली के उपयोगी कार्य में हस्तक्षेप न हो, हालांकि, एक "डेटा स्थानांतरण दर" सेटिंग है जो प्राथमिकता को बदल देती है। यहां एक ख़ासियत है: सभी डेटा ब्लॉकों का पुनर्वितरण क्रम समान नहीं होता है। उदाहरण के लिए, मेटाडेटा के रूप में चिह्नित ब्लॉक को पहले तेज़ स्तर पर ले जाया जाएगा। मेटाडेटा, बोलने के लिए, "डेटा के बारे में डेटा" है, कुछ अतिरिक्त जानकारी जो उपयोगकर्ता डेटा नहीं है, लेकिन उनका विवरण संग्रहीत करती है। उदाहरण के लिए, फ़ाइल सिस्टम में जानकारी कि कोई विशेष फ़ाइल किस ब्लॉक में है। इसका मतलब यह है कि डेटा तक पहुंच की गति मेटाडेटा तक पहुंच की गति पर निर्भर करती है। यह देखते हुए कि मेटाडेटा आम तौर पर बहुत छोटा होता है, इसे तेज़ डिस्क पर ले जाने के लाभ अधिक होने की उम्मीद है।

मानदंड जो फास्ट वीपी अपने काम में उपयोग करता है

प्रत्येक ब्लॉक के लिए मुख्य मानदंड, मोटे तौर पर, डेटा की "मांग" की विशेषता है, जो डेटा खंड के पढ़ने और लिखने के संचालन की संख्या पर निर्भर करता है। इस विशेषता को "तापमान" कहा जाता है। ऐसा हॉट डेटा है जो लावारिस डेटा से भी अधिक हॉट है। इसकी गणना समय-समय पर, डिफ़ॉल्ट रूप से एक घंटे के अंतराल पर की जाती है।

तापमान गणना फ़ंक्शन में निम्नलिखित गुण हैं:

• I/O की अनुपस्थिति में, डेटा समय के साथ "ठंडा" हो जाता है।
• समय में कमोबेश समान भार के साथ, तापमान पहले बढ़ता है और फिर एक निश्चित सीमा में स्थिर हो जाता है।

इसके अलावा, ऊपर वर्णित नीतियों और प्रत्येक स्तर पर खाली स्थान को ध्यान में रखा जाता है। स्पष्टता के लिए, मैं दस्तावेज़ीकरण से एक तस्वीर दूंगा। यहां, लाल, पीला और नीला रंग क्रमशः उच्च, मध्यम और निम्न तापमान वाले ब्लॉकों को दर्शाते हैं।

लेकिन वापस कार्यों पर। इसलिए, हम विश्लेषण करना शुरू कर सकते हैं कि FAST VP की समस्याओं को हल करने के लिए क्या किया जा रहा है।

A. विभिन्न प्रकार के डिस्क, स्तरों पर डेटा का वितरण

दरअसल, यही FAST VP का मुख्य कार्य है। बाकी, एक तरह से, इसके व्युत्पन्न हैं। चयनित नीति के आधार पर, डेटा को विभिन्न भंडारण स्तरों पर वितरित किया जाएगा। सबसे पहले, प्लेसमेंट नीति को ध्यान में रखा जाता है, फिर ब्लॉकों का तापमान और RAID समूहों के आकार/गति को ध्यान में रखा जाता है।

उच्चतम/निम्नतम उपलब्ध स्तरीय पॉलिसियों के लिए, सब कुछ काफी सरल है। अन्य दो के लिए भी यही स्थिति है। RAID समूहों के आकार और प्रदर्शन को ध्यान में रखते हुए, डेटा को विभिन्न स्तरों पर वितरित किया जाता है: ताकि प्रत्येक RAID समूह के "सशर्त अधिकतम प्रदर्शन" के लिए ब्लॉक के कुल "तापमान" का अनुपात लगभग समान हो। इस प्रकार, भार कमोबेश समान रूप से वितरित होता है। जिस डेटा की मांग अधिक है उसे तेज़ मीडिया में ले जाया जाता है, कम बार उपयोग किया जाने वाला डेटा धीमे मीडिया में ले जाया जाता है। आदर्श रूप से, वितरण कुछ इस तरह दिखना चाहिए:

B. एक ही प्रकार की डिस्क के बीच डेटा का वितरण

याद रखें, शुरुआत में मैंने लिखा था कि सूचना वाहक से एक या अधिक स्तरों को एक पूल में संयोजित किया गया है? एकल स्तर के मामले में, FAST VP को भी काम करना होता है। किसी भी स्तर पर प्रदर्शन को अधिकतम करने के लिए, डेटा को डिस्क पर समान रूप से वितरित करना वांछनीय है। यह (सैद्धांतिक रूप से) IOPS की अधिकतम संख्या प्राप्त करने की अनुमति देगा। RAID समूह के भीतर डेटा को डिस्क पर समान रूप से वितरित माना जा सकता है, लेकिन RAID समूहों के बीच हमेशा ऐसा नहीं होता है। असंतुलन की स्थिति में, FAST VP RAID समूहों के बीच डेटा को उनके आकार और "सशर्त प्रदर्शन" (संख्यात्मक शब्दों में) के अनुपात में स्थानांतरित करेगा। स्पष्टता के लिए, मैं तीन RAID समूहों के बीच पुनर्संतुलन योजना दिखाऊंगा:

C. पूल का विस्तार करते समय डेटा का वितरण

यह कार्य पिछले कार्य का एक विशेष मामला है और यह तब किया जाता है जब एक RAID समूह को पूल में जोड़ा जाता है। नए जोड़े गए RAID समूह को निष्क्रिय होने से रोकने के लिए, कुछ डेटा को इसमें स्थानांतरित कर दिया जाएगा, जिसका अर्थ है कि सभी RAID समूहों पर लोड को फिर से वितरित किया जाएगा।

एसएसडी वियर लेवलिंग

वियर लेवलिंग के माध्यम से, FAST VP SSD के जीवन को बढ़ा सकता है, हालाँकि यह सुविधा सीधे तौर पर स्टोरेज टियरिंग से संबंधित नहीं है। चूंकि पहले से ही तापमान डेटा मौजूद है, इसलिए लिखने के संचालन की संख्या को भी ध्यान में रखा जाता है, हम जानते हैं कि डेटा ब्लॉक को कैसे स्थानांतरित किया जाए, फास्ट वीपी के लिए भी इस समस्या को हल करना तर्कसंगत होगा।

यदि एक RAID समूह में लिखने की संख्या दूसरे में लिखने की संख्या से काफी अधिक है, तो FAST VP लिखने की संख्या के अनुसार डेटा को पुनर्वितरित करेगा। एक ओर, यह लोड को हटाता है और कुछ डिस्क के संसाधन को बचाता है, दूसरी ओर, यह कम लोड वाली डिस्क के लिए "कार्य" जोड़ता है, जिससे समग्र प्रदर्शन बढ़ता है।

इस प्रकार, FAST VP स्टोरेज टियरिंग के पारंपरिक कार्यों को लेता है और उससे थोड़ा अधिक कार्य करता है। यह सब आपको यूनिटी स्टोरेज सिस्टम में डेटा को कुशलतापूर्वक संग्रहीत करने की अनुमति देता है।

कुछ टिप्स

1. दस्तावेज़ीकरण पढ़ने की उपेक्षा न करें. सर्वोत्तम प्रथाएँ हैं, और वे बहुत अच्छी तरह से काम करती हैं। यदि आप उनका पालन करते हैं, तो एक नियम के रूप में, गंभीर समस्याएं उत्पन्न नहीं होती हैं। बाकी युक्तियाँ मूल रूप से उन्हें दोहराती हैं या पूरक करती हैं।
2. यदि आपने FAST VP को कॉन्फ़िगर और सक्षम किया है, तो इसे सक्षम छोड़ दें। इसे आवंटित समय में और साल में एक बार से थोड़ा-थोड़ा करके डेटा आवंटित करने दें और अन्य कार्यों के प्रदर्शन पर गंभीर प्रभाव डालें। ऐसे मामलों में, डेटा पुनर्वितरण में लंबा समय लग सकता है।
3. स्थानांतरण विंडो चुनते समय सावधान रहें। हालांकि यह स्पष्ट है, यूनिटी पर कम से कम भार वाला समय चुनने का प्रयास करें और पर्याप्त मात्रा में समय आवंटित करें।
4. अपने भंडारण विस्तार की योजना बनाएं, इसे समय पर करें। यह एक सामान्य अनुशंसा है जो FAST VP के लिए भी महत्वपूर्ण है। यदि खाली स्थान की मात्रा बहुत कम है, तो डेटा की गति धीमी हो जाएगी या असंभव हो जाएगी। खासकर यदि आपने बिंदु 2 की उपेक्षा की है।
5. फास्ट वीपी सक्षम के साथ पूल का विस्तार करते समय, सबसे धीमी ड्राइव से शुरुआत न करें। अर्थात्, या तो हम सभी नियोजित RAID समूहों को एक साथ जोड़ते हैं, या हम सबसे तेज़ डिस्क को पहले जोड़ते हैं। इस मामले में, डेटा को नई "तेज" डिस्क पर पुनर्वितरित करने से पूल की समग्र गति बढ़ जाएगी। अन्यथा, "धीमी" डिस्क से शुरू करके, आप एक बहुत ही अप्रिय स्थिति प्राप्त कर सकते हैं। सबसे पहले, डेटा को नई, अपेक्षाकृत धीमी डिस्क में स्थानांतरित किया जाएगा, और फिर, तेज़ डिस्क जोड़ने पर, विपरीत दिशा में। विभिन्न FAST VP नीतियों से जुड़ी बारीकियाँ हैं, लेकिन सामान्य स्थिति में, यह स्थिति संभव है।

यदि आप इस उत्पाद को देख रहे हैं, तो आप यूनिटी वीएसए वर्चुअल उपकरण डाउनलोड करके यूनिटी इन एक्शन को मुफ्त में आज़मा सकते हैं।

लेख के अंत में, मैं कुछ उपयोगी लिंक साझा करता हूँ:

• पेज एकता भंडारण
• डेल ईएमसी यूनिटी: ऑपरेशन का फास्ट वीपी सिद्धांत - समारोह का संक्षिप्त विवरण
• अधिक संपूर्ण और विस्तृत विवरण, पीडीएफ प्रारूप
• यूनिटी वीएसए/क्लाउड संस्करण

निष्कर्ष

मैं बहुत कुछ के बारे में लिखना चाहता हूं, लेकिन मैं समझता हूं कि सभी विवरण पाठक के लिए रुचिकर नहीं होंगे। उदाहरण के लिए, आप उन मानदंडों के बारे में अधिक विस्तार से बात कर सकते हैं जिनके द्वारा FAST VP डेटा स्थानांतरित करने का निर्णय लेता है, I/O आँकड़ों के विश्लेषण की प्रक्रियाओं के बारे में। साथ ही बातचीत का विषय भी गतिशील पूल, और यह एक अलग लेख पर आधारित है। आप इस तकनीक के विकास के बारे में कल्पना भी कर सकते हैं। मुझे आशा है कि यह उबाऊ नहीं था और मैंने आपको बोर नहीं किया। जल्द ही फिर मिलेंगे!

स्रोत: www.habr.com