ओपनस्टैक में लोड संतुलन (भाग 2)

В अंतिम लेख हमने वॉचर का उपयोग करने के अपने प्रयासों के बारे में बात की और एक परीक्षण रिपोर्ट प्रदान की। हम किसी बड़े उद्यम या ऑपरेटर क्लाउड के संतुलन और अन्य महत्वपूर्ण कार्यों के लिए समय-समय पर ऐसे परीक्षण करते हैं।

हल की जा रही समस्या की उच्च जटिलता के कारण हमारी परियोजना का वर्णन करने के लिए कई लेखों की आवश्यकता हो सकती है। आज हम श्रृंखला में दूसरा लेख प्रकाशित कर रहे हैं, जो क्लाउड में वर्चुअल मशीनों को संतुलित करने के लिए समर्पित है।

थोड़ी शब्दावली

VmWare कंपनी ने अपने द्वारा विकसित और पेश किए गए वर्चुअलाइजेशन वातावरण के भार को संतुलित करने के लिए DRS (डिस्ट्रीब्यूटेड रिसोर्स शेड्यूलर) उपयोगिता पेश की।

के अनुसार searchvmware.techtarget.com/definition/VMware-DRS
“वीएमवेयर डीआरएस (डिस्ट्रीब्यूटेड रिसोर्स शेड्यूलर) एक उपयोगिता है जो वर्चुअल वातावरण में उपलब्ध संसाधनों के साथ कंप्यूटिंग लोड को संतुलित करती है। उपयोगिता वीएमवेयर इंफ्रास्ट्रक्चर नामक वर्चुअलाइजेशन सूट का हिस्सा है।

वीएमवेयर डीआरएस के साथ, उपयोगकर्ता वर्चुअल मशीनों (वीएम) के बीच भौतिक संसाधनों को वितरित करने के नियमों को परिभाषित करते हैं। उपयोगिता को मैन्युअल या स्वचालित नियंत्रण के लिए कॉन्फ़िगर किया जा सकता है। VMware संसाधन पूल को आसानी से जोड़ा, हटाया या पुनर्गठित किया जा सकता है। यदि वांछित हो, तो संसाधन पूल को विभिन्न व्यावसायिक इकाइयों के बीच अलग किया जा सकता है। यदि एक या अधिक वर्चुअल मशीनों पर कार्यभार नाटकीय रूप से बदलता है, तो VMware DRS वर्चुअल मशीनों को भौतिक सर्वरों में पुनर्वितरित करता है। यदि समग्र कार्यभार कम हो जाता है, तो कुछ भौतिक सर्वरों को अस्थायी रूप से ऑफ़लाइन किया जा सकता है और कार्यभार समेकित किया जा सकता है।"

संतुलन की आवश्यकता क्यों है?

हमारी राय में, डीआरएस एक जरूरी क्लाउड फीचर है, हालांकि इसका मतलब यह नहीं है कि डीआरएस का इस्तेमाल हमेशा और हर जगह किया जाना चाहिए। क्लाउड के उद्देश्य और जरूरतों के आधार पर, डीआरएस और संतुलन विधियों के लिए अलग-अलग आवश्यकताएं हो सकती हैं। ऐसी स्थितियाँ हो सकती हैं जहाँ संतुलन की बिल्कुल भी आवश्यकता नहीं है। या हानिकारक भी.

यह बेहतर ढंग से समझने के लिए कि कहां और किन ग्राहकों के लिए डीआरएस की आवश्यकता है, आइए उनके लक्ष्यों और उद्देश्यों पर विचार करें। बादलों को सार्वजनिक और निजी में विभाजित किया जा सकता है। इन बादलों और ग्राहक लक्ष्यों के बीच मुख्य अंतर यहां दिए गए हैं।

निजी क्लाउड/बड़े उद्यम ग्राहक
सार्वजनिक बादल / मध्यम और छोटे व्यवसाय, लोग

ऑपरेटर का मुख्य मानदंड और लक्ष्य
एक विश्वसनीय सेवा या उत्पाद प्रदान करना
प्रतिस्पर्धी बाज़ार में लड़ाई में सेवाओं की लागत कम करना

सेवा आवश्यकताएँ
सभी स्तरों पर और सभी सिस्टम तत्वों में विश्वसनीयता

प्रदर्शन की गारंटी

वर्चुअल मशीनों को कई श्रेणियों में प्राथमिकता दें 

सूचना और भौतिक डेटा सुरक्षा

एसएलए और XNUMX/XNUMX समर्थन
सेवा प्राप्त करने में अधिकतम आसानी

अपेक्षाकृत सरल सेवाएँ

डेटा की जिम्मेदारी क्लाइंट की होती है

किसी VM प्राथमिकताकरण की आवश्यकता नहीं है

मानक सेवाओं के स्तर पर सूचना सुरक्षा, ग्राहक पर जिम्मेदारी

गड़बड़ियाँ हो सकती हैं

कोई एसएलए नहीं, गुणवत्ता की गारंटी नहीं

ई - मेल समर्थन

बैकअप आवश्यक नहीं है

ग्राहक सुविधाएँ
अनुप्रयोगों की बहुत विस्तृत श्रृंखला.

कंपनी में विरासती अनुप्रयोग विरासत में मिले हैं।

प्रत्येक ग्राहक के लिए जटिल कस्टम आर्किटेक्चर।

आत्मीयता नियम.

सॉफ्टवेयर 7x24 मोड में बिना रुके काम करता है। 

ऑन-द-फ्लाई बैकअप उपकरण।

पूर्वानुमानित चक्रीय ग्राहक भार।
विशिष्ट अनुप्रयोग - नेटवर्क संतुलन, अपाचे, वेब, वीपीएन, एसक्यूएल

एप्लिकेशन कुछ समय के लिए रुक सकता है

क्लाउड में वीएम के मनमाने वितरण की अनुमति देता है

क्लाइंट बैकअप

बड़ी संख्या में ग्राहकों के साथ अनुमानित सांख्यिकीय औसत भार।

वास्तुकला के लिए निहितार्थ
जियोक्लस्टरिंग

केंद्रीकृत या वितरित भंडारण

आरक्षित आई.बी.एस
कंप्यूट नोड्स पर स्थानीय डेटा भंडारण

लक्ष्यों को संतुलित करना
यहां तक ​​कि लोड वितरण भी

अधिकतम अनुप्रयोग प्रतिक्रियाशीलता 

संतुलन के लिए न्यूनतम विलंब समय

केवल तभी संतुलन बनाना जब स्पष्ट रूप से आवश्यक हो

निवारक रखरखाव के लिए कुछ उपकरण बाहर ला रहा हूँ
सेवा लागत और ऑपरेटर लागत को कम करना 

कम लोड की स्थिति में कुछ संसाधनों को अक्षम करना

ऊर्जा की बचत

कर्मियों की लागत कम करना

हम अपने लिए निम्नलिखित निष्कर्ष निकालते हैं:

निजी बादलों के लिएबड़े कॉर्पोरेट ग्राहकों को प्रदान किए गए डीआरएस का उपयोग निम्नलिखित प्रतिबंधों के अधीन किया जा सकता है:

• सूचना सुरक्षा और संतुलन बनाते समय एफ़िनिटी नियमों को ध्यान में रखना;
• दुर्घटना की स्थिति में रिजर्व में पर्याप्त संसाधनों की उपलब्धता;
• वर्चुअल मशीन डेटा एक केंद्रीकृत या वितरित भंडारण प्रणाली पर स्थित है;
• समय के साथ आश्चर्यजनक प्रशासन, बैकअप और संतुलन प्रक्रियाएं;
• केवल क्लाइंट होस्ट के समुच्चय के भीतर संतुलन बनाना;
• केवल तभी संतुलन बनाना जब कोई मजबूत असंतुलन हो, सबसे प्रभावी और सुरक्षित वीएम माइग्रेशन (आखिरकार, माइग्रेशन विफल हो सकता है);
• अपेक्षाकृत "शांत" आभासी मशीनों को संतुलित करना ("शोर" आभासी मशीनों के प्रवासन में बहुत लंबा समय लग सकता है);
• "लागत" को ध्यान में रखते हुए संतुलन - भंडारण प्रणाली और नेटवर्क पर भार (बड़े ग्राहकों के लिए अनुकूलित आर्किटेक्चर के साथ);
• प्रत्येक वीएम की व्यक्तिगत व्यवहार विशेषताओं को ध्यान में रखते हुए संतुलन बनाना;
• संतुलन अधिमानतः गैर-कार्य घंटों (रात, सप्ताहांत, छुट्टियों) के दौरान किया जाता है।

सार्वजनिक बादलों के लिएछोटे ग्राहकों को सेवाएँ प्रदान करते हुए, DRS का उपयोग उन्नत क्षमताओं के साथ अधिक बार किया जा सकता है:

• सूचना सुरक्षा प्रतिबंधों और एफ़िनिटी नियमों का अभाव;
• बादल के भीतर संतुलन;
• किसी भी उचित समय पर संतुलन बनाना;
• किसी भी वीएम को संतुलित करना;
• "शोर" वाली आभासी मशीनों को संतुलित करना (ताकि दूसरों को परेशानी न हो);
• वर्चुअल मशीन डेटा अक्सर स्थानीय डिस्क पर स्थित होता है;
• भंडारण प्रणालियों और नेटवर्क के औसत प्रदर्शन को ध्यान में रखते हुए (क्लाउड आर्किटेक्चर एकीकृत है);
• सामान्य नियमों और उपलब्ध डेटा सेंटर व्यवहार आँकड़ों के अनुसार संतुलन।

समस्या की जटिलता

संतुलन बनाने में कठिनाई यह है कि डीआरएस को बड़ी संख्या में अनिश्चित कारकों के साथ काम करना होगा:

• प्रत्येक ग्राहक की सूचना प्रणाली के उपयोगकर्ताओं का व्यवहार;
• सूचना प्रणाली सर्वर के संचालन के लिए एल्गोरिदम;
• डीबीएमएस सर्वर का व्यवहार;
• कंप्यूटिंग संसाधनों, भंडारण प्रणालियों, नेटवर्क पर भार;
• क्लाउड संसाधनों के संघर्ष में सर्वरों का एक दूसरे के साथ संपर्क।

क्लाउड संसाधनों पर बड़ी संख्या में वर्चुअल एप्लिकेशन सर्वर और डेटाबेस का लोड समय के साथ होता है, परिणाम स्वयं प्रकट हो सकते हैं और अप्रत्याशित समय पर अप्रत्याशित प्रभाव के साथ एक-दूसरे को ओवरलैप कर सकते हैं। यहां तक ​​कि अपेक्षाकृत सरल प्रक्रियाओं को नियंत्रित करने के लिए (उदाहरण के लिए, एक इंजन को नियंत्रित करने के लिए, घर पर जल तापन प्रणाली), स्वचालित नियंत्रण प्रणालियों को जटिल का उपयोग करने की आवश्यकता होती है आनुपातिक-अभिन्न-विभेदक फीडबैक के साथ एल्गोरिदम।

हमारा कार्य कई गुना अधिक जटिल है, और एक जोखिम है कि सिस्टम उचित समय में स्थापित मूल्यों पर लोड को संतुलित करने में सक्षम नहीं होगा, भले ही उपयोगकर्ताओं से कोई बाहरी प्रभाव न हो।

हमारे विकास का इतिहास

इस समस्या को हल करने के लिए, हमने शून्य से शुरुआत नहीं करने, बल्कि मौजूदा अनुभव को आगे बढ़ाने का फैसला किया और इस क्षेत्र में अनुभव वाले विशेषज्ञों के साथ बातचीत करना शुरू किया। सौभाग्य से, समस्या के बारे में हमारी समझ पूरी तरह मेल खाती है।

चरण 1

हमने तंत्रिका नेटवर्क प्रौद्योगिकी पर आधारित एक प्रणाली का उपयोग किया और इसके आधार पर अपने संसाधनों को अनुकूलित करने का प्रयास किया।

इस चरण की रुचि एक नई तकनीक का परीक्षण करने में थी, और इसका महत्व एक समस्या को हल करने के लिए एक गैर-मानक दृष्टिकोण को लागू करने में था, जहां अन्य चीजें समान होने पर, मानक दृष्टिकोण व्यावहारिक रूप से समाप्त हो गए थे।

हमने सिस्टम लॉन्च किया, और हमने वास्तव में संतुलन बनाना शुरू कर दिया। हमारे क्लाउड के पैमाने ने हमें डेवलपर्स द्वारा बताए गए आशावादी परिणाम प्राप्त करने की अनुमति नहीं दी, लेकिन यह स्पष्ट था कि संतुलन काम कर रहा था।

साथ ही, हमारी काफी गंभीर सीमाएँ थीं:

• तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए, आभासी मशीनों को हफ्तों या महीनों तक महत्वपूर्ण बदलावों के बिना चलाने की आवश्यकता होती है।
• एल्गोरिदम को पहले के "ऐतिहासिक" डेटा के विश्लेषण के आधार पर अनुकूलन के लिए डिज़ाइन किया गया है।
• तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए काफी बड़ी मात्रा में डेटा और कंप्यूटिंग संसाधनों की आवश्यकता होती है।
• अनुकूलन और संतुलन अपेक्षाकृत कम ही किया जा सकता है - हर कुछ घंटों में एक बार, जो स्पष्ट रूप से पर्याप्त नहीं है।

चरण 2

चूँकि हम मामलों की स्थिति से संतुष्ट नहीं थे, इसलिए हमने सिस्टम को संशोधित करने और ऐसा करने के लिए उत्तर देने का निर्णय लिया मुख्य प्रश्न - हम इसे किसके लिए बना रहे हैं?

पहला - कॉर्पोरेट ग्राहकों के लिए. इसका मतलब यह है कि हमें एक ऐसी प्रणाली की आवश्यकता है जो तेजी से काम करे, उन कॉर्पोरेट प्रतिबंधों के साथ जो केवल कार्यान्वयन को सरल बनाते हैं।

दूसरा सवाल - "तुरंत" शब्द से आपका क्या तात्पर्य है? एक संक्षिप्त बहस के परिणामस्वरूप, हमने निर्णय लिया कि हम 5-10 मिनट के प्रतिक्रिया समय के साथ शुरुआत कर सकते हैं, ताकि अल्पकालिक उछाल प्रणाली को अनुनाद में न ला सके।

तीसरा सवाल – सर्वरों की संतुलित संख्या का कौन सा आकार चुनना है?
यह मसला अपने आप सुलझ गया. आमतौर पर, क्लाइंट सर्वर एकत्रीकरण को बहुत बड़ा नहीं बनाते हैं, और यह एकत्रीकरण को 30-40 सर्वर तक सीमित करने की लेख की सिफारिशों के अनुरूप है।

इसके अलावा, सर्वर पूल को विभाजित करके, हम संतुलन एल्गोरिदम के कार्य को सरल बनाते हैं।

चौथा सवाल - अपनी लंबी सीखने की प्रक्रिया और दुर्लभ संतुलन के साथ एक तंत्रिका नेटवर्क हमारे लिए कितना उपयुक्त है? हमने सेकंडों में परिणाम प्राप्त करने के लिए इसे सरल परिचालन एल्गोरिदम के पक्ष में छोड़ने का निर्णय लिया।

ऐसे एल्गोरिदम का उपयोग करने वाली प्रणाली और उसके नुकसानों का विवरण पाया जा सकता है यहां

हमने इस प्रणाली को लागू किया और लॉन्च किया और उत्साहजनक परिणाम प्राप्त किए - अब यह नियमित रूप से क्लाउड लोड का विश्लेषण करता है और वर्चुअल मशीनों को स्थानांतरित करने के लिए सिफारिशें करता है, जो काफी हद तक सही हैं। अब भी यह स्पष्ट है कि हम मौजूदा आभासी मशीनों के काम की गुणवत्ता में सुधार करते हुए नई आभासी मशीनों के लिए संसाधनों की 10-15% रिहाई हासिल कर सकते हैं।

जब रैम या सीपीयू में असंतुलन का पता चलता है, तो सिस्टम आवश्यक वर्चुअल मशीनों का लाइव माइग्रेशन करने के लिए टियोनिक्स शेड्यूलर को आदेश जारी करता है। जैसा कि मॉनिटरिंग सिस्टम से देखा जा सकता है, वर्चुअल मशीन एक (ऊपरी) से दूसरे (निचले) होस्ट में चली गई और ऊपरी होस्ट पर मेमोरी खाली कर दी (पीले सर्कल में हाइलाइट किया गया), क्रमशः निचले होस्ट पर कब्जा कर लिया (सफेद में हाइलाइट किया गया) वृत्त)।

अब हम वर्तमान एल्गोरिदम की प्रभावशीलता का अधिक सटीक आकलन करने का प्रयास कर रहे हैं और इसमें संभावित त्रुटियां ढूंढने का प्रयास कर रहे हैं।

चरण 3

ऐसा प्रतीत होता है कि कोई इस पर शांत हो सकता है, सिद्ध प्रभावशीलता की प्रतीक्षा कर सकता है और विषय को बंद कर सकता है।
लेकिन निम्नलिखित स्पष्ट अनुकूलन अवसरों द्वारा हमें एक नए चरण को आगे बढ़ाने के लिए प्रेरित किया जाता है

1. उदाहरण के लिए सांख्यिकी, यहां и यहां दर्शाता है कि दो- और चार-प्रोसेसर सिस्टम एकल-प्रोसेसर सिस्टम की तुलना में प्रदर्शन में काफी कम हैं। इसका मतलब यह है कि सभी उपयोगकर्ताओं को सिंगल-प्रोसेसर सिस्टम की तुलना में मल्टीप्रोसेसर सिस्टम में खरीदे गए सीपीयू, रैम, एसएसडी, लैन, एफसी से काफी कम आउटपुट प्राप्त होता है।
2. संसाधन अनुसूचियों में स्वयं गंभीर त्रुटियाँ हो सकती हैं, यहाँ लेखों में से एक है इस विषय पर।
3. रैम और कैश की निगरानी के लिए इंटेल और एएमडी द्वारा पेश की गई प्रौद्योगिकियां आभासी मशीनों के व्यवहार का अध्ययन करना और उन्हें इस तरह से रखना संभव बनाती हैं कि "शोर" करने वाले पड़ोसी "शांत" आभासी मशीनों में हस्तक्षेप न करें।
4. पैरामीटर्स के सेट का विस्तार (नेटवर्क, स्टोरेज सिस्टम, वर्चुअल मशीन की प्राथमिकता, माइग्रेशन की लागत, माइग्रेशन के लिए इसकी तैयारी)।

कुल मिलाकर

संतुलन एल्गोरिदम में सुधार के लिए हमारे काम का नतीजा यह स्पष्ट निष्कर्ष था कि आधुनिक एल्गोरिदम का उपयोग करके डेटा सेंटर संसाधनों (25-30%) का महत्वपूर्ण अनुकूलन प्राप्त करना संभव है और साथ ही ग्राहक सेवा की गुणवत्ता में सुधार करना संभव है।

तंत्रिका नेटवर्क पर आधारित एक एल्गोरिदम निश्चित रूप से एक दिलचस्प समाधान है, लेकिन इसे और अधिक विकास की आवश्यकता है, और मौजूदा सीमाओं के कारण, यह निजी क्लाउड के लिए विशिष्ट वॉल्यूम पर इस तरह की समस्या को हल करने के लिए उपयुक्त नहीं है। उसी समय, एल्गोरिदम ने महत्वपूर्ण आकार के सार्वजनिक बादलों में अच्छे परिणाम दिखाए।

हम आपको निम्नलिखित लेखों में प्रोसेसर, शेड्यूलर और उच्च-स्तरीय संतुलन की क्षमताओं के बारे में अधिक बताएंगे।

स्रोत: www.habr.com