ओपनस्टॅकमध्ये लोड बॅलन्सिंग (भाग २)

В शेवटचा लेख आम्ही वॉचर वापरण्याच्या आमच्या प्रयत्नांबद्दल बोललो आणि चाचणी अहवाल प्रदान केला. मोठ्या एंटरप्राइझ किंवा ऑपरेटर क्लाउडच्या संतुलनासाठी आणि इतर गंभीर कार्यांसाठी आम्ही वेळोवेळी अशा चाचण्या घेतो.

समस्येचे निराकरण करण्याच्या उच्च जटिलतेसाठी आमच्या प्रकल्पाचे वर्णन करण्यासाठी अनेक लेखांची आवश्यकता असू शकते. आज आम्ही या मालिकेतील दुसरा लेख प्रकाशित करत आहोत, जो क्लाउडमधील व्हर्च्युअल मशीन्समध्ये संतुलन राखण्यासाठी समर्पित आहे.

काही शब्दावली

VmWare कंपनीने DRS (डिस्ट्रिब्युटेड रिसोर्स शेड्युलर) युटिलिटी सादर केली ज्यामुळे त्यांनी विकसित केलेल्या आणि ऑफर केलेल्या व्हर्च्युअलायझेशन वातावरणाचा भार संतुलित केला.

लिहितात म्हणून searchvmware.techtarget.com/definition/VMware-DRS
“VMware DRS (डिस्ट्रिब्युटेड रिसोर्स शेड्युलर) ही एक उपयुक्तता आहे जी आभासी वातावरणात उपलब्ध संसाधनांसह संगणकीय भार संतुलित करते. युटिलिटी VMware इन्फ्रास्ट्रक्चर नावाच्या व्हर्च्युअलायझेशन सूटचा भाग आहे.

VMware DRS सह, वापरकर्ते आभासी मशीन (VMs) मध्ये भौतिक संसाधने वितरीत करण्यासाठी नियम परिभाषित करतात. युटिलिटी मॅन्युअल किंवा स्वयंचलित नियंत्रणासाठी कॉन्फिगर केली जाऊ शकते. VMware संसाधन पूल सहजपणे जोडले जाऊ शकतात, काढले जाऊ शकतात किंवा पुनर्रचना केले जाऊ शकतात. इच्छित असल्यास, संसाधन पूल वेगवेगळ्या व्यवसाय युनिट्समध्ये वेगळे केले जाऊ शकतात. एक किंवा अधिक व्हर्च्युअल मशीनवरील वर्कलोड नाटकीयरित्या बदलल्यास, VMware DRS व्हर्च्युअल मशीन्सचे भौतिक सर्व्हरवर पुनर्वितरण करते. एकूणच वर्कलोड कमी झाल्यास, काही फिजिकल सर्व्हर तात्पुरते ऑफलाइन घेतले जाऊ शकतात आणि वर्कलोड एकत्रित केले जाऊ शकते."

संतुलन का आवश्यक आहे?

आमच्या मते, डीआरएस हे क्लाउडचे एक आवश्यक वैशिष्ट्य आहे, जरी याचा अर्थ असा नाही की डीआरएस नेहमी आणि सर्वत्र वापरला गेला पाहिजे. क्लाउडचा उद्देश आणि गरजा यावर अवलंबून, DRS आणि संतुलन पद्धतींसाठी वेगवेगळ्या आवश्यकता असू शकतात. अशी परिस्थिती असू शकते जिथे संतुलनाची अजिबात गरज नसते. किंवा अगदी हानीकारक.

कोठे आणि कोणत्या क्लायंटसाठी DRS आवश्यक आहे हे अधिक चांगल्या प्रकारे समजून घेण्यासाठी, त्यांची उद्दिष्टे आणि उद्दिष्टे विचारात घेऊ या. ढग सार्वजनिक आणि खाजगी मध्ये विभागले जाऊ शकतात. या क्लाउड आणि ग्राहकांच्या ध्येयांमधील मुख्य फरक येथे आहेत.

खाजगी क्लाउड / मोठे एंटरप्राइझ क्लायंट
सार्वजनिक ढग / मध्यम आणि लहान व्यवसाय, लोक

ऑपरेटरचे मुख्य निकष आणि उद्दिष्टे
एक विश्वासार्ह सेवा किंवा उत्पादन प्रदान करणे
स्पर्धात्मक बाजारपेठेतील लढ्यात सेवांची किंमत कमी करणे

सेवा आवश्यकता
सर्व स्तरांवर आणि सर्व सिस्टम घटकांमध्ये विश्वसनीयता

कामगिरीची हमी

व्हर्च्युअल मशीनला अनेक श्रेणींमध्ये प्राधान्य द्या 

माहिती आणि भौतिक डेटा सुरक्षा

SLA आणि XNUMX/XNUMX समर्थन
सेवा प्राप्त करण्याची कमाल सुलभता

तुलनेने सोप्या सेवा

डेटाची जबाबदारी क्लायंटची आहे

VM प्राधान्य आवश्यक नाही

मानक सेवांच्या पातळीवर माहिती सुरक्षा, क्लायंटवर जबाबदारी

त्रुटी असू शकतात

SLA नाही, गुणवत्तेची हमी नाही

ईमेल समर्थन

बॅकअप आवश्यक नाही

क्लायंट वैशिष्ट्ये
अनुप्रयोगांची खूप विस्तृत श्रेणी.

कंपनीमध्ये वारशाने मिळालेले अर्ज.

प्रत्येक क्लायंटसाठी जटिल सानुकूल आर्किटेक्चर.

आत्मीयता नियम.

सॉफ्टवेअर 7x24 मोडमध्ये न थांबता कार्य करते. 

ऑन-द-फ्लाय बॅकअप साधने.

अंदाजे चक्रीय ग्राहक भार.
ठराविक ऍप्लिकेशन्स – नेटवर्क बॅलन्सिंग, अपाचे, वेब, व्हीपीएन, एसक्यूएल

अर्ज काही काळ थांबू शकतो

क्लाउडमध्ये VM च्या अनियंत्रित वितरणास अनुमती देते

क्लायंट बॅकअप

मोठ्या संख्येने क्लायंटसह अंदाजे सांख्यिकीय सरासरी लोड.

आर्किटेक्चरसाठी परिणाम
जिओक्लस्टरिंग

केंद्रीकृत किंवा वितरित स्टोरेज

आरक्षित IBS
कंप्यूट नोड्सवर स्थानिक डेटा स्टोरेज

ध्येय संतुलित करणे
अगदी लोड वितरण

जास्तीत जास्त अनुप्रयोग प्रतिसाद 

समतोल साधण्यासाठी किमान विलंब वेळ

जेव्हा स्पष्टपणे आवश्यक असेल तेव्हाच संतुलन राखणे

प्रतिबंधात्मक देखभालीसाठी काही उपकरणे बाहेर आणणे
सेवा खर्च आणि ऑपरेटर खर्च कमी करणे 

कमी लोडच्या बाबतीत काही संसाधने अक्षम करणे

ऊर्जा बचत

कर्मचारी खर्च कमी करणे

आम्ही स्वतःसाठी खालील निष्कर्ष काढतो:

खाजगी ढगांसाठीमोठ्या कॉर्पोरेट ग्राहकांना प्रदान केलेले, DRS खालील निर्बंधांच्या अधीन राहून वापरले जाऊ शकते:

• माहितीची सुरक्षा आणि संतुलन साधताना आत्मीयतेचे नियम विचारात घेणे;
• अपघात झाल्यास राखीव मध्ये पुरेशी संसाधने उपलब्धता;
• व्हर्च्युअल मशीन डेटा केंद्रीकृत किंवा वितरित स्टोरेज सिस्टमवर स्थित आहे;
• आश्चर्यकारक प्रशासन, वेळोवेळी बॅकअप आणि संतुलन प्रक्रिया;
• केवळ क्लायंट यजमानांच्या एकूणातच समतोल राखणे;
• जेव्हा मजबूत असंतुलन असते तेव्हाच संतुलित करणे, सर्वात प्रभावी आणि सुरक्षित VM स्थलांतरण (शेवटी, स्थलांतर अयशस्वी होऊ शकते);
• तुलनेने "शांत" व्हर्च्युअल मशीन्स संतुलित करणे ("गोंगाट" व्हर्च्युअल मशीन्सच्या स्थलांतरास खूप वेळ लागू शकतो);
• "किंमत" विचारात घेऊन संतुलन साधणे - स्टोरेज सिस्टम आणि नेटवर्कवरील भार (मोठ्या क्लायंटसाठी सानुकूलित आर्किटेक्चरसह);
• प्रत्येक VM ची वैयक्तिक वर्तणूक वैशिष्ट्ये विचारात घेऊन संतुलन साधणे;
• बॅलन्सिंग शक्यतो गैर-कामाच्या वेळेत केले जाते (रात्री, शनिवार व रविवार, सुट्टी).

सार्वजनिक ढगांसाठीलहान ग्राहकांना सेवा प्रदान करणे, डीआरएस प्रगत क्षमतांसह अधिक वेळा वापरला जाऊ शकतो:

• माहिती सुरक्षा निर्बंध आणि आत्मीयता नियमांची अनुपस्थिती;
• ढगात संतुलन राखणे;
• कोणत्याही वाजवी वेळी संतुलन;
• कोणत्याही VM संतुलित करणे;
• "गोंगाट करणारी" आभासी मशीन संतुलित करणे (इतरांना त्रास होऊ नये म्हणून);
• वर्च्युअल मशीन डेटा अनेकदा स्थानिक डिस्कवर स्थित असतो;
• स्टोरेज सिस्टम आणि नेटवर्कची सरासरी कामगिरी लक्षात घेऊन (क्लाउड आर्किटेक्चर युनिफाइड आहे);
• सामान्य नियम आणि उपलब्ध डेटा सेंटर वर्तन आकडेवारीनुसार संतुलन.

समस्येची जटिलता

संतुलन राखण्याची अडचण अशी आहे की डीआरएसने मोठ्या संख्येने अनिश्चित घटकांसह कार्य केले पाहिजे:

• प्रत्येक क्लायंटच्या माहिती प्रणालीच्या वापरकर्त्यांचे वर्तन;
• माहिती प्रणाली सर्व्हरच्या ऑपरेशनसाठी अल्गोरिदम;
• डीबीएमएस सर्व्हरचे वर्तन;
• संगणकीय संसाधने, स्टोरेज सिस्टम, नेटवर्कवर भार;
• क्लाउड संसाधनांच्या संघर्षात सर्व्हरचा एकमेकांशी परस्परसंवाद.

क्लाउड संसाधनांवर मोठ्या संख्येने व्हर्च्युअल अॅप्लिकेशन सर्व्हर आणि डेटाबेसचा भार कालांतराने उद्भवतो, त्याचे परिणाम स्वतः प्रकट होऊ शकतात आणि अप्रत्याशित वेळेवर एक अप्रत्याशित प्रभावाने एकमेकांना ओव्हरलॅप करू शकतात. अगदी तुलनेने सोप्या प्रक्रियांवर नियंत्रण ठेवण्यासाठी (उदाहरणार्थ, इंजिन नियंत्रित करण्यासाठी, घरी वॉटर हीटिंग सिस्टम), स्वयंचलित नियंत्रण प्रणाली जटिल वापरणे आवश्यक आहे. आनुपातिक-अभिन्न-भिन्नता फीडबॅकसह अल्गोरिदम.

आमचे कार्य अधिक क्लिष्टतेचे अनेक ऑर्डर आहे आणि वापरकर्त्यांकडून कोणतेही बाह्य प्रभाव नसले तरीही सिस्टम वाजवी वेळेत स्थापित मूल्यांवर भार संतुलित करू शकणार नाही असा धोका आहे.

आमच्या घडामोडींचा इतिहास

या समस्येचे निराकरण करण्यासाठी, आम्ही सुरवातीपासून प्रारंभ न करण्याचा निर्णय घेतला, परंतु विद्यमान अनुभवावर आधारित, आणि या क्षेत्रातील अनुभव असलेल्या तज्ञांशी संवाद साधण्यास सुरुवात केली. सुदैवाने, समस्येबद्दलची आमची समज पूर्णपणे जुळली.

स्टेज 1

आम्ही न्यूरल नेटवर्क तंत्रज्ञानावर आधारित प्रणाली वापरली आणि त्यावर आधारित आमची संसाधने ऑप्टिमाइझ करण्याचा प्रयत्न केला.

या टप्प्याचे स्वारस्य नवीन तंत्रज्ञानाची चाचणी घेण्यात होते, आणि त्याचे महत्त्व अशा समस्येचे निराकरण करण्यासाठी अ-मानक दृष्टीकोन लागू करण्यात होते जेथे, इतर गोष्टी समान असल्याने, मानक दृष्टीकोन व्यावहारिकरित्या स्वतःच थकले होते.

आम्ही प्रणाली लाँच केली, आणि आम्ही खरोखरच समतोल राखण्यास सुरुवात केली. आमच्या क्लाउडच्या स्केलने आम्हाला विकासकांनी सांगितलेले आशावादी परिणाम मिळू दिले नाहीत, परंतु हे स्पष्ट होते की संतुलन कार्य करत आहे.

त्याच वेळी, आम्हाला गंभीर मर्यादा होत्या:

• न्यूरल नेटवर्कला प्रशिक्षित करण्यासाठी, व्हर्च्युअल मशीन्सना काही आठवडे किंवा महिन्यांसाठी महत्त्वपूर्ण बदल न करता चालवावे लागतील.
• अल्गोरिदम पूर्वीच्या "ऐतिहासिक" डेटाच्या विश्लेषणावर आधारित ऑप्टिमायझेशनसाठी डिझाइन केले आहे.
• न्यूरल नेटवर्कला प्रशिक्षण देण्यासाठी मोठ्या प्रमाणात डेटा आणि संगणकीय संसाधने आवश्यक आहेत.
• ऑप्टिमायझेशन आणि संतुलन तुलनेने क्वचितच केले जाऊ शकते - दर काही तासांनी एकदा, जे स्पष्टपणे पुरेसे नाही.

स्टेज 2

आम्‍ही या स्‍थितीवर समाधानी नसल्‍याने, आम्‍ही सिस्‍टममध्‍ये बदल करण्‍याचा निर्णय घेतला आणि हे करण्‍यासाठी, उत्तर मुख्य प्रश्न - आम्ही ते कोणासाठी बनवत आहोत?

प्रथम - कॉर्पोरेट क्लायंटसाठी. याचा अर्थ असा की आम्हाला अशा कॉर्पोरेट निर्बंधांसह त्वरीत कार्य करणारी प्रणाली आवश्यक आहे जी केवळ अंमलबजावणी सुलभ करते.

दुसरा प्रश्न - "तत्काळ" या शब्दाचा अर्थ काय आहे? एका लहान चर्चेच्या परिणामी, आम्ही ठरवले की आम्ही 5-10 मिनिटांच्या प्रतिसाद वेळेसह प्रारंभ करू शकतो, जेणेकरून अल्पकालीन वाढ प्रणालीला अनुनाद मध्ये आणणार नाही.

तिसरा प्रश्न - सर्व्हरच्या संतुलित संख्येचा कोणता आकार निवडायचा?
हा प्रश्न स्वतःच सोडवला. सामान्यतः, क्लायंट सर्व्हरचे एकत्रीकरण फार मोठे करत नाहीत आणि हे 30-40 सर्व्हरपर्यंत एकत्रीकरण मर्यादित करण्यासाठी लेखाच्या शिफारशींशी सुसंगत आहे.

याव्यतिरिक्त, सर्व्हर पूल विभाजित करून, आम्ही बॅलन्सिंग अल्गोरिदमचे कार्य सुलभ करतो.

चौथा प्रश्न - दीर्घ शिक्षण प्रक्रिया आणि दुर्मिळ संतुलनासह न्यूरल नेटवर्क आपल्यासाठी कितपत योग्य आहे? काही सेकंदात परिणाम मिळविण्यासाठी आम्ही सोप्या ऑपरेशनल अल्गोरिदमच्या बाजूने ते सोडून देण्याचा निर्णय घेतला.

अशा अल्गोरिदम वापरणाऱ्या प्रणालीचे वर्णन आणि त्याचे तोटे आढळू शकतात येथे

आम्ही ही प्रणाली लागू केली आणि लाँच केली आणि उत्साहवर्धक परिणाम प्राप्त केले - आता ते नियमितपणे क्लाउड लोडचे विश्लेषण करते आणि आभासी मशीन हलवण्यासाठी शिफारसी करते, जे मोठ्या प्रमाणात योग्य आहेत. आताही हे स्पष्ट झाले आहे की विद्यमान मशीन्सच्या कामाची गुणवत्ता सुधारून नवीन व्हर्च्युअल मशीनसाठी आम्ही 10-15% संसाधने सोडू शकतो.

जेव्हा RAM किंवा CPU मध्ये असमतोल आढळतो, तेव्हा सिस्टम आवश्यक आभासी मशीनचे थेट स्थलांतर करण्यासाठी Tionix शेड्युलरला आदेश जारी करते. मॉनिटरिंग सिस्टमवरून पाहिल्याप्रमाणे, व्हर्च्युअल मशीन एका (वरच्या) वरून दुसर्‍या (खालच्या) होस्टवर हलवले आणि वरच्या होस्टवर (पिवळ्या वर्तुळात हायलाइट केलेले) मेमरी मोकळी केली, अनुक्रमे खालच्या भागावर (पांढऱ्या रंगात हायलाइट केलेले) व्यापले. मंडळे).

आता आम्ही सध्याच्या अल्गोरिदमच्या प्रभावीतेचे अधिक अचूकपणे मूल्यांकन करण्याचा प्रयत्न करीत आहोत आणि त्यात संभाव्य त्रुटी शोधण्याचा प्रयत्न करीत आहोत.

स्टेज 3

असे दिसते की एखादी व्यक्ती यावर शांत होऊ शकते, सिद्ध प्रभावीतेची प्रतीक्षा करू शकते आणि विषय बंद करू शकते.
परंतु खालील स्पष्ट ऑप्टिमायझेशन संधींद्वारे आम्हाला एक नवीन टप्पा पार पाडण्यासाठी ढकलले जाते

1. आकडेवारी, उदाहरणार्थ, येथे и येथे दाखवते की दोन- आणि चार-प्रोसेसर प्रणाली एकल-प्रोसेसर प्रणालींच्या तुलनेत लक्षणीयरीत्या कमी आहेत. याचा अर्थ सर्व वापरकर्ते सिंगल-प्रोसेसरच्या तुलनेत मल्टीप्रोसेसर सिस्टीममध्ये खरेदी केलेल्या CPU, RAM, SSD, LAN, FC मधून लक्षणीयरीत्या कमी आउटपुट प्राप्त करतात.
2. रिसोर्स शेड्युलरमध्ये स्वतः गंभीर त्रुटी असू शकतात, येथे लेखांपैकी एक आहे या विषयावर.
3. इंटेल आणि एएमडीने रॅम आणि कॅशेचे निरीक्षण करण्यासाठी ऑफर केलेल्या तंत्रज्ञानामुळे व्हर्च्युअल मशीनच्या वर्तनाचा अभ्यास करणे आणि त्यांना अशा प्रकारे ठेवणे शक्य होते की "गोंगाट करणारे" शेजारी "शांत" आभासी मशीनमध्ये व्यत्यय आणत नाहीत.
4. पॅरामीटर्सच्या संचाचा विस्तार (नेटवर्क, स्टोरेज सिस्टम, व्हर्च्युअल मशीनचे प्राधान्य, स्थलांतराची किंमत, स्थलांतरासाठी त्याची तयारी).

एकूण

समतोल अल्गोरिदम सुधारण्याच्या आमच्या कार्याचा परिणाम असा स्पष्ट निष्कर्ष होता की आधुनिक अल्गोरिदम वापरून डेटा सेंटर संसाधनांचे महत्त्वपूर्ण ऑप्टिमायझेशन (25-30%) साध्य करणे शक्य आहे आणि त्याच वेळी ग्राहक सेवेची गुणवत्ता सुधारणे शक्य आहे.

न्यूरल नेटवर्क्सवर आधारित अल्गोरिदम हा नक्कीच एक मनोरंजक उपाय आहे, परंतु ज्याला पुढील विकासाची आवश्यकता आहे आणि विद्यमान मर्यादांमुळे, खाजगी क्लाउडसाठी वैशिष्ट्यपूर्ण व्हॉल्यूमवर अशा प्रकारच्या समस्येचे निराकरण करण्यासाठी ते योग्य नाही. त्याच वेळी, अल्गोरिदमने महत्त्वपूर्ण आकाराच्या सार्वजनिक ढगांमध्ये चांगले परिणाम दर्शविले.

आम्ही तुम्हाला पुढील लेखांमध्ये प्रोसेसर, शेड्युलर आणि उच्च-स्तरीय संतुलनाच्या क्षमतांबद्दल अधिक सांगू.

स्त्रोत: www.habr.com