ओपनस्ट्याकमा लोड ब्यालेन्सिङ (भाग २)

В अन्तिम लेख हामीले वाचर प्रयोग गर्ने हाम्रो प्रयासहरूको बारेमा कुरा गर्यौं र परीक्षण रिपोर्ट प्रदान गर्‍यौं। हामी आवधिक रूपमा ठूलो उद्यम वा अपरेटर क्लाउडको सन्तुलन र अन्य महत्वपूर्ण कार्यहरूको लागि त्यस्ता परीक्षणहरू सञ्चालन गर्छौं।

समस्या को उच्च जटिलता को समाधान को लागी हाम्रो परियोजना को वर्णन गर्न धेरै लेखहरु आवश्यक हुन सक्छ। आज हामी क्लाउडमा भर्चुअल मेसिनहरू सन्तुलन गर्न समर्पित श्रृंखलाको दोस्रो लेख प्रकाशित गर्दैछौं।

केही शब्दावली

VmWare कम्पनीले DRS (डिस्ट्रिब्युटेड रिसोर्स शेड्युलर) उपयोगितालाई उनीहरूले विकास गरेको र प्रस्ताव गरेको भर्चुअलाइजेशन वातावरणको भारलाई सन्तुलनमा राख्न ल्यायो।

उहाँले लेख्नुहुन्छ searchvmware.techtarget.com/definition/VMware-DRS
"VMware DRS (डिस्ट्रिब्युटेड रिसोर्स शेड्युलर) एक उपयोगिता हो जसले भर्चुअल वातावरणमा उपलब्ध स्रोतहरूसँग कम्प्युटिङ भारहरूलाई सन्तुलनमा राख्छ। उपयोगिता VMware इन्फ्रास्ट्रक्चर भनिने भर्चुअलाइजेशन सूटको भाग हो।

VMware DRS को साथ, प्रयोगकर्ताहरूले भर्चुअल मेसिनहरू (VMs) बीच भौतिक स्रोतहरू वितरणको लागि नियमहरू परिभाषित गर्छन्। उपयोगिता म्यानुअल वा स्वचालित नियन्त्रणको लागि कन्फिगर गर्न सकिन्छ। VMware स्रोत पूलहरू सजिलै थप्न, हटाउन वा पुन: संगठित गर्न सकिन्छ। यदि चाहियो भने, संसाधन पूलहरू विभिन्न व्यापार एकाइहरू बीच अलग गर्न सकिन्छ। यदि एक वा बढी भर्चुअल मेसिनहरूमा कार्यभार नाटकीय रूपमा परिवर्तन हुन्छ भने, VMware DRS ले भर्चुअल मेसिनहरूलाई भौतिक सर्भरहरूमा पुनः वितरण गर्दछ। यदि समग्र कार्यभार घट्यो भने, केहि भौतिक सर्भरहरू अस्थायी रूपमा अफलाइन लिइन्छ र कार्यभार समेकित हुन सक्छ।"

सन्तुलन किन आवश्यक छ?

हाम्रो विचारमा, DRS अनिवार्य क्लाउड सुविधा हो, यद्यपि यसको मतलब यो होइन कि DRS सधैं र सबै ठाउँमा प्रयोग गरिनुपर्छ। क्लाउडको उद्देश्य र आवश्यकताहरूमा निर्भर गर्दै, DRS र सन्तुलन विधिहरूको लागि फरक आवश्यकताहरू हुन सक्छन्। त्यहाँ अवस्थाहरू हुन सक्छ जहाँ सन्तुलन आवश्यक छैन। वा हानिकारक पनि।

कहाँ र कुन ग्राहकका लागि DRS आवश्यक छ भन्ने कुरा राम्ररी बुझ्न, तिनीहरूको लक्ष्य र उद्देश्यहरू विचार गरौं। क्लाउडहरू सार्वजनिक र निजीमा विभाजन गर्न सकिन्छ। यहाँ यी क्लाउडहरू र ग्राहक लक्ष्यहरू बीचको मुख्य भिन्नताहरू छन्।

निजी क्लाउडहरू / ठूला उद्यम ग्राहकहरू
सार्वजनिक बादल / मध्यम र साना व्यवसाय, मान्छे

अपरेटरको मुख्य मापदण्ड र लक्ष्यहरू
भरपर्दो सेवा वा उत्पादन प्रदान गर्दै
प्रतिस्पर्धात्मक बजारमा लडाईमा सेवाहरूको लागत घटाउने

सेवा आवश्यकताहरू
सबै तह र सबै प्रणाली तत्वहरूमा विश्वसनीयता

प्रदर्शन को ग्यारेन्टी

भर्चुअल मेसिनहरूलाई धेरै कोटिहरूमा प्राथमिकता दिनुहोस् 

सूचना र भौतिक डाटा सुरक्षा

SLA र XNUMX/XNUMX समर्थन
सेवा प्राप्त गर्न अधिकतम सहजता

अपेक्षाकृत सरल सेवाहरू

डाटा को लागी जिम्मेवारी ग्राहक संग छ

कुनै VM प्राथमिकता आवश्यक छैन

मानक सेवाहरूको स्तरमा सूचना सुरक्षा, ग्राहकमा जिम्मेवारी

गल्ती हुन सक्छ

कुनै SLA छैन, गुणस्तरको ग्यारेन्टी छैन

ईमेल समर्थन

ब्याकअप आवश्यक छैन

ग्राहक सुविधाहरू
अनुप्रयोगहरूको धेरै विस्तृत दायरा।

कम्पनीमा वंशानुगत अनुप्रयोगहरू।

प्रत्येक ग्राहकको लागि जटिल अनुकूलन वास्तुकला।

आत्मीयता नियम।

सफ्टवेयरले 7x24 मोडमा रोक्न बिना काम गर्दछ। 

अन-द-फ्लाइ ब्याकअप उपकरणहरू।

अनुमानित चक्रीय ग्राहक लोड।
विशिष्ट अनुप्रयोगहरू - नेटवर्क सन्तुलन, Apache, WEB, VPN, SQL

अनुप्रयोग केही समयको लागि रोकिन सक्छ

क्लाउडमा VM को स्वेच्छाचारी वितरण गर्न अनुमति दिन्छ

ग्राहक ब्याकअप

ठूलो संख्यामा ग्राहकहरूको साथ अनुमानित तथ्याङ्कीय औसत लोड।

वास्तुकला को लागी प्रभाव
जियोक्लस्टरिङ

केन्द्रीकृत वा वितरित भण्डारण

आरक्षित IBS
कम्प्युट नोडहरूमा स्थानीय डाटा भण्डारण

सन्तुलन लक्ष्यहरू
लोड वितरण पनि

अधिकतम आवेदन प्रतिक्रिया 

सन्तुलनको लागि न्यूनतम ढिलाइ समय

स्पष्ट रूपमा आवश्यक हुँदा मात्र सन्तुलन

निवारक मर्मतका लागि केही उपकरणहरू ल्याउँदै
सेवा लागत र अपरेटर लागत घटाउने 

कम लोडको अवस्थामा केही स्रोतहरू असक्षम गर्दै

ऊर्जा बचत गर्दै

कर्मचारी लागत घटाउने

हामी आफ्नै लागि निम्न निष्कर्षहरू आकर्षित गर्छौं:

निजी क्लाउडहरूको लागिठूला कर्पोरेट ग्राहकहरूलाई प्रदान गरिएको, DRS निम्न प्रतिबन्धहरूको अधीनमा प्रयोग गर्न सकिन्छ:

• सूचना सुरक्षा र सन्तुलन गर्दा खाता सम्बन्ध नियमहरू लिने;
• दुर्घटनाको घटनामा रिजर्भमा पर्याप्त स्रोतहरूको उपलब्धता;
• भर्चुअल मेसिन डाटा केन्द्रीकृत वा वितरित भण्डारण प्रणालीमा अवस्थित छ;
• चकित पार्ने प्रशासन, ब्याकअप र समयको साथ सन्तुलन प्रक्रियाहरू;
• केवल ग्राहक होस्टहरूको एक समूह भित्र सन्तुलन;
• बलियो असंतुलन हुँदा मात्र सन्तुलन, सबैभन्दा प्रभावकारी र सुरक्षित VM माइग्रेसनहरू (सबै पछि, माइग्रेसन असफल हुन सक्छ);
• तुलनात्मक रूपमा "शान्त" भर्चुअल मेसिनहरू सन्तुलन ("शोर" भर्चुअल मेसिनहरूको माइग्रेसनले धेरै समय लिन सक्छ);
• "लागत" लाई ध्यानमा राख्दै सन्तुलन - भण्डारण प्रणाली र नेटवर्कमा लोड (ठूला ग्राहकहरूको लागि अनुकूलित आर्किटेक्चरको साथ);
• प्रत्येक VM को व्यक्तिगत व्यवहार विशेषताहरू खातामा लिएर सन्तुलन;
• सन्तुलन प्राथमिकतामा गैर-काम गर्ने घण्टा (रात, सप्ताहन्त, बिदा) मा गरिन्छ।

सार्वजनिक बादलहरूको लागिसाना ग्राहकहरूलाई सेवाहरू प्रदान गर्दै, DRS धेरै पटक प्रयोग गर्न सकिन्छ, उन्नत क्षमताहरूसँग:

• सूचना सुरक्षा प्रतिबन्ध र आत्मीयता नियमहरूको अनुपस्थिति;
• बादल भित्र सन्तुलन;
• कुनै पनि उचित समयमा सन्तुलन;
• कुनै पनि VM सन्तुलन;
• "शोर" भर्चुअल मेशिनहरू सन्तुलन (अन्यलाई बाधा नपरोस् भनेर);
• भर्चुअल मेसिन डाटा अक्सर स्थानीय डिस्क मा स्थित छ;
• भण्डारण प्रणाली र नेटवर्कहरूको औसत प्रदर्शनलाई ध्यानमा राख्दै (क्लाउड वास्तुकला एकीकृत छ);
• सामान्य नियम र उपलब्ध डाटा केन्द्र व्यवहार तथ्याङ्क अनुसार सन्तुलन।

समस्याको जटिलता

सन्तुलनको कठिनाई यो हो कि DRS ले धेरै संख्यामा अनिश्चित कारकहरूसँग काम गर्नुपर्छ:

• प्रत्येक ग्राहकको सूचना प्रणालीका प्रयोगकर्ताहरूको व्यवहार;
• सूचना प्रणाली सर्भर को सञ्चालन को लागी एल्गोरिदम;
• DBMS सर्भरहरूको व्यवहार;
• कम्प्युटिङ स्रोतहरू, भण्डारण प्रणाली, नेटवर्कमा लोड;
• क्लाउड स्रोतहरूको लागि संघर्षमा एक अर्कासँग सर्भरहरूको अन्तरक्रिया।

क्लाउड स्रोतहरूमा ठूलो संख्यामा भर्चुअल एप्लिकेसन सर्भरहरू र डाटाबेसहरूको लोड समयको साथमा हुन्छ, नतिजाहरू आफैं प्रकट हुन सक्छन् र अप्रत्याशित समयमा अप्रत्याशित प्रभावको साथ एक अर्कालाई ओभरल्याप गर्न सक्छन्। तुलनात्मक रूपमा सरल प्रक्रियाहरू नियन्त्रण गर्न पनि (उदाहरणका लागि, इन्जिन नियन्त्रण गर्न, घरमा पानी तताउने प्रणाली), स्वचालित नियन्त्रण प्रणालीहरू जटिल प्रयोग गर्न आवश्यक छ। समानुपातिक-अभिन्न-भिन्न प्रतिक्रिया संग एल्गोरिदम।

हाम्रो कार्य परिमाणको धेरै अर्डरहरू अधिक जटिल छ, र त्यहाँ जोखिम छ कि प्रणालीले उचित समयमा स्थापित मानहरूमा लोड सन्तुलन गर्न सक्षम हुनेछैन, भले पनि त्यहाँ प्रयोगकर्ताहरूबाट कुनै बाह्य प्रभावहरू छैनन्।

हाम्रो विकास को इतिहास

यो समस्या समाधान गर्न, हामीले स्क्र्याचबाट सुरु नगर्ने निर्णय गर्यौं, तर अवस्थित अनुभवमा निर्माण गर्ने, र यस क्षेत्रमा अनुभव भएका विशेषज्ञहरूसँग अन्तरक्रिया गर्न थाल्यौं। सौभाग्यवश, समस्याको हाम्रो बुझाइ पूर्णतया मेल खायो।

स्टेज 1

हामीले न्यूरल नेटवर्क टेक्नोलोजीमा आधारित प्रणाली प्रयोग गर्‍यौं र त्यसमा आधारित हाम्रा स्रोतहरू अप्टिमाइज गर्ने प्रयास गर्यौं।

यस चरणको चासो नयाँ प्रविधिको परीक्षणमा थियो, र यसको महत्त्व एक समस्या समाधान गर्न गैर-मानक दृष्टिकोण लागू गर्नमा थियो जहाँ, अन्य चीजहरू समान हुँदा, मानक दृष्टिकोणहरू व्यावहारिक रूपमा समाप्त भएको थियो।

हामीले प्रणाली सुरु गर्यौं, र हामीले साँच्चै सन्तुलन सुरु गर्यौं। हाम्रो क्लाउडको स्केलले हामीलाई विकासकर्ताहरूले बताएको आशावादी नतिजाहरू प्राप्त गर्न अनुमति दिएन, तर यो स्पष्ट थियो कि सन्तुलनले काम गरिरहेको थियो।

एकै समयमा, हामीसँग धेरै गम्भीर सीमाहरू थिए:

• न्यूरल नेटवर्कलाई तालिम दिन, भर्चुअल मेसिनहरू हप्ता वा महिनाको लागि महत्त्वपूर्ण परिवर्तनहरू बिना चल्न आवश्यक छ।
• एल्गोरिदम पहिलेको "ऐतिहासिक" डेटाको विश्लेषणको आधारमा अनुकूलनको लागि डिजाइन गरिएको हो।
• एक तंत्रिका नेटवर्क को प्रशिक्षण को लागी डाटा र कम्प्युटिङ स्रोतहरु को एक पर्याप्त मात्रा को आवश्यकता छ।
• अनुकूलन र सन्तुलन अपेक्षाकृत विरलै गर्न सकिन्छ - प्रत्येक केहि घण्टामा एक पटक, जुन स्पष्ट रूपमा पर्याप्त छैन।

स्टेज 2

हामी मामिलाको अवस्थाबाट सन्तुष्ट नभएकोले, हामीले प्रणाली परिमार्जन गर्ने निर्णय गर्‍यौं, र यो गर्न, जवाफ मुख्य प्रश्न - हामी कसको लागि बनाइरहेका छौं?

पहिलो - कर्पोरेट ग्राहकहरु को लागी। यसको मतलब यो हो कि हामीलाई द्रुत रूपमा काम गर्ने प्रणाली चाहिन्छ, ती कर्पोरेट प्रतिबन्धहरू जसले कार्यान्वयनलाई सरल बनाउँछ।

दोस्रो प्रश्न - "तत्काल" शब्दको अर्थ के हो? छोटो बहसको नतिजाको रूपमा, हामीले निर्णय गर्यौं कि हामी 5-10 मिनेटको प्रतिक्रिया समयको साथ सुरु गर्न सक्छौं, ताकि छोटो अवधिको वृद्धिले प्रणालीलाई प्रतिध्वनिमा परिचय दिँदैन।

तेस्रो प्रश्न - सर्भरहरूको सन्तुलित संख्याको कुन आकार छनौट गर्न?
यो समस्या आफैं हल भयो। सामान्यतया, क्लाइन्टहरूले सर्भर एकत्रीकरण धेरै ठूलो बनाउँदैनन्, र यो 30-40 सर्भरहरूमा एकत्रीकरण सीमित गर्न लेखको सिफारिसहरूसँग अनुरूप छ।

थप रूपमा, सर्भर पूल विभाजन गरेर, हामी सन्तुलन एल्गोरिथ्मको कार्यलाई सरल बनाउँछौं।

चौथो प्रश्न - लामो सिकाइ प्रक्रिया र दुर्लभ सन्तुलनका साथ हाम्रो लागि न्यूरल नेटवर्क कत्तिको उपयुक्त छ? हामीले सेकेन्डमा नतिजाहरू प्राप्त गर्नको लागि सरल परिचालन एल्गोरिदमहरूको पक्षमा यसलाई त्याग्न निर्णय गर्यौं।

यस्तो एल्गोरिदम र यसको बेफाइदाहरू प्रयोग गर्ने प्रणालीको विवरण फेला पार्न सकिन्छ यहाँ

हामीले यो प्रणाली लागू गर्यौं र सुरु गर्‍यौं र उत्साहजनक परिणामहरू प्राप्त गर्‍यौं - अब यसले नियमित रूपमा क्लाउड लोडको विश्लेषण गर्छ र भर्चुअल मेसिनहरू सार्नका लागि सिफारिसहरू गर्दछ, जुन धेरै हदसम्म सही छन्। अहिले पनि यो स्पष्ट छ कि हामी नयाँ भर्चुअल मेसिनहरूको लागि 10-15% रिलिज संसाधनहरू प्राप्त गर्न सक्छौं जबकि अवस्थितहरूको कामको गुणस्तर सुधार गर्दछ।

जब RAM वा CPU मा असंतुलन पत्ता लगाइन्छ, प्रणालीले आवश्यक भर्चुअल मेसिनहरूको प्रत्यक्ष माइग्रेसन गर्न Tionix अनुसूचकलाई आदेश जारी गर्दछ। अनुगमन प्रणालीबाट देख्न सकिन्छ, भर्चुअल मेसिन एक (माथिल्लो) बाट अर्को (तल्लो) होस्टमा सारियो र माथिल्लो होस्टमा मेमोरी खाली गर्‍यो (पहेंलो सर्कलहरूमा हाइलाइट गरिएको), क्रमशः यसलाई तल्लोमा कब्जा गर्दै (सेतोमा हाइलाइट गरिएको)। सर्कलहरू)।

अब हामी हालको एल्गोरिथ्मको प्रभावकारितालाई अझ सही रूपमा मूल्याङ्कन गर्ने प्रयास गर्दैछौं र यसमा सम्भावित त्रुटिहरू फेला पार्न प्रयास गर्दैछौं।

स्टेज 3

यस्तो देखिन्छ कि कसैले यसलाई शान्त गर्न सक्छ, सिद्ध प्रभावकारिताको लागि पर्खनुहोस् र विषय बन्द गर्नुहोस्।
तर हामी निम्न स्पष्ट अनुकूलन अवसरहरु द्वारा एक नयाँ चरण पूरा गर्न धकेलिएको छ

1. तथ्याङ्क, उदाहरणका लागि, यहाँ и यहाँ देखाउँदछ कि दुई- र चार-प्रोसेसर प्रणालीहरू एकल-प्रोसेसर प्रणालीहरू भन्दा कार्यसम्पादनमा उल्लेखनीय रूपमा कम छन्। यसको मतलब सबै प्रयोगकर्ताहरूले एकल-प्रोसेसरहरूको तुलनामा मल्टिप्रोसेसर प्रणालीहरूमा खरिद गरिएका CPU, RAM, SSD, LAN, FC बाट उल्लेखनीय रूपमा कम आउटपुट प्राप्त गर्छन्।
2. स्रोत अनुसूचकहरू आफैंमा गम्भीर त्रुटिहरू हुन सक्छन्, यहाँ लेख मध्ये एक छ यस विषयमा।
3. RAM र क्यास अनुगमनको लागि Intel र AMD द्वारा प्रस्तावित प्रविधिहरूले भर्चुअल मेसिनहरूको व्यवहार अध्ययन गर्न र तिनीहरूलाई "शान्त" भर्चुअल मेसिनहरूमा हस्तक्षेप नगर्ने तरिकामा राख्न सम्भव बनाउँदछ।
4. प्यारामिटरहरूको सेटको विस्तार (नेटवर्क, भण्डारण प्रणाली, भर्चुअल मेसिनको प्राथमिकता, माइग्रेसनको लागत, माइग्रेसनको लागि यसको तयारी)।

कुल

सन्तुलन एल्गोरिदमहरू सुधार गर्नको लागि हाम्रो कामको नतिजा स्पष्ट निष्कर्ष थियो कि आधुनिक एल्गोरिदमहरू प्रयोग गरेर डेटा केन्द्र स्रोतहरूको महत्त्वपूर्ण अनुकूलन प्राप्त गर्न सम्भव छ (25-30%) र एकै समयमा ग्राहक सेवाको गुणस्तर सुधार गर्नुहोस्।

तंत्रिका सञ्जालहरूमा आधारित एल्गोरिथ्म पक्कै पनि चाखलाग्दो समाधान हो, तर एउटा जसलाई थप विकास चाहिन्छ, र अवस्थित सीमितताहरूको कारणले, यो निजी क्लाउडहरूको लागि विशिष्ट मात्राहरूमा यस प्रकारको समस्या समाधान गर्न उपयुक्त छैन। एकै समयमा, एल्गोरिथ्मले महत्त्वपूर्ण आकारको सार्वजनिक बादलहरूमा राम्रो नतिजा देखायो।

हामी तपाईंलाई निम्न लेखहरूमा प्रोसेसरहरू, शेड्यूलरहरू, र उच्च-स्तर सन्तुलनको क्षमताहरूको बारेमा थप बताउनेछौं।

स्रोत: www.habr.com