VMware vSphere में VM प्रदर्शन का विश्लेषण। भाग 3: भंडारण

भाग 1. सीपीयू के बारे में
भाग 2. स्मृति के बारे में

आज हम vSphere में डिस्क सबसिस्टम के मेट्रिक्स का विश्लेषण करेंगे। स्टोरेज समस्या धीमी वर्चुअल मशीन का सबसे आम कारण है। यदि, सीपीयू और रैम के मामले में, समस्या निवारण हाइपरविजर स्तर पर समाप्त होता है, तो यदि डिस्क के साथ समस्याएं हैं, तो आपको डेटा नेटवर्क और स्टोरेज सिस्टम से निपटना पड़ सकता है।

मैं स्टोरेज सिस्टम तक ब्लॉक एक्सेस के उदाहरण का उपयोग करके विषय पर चर्चा करूंगा, हालांकि फ़ाइल एक्सेस के लिए काउंटर लगभग समान हैं।

सिद्धांत का एक छोटा सा

वर्चुअल मशीनों के डिस्क सबसिस्टम के प्रदर्शन के बारे में बात करते समय, लोग आमतौर पर तीन परस्पर संबंधित मापदंडों पर ध्यान देते हैं:

• इनपुट/आउटपुट ऑपरेशंस की संख्या (इनपुट/आउटपुट ऑपरेशंस प्रति सेकंड, IOPS);
• थ्रूपुट;
• इनपुट/आउटपुट संचालन में देरी (विलंबता)।

IOPS की संख्या आमतौर पर यादृच्छिक कार्यभार के लिए महत्वपूर्ण: विभिन्न स्थानों पर स्थित डिस्क ब्लॉक तक पहुंच। ऐसे लोड का एक उदाहरण डेटाबेस, व्यावसायिक अनुप्रयोग (ईआरपी, सीआरएम) आदि हो सकता है।

क्षमता अनुक्रमिक भार के लिए महत्वपूर्ण: एक के बाद एक स्थित ब्लॉकों तक पहुंच। उदाहरण के लिए, फ़ाइल सर्वर (लेकिन हमेशा नहीं) और वीडियो निगरानी सिस्टम ऐसा लोड उत्पन्न कर सकते हैं।

थ्रूपुट I/O परिचालनों की संख्या से निम्नानुसार संबंधित है:

थ्रूपुट = IOPS * ब्लॉक आकार, जहां ब्लॉक आकार ब्लॉक आकार है।

ब्लॉक का आकार एक काफी महत्वपूर्ण विशेषता है. ESXi के आधुनिक संस्करण 32 KB आकार तक के ब्लॉक की अनुमति देते हैं। यदि ब्लॉक और भी बड़ा है, तो इसे कई भागों में विभाजित किया जाता है। सभी स्टोरेज सिस्टम इतने बड़े ब्लॉक के साथ कुशलता से काम नहीं कर सकते हैं, इसलिए ESXi एडवांस्ड सेटिंग्स में एक DiskMaxIOSize पैरामीटर है। इसका उपयोग करके, आप हाइपरवाइज़र द्वारा छोड़े गए अधिकतम ब्लॉक आकार को कम कर सकते हैं (अधिक विवरण)। यहां). इस पैरामीटर को बदलने से पहले, मेरा सुझाव है कि आप स्टोरेज सिस्टम निर्माता से परामर्श लें या कम से कम प्रयोगशाला बेंच पर परिवर्तनों का परीक्षण करें। 

बड़े ब्लॉक आकार का भंडारण प्रदर्शन पर हानिकारक प्रभाव पड़ सकता है। भले ही IOPS और थ्रूपुट की संख्या अपेक्षाकृत कम हो, बड़े ब्लॉक आकार के साथ उच्च विलंबता देखी जा सकती है। इसलिए इस पैरामीटर पर ध्यान दें.

विलंब - सबसे दिलचस्प प्रदर्शन पैरामीटर। वर्चुअल मशीन के लिए I/O विलंबता में निम्न शामिल हैं:

• हाइपरवाइज़र के अंदर देरी (KAVG, औसत कर्नेल मिल्लीसेक/रीड);
• डेटा नेटवर्क और स्टोरेज सिस्टम (डीएवीजी, औसत ड्राइवर मिल्लीसेक/कमांड) द्वारा प्रदान की गई देरी।

अतिथि OS (GAVG, औसत अतिथि मिल्लीसेक/कमांड) में दिखाई देने वाली कुल विलंबता KAVG और DAVG का योग है।

GAVG और DAVG को मापा जाता है और KAVG की गणना की जाती है: GAVG-DAVG।

स्रोत

आइए करीब से देखें KAVG. सामान्य ऑपरेशन के दौरान, KAVG शून्य या कम से कम DAVG से बहुत कम होना चाहिए। मुझे पता है कि एकमात्र मामला जहां केएवीजी अपेक्षित रूप से उच्च है, वह वीएम डिस्क पर आईओपीएस सीमा है। इस मामले में, जब आप सीमा को पार करने का प्रयास करेंगे, तो KAVG बढ़ जाएगा।

KAVG का सबसे महत्वपूर्ण घटक QAVG है - हाइपरवाइजर के अंदर प्रसंस्करण कतार का समय। KAVG के शेष घटक नगण्य हैं।

डिस्क एडाप्टर ड्राइवर में कतार और चंद्रमाओं की कतार का एक निश्चित आकार होता है। अत्यधिक लोड वाले वातावरण के लिए, इस आकार को बढ़ाना उपयोगी हो सकता है। यहां वर्णन करता है कि एडॉप्टर ड्राइवर में कतारों को कैसे बढ़ाया जाए (उसी समय चंद्रमाओं की कतार बढ़ जाएगी)। यह सेटिंग तब काम करती है जब केवल एक वीएम चंद्रमा के साथ काम कर रहा हो, जो दुर्लभ है। यदि चंद्रमा पर कई वीएम हैं, तो आपको पैरामीटर भी बढ़ाना होगा डिस्क.SchedNumReqबकाया (निर्देश  यहां). कतार बढ़ाकर, आप क्रमशः QAVG और KAVG घटाते हैं।

लेकिन फिर, पहले एचबीए विक्रेता से दस्तावेज़ पढ़ें और प्रयोगशाला बेंच पर परिवर्तनों का परीक्षण करें।

चंद्रमा तक कतार का आकार SIOC (स्टोरेज I/O कंट्रोल) तंत्र को शामिल करने से प्रभावित हो सकता है। यह सर्वर पर चंद्रमा की कतार को गतिशील रूप से बदलकर क्लस्टर में सभी सर्वरों से चंद्रमा तक एक समान पहुंच प्रदान करता है। अर्थात्, यदि कोई होस्ट एक VM चला रहा है जिसके लिए असमान मात्रा में प्रदर्शन (शोर पड़ोसी VM) की आवश्यकता होती है, तो SIOC इस होस्ट (DQLEN) पर कतार की लंबाई को चंद्रमा तक कम कर देता है। अधिक जानकारी यहां.

हमने KAVG को सुलझा लिया है, अब इसके बारे में थोड़ा डीएवीजी. यहां सब कुछ सरल है: डीएवीजी बाहरी वातावरण (डेटा नेटवर्क और भंडारण प्रणाली) द्वारा शुरू की गई देरी है। प्रत्येक आधुनिक और कम आधुनिक भंडारण प्रणाली के अपने स्वयं के प्रदर्शन काउंटर होते हैं। डीएवीजी के साथ समस्याओं का विश्लेषण करने के लिए, उन पर गौर करना समझ में आता है। यदि ईएसएक्सआई और स्टोरेज पक्ष पर सब कुछ ठीक है, तो डेटा नेटवर्क की जांच करें।

प्रदर्शन समस्याओं से बचने के लिए, अपने भंडारण सिस्टम के लिए सही पथ चयन नीति (पीएसपी) चुनें। लगभग सभी आधुनिक भंडारण प्रणालियाँ PSP राउंड-रॉबिन (ALUA, एसिमेट्रिक लॉजिकल यूनिट एक्सेस के साथ या उसके बिना) का समर्थन करती हैं। यह नीति आपको भंडारण प्रणाली के लिए सभी उपलब्ध पथों का उपयोग करने की अनुमति देती है। ALUA के मामले में, केवल चंद्रमा के स्वामित्व वाले नियंत्रक के पथ का उपयोग किया जाता है। ESXi पर सभी स्टोरेज सिस्टम में डिफ़ॉल्ट नियम नहीं होते हैं जो राउंड-रॉबिन नीति निर्धारित करते हैं। यदि आपके स्टोरेज सिस्टम के लिए कोई नियम नहीं है, तो स्टोरेज सिस्टम निर्माता से एक प्लगइन का उपयोग करें, जो क्लस्टर में सभी होस्ट पर एक संबंधित नियम बनाएगा, या स्वयं एक नियम बनाएगा। विवरण यहां. 

साथ ही, कुछ स्टोरेज सिस्टम निर्माता प्रति पथ IOPS की संख्या को 1000 के मानक मान से 1 में बदलने की सलाह देते हैं। हमारे अभ्यास में, इससे स्टोरेज सिस्टम से अधिक प्रदर्शन को "निचोड़ना" संभव हो गया और फेलओवर के लिए आवश्यक समय में काफी कमी आई। नियंत्रक विफलता या अद्यतन की स्थिति में। विक्रेता की सिफारिशों की जांच करें, और यदि कोई मतभेद नहीं हैं, तो इस पैरामीटर को बदलने का प्रयास करें। विवरण यहां.

बुनियादी वर्चुअल मशीन डिस्क सबसिस्टम प्रदर्शन काउंटर

vCenter में डिस्क सबसिस्टम प्रदर्शन काउंटर डेटास्टोर, डिस्क, वर्चुअल डिस्क अनुभागों में एकत्र किए जाते हैं:

अनुभाग में डेटा भंडार vSphere डिस्क स्टोरेज (डेटास्टोर) के लिए मेट्रिक्स हैं जिन पर VM डिस्क स्थित हैं। यहां आपको इनके लिए मानक काउंटर मिलेंगे:

• IOPS (प्रति सेकंड औसत पढ़ने/लिखने के अनुरोध), 
• थ्रूपुट (पढ़ने/लिखने की दर), 
• विलंब (पढ़ें/लिखें/उच्चतम विलंबता)।

सिद्धांत रूप में, काउंटरों के नाम से सब कुछ स्पष्ट है। मैं एक बार फिर आपका ध्यान इस तथ्य की ओर आकर्षित करना चाहता हूं कि यहां आँकड़े किसी विशिष्ट वीएम (या वीएम डिस्क) के लिए नहीं हैं, बल्कि संपूर्ण डेटास्टोर के लिए सामान्य आँकड़े हैं। मेरी राय में, ESXTOP में इन आँकड़ों को देखना अधिक सुविधाजनक है, कम से कम इस तथ्य पर आधारित कि वहाँ न्यूनतम माप अवधि 2 सेकंड है।

अनुभाग में डिस्क ब्लॉक डिवाइस पर मेट्रिक्स हैं जो वीएम द्वारा उपयोग किए जाते हैं। सारांश प्रकार के IOPS (माप अवधि के दौरान इनपुट/आउटपुट संचालन की संख्या) और ब्लॉक एक्सेस (कमांड निरस्त, बस रीसेट) से संबंधित कई काउंटर हैं। मेरी राय में, इस जानकारी को ESXTOP में देखना अधिक सुविधाजनक है।

अनुभाग वर्चुअल डिस्क - वीएम डिस्क सबसिस्टम की प्रदर्शन समस्याओं को खोजने के दृष्टिकोण से सबसे उपयोगी। यहां आप प्रत्येक वर्चुअल डिस्क का प्रदर्शन देख सकते हैं। यह वह जानकारी है जो यह समझने के लिए आवश्यक है कि किसी विशेष वर्चुअल मशीन में कोई समस्या है या नहीं। I/O परिचालनों की संख्या, पढ़ने/लिखने की मात्रा और देरी के लिए मानक काउंटरों के अलावा, इस अनुभाग में उपयोगी काउंटर हैं जो ब्लॉक आकार दिखाते हैं: पढ़ें/लिखें अनुरोध आकार।

नीचे दी गई तस्वीर में वीएम डिस्क प्रदर्शन का एक ग्राफ है, जहां आप आईओपीएस की संख्या, विलंबता और ब्लॉक आकार देख सकते हैं। 

यदि SIOC सक्षम है तो आप संपूर्ण डेटास्टोर के लिए प्रदर्शन मेट्रिक्स भी देख सकते हैं। यहां औसत विलंबता और IOPS पर बुनियादी जानकारी दी गई है। डिफ़ॉल्ट रूप से, यह जानकारी केवल वास्तविक समय में ही देखी जा सकती है।

ईएसएक्सटीओपी

ESXTOP में कई स्क्रीन हैं जो होस्ट डिस्क सबसिस्टम, व्यक्तिगत वर्चुअल मशीनों और उनकी डिस्क के बारे में जानकारी प्रदान करती हैं।

आइए वर्चुअल मशीनों पर जानकारी से शुरुआत करें। "डिस्क वीएम" स्क्रीन को "वी" कुंजी के साथ बुलाया जाता है:

एनवीडिस्क VM डिस्क की संख्या है. प्रत्येक डिस्क की जानकारी देखने के लिए, "ई" दबाएँ और रुचि के वीएम की जीआईडी ​​दर्ज करें।

इस स्क्रीन पर शेष पैरामीटरों का अर्थ उनके नाम से स्पष्ट है।

समस्या निवारण के समय एक अन्य उपयोगी स्क्रीन डिस्क एडाप्टर है। "डी" कुंजी द्वारा कॉल किया गया (फ़ील्ड ए, बी, सी, डी, ई, जी नीचे चित्र में चुने गए हैं):

एनपीटीएच - इस एडॉप्टर से दिखाई देने वाले चंद्रमाओं के पथों की संख्या। एडॉप्टर पर प्रत्येक पथ की जानकारी प्राप्त करने के लिए, "ई" दबाएँ और एडॉप्टर का नाम दर्ज करें:

एक्लेन - एडॉप्टर पर अधिकतम कतार आकार।

इस स्क्रीन पर विलंब काउंटर भी हैं जिनके बारे में मैंने ऊपर बात की थी: केएवीजी/सीएमडी, जीएवीजी/सीएमडी, डीएवीजी/सीएमडी, क्यूएवीजी/सीएमडी.

डिस्क डिवाइस स्क्रीन, जिसे "यू" कुंजी दबाकर बुलाया जाता है, व्यक्तिगत ब्लॉक डिवाइस - चंद्रमाओं (फ़ील्ड ए, बी, एफ, जी, आई नीचे दी गई तस्वीर में चयनित हैं) पर जानकारी प्रदान करती है। यहां आप चंद्रमाओं के लिए कतार की स्थिति देख सकते हैं।

डीक्यूएलईएन - ब्लॉक डिवाइस के लिए कतार का आकार।
एसीटीवी - ESXi कर्नेल में I/O कमांड की संख्या।
प्रश्न किया - कतार में I/O कमांड की संख्या।
%USD - ACTV/DQLEN × 100%।
भार - (ACTV + QUED) / DQLEN।

यदि %USD अधिक है, तो आपको कतार बढ़ाने पर विचार करना चाहिए। कतार में जितने अधिक कमांड होंगे, QAVG उतना ही अधिक होगा और, तदनुसार, KAVG।

आप डिस्क डिवाइस स्क्रीन पर यह भी देख सकते हैं कि स्टोरेज सिस्टम पर VAAI (एरे इंटीग्रेशन के लिए vStorage API) चल रहा है या नहीं। ऐसा करने के लिए, फ़ील्ड A और O का चयन करें।

वीएएआई तंत्र आपको काम के कुछ हिस्से को हाइपरवाइजर से सीधे स्टोरेज सिस्टम में स्थानांतरित करने की अनुमति देता है, उदाहरण के लिए, शून्य करना, ब्लॉक कॉपी करना या ब्लॉक करना।

जैसा कि आप ऊपर चित्र में देख सकते हैं, VAAI इस भंडारण प्रणाली पर काम करता है: शून्य और एटीएस प्राइमेटिव सक्रिय रूप से उपयोग किए जाते हैं।

ESXi पर डिस्क सबसिस्टम के साथ काम को अनुकूलित करने के लिए युक्तियाँ

• ब्लॉक आकार पर ध्यान दें.
• एचबीए पर इष्टतम कतार आकार निर्धारित करें।
• डेटास्टोर्स पर SIOC सक्षम करना न भूलें।
• स्टोरेज सिस्टम निर्माता की सिफारिशों के अनुसार एक पीएसपी चुनें।
• सुनिश्चित करें कि VAAI काम कर रहा है।

उपयोगी संबंधित लेख:http://www.yellow-bricks.com/2011/06/23/disk-schednumreqoutstanding-the-story/
http://www.yellow-bricks.com/2009/09/29/whats-that-alua-exactly/
http://www.yellow-bricks.com/2019/03/05/dqlen-changes-what-is-going-on/
https://www.codyhosterman.com/2017/02/understanding-vmware-esxi-queuing-and-the-flasharray/
https://www.codyhosterman.com/2018/03/what-is-the-latency-stat-qavg/
https://kb.vmware.com/s/article/1267
https://kb.vmware.com/s/article/1268
https://kb.vmware.com/s/article/1027901
https://kb.vmware.com/s/article/2069356
https://kb.vmware.com/s/article/2053628
https://kb.vmware.com/s/article/1003469
https://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/techpaper/performance/vsphere-esxi-vcenter-server-67-performance-best-practices.pdf

स्रोत: www.habr.com