कुबेरनेट्स में सीपीयू सीमा और आक्रामक थ्रॉटलिंग

टिप्पणी। अनुवाद।: यूरोपीय यात्रा एग्रीगेटर ओमियो का यह आंखें खोल देने वाला इतिहास पाठकों को बुनियादी सिद्धांत से कुबेरनेट्स कॉन्फ़िगरेशन की आकर्षक व्यावहारिक जटिलताओं तक ले जाता है। ऐसे मामलों से परिचित होने से न केवल आपके क्षितिज का विस्तार करने में मदद मिलती है, बल्कि गैर-तुच्छ समस्याओं को रोकने में भी मदद मिलती है।

क्या आपके साथ कभी ऐसा हुआ है कि कोई एप्लिकेशन अपनी जगह पर अटक गई हो, स्वास्थ्य जांच का जवाब देना बंद कर दिया हो और इसका कारण पता नहीं चल पाया हो? एक संभावित स्पष्टीकरण सीपीयू संसाधन कोटा सीमा से संबंधित है। इस लेख में हम इसी बारे में बात करेंगे।

टीएल, डॉ:
यदि आप सीएफएस कोटा बग के साथ लिनक्स कर्नेल के संस्करण का उपयोग कर रहे हैं तो हम कुबेरनेट्स में सीपीयू सीमा को अक्षम करने (या क्यूबलेट में सीएफएस कोटा को अक्षम करने) की दृढ़ता से अनुशंसा करते हैं। मूल में वहाँ है गंभीर और प्रसिद्ध एक बग जिसके कारण अत्यधिक थ्रॉटलिंग और देरी होती है.

ओमियो में संपूर्ण बुनियादी ढांचे का प्रबंधन कुबेरनेट्स द्वारा किया जाता है. हमारे सभी स्टेटफुल और स्टेटलेस वर्कलोड विशेष रूप से कुबेरनेट्स पर चलते हैं (हम Google कुबेरनेट्स इंजन का उपयोग करते हैं)। पिछले छह महीनों में, हमने अनियमित मंदी देखना शुरू कर दिया है। एप्लिकेशन रुक जाते हैं या स्वास्थ्य जांच पर प्रतिक्रिया देना बंद कर देते हैं, नेटवर्क से कनेक्शन खो देते हैं, आदि। इस व्यवहार ने हमें काफी समय तक परेशान किया और आखिरकार हमने समस्या को गंभीरता से लेने का फैसला किया।

लेख का सारांश:

• कंटेनरों और कुबेरनेट्स के बारे में कुछ शब्द;
• सीपीयू अनुरोध और सीमाएं कैसे लागू की जाती हैं;
• मल्टी-कोर वातावरण में सीपीयू सीमा कैसे काम करती है;
• सीपीयू थ्रॉटलिंग को कैसे ट्रैक करें;
• समस्या समाधान और बारीकियाँ।

कंटेनरों और कुबेरनेट्स के बारे में कुछ शब्द

कुबेरनेट्स मूलतः बुनियादी ढांचे की दुनिया में आधुनिक मानक है। इसका मुख्य कार्य कंटेनर ऑर्केस्ट्रेशन है।

कंटेनर

अतीत में, हमें सर्वर पर चलाने के लिए जावा JARs/WARs, Python एग्स, या निष्पादन योग्य जैसी कलाकृतियाँ बनानी पड़ती थीं। हालाँकि, उन्हें कार्यशील बनाने के लिए, अतिरिक्त कार्य करना पड़ा: रनटाइम वातावरण (जावा/पायथन) स्थापित करना, आवश्यक फ़ाइलों को सही स्थानों पर रखना, ऑपरेटिंग सिस्टम के एक विशिष्ट संस्करण के साथ संगतता सुनिश्चित करना, आदि। दूसरे शब्दों में, कॉन्फ़िगरेशन प्रबंधन पर सावधानीपूर्वक ध्यान देना पड़ता था (जो अक्सर डेवलपर्स और सिस्टम प्रशासकों के बीच विवाद का स्रोत होता था)।

कंटेनरों ने सब कुछ बदल दिया। अब आर्टिफैक्ट एक कंटेनर छवि है। इसे एक प्रकार की विस्तारित निष्पादन योग्य फ़ाइल के रूप में दर्शाया जा सकता है जिसमें न केवल प्रोग्राम, बल्कि एक पूर्ण निष्पादन वातावरण (जावा/पायथन/...), साथ ही आवश्यक फ़ाइलें/पैकेज, पूर्व-स्थापित और तैयार हैं। दौड़ना। कंटेनरों को बिना किसी अतिरिक्त चरण के विभिन्न सर्वरों पर तैनात और चलाया जा सकता है।

इसके अलावा, कंटेनर अपने स्वयं के सैंडबॉक्स वातावरण में काम करते हैं। उनके पास अपना स्वयं का वर्चुअल नेटवर्क एडॉप्टर, सीमित पहुंच वाला अपना स्वयं का फ़ाइल सिस्टम, प्रक्रियाओं का अपना पदानुक्रम, सीपीयू और मेमोरी पर अपनी सीमाएं आदि हैं। यह सब लिनक्स कर्नेल - नेमस्पेस के एक विशेष सबसिस्टम के लिए धन्यवाद द्वारा कार्यान्वित किया जाता है।

Kubernetes

जैसा कि पहले कहा गया है, कुबेरनेट्स एक कंटेनर ऑर्केस्ट्रेटर है। यह इस तरह काम करता है: आप इसे मशीनों का एक पूल देते हैं, और फिर कहते हैं: "अरे, कुबेरनेट्स, आइए मेरे कंटेनर के दस इंस्टेंसेस को 2 प्रोसेसर और 3 जीबी मेमोरी के साथ लॉन्च करें, और उन्हें चालू रखें!" कुबेरनेट्स बाकी का ध्यान रखेंगे। यह मुफ़्त क्षमता ढूंढेगा, कंटेनर लॉन्च करेगा और यदि आवश्यक हो तो उन्हें पुनरारंभ करेगा, संस्करण बदलते समय अपडेट जारी करेगा, आदि। अनिवार्य रूप से, कुबेरनेट्स आपको हार्डवेयर घटक को अलग करने की अनुमति देता है और अनुप्रयोगों को तैनात करने और चलाने के लिए विभिन्न प्रकार के सिस्टम को उपयुक्त बनाता है।

आम आदमी के दृष्टिकोण से कुबेरनेट्स

कुबेरनेट्स में अनुरोध और सीमाएँ क्या हैं

ठीक है, हमने कंटेनर और कुबेरनेट्स को कवर कर लिया है। हम यह भी जानते हैं कि एक ही मशीन पर कई कंटेनर रह सकते हैं।

एक सादृश्य एक सांप्रदायिक अपार्टमेंट के साथ खींचा जा सकता है। एक विशाल परिसर (मशीनें/इकाइयाँ) लिया जाता है और कई किरायेदारों (कंटेनरों) को किराए पर दिया जाता है। कुबेरनेट्स एक रियाल्टार के रूप में कार्य करता है। सवाल उठता है कि किरायेदारों को आपस में झगड़ने से कैसे बचाया जाए? क्या होगा यदि उनमें से एक, मान लीजिए, आधे दिन के लिए बाथरूम उधार लेने का फैसला करता है?

यहीं पर अनुरोध और सीमाएं काम आती हैं। CPU निवेदन केवल नियोजन प्रयोजनों के लिए आवश्यक है। यह कंटेनर की "इच्छा सूची" जैसा कुछ है, और इसका उपयोग सबसे उपयुक्त नोड का चयन करने के लिए किया जाता है। साथ ही सी.पी.यू सीमा इसकी तुलना किराये के समझौते से की जा सकती है - जैसे ही हम कंटेनर के लिए एक इकाई का चयन करते हैं सक्षम नहीं होगा स्थापित सीमाओं से परे जाएं. और यहीं समस्या उत्पन्न होती है...

कुबेरनेट्स में अनुरोध और सीमाएँ कैसे लागू की जाती हैं

कुबेरनेट्स सीपीयू सीमाओं को लागू करने के लिए कर्नेल में निर्मित थ्रॉटलिंग तंत्र (घड़ी चक्र को छोड़ना) का उपयोग करता है। यदि कोई एप्लिकेशन सीमा से अधिक हो जाता है, तो थ्रॉटलिंग सक्षम हो जाती है (यानी यह कम सीपीयू चक्र प्राप्त करता है)। मेमोरी के लिए अनुरोध और सीमाएँ अलग-अलग तरीके से व्यवस्थित की जाती हैं, इसलिए उनका पता लगाना आसान होता है। ऐसा करने के लिए, बस पॉड की अंतिम पुनरारंभ स्थिति की जांच करें: क्या यह "OOMKilled" है। सीपीयू थ्रॉटलिंग इतना सरल नहीं है, क्योंकि K8s केवल मेट्रिक्स को उपयोग के आधार पर उपलब्ध कराता है, cgroups द्वारा नहीं।

सीपीयू अनुरोध

CPU अनुरोध कैसे कार्यान्वित किया जाता है

सरलता के लिए, आइए उदाहरण के तौर पर 4-कोर सीपीयू वाली मशीन का उपयोग करके प्रक्रिया को देखें।

K8s संसाधनों (मेमोरी और प्रोसेसर) के आवंटन को नियंत्रित करने के लिए एक नियंत्रण समूह तंत्र (cgroups) का उपयोग करता है। इसके लिए एक पदानुक्रमित मॉडल उपलब्ध है: बच्चे को मूल समूह की सीमाएँ विरासत में मिलती हैं। वितरण विवरण एक वर्चुअल फ़ाइल सिस्टम में संग्रहीत किया जाता है (/sys/fs/cgroup). प्रोसेसर के मामले में यह है /sys/fs/cgroup/cpu,cpuacct/*.

K8s फ़ाइल का उपयोग करता है cpu.share प्रोसेसर संसाधनों को आवंटित करने के लिए। हमारे मामले में, रूट सीग्रुप को सीपीयू संसाधनों के 4096 शेयर मिलते हैं - उपलब्ध प्रोसेसर शक्ति का 100% (1 कोर = 1024; यह एक निश्चित मूल्य है)। मूल समूह पंजीकृत वंशजों के शेयरों के आधार पर आनुपातिक रूप से संसाधनों का वितरण करता है cpu.share, और वे, बदले में, अपने वंशजों आदि के साथ भी ऐसा ही करते हैं। एक विशिष्ट कुबेरनेट्स नोड पर, रूट सीग्रुप में तीन बच्चे होते हैं: system.slice, user.slice и kubepods. पहले दो उपसमूहों का उपयोग K8s के बाहर महत्वपूर्ण सिस्टम लोड और उपयोगकर्ता प्रोग्राम के बीच संसाधनों को वितरित करने के लिए किया जाता है। अंतिम बाला - kubepods - पॉड्स के बीच संसाधनों को वितरित करने के लिए कुबेरनेट्स द्वारा बनाया गया।

उपरोक्त चित्र से पता चलता है कि पहले और दूसरे उपसमूहों को प्रत्येक प्राप्त हुआ 1024 कुबेरपॉड उपसमूह के साथ शेयर आवंटित किए गए 4096 शेयरों यह कैसे संभव है: आख़िरकार, रूट समूह तक ही पहुंच है 4096 शेयर, और उसके वंशजों के शेयरों का योग इस संख्या से काफी अधिक है (6144)? मुद्दा यह है कि मान तार्किक अर्थ रखता है, इसलिए लिनक्स शेड्यूलर (सीएफएस) सीपीयू संसाधनों को आनुपातिक रूप से आवंटित करने के लिए इसका उपयोग करता है। हमारे मामले में, पहले दो समूह प्राप्त करते हैं 680 वास्तविक शेयर (16,6 का 4096%), और क्यूबपॉड को शेष प्राप्त होता है 2736 शेयरों डाउनटाइम की स्थिति में, पहले दो समूह आवंटित संसाधनों का उपयोग नहीं करेंगे।

सौभाग्य से, अनुसूचक के पास अप्रयुक्त सीपीयू संसाधनों को बर्बाद होने से बचाने के लिए एक तंत्र है। यह "निष्क्रिय" क्षमता को एक वैश्विक पूल में स्थानांतरित करता है, जहां से इसे उन समूहों को वितरित किया जाता है जिन्हें अतिरिक्त प्रोसेसर पावर की आवश्यकता होती है (स्थानांतरण घाटे से बचने के लिए बैचों में होता है)। वंशजों के सभी वंशजों पर एक समान विधि लागू की जाती है।

यह तंत्र प्रोसेसर शक्ति का उचित वितरण सुनिश्चित करता है और यह सुनिश्चित करता है कि कोई भी प्रक्रिया दूसरों से संसाधन "चोरी" न करे।

सीपीयू सीमा

इस तथ्य के बावजूद कि K8s में सीमाओं और अनुरोधों का कॉन्फ़िगरेशन समान दिखता है, उनका कार्यान्वयन मौलिक रूप से भिन्न है: यह सबसे भ्रामक और सबसे कम प्रलेखित भाग।

K8s संलग्न है सीएफएस कोटा तंत्र सीमाएं लागू करने के लिए. उनकी सेटिंग्स फाइलों में निर्दिष्ट हैं cfs_period_us и cfs_quota_us सीग्रुप निर्देशिका में (फ़ाइल भी वहां स्थित है cpu.share).

भिन्न cpu.share, कोटा पर आधारित है समय सीमा, और उपलब्ध प्रोसेसर पावर पर नहीं। cfs_period_us अवधि (युग) की अवधि निर्दिष्ट करता है - यह हमेशा 100000 μs (100 एमएस) होता है। K8s में इस मान को बदलने का एक विकल्प है, लेकिन यह अभी केवल अल्फा में उपलब्ध है। शेड्यूलर प्रयुक्त कोटा को पुनः आरंभ करने के लिए युग का उपयोग करता है। दूसरी फ़ाइल cfs_quota_us, प्रत्येक युग में उपलब्ध समय (कोटा) निर्दिष्ट करता है। ध्यान दें कि यह माइक्रोसेकंड में भी निर्दिष्ट है। कोटा युग की लंबाई से अधिक हो सकता है; दूसरे शब्दों में, यह 100 एमएस से अधिक हो सकता है।

आइए 16-कोर मशीनों पर दो परिदृश्य देखें (हमारे पास ओमियो में सबसे सामान्य प्रकार का कंप्यूटर है):

परिदृश्य 1: 2 धागे और 200 एमएस की सीमा। कोई गला घोंटना नहीं

परिदृश्य 2: 10 धागे और 200 एमएस सीमा। थ्रॉटलिंग 20 एमएस के बाद शुरू होती है, प्रोसेसर संसाधनों तक पहुंच अगले 80 एमएस के बाद फिर से शुरू हो जाती है

मान लीजिए कि आपने सीपीयू सीमा निर्धारित की है 2 गुठली; कुबेरनेट्स इस मान को 200 एमएस में अनुवादित करेगा। इसका मतलब है कि कंटेनर बिना थ्रॉटलिंग के अधिकतम 200ms सीपीयू समय का उपयोग कर सकता है।

और यहीं से मज़ा शुरू होता है। जैसा कि ऊपर बताया गया है, उपलब्ध कोटा 200 एमएस है। यदि आप समानांतर में काम कर रहे हैं दस 12-कोर मशीन पर धागे (परिदृश्य 2 के लिए चित्रण देखें), जबकि अन्य सभी पॉड निष्क्रिय हैं, कोटा केवल 20 एमएस में समाप्त हो जाएगा (चूंकि 10 * 20 एमएस = 200 एमएस), और इस पॉड के सभी धागे लटक जाएंगे » (गला घोंटना) अगले 80 एमएस के लिए. जिसका उल्लेख पहले ही किया जा चुका है शेड्यूलर बगजिसके कारण अत्यधिक थ्रॉटलिंग होती है और कंटेनर मौजूदा कोटा भी पूरा नहीं कर पाता है।

पॉड्स में थ्रॉटलिंग का मूल्यांकन कैसे करें?

बस पॉड में लॉगिन करें और निष्पादित करें cat /sys/fs/cgroup/cpu/cpu.stat.

• nr_periods - अनुसूचक अवधियों की कुल संख्या;
• nr_throttled - रचना में थ्रॉटल अवधियों की संख्या nr_periods;
• throttled_time - नैनोसेकंड में संचयी थ्रॉटल समय।

वास्तव में क्या चल रहा है?

परिणामस्वरूप, हमें सभी अनुप्रयोगों में उच्च थ्रॉटलिंग मिलती है। कभी-कभी वह अंदर होता है डेढ़ गुना गणना से अधिक मजबूत!

इससे विभिन्न त्रुटियाँ होती हैं - तत्परता जाँच विफलता, कंटेनर फ़्रीज़, नेटवर्क कनेक्शन टूटना, सेवा कॉल के भीतर टाइमआउट। इसके परिणामस्वरूप अंततः विलंबता और उच्च त्रुटि दर में वृद्धि होती है।

निर्णय और परिणाम

यहां सब कुछ सरल है. हमने सीपीयू सीमाएं छोड़ दीं और क्लस्टर में ओएस कर्नेल को नवीनतम संस्करण में अपडेट करना शुरू कर दिया, जिसमें बग को ठीक कर दिया गया था। हमारी सेवाओं में त्रुटियों (HTTP 5xx) की संख्या तुरंत काफी कम हो गई:

HTTP 5xx त्रुटियाँ

एक महत्वपूर्ण सेवा के लिए HTTP 5xx त्रुटियाँ

प्रतिक्रिया समय p95

महत्वपूर्ण सेवा अनुरोध विलंबता, 95वाँ प्रतिशत

परिचालन लागत

उदाहरण के लिए बिताए गए घंटों की संख्या

कैच क्या है?

जैसा कि लेख की शुरुआत में कहा गया है:

एक सादृश्य एक सांप्रदायिक अपार्टमेंट के साथ खींचा जा सकता है... कुबेरनेट्स एक रियाल्टार के रूप में कार्य करता है। लेकिन किरायेदारों को आपस में झगड़ने से कैसे बचाया जाए? क्या होगा यदि उनमें से एक, मान लीजिए, आधे दिन के लिए बाथरूम उधार लेने का फैसला करता है?

यहीं पेच है. एक लापरवाह कंटेनर मशीन पर सभी उपलब्ध सीपीयू संसाधनों को खा सकता है। यदि आपके पास एक स्मार्ट एप्लिकेशन स्टैक है (उदाहरण के लिए, जेवीएम, गो, नोड वीएम ठीक से कॉन्फ़िगर किया गया है), तो यह कोई समस्या नहीं है: आप ऐसी परिस्थितियों में लंबे समय तक काम कर सकते हैं। लेकिन यदि एप्लिकेशन खराब तरीके से अनुकूलित हैं या बिल्कुल भी अनुकूलित नहीं हैं (FROM java:latest), स्थिति नियंत्रण से बाहर हो सकती है। ओमियो में हमारे पास प्रमुख भाषा स्टैक के लिए पर्याप्त डिफ़ॉल्ट सेटिंग्स के साथ स्वचालित बेस डॉकरफाइल्स हैं, इसलिए यह समस्या मौजूद नहीं थी।

हम मेट्रिक्स की निगरानी करने की अनुशंसा करते हैं उपयोग (उपयोग, संतृप्ति और त्रुटियां), एपीआई विलंब और त्रुटि दर। सुनिश्चित करें कि परिणाम अपेक्षाओं के अनुरूप हों।

संदर्भों

ये हमारी कहानी है. निम्नलिखित सामग्रियों ने यह समझने में बहुत मदद की कि क्या हो रहा था:

• kernel.org → सीएफएस शेड्यूलर;
• kernel.org → सीएफएस बैंडविड्थ नियंत्रण;
• लिनक्स कंटेनर शेड्यूलिंग को समझना;
• लिनक्स कंटेनरों के बारे में वह सब कुछ जो आपको जानना आवश्यक है, भाग I: लिनक्स नियंत्रण समूह और प्रक्रिया अलगाव;
• कुबेरनेट्स की विफलता की कहानियाँ - "सीपीयू थ्रॉटलिंग" देखें।

कुबेरनेट्स बग रिपोर्ट:

• #51135: गारंटीशुदा पॉड्स के लिए सीपीयू सीमा निर्धारित करने से बचें;
• #67577: सीएफएस कोटा अनावश्यक थ्रॉटलिंग का कारण बन सकता है;
• अत्यधिक आक्रामक सी.एफ.एस.

क्या आपने अपने अभ्यास में इसी तरह की समस्याओं का सामना किया है या कंटेनरीकृत उत्पादन वातावरण में थ्रॉटलिंग से संबंधित अनुभव है? टिप्पणियों में अपनी कहानी साझा करें!

अनुवादक से पी.एस

हमारे ब्लॉग पर भी पढ़ें:

• «कुबेरनेट्स में ऑटोस्केलिंग और संसाधन प्रबंधन (अवलोकन और वीडियो रिपोर्ट)";
• «कुबेरनेट्स में सीपीयू मैनेजर कैसे काम करता है";
• «जब आप कुबेक्टल रन चलाते हैं तो कुबेरनेट्स में क्या होता है? भाग 2'.

स्रोत: www.habr.com