कुबेरनेट्स में पॉड प्राथमिकताओं के कारण ग्राफाना लैब्स में डाउनटाइम कैसे हुआ

टिप्पणी। अनुवाद।: हम आपके ध्यान में ग्राफाना के रचनाकारों द्वारा बनाए गए क्लाउड सेवा में हाल के डाउनटाइम के कारणों के बारे में तकनीकी विवरण प्रस्तुत करते हैं। यह इस बात का एक उत्कृष्ट उदाहरण है कि कैसे बुनियादी ढांचे की गुणवत्ता में सुधार के लिए डिज़ाइन की गई एक नई और बेहद उपयोगी सुविधा ... नुकसान पहुंचा सकती है यदि आप उत्पादन की वास्तविकताओं में इसके अनुप्रयोग की कई बारीकियों को प्रदान नहीं करते हैं। यह बहुत अच्छा है जब इस तरह की सामग्रियां सामने आती हैं जो आपको न केवल अपनी गलतियों से सीखने की अनुमति देती हैं। विवरण ग्राफाना लैब्स के उत्पाद के उपाध्यक्ष द्वारा इस पाठ के अनुवाद में हैं।

शुक्रवार, 19 जुलाई को, ग्राफाना क्लाउड में होस्टेड प्रोमेथियस सेवा ने लगभग 30 मिनट के लिए काम करना बंद कर दिया। मैं आउटेज से प्रभावित सभी ग्राहकों से माफी मांगता हूं। हमारा काम आपको आवश्यक निगरानी उपकरण प्रदान करना है, और हम समझते हैं कि उनके उपलब्ध न होने से आपका जीवन और अधिक कठिन हो सकता है। हम इस घटना को बेहद गंभीरता से लेते हैं। यह नोट बताता है कि क्या हुआ, हमने कैसे प्रतिक्रिया दी और यह सुनिश्चित करने के लिए हम क्या कर रहे हैं कि ऐसा दोबारा न हो।

पृष्ठभूमि

ग्राफाना क्लाउड होस्टेड प्रोमेथियस सेवा पर आधारित है छाल - क्षैतिज रूप से स्केलेबल, अत्यधिक उपलब्ध, बहु-किरायेदार प्रोमेथियस सेवा बनाने के लिए सीएनसीएफ परियोजना। कॉर्टेक्स आर्किटेक्चर में अलग-अलग माइक्रोसर्विसेज का एक सेट होता है, जिनमें से प्रत्येक अपना कार्य करता है: प्रतिकृति, भंडारण, क्वेरी इत्यादि। कॉर्टेक्स सक्रिय विकास के अधीन है और लगातार नई सुविधाएँ जोड़ रहा है और प्रदर्शन में सुधार कर रहा है। हम नियमित रूप से नए कॉर्टेक्स रिलीज़ को क्लस्टर में तैनात करते हैं ताकि ग्राहक इन सुविधाओं का लाभ उठा सकें - सौभाग्य से, कॉर्टेक्स को बिना डाउनटाइम के अपडेट किया जा सकता है।

निर्बाध अपडेट के लिए, Ingester Cortex सेवा को अद्यतन प्रक्रिया के दौरान एक अतिरिक्त Ingester प्रतिकृति की आवश्यकता होती है। (टिप्पणी। अनुवाद।: इंजेस्टर - कॉर्टेक्स का मूल घटक। इसका काम नमूनों की एक निरंतर धारा एकत्र करना, उन्हें प्रोमेथियस खंडों में समूहित करना और उन्हें डायनेमोडीबी, बिगटेबल या कैसेंड्रा जैसे डेटाबेस में संग्रहीत करना है।) यह पुराने इंजेस्टर्स को वर्तमान डेटा को नए इंजेस्टर्स को अग्रेषित करने की अनुमति देता है। यह ध्यान देने योग्य है कि इंजेस्टर संसाधन की मांग कर रहे हैं। उनके काम करने के लिए, आपके पास प्रति पॉड 4 कोर और 15 जीबी मेमोरी होनी चाहिए, यानी। हमारे कुबेरनेट्स क्लस्टर के मामले में बेस मशीन की प्रोसेसिंग पावर और मेमोरी का 25%। सामान्य तौर पर, हमारे पास आमतौर पर क्लस्टर में 4 कोर और 15 जीबी मेमोरी की तुलना में बहुत अधिक अप्रयुक्त संसाधन होते हैं, इसलिए हम अपग्रेड के दौरान इन अतिरिक्त इंजेस्टर को आसानी से स्पिन कर सकते हैं।

हालाँकि, अक्सर ऐसा होता है कि सामान्य ऑपरेशन के दौरान किसी भी मशीन में 25% अप्रयुक्त संसाधन नहीं होते हैं। हां, हम प्रयास भी नहीं करते: सीपीयू और मेमोरी हमेशा अन्य प्रक्रियाओं के लिए उपयोगी रहेंगे। इस समस्या को हल करने के लिए, हमने उपयोग करने का निर्णय लिया कुबेरनेट्स पॉड प्राथमिकताएँ. इसका विचार इंजेस्टर्स को अन्य (स्टेटलेस) माइक्रोसर्विसेज की तुलना में उच्च प्राथमिकता देना है। जब हमें एक अतिरिक्त (एन+1) इंजेस्टर चलाने की आवश्यकता होती है, तो हम अस्थायी रूप से अन्य, छोटे पॉड्स को विस्थापित कर देते हैं। इन पॉड्स को अन्य मशीनों पर मुफ्त संसाधनों में स्थानांतरित कर दिया जाता है, जिससे एक अतिरिक्त इंजेस्टर चलाने के लिए पर्याप्त बड़ा "छेद" रह जाता है।

गुरुवार, 18 जुलाई को, हमने अपने समूहों के लिए चार नए प्राथमिकता स्तर शुरू किए: नाजुक, उच्च, औसत и निम्न. उनका परीक्षण एक आंतरिक क्लस्टर पर किया गया जहां लगभग एक सप्ताह तक कोई ग्राहक ट्रैफ़िक नहीं था। डिफ़ॉल्ट रूप से, बिना निर्दिष्ट प्राथमिकता वाले पॉड प्राप्त होते हैं औसत इंजेस्टर्स के लिए प्राथमिकता, कक्षा निर्धारित की गई थी उच्च प्राथमिकता। गंभीर निगरानी के लिए आरक्षित था (प्रोमेथियस, अलर्टमैनेजर, नोड-एक्सपोर्टर, क्यूब-स्टेट-मेट्रिक्स, आदि)। हमारा कॉन्फिगरेशन खुला है, और आप पीआर देख सकते हैं यहां.

दुर्घटना

शुक्रवार, 19 जुलाई को, इंजीनियरों में से एक ने एक बड़े ग्राहक के लिए एक नया समर्पित कॉर्टेक्स क्लस्टर लॉन्च किया। इस क्लस्टर के कॉन्फिगरेशन में नई पॉड प्राथमिकताएं शामिल नहीं थीं, इसलिए सभी नए पॉड को एक डिफ़ॉल्ट प्राथमिकता दी गई थी - औसत.

कुबेरनेट्स क्लस्टर के पास नए कॉर्टेक्स क्लस्टर के लिए पर्याप्त संसाधन नहीं थे, और मौजूदा उत्पादन कॉर्टेक्स क्लस्टर को अपडेट नहीं किया गया था (इनजेस्टर्स को बिना छोड़ दिया गया था) के उच्च प्राथमिकता)। चूंकि नए क्लस्टर के इंजेस्टर डिफ़ॉल्ट रूप से थे औसत प्राथमिकता, और उत्पादन में मौजूदा पॉड्स बिल्कुल भी प्राथमिकता के बिना काम करते थे, नए क्लस्टर के इंजेस्टर्स ने मौजूदा कॉर्टेक्स उत्पादन क्लस्टर से इंजेस्टर्स को बदल दिया।

उत्पादन क्लस्टर में बेदखल इंजेस्टर के लिए रेप्लिकासेट ने बेदखल पॉड का पता लगाया और प्रतियों की निर्दिष्ट संख्या को बनाए रखने के लिए एक नया पॉड बनाया। नया पॉड डिफ़ॉल्ट रूप से असाइन किया गया था औसत प्राथमिकता, और उत्पादन में एक और "पुराने" इंजेस्टर ने अपने संसाधन खो दिए। नतीजा ये हुआ हिमस्खलन प्रक्रिया, जिसके कारण कॉर्टेक्स उत्पादन समूहों के लिए इंजेस्टर से सभी पॉड्स का विस्थापन हुआ।

इंजेस्टर स्टेटफुल हैं और पिछले 12 घंटों का डेटा संग्रहीत करते हैं। यह हमें उन्हें दीर्घकालिक भंडारण के लिए लिखने से पहले अधिक कुशलता से संपीड़ित करने की अनुमति देता है। इसे प्राप्त करने के लिए, कॉर्टेक्स एक डिस्ट्रीब्यूटेड हैश टेबल (डीएचटी) का उपयोग करके श्रृंखला में डेटा को विभाजित करता है और डायनेमो-शैली कोरम स्थिरता का उपयोग करके प्रत्येक श्रृंखला को तीन इंजेस्टर में दोहराता है। कॉर्टेक्स अक्षम इंजेस्टर्स को डेटा नहीं लिखता है। इस प्रकार, जब बड़ी संख्या में इंजेस्टर डीएचटी छोड़ते हैं, तो कॉर्टेक्स प्रविष्टियों की पर्याप्त प्रतिकृति प्रदान नहीं कर पाता है, और वे क्रैश हो जाते हैं।

जांच और निवारण

"त्रुटि बजट" पर आधारित नई प्रोमेथियस सूचनाएं (त्रुटि-बजट-आधारित - विवरण भविष्य के लेख में दिखाई देगा) शटडाउन शुरू होने के 4 मिनट बाद अलार्म बजना शुरू हुआ। अगले पाँच मिनटों में, हमने कुछ डायग्नोस्टिक्स चलाए और नए और मौजूदा दोनों उत्पादन समूहों की मेजबानी के लिए अंतर्निहित कुबेरनेट्स क्लस्टर को बढ़ाया।

अगले पांच मिनट के बाद, पुराने इंजेस्टर्स ने सफलतापूर्वक अपना डेटा लिखा, नए शुरू हुए और कॉर्टेक्स क्लस्टर फिर से उपलब्ध हो गए।

कॉर्टेक्स के सामने स्थित प्रमाणीकरण रिवर्स प्रॉक्सी से आउट-ऑफ-मेमोरी (ओओएम) त्रुटियों का निदान और सुधार करने में अन्य 10 मिनट खर्च किए गए। OOM त्रुटियाँ QPS में दस गुना वृद्धि के कारण हुईं (हमारा मानना ​​है कि क्लाइंट के प्रोमेथियस सर्वर से अत्यधिक आक्रामक अनुरोधों के कारण)।

परिणाम

कुल डाउनटाइम 26 मिनट था। कोई डेटा नष्ट नहीं हुआ. इंजेस्टर्स ने सभी इन-मेमोरी डेटा को दीर्घकालिक भंडारण में सफलतापूर्वक लोड कर दिया है। शटडाउन के दौरान, क्लाइंट प्रोमेथियस सर्वर बफ़र हटा दिया गया (रिमोट) रिकॉर्डिंग का उपयोग कर रहे हैं नया एपीआई रिमोट_राइट वाल पर आधारित (द्वारा लिखित) कैलम स्टान ग्राफाना लैब्स से) और दुर्घटना के बाद असफल लेखन को दोहराया।

उत्पादन क्लस्टर लेखन संचालन

निष्कर्ष

इस घटना से सीख लेना और इसकी पुनरावृत्ति से बचने के लिए जरूरी कदम उठाना जरूरी है.

अंत में, हमें डिफ़ॉल्ट सेट नहीं करना चाहिए था औसत जब तक उत्पादन में सभी इंजेस्टर प्राप्त नहीं हो जाते तब तक प्राथमिकता उच्च प्राथमिकता। साथ ही उनका पहले से ख्याल रखना भी जरूरी था उच्च प्राथमिकता। अब सब कुछ तय हो गया है. हमें उम्मीद है कि हमारा अनुभव अन्य संगठनों को कुबेरनेट्स में पॉड प्राथमिकताओं का उपयोग करने पर विचार करने में मदद करेगा।

हम किसी भी अतिरिक्त ऑब्जेक्ट की तैनाती पर नियंत्रण का एक अतिरिक्त स्तर जोड़ देंगे जिनकी कॉन्फ़िगरेशन क्लस्टर के लिए वैश्विक है। अब से ऐसे बदलावों का आकलन किया जाएगा बीоअधिक लोग। इसके अतिरिक्त, जिस संशोधन के कारण दुर्घटना हुई, उसे एक अलग प्रोजेक्ट दस्तावेज़ के लिए बहुत छोटा माना गया - इसकी चर्चा केवल GitHub अंक में की गई थी। अब से, कॉन्फ़िगरेशन में ऐसे सभी परिवर्तन उचित प्रोजेक्ट दस्तावेज़ीकरण के साथ होंगे।

अंत में, हम हमारे द्वारा देखे गए ओवरलोड ओओएम को रोकने के लिए प्रमाणीकरण रिवर्स प्रॉक्सी के आकार को स्वचालित करेंगे, और भविष्य में इसी तरह के मुद्दों को रोकने के लिए फ़ॉलबैक और स्केलिंग से संबंधित प्रोमेथियस डिफ़ॉल्ट सेटिंग्स का विश्लेषण करेंगे।

विफलता के कुछ सकारात्मक परिणाम भी हुए: आवश्यक संसाधन प्राप्त करने के बाद, कॉर्टेक्स बिना किसी अतिरिक्त हस्तक्षेप के स्वचालित रूप से ठीक हो गया। हमें साथ काम करके बहुमूल्य अनुभव भी प्राप्त हुआ ग्राफाना लोकी - हमारी नई लॉग एकत्रीकरण प्रणाली - जिसने यह सुनिश्चित करने में मदद की कि विफलता के दौरान और उसके बाद सभी इंजेस्टर ठीक से व्यवहार करें।

अनुवादक से पी.एस

हमारे ब्लॉग पर भी पढ़ें:

• «कुबेरनेट्स में ऑटोस्केलिंग और संसाधन प्रबंधन (अवलोकन और वीडियो रिपोर्ट)";
• «कुबेरनेट्स एडवेंचर डेलीमोशन: क्लाउड + ऑन-प्रिमाइसेस में बुनियादी ढांचे का निर्माण";
• «टिंडर का कुबेरनेट्स में संक्रमण";
• «उत्पादन में कुबेरनेट्स की सफलता की कहानियाँ। भाग 10: रेडिट'.

स्रोत: www.habr.com