कुबेरनेट्स क्लस्टर की निगरानी: प्रोमेथियस का एक अवलोकन और परिचय

आइए कुबेरनेट्स मॉनिटरिंग की अवधारणा को देखें, प्रोमेथियस टूल से परिचित हों और अलर्टिंग के बारे में बात करें।

निगरानी का विषय बहुत बड़ा है, इसे एक लेख में शामिल नहीं किया जा सकता। इस पाठ का उद्देश्य उपकरणों, अवधारणाओं और दृष्टिकोणों का अवलोकन प्रदान करना है।

लेख की सामग्री का निचोड़ है स्कूल का खुला व्याख्यान "स्लम". यदि आप पूर्ण प्रशिक्षण प्राप्त करना चाहते हैं, तो किसी पाठ्यक्रम के लिए साइन अप करें कुबेरनेट्स में बुनियादी ढांचे की निगरानी और लॉगिंग.

कुबेरनेट्स क्लस्टर में क्या निगरानी की जाती है

भौतिक सर्वर. यदि कुबेरनेट्स क्लस्टर अपने स्वयं के सर्वर पर तैनात है, तो आपको उनके स्वास्थ्य की निगरानी करने की आवश्यकता है। ज़ैबिक्स इस कार्य को संभालता है; अगर आप उनके साथ काम करेंगे तो मना करने की जरूरत नहीं पड़ेगी, मनमुटाव नहीं होगा. यह ज़ैबिक्स है जो हमारे सर्वर की स्थिति पर नज़र रखता है।

आइए क्लस्टर स्तर पर निगरानी की ओर बढ़ते हैं।

नियंत्रण विमान घटक: एपीआई, शेड्यूलर और अन्य। कम से कम, आपको यह निगरानी करने की आवश्यकता है कि सर्वर एपीआई या आदि 0 से अधिक है। आदि कई मीट्रिक प्रदान कर सकता है: डिस्क पर जिस पर यह घूमता है, इसके आदि क्लस्टर के स्वास्थ्य पर, और अन्य।

डाक में काम करनेवाला मज़दूर यह काफी समय पहले सामने आया था और हर कोई इसकी समस्याओं से अच्छी तरह वाकिफ है: कई कंटेनर फ्रीज और अन्य समस्याओं का कारण बनते हैं। इसलिए, एक प्रणाली के रूप में, डॉकर की भी निगरानी की जानी चाहिए, कम से कम उपलब्धता के लिए।

डीएनएस। यदि DNS किसी क्लस्टर में विफल हो जाता है, तो संपूर्ण डिस्कवरी सेवा भी विफल हो जाएगी, और पॉड्स से पॉड्स पर कॉल काम करना बंद कर देगी। मेरे व्यवहार में, ऐसी कोई समस्या नहीं थी, लेकिन इसका मतलब यह नहीं है कि DNS स्थिति की निगरानी करने की आवश्यकता नहीं है। अनुरोध विलंबता और कुछ अन्य मेट्रिक्स को CoreDNS पर ट्रैक किया जा सकता है।

प्रवेश. परियोजना में प्रवेश बिंदु के रूप में प्रवेश (प्रवेश नियंत्रक सहित) की उपलब्धता को नियंत्रित करना आवश्यक है।

क्लस्टर के मुख्य घटकों को अलग कर दिया गया है - अब आइए अमूर्तता के स्तर पर नीचे जाएं।

ऐसा प्रतीत होता है कि एप्लिकेशन पॉड्स में चलते हैं, जिसका अर्थ है कि उन्हें नियंत्रित करने की आवश्यकता है, लेकिन वास्तव में ऐसा नहीं होता है। पॉड्स अल्पकालिक हैं: आज वे एक सर्वर पर काम करते हैं, कल दूसरे पर; आज ये 10 हैं, कल 2. इसलिए पॉड्स पर कोई नजर नहीं रख रहा. माइक्रोसर्विस आर्किटेक्चर में, समग्र रूप से एप्लिकेशन की उपलब्धता को नियंत्रित करना अधिक महत्वपूर्ण है। विशेष रूप से, सेवा समापन बिंदुओं की उपलब्धता की जाँच करें: क्या कुछ काम कर रहा है? यदि एप्लिकेशन उपलब्ध है, तो इसके पीछे क्या हो रहा है, अब कितनी प्रतिकृतियां हैं - ये दूसरे क्रम के प्रश्न हैं। व्यक्तिगत उदाहरणों की निगरानी करने की कोई आवश्यकता नहीं है।

अंतिम स्तर पर, आपको स्वयं एप्लिकेशन के संचालन की निगरानी करने, व्यावसायिक मेट्रिक्स लेने की आवश्यकता है: ऑर्डर की संख्या, उपयोगकर्ता व्यवहार, आदि।

प्रोमिथेउस

किसी क्लस्टर की निगरानी के लिए सबसे अच्छी प्रणाली है प्रोमिथेउस. मैं ऐसे किसी उपकरण के बारे में नहीं जानता जो गुणवत्ता और उपयोग में आसानी के मामले में प्रोमेथियस से तुलना कर सके। यह तीव्र बुनियादी ढांचे के लिए बहुत अच्छा है, इसलिए जब लोग "कुबेरनेट्स मॉनिटरिंग" कहते हैं तो उनका मतलब आमतौर पर प्रोमेथियस होता है।

प्रोमेथियस के साथ आरंभ करने के लिए कुछ विकल्प हैं: हेल्म का उपयोग करके, आप नियमित प्रोमेथियस या प्रोमेथियस ऑपरेटर स्थापित कर सकते हैं।

1. नियमित प्रोमेथियस. इसके साथ सब कुछ ठीक है, लेकिन आपको कॉन्फिग मैप को कॉन्फ़िगर करने की आवश्यकता है - अनिवार्य रूप से, टेक्स्ट कॉन्फ़िगरेशन फ़ाइलें लिखें, जैसा कि हमने पहले किया था, माइक्रोसर्विस आर्किटेक्चर से पहले।
2. प्रोमेथियस ऑपरेटर अपने आंतरिक तर्क में थोड़ा अधिक व्यापक, थोड़ा अधिक जटिल है, लेकिन इसके साथ काम करना आसान है: अलग-अलग ऑब्जेक्ट हैं, क्लस्टर में अमूर्त जोड़े जाते हैं, इसलिए उन्हें नियंत्रित करना और कॉन्फ़िगर करना अधिक सुविधाजनक होता है।

उत्पाद को समझने के लिए, मैं पहले नियमित प्रोमेथियस स्थापित करने की सलाह देता हूँ। आपको कॉन्फ़िगरेशन के माध्यम से सबकुछ कॉन्फ़िगर करना होगा, लेकिन यह फायदेमंद होगा: आप समझेंगे कि क्या है और यह कैसे कॉन्फ़िगर किया गया है। प्रोमेथियस ऑपरेटर में, आप तुरंत एक उच्च अमूर्तता की ओर बढ़ जाते हैं, हालाँकि यदि आप चाहें, तो आप गहराई में भी जा सकते हैं।

प्रोमेथियस कुबेरनेट्स के साथ अच्छी तरह से एकीकृत है: यह एपीआई सर्वर तक पहुंच और बातचीत कर सकता है।

प्रोमेथियस लोकप्रिय है और बड़ी संख्या में एप्लिकेशन और प्रोग्रामिंग भाषाओं द्वारा समर्थित है। समर्थन की आवश्यकता है क्योंकि प्रोमेथियस का अपना मेट्रिक्स प्रारूप है, और इसे स्थानांतरित करने के लिए आपको एप्लिकेशन के अंदर एक लाइब्रेरी या एक तैयार निर्यातक की आवश्यकता होती है। और ऐसे निर्यातक काफी संख्या में हैं। उदाहरण के लिए, PostgreSQL एक्सपोर्टर है: यह PostgreSQL से डेटा लेता है और इसे प्रोमेथियस प्रारूप में परिवर्तित करता है ताकि प्रोमेथियस इसके साथ काम कर सके।

प्रोमेथियस वास्तुकला

प्रोमेथियस सर्वर - यह सर्वर भाग है, प्रोमेथियस का मस्तिष्क। यह वह जगह है जहां मेट्रिक्स संग्रहीत और संसाधित किए जाते हैं।

मेट्रिक्स समय श्रृंखला डेटाबेस (टीएसडीबी) में संग्रहीत हैं। टीएसडीबी एक अलग डेटाबेस नहीं है, बल्कि एक गो पैकेज है जो प्रोमेथियस में बनाया गया है। मोटे तौर पर कहें तो, सब कुछ एक बाइनरी में है।

टीएसडीबी में डेटा को लंबे समय तक स्टोर न करें

प्रोमेथियस इंफ्रास्ट्रक्चर मेट्रिक्स के दीर्घकालिक भंडारण के लिए उपयुक्त नहीं है। डिफ़ॉल्ट भंडारण अवधि 15 दिन है. आप इस सीमा को पार कर सकते हैं, लेकिन ध्यान रखें: आप टीएसडीबी में जितना अधिक डेटा संग्रहीत करेंगे और जितना अधिक समय तक ऐसा करेंगे, यह उतने ही अधिक संसाधनों की खपत करेगा। प्रोमेथियस में ऐतिहासिक डेटा संग्रहीत करना बुरा अभ्यास माना जाता है।

यदि आपके पास भारी ट्रैफ़िक है, मेट्रिक्स की संख्या प्रति सेकंड सैकड़ों हजारों में है, तो उनके भंडारण को डिस्क स्थान या अवधि तक सीमित करना बेहतर है। आमतौर पर, टीएसडीबी "हॉट डेटा", मेट्रिक्स को सचमुच कुछ घंटों के लिए संग्रहीत करता है। लंबी अवधि के भंडारण के लिए, बाहरी भंडारण का उपयोग उन डेटाबेस में किया जाता है जो वास्तव में इसके लिए उपयुक्त हैं, उदाहरण के लिए इन्फ्लक्सडीबी, क्लिकहाउस, इत्यादि। मैंने ClickHouse के बारे में और भी अच्छी समीक्षाएँ देखीं।

प्रोमेथियस सर्वर मॉडल के अनुसार काम करता है खींच: वह स्वयं मेट्रिक्स के लिए उन अंतिम बिंदुओं तक जाता है जो हमने उसे दिए थे। उन्होंने कहा: "एपीआई सर्वर पर जाएं," और यह हर दूसरे सेकंड में वहां जाता है और मेट्रिक्स लेता है।

छोटे जीवनकाल (जॉब या क्रॉन जॉब) वाली वस्तुओं के लिए जो स्क्रैपिंग अवधि के बीच दिखाई दे सकती हैं, एक पुशगेटवे घटक है। अल्पकालिक वस्तुओं से मेट्रिक्स को इसमें धकेल दिया जाता है: नौकरी बढ़ी, कार्रवाई पूरी हुई, मेट्रिक्स को पुशगेटवे पर भेजा गया और पूरा किया गया। कुछ समय बाद, प्रोमेथियस अपनी गति से आगे बढ़ेगा और इन मेट्रिक्स को पुशगेटवे से लेगा।

प्रोमेथियस में सूचनाओं को कॉन्फ़िगर करने के लिए एक अलग घटक है - अलर्टमैनेजर. और सचेत करने वाले नियम. उदाहरण के लिए, यदि सर्वर एपीआई 0 है तो आपको एक अलर्ट बनाने की आवश्यकता है। जब ईवेंट ट्रिगर होता है, तो अलर्ट आगे भेजने के लिए अलर्ट मैनेजर को भेज दिया जाता है। अलर्ट मैनेजर में काफी लचीली रूटिंग सेटिंग्स होती हैं: अलर्ट का एक समूह एडमिन के टेलीग्राम चैट पर, दूसरा डेवलपर्स की चैट पर और तीसरा इंफ्रास्ट्रक्चर वर्कर्स की चैट पर भेजा जा सकता है। सूचनाएं स्लैक, टेलीग्राम, ईमेल और अन्य चैनलों पर भेजी जा सकती हैं।

और अंत में, मैं आपको प्रोमेथियस की कातिलाना विशेषता के बारे में बताऊंगा - खोज. प्रोमेथियस के साथ काम करते समय, आपको निगरानी के लिए वस्तुओं के विशिष्ट पते निर्दिष्ट करने की आवश्यकता नहीं है; यह उनके प्रकार को निर्दिष्ट करने के लिए पर्याप्त है। अर्थात्, "यहां आईपी पता है, यहां पोर्ट - मॉनिटर" लिखने की आवश्यकता नहीं है, इसके बजाय आपको यह निर्धारित करने की आवश्यकता है कि इन वस्तुओं को किन सिद्धांतों द्वारा खोजा जाए (लक्ष्य - लक्ष्य)। प्रोमेथियस स्वयं, इस पर निर्भर करता है कि वर्तमान में कौन सी वस्तुएँ सक्रिय हैं, आवश्यक वस्तुओं को खींचता है और उन्हें निगरानी में जोड़ता है।

यह दृष्टिकोण कुबेरनेट्स की संरचना के साथ अच्छी तरह से फिट बैठता है, जहां सब कुछ भी तैरता है: आज 10 सर्वर हैं, कल 3. हर बार सर्वर के आईपी पते को इंगित न करने के लिए, हमने एक बार लिखा था कि इसे कैसे ढूंढें - और डिस्कवरिंग यह करेगा।

प्रोमेथियस भाषा कहलाती है प्रोमक्यूएल. इस भाषा का उपयोग करके, आप विशिष्ट मैट्रिक्स के मान प्राप्त कर सकते हैं और फिर उन्हें रूपांतरित कर सकते हैं और उनके आधार पर विश्लेषणात्मक गणनाएँ बना सकते हैं।

https://prometheus.io/docs/prometheus/latest/querying/basics/

Простой запрос

    container_memory_usage_bytes

Математические операции

    container_memory_usage_bytes / 1024 / 1024

Встроенные функции

    sum(container_memory_usage_bytes) / 1024 / 1024

Уточнение запроса

    100 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m]) * 100)

प्रोमेथियस वेब इंटरफ़ेस

प्रोमेथियस का अपना, बल्कि न्यूनतर वेब इंटरफ़ेस है। केवल डिबगिंग या प्रदर्शन के लिए उपयुक्त।

आप PromQL में एक्सप्रेशन लाइन में एक क्वेरी लिख सकते हैं।

अलर्ट टैब में चेतावनी नियम शामिल हैं, और उनकी तीन स्थितियाँ हैं:

1. निष्क्रिय - यदि अलर्ट इस समय सक्रिय नहीं है, अर्थात इसमें सब कुछ ठीक है, और यह काम नहीं करता है;
2. लंबित - यह तब होता है जब अलर्ट ट्रिगर हो गया था, लेकिन भेजना अभी तक नहीं हुआ है। विलंब को नेटवर्क ब्लिंकिंग की भरपाई के लिए सेट किया गया है: यदि निर्दिष्ट सेवा एक मिनट के भीतर बढ़ गई है, तो अभी तक अलार्म बजाने की कोई आवश्यकता नहीं है;
3. फायरिंग तीसरी स्थिति है, जब अलर्ट जलता है और संदेश भेजता है।

स्टेटस मेनू में आपको प्रोमेथियस क्या है, इसके बारे में जानकारी मिलेगी। जिन लक्ष्यों के बारे में हमने ऊपर बात की थी, उनमें भी बदलाव आ रहा है।

प्रोमेथियस इंटरफ़ेस के अधिक विस्तृत अवलोकन के लिए, देखें कुबेरनेट्स क्लस्टर की निगरानी पर स्लम के व्याख्यान में.

ग्राफाना के साथ एकीकरण

प्रोमेथियस वेब इंटरफ़ेस में आपको सुंदर और समझने योग्य ग्राफ़ नहीं मिलेंगे जिनसे आप क्लस्टर की स्थिति के बारे में निष्कर्ष निकाल सकें। उन्हें बनाने के लिए, प्रोमेथियस ग्राफाना के साथ एकीकृत होता है। ये वे डैशबोर्ड हैं जो हमें मिलते हैं।

प्रोमेथियस और ग्राफाना का एकीकरण स्थापित करना बिल्कुल भी मुश्किल नहीं है; निर्देश दस्तावेज़ में पाए जा सकते हैं: प्रोमेथियस के लिए ग्राफाना समर्थन, ठीक है, मैं इसी के साथ अपनी बात समाप्त करूंगा।

निम्नलिखित लेखों में हम निगरानी के विषय को जारी रखेंगे: हम ग्राफाना लोकी और वैकल्पिक उपकरणों का उपयोग करके लॉग एकत्र करने और विश्लेषण करने के बारे में बात करेंगे।

लेखक: मार्सेल इब्रेव, प्रमाणित कुबेरनेट्स प्रशासक, कंपनी में प्रैक्टिसिंग इंजीनियर Southbridge, स्पीकर और स्लम कोर्स डेवलपर।

स्रोत: www.habr.com