कुबेरनेट्स में लॉग इन करना: ईएफके बनाम पीएलजी

जैसे-जैसे वितरित प्रणालियों की जटिलता बढ़ती है, मॉनिटरिंग बढ़ते क्लाउड समाधानों का एक बहुत महत्वपूर्ण घटक बन गया है। उनके व्यवहार को समझना जरूरी है. हमें स्केलेबल टूल की आवश्यकता है जो सभी सेवाओं से डेटा एकत्र कर सके - और विशेषज्ञों को प्रदर्शन विश्लेषण, त्रुटि प्रदर्शन, उपलब्धता और लॉग के साथ एकल इंटरफ़ेस प्रदान कर सके।

ये समान उपकरण कुशल और उत्पादक होने चाहिए। इस लेख में, हम दो लोकप्रिय प्रौद्योगिकी स्टैक को देखेंगे: ईएफके (इलास्टिक्स खोज) और पीएलजी (लोकी) और उनके आर्किटेक्चर और अंतर की जांच करेंगे।

ईएफके स्टैक

आपने बहुत लोकप्रिय ईएलके या ईएफके के बारे में पहले ही सुना होगा। स्टैक में कई अलग-अलग भाग होते हैं: इलास्टिक्स खोज (ऑब्जेक्ट स्टोरेज), लॉगस्टैश या फ़्लुएंटडी (लॉग संग्रह और एकत्रीकरण), और विज़ुअलाइज़ेशन के लिए किबाना।

एक सामान्य वर्कफ़्लो इस तरह दिखता है:

Elasticsearch - खोज और वास्तविक समय विश्लेषण के साथ वितरित वस्तु भंडारण। लॉग जैसे अर्ध-संरचित डेटा के लिए उत्कृष्ट समाधान। जानकारी को JSON दस्तावेज़ों के रूप में सहेजा जाता है, वास्तविक समय में अनुक्रमित किया जाता है और क्लस्टर नोड्स में वितरित किया जाता है। एक उल्टे सूचकांक का उपयोग किया जाता है, जिसमें पूर्ण-पाठ खोज के लिए सभी अद्वितीय शब्द और संबंधित दस्तावेज़ शामिल होते हैं, जो बदले में अपाचे ल्यूसीन खोज इंजन पर आधारित होता है।

धाराप्रवाहD एक डेटा संग्राहक है जो डेटा को एकत्रित और उपभोग करते समय एकीकृत करता है। यह यथासंभव JSON में डेटा को व्यवस्थित करने का प्रयास करता है। इसकी वास्तुकला विस्तार योग्य है, और भी बहुत कुछ है सैकड़ों विभिन्न एक्सटेंशन, समुदाय-समर्थित, सभी अवसरों के लिए।

Kibana - विभिन्न अतिरिक्त क्षमताओं के साथ इलास्टिक्स खोज के लिए एक डेटा विज़ुअलाइज़ेशन टूल, उदाहरण के लिए, समय श्रृंखला विश्लेषण, ग्राफ़ विश्लेषण, मशीन लर्निंग और बहुत कुछ।

इलास्टिक्स खोज वास्तुकला

इलास्टिक्स खोज क्लस्टर डेटा को उसके सभी नोड्स में फैलाकर संग्रहीत किया जाता है। उपलब्धता और लचीलेपन में सुधार के लिए एक क्लस्टर में कई नोड्स होते हैं। कोई भी नोड क्लस्टर की सभी भूमिकाएँ निभा सकता है, लेकिन बड़े पैमाने पर तैनाती में, नोड्स को आमतौर पर अलग-अलग कार्य सौंपे जाते हैं।

क्लस्टर नोड प्रकार:

• मास्टर नोड - क्लस्टर का प्रबंधन करता है, कम से कम तीन की आवश्यकता होती है, एक हमेशा सक्रिय रहता है;
• डेटा नोड - अनुक्रमित डेटा संग्रहीत करता है और इसके साथ विभिन्न कार्य करता है;
• इंजेस्ट नोड - अनुक्रमण से पहले डेटा को बदलने के लिए पाइपलाइनों को व्यवस्थित करता है;
• समन्वय नोड - रूटिंग अनुरोध, खोज प्रसंस्करण चरण को कम करना, बड़े पैमाने पर अनुक्रमण का समन्वय करना;
• अलर्टिंग नोड - अलर्ट कार्य लॉन्च करना;
• मशीन लर्निंग नोड - मशीन लर्निंग कार्यों को संसाधित करना।

नीचे दिया गया चित्र दिखाता है कि उच्च डेटा उपलब्धता प्राप्त करने के लिए डेटा को नोड्स में कैसे संग्रहीत और दोहराया जाता है।

प्रत्येक प्रतिकृति का डेटा एक उल्टे सूचकांक में संग्रहीत किया जाता है, नीचे दिया गया चित्र दिखाता है कि यह कैसे होता है:

स्थापना

विवरण देखा जा सकता है यहां, मैं हेल्म चार्ट का उपयोग करूंगा:

$ helm install efk-stack stable/elastic-stack --set logstash.enabled=false --set fluentd.enabled=true --set fluentd-elastics

पीएलजी ढेर

यदि आपको यह संक्षिप्त नाम नहीं मिल रहा है तो आश्चर्यचकित न हों, क्योंकि इसे ग्राफाना लोकी के नाम से जाना जाता है। किसी भी मामले में, यह स्टैक लोकप्रियता प्राप्त कर रहा है क्योंकि यह सिद्ध तकनीकी समाधानों का उपयोग करता है। आपने एक लोकप्रिय विज़ुअलाइज़ेशन टूल ग्राफ़ाना के बारे में पहले ही सुना होगा। इसके रचनाकारों ने, प्रोमेथियस से प्रेरित होकर, एक क्षैतिज रूप से स्केलेबल, उच्च-प्रदर्शन लॉग एकत्रीकरण प्रणाली लोकी विकसित की। लोकी केवल मेटाडेटा को अनुक्रमित करता है, पत्रिकाओं को नहीं, एक तकनीकी समाधान जो इसे उपयोग में आसान और लागत प्रभावी बनाता है।

प्रोमटेल - ऑपरेटिंग सिस्टम से लोकी क्लस्टर में लॉग भेजने के लिए एक एजेंट। ग्राफाना लोकी के डेटा पर आधारित एक विज़ुअलाइज़ेशन टूल है।

लोकी को प्रोमेथियस के समान सिद्धांतों पर बनाया गया है, जो इसे कुबेरनेट्स लॉग के भंडारण और विश्लेषण के लिए उपयुक्त बनाता है।

लोकी वास्तुकला

क्षैतिज स्केलिंग की अनुमति देते हुए, लोकी को एकल प्रक्रिया या एकाधिक प्रक्रियाओं के रूप में चलाया जा सकता है।

यह या तो एक मोनोलिथिक एप्लिकेशन के रूप में या माइक्रोसर्विस के रूप में भी काम कर सकता है। एकल प्रक्रिया के रूप में चलाना स्थानीय विकास या छोटी निगरानी के लिए उपयोगी हो सकता है। औद्योगिक कार्यान्वयन और स्केलेबल कार्यभार के लिए, माइक्रोसर्विस विकल्प का उपयोग करने की अनुशंसा की जाती है। डेटा लिखने और पढ़ने के रास्ते अलग-अलग हैं, इसलिए इसे आवश्यकतानुसार बारीक रूप से ट्यून और स्केल किया जा सकता है।

आइए विस्तार में जाए बिना लॉग संग्रह प्रणाली की वास्तुकला को देखें:

और यहाँ विवरण है (माइक्रोसर्विस आर्किटेक्चर):

सामग्री:

प्रोमटेल - नोड्स पर स्थापित एक एजेंट (सेवाओं के एक सेट के रूप में), यह कार्यों से लॉग हटाता है और मेटाडेटा प्राप्त करने के लिए कुबेरनेट्स एपीआई तक पहुंचता है जो लॉग को टैग करेगा। इसके बाद यह लॉग को मुख्य लोकी सेवा को भेजता है। मेटाडेटा मैपिंग प्रोमेथियस के समान टैगिंग नियमों का समर्थन करता है।

डिस्ट्रीब्यूटर - एक सेवा वितरक जो बफर के रूप में काम करता है। लाखों रिकॉर्ड्स को संसाधित करने के लिए, यह आने वाले डेटा को पैक करता है, और आते ही उसे ब्लॉकों में संपीड़ित करता है। कई डेटा सिंक एक साथ चल रहे हैं, लेकिन एक आने वाली डेटा स्ट्रीम से संबंधित लॉग इसके सभी ब्लॉकों में से केवल एक में दिखाई देने चाहिए। इसे सिंक और अनुक्रमिक हैशिंग की एक रिंग में व्यवस्थित किया गया है। दोष सहनशीलता और अतिरेक के लिए, यह n बार किया जाता है (3 यदि कॉन्फ़िगर नहीं किया गया है)।

इंजेस्टर - सेवा प्राप्तकर्ता। जोड़े गए लॉग के साथ डेटा ब्लॉक संपीड़ित हो जाते हैं। एक बार जब ब्लॉक पर्याप्त आकार का हो जाता है, तो ब्लॉक को डेटाबेस में फ्लश कर दिया जाता है। मेटाडेटा इंडेक्स में जाता है, और लॉग ब्लॉक से डेटा चंक्स (आमतौर पर ऑब्जेक्ट स्टोरेज) में जाता है। रीसेट के बाद, रिसीवर एक नया ब्लॉक बनाता है जहां नई प्रविष्टियां जोड़ी जाएंगी।

सूची - डेटाबेस, डायनेमोडीबी, कैसेंड्रा, गूगल बिगटेबल, आदि।

चंक्स - संपीड़ित रूप में लॉग ब्लॉक, आमतौर पर ऑब्जेक्ट स्टोरेज में संग्रहीत होते हैं, उदाहरण के लिए, S3।

प्रश्नकर्ता - पढ़ने का पथ जो सभी गंदे काम करता है। यह समय सीमा और टाइमस्टैम्प को देखता है, और फिर मिलान खोजने के लिए सूचकांक को देखता है। इसके बाद, यह डेटा के ब्लॉक को पढ़ता है और परिणाम प्राप्त करने के लिए उन्हें फ़िल्टर करता है।

आइए अब सब कुछ क्रियान्वित होते हुए देखें।

स्थापना

कुबेरनेट्स में स्थापित करने का सबसे आसान तरीका हेल्म का उपयोग करना है। हम मानते हैं कि आपने इसे पहले ही इंस्टॉल और कॉन्फ़िगर कर लिया है (और तीसरा संस्करण! लगभग। अनुवादक)

एक रिपॉजिटरी जोड़ें और एक स्टैक स्थापित करें।

$ helm repo add loki https://grafana.github.io/loki/charts
$ helm repo update
$ helm upgrade --install loki loki/loki-stack --set grafana.enabled=true,prometheus.enabled=true,prometheus.alertmanager.persistentVolume.enabled=false,prometheus.server.persistentVolume.enabled=false

नीचे एक उदाहरण डैशबोर्ड है जो Etcd मेट्रिक्स के लिए प्रोमेथियस और Etcd पॉड लॉग के लिए लोकी से डेटा दिखा रहा है।

आइए अब दोनों प्रणालियों की वास्तुकला पर चर्चा करें, और उनकी क्षमताओं की एक दूसरे से तुलना भी करें।

तुलना

पूछताछ भाषा

इलास्टिक्स खोज पूर्ण-पाठ खोज क्षमताएं प्रदान करने के लिए क्वेरी डीएसएल और ल्यूसीन क्वेरी भाषा का उपयोग करती है। यह व्यापक ऑपरेटर समर्थन वाला एक स्थापित, शक्तिशाली खोज इंजन है। इसके साथ, आप संदर्भ के आधार पर खोज सकते हैं और प्रासंगिकता के आधार पर क्रमबद्ध कर सकते हैं।

रिंग के दूसरी तरफ LogQL है, जिसका उपयोग PromQL (प्रोमेथियस क्वेरी भाषा) के उत्तराधिकारी लोकी में किया जाता है। यह लॉग डेटा को फ़िल्टर और चयन करने के लिए लॉग टैग का उपयोग करता है। वर्णित के अनुसार कुछ ऑपरेटरों और अंकगणित का उपयोग करना संभव है यहां, लेकिन क्षमताओं के मामले में यह इलास्टिक भाषा से पीछे है।

चूंकि लोकी में क्वेरीज़ टैग से जुड़ी होती हैं, इसलिए उन्हें मेट्रिक्स के साथ सहसंबंधित करना आसान होता है, और परिणामस्वरूप, उनके साथ परिचालन निगरानी व्यवस्थित करना आसान होता है।

scalability

दोनों स्टैक क्षैतिज रूप से स्केलेबल हैं, लेकिन लोकी इसे आसान बनाता है क्योंकि इसमें अलग-अलग पढ़ने और लिखने के पथ और एक माइक्रोसर्विस आर्किटेक्चर है। लोकी को आपकी आवश्यकताओं के अनुरूप अनुकूलित किया जा सकता है और इसका उपयोग बहुत बड़ी मात्रा में लॉग डेटा के लिए किया जा सकता है।

बहु किरायेदारी

OPEX संक्षिप्त नाम में क्लस्टर मल्टीटेनेंसी एक सामान्य विषय है, दोनों स्टैक मल्टीटेनेंसी प्रदान करते हैं। इलास्टिक्स खोज के लिए कई हैं способов क्लाइंट पृथक्करण: प्रत्येक क्लाइंट के लिए अलग सूचकांक, क्लाइंट-आधारित रूटिंग, अद्वितीय क्लाइंट फ़ील्ड, खोज फ़िल्टर। लोकी के पास है समर्थन HTTP X-स्कोप-ऑर्गआईडी हेडर के रूप में।

लागत

लोकी इस तथ्य के कारण काफी लागत प्रभावी है कि यह डेटा को अनुक्रमित नहीं करता है, केवल मेटाडेटा को अनुक्रमित करता है। इससे प्राप्ति होती है भंडारण पर बचत और मेमोरी (कैश), चूंकि ऑब्जेक्ट स्टोरेज ब्लॉक स्टोरेज से सस्ता है, जिसका उपयोग इलास्टिक्स खोज क्लस्टर में किया जाता है।

निष्कर्ष

ईएफके स्टैक का उपयोग विभिन्न उद्देश्यों के लिए किया जा सकता है, जो अधिकतम लचीलापन और एनालिटिक्स, विज़ुअलाइज़ेशन और प्रश्नों के लिए सुविधा संपन्न किबाना इंटरफ़ेस प्रदान करता है। मशीन लर्निंग क्षमताओं द्वारा इसे और बढ़ाया जा सकता है।

लोकी स्टैक अपने मेटाडेटा खोज तंत्र के कारण कुबेरनेट्स पारिस्थितिकी तंत्र में उपयोगी है। आप ग्राफाना और लॉग में समय श्रृंखला के आधार पर निगरानी के लिए डेटा को आसानी से सहसंबंधित कर सकते हैं।

जब लागत और दीर्घकालिक लॉग भंडारण की बात आती है, तो लोकी क्लाउड समाधानों में एक उत्कृष्ट प्रवेश बिंदु है।

बाज़ार में और भी विकल्प मौजूद हैं - कुछ आपके लिए बेहतर हो सकते हैं। उदाहरण के लिए, जीकेई में स्टैकड्राइवर एकीकरण है जो एक उत्कृष्ट निगरानी समाधान प्रदान करता है। हमने इस लेख में उन्हें अपने विश्लेषण में शामिल नहीं किया है।

कड़ियाँ:

• https://github.com/grafana/loki/blob/master/docs/overview/comparisons.md
• https://www.elastic.co/blog/found-elasticsearch-from-the-bottom-up
• https://www.elastic.co/blog/found-elasticsearch-in-production/

कर्मचारियों द्वारा हैबर के लिए लेख का अनुवाद और तैयारी की गई थी स्लम प्रशिक्षण केंद्र - गहन पाठ्यक्रम, वीडियो पाठ्यक्रम और अभ्यास विशेषज्ञों से कॉर्पोरेट प्रशिक्षण (कुबेरनेट्स, डेवऑप्स, डॉकर, एन्सिबल, सेफ, एसआरई, एजाइल)

स्रोत: www.habr.com