लगहरू निगरानी गर्न किबानामा ड्यासबोर्ड सिर्जना गर्दै

नमस्ते, मेरो नाम यूजीन हो, म Citymobil मा B2B टोली नेता हुँ। हाम्रो टोलीको एउटा कार्य भनेको साझेदारहरूबाट ट्याक्सी अर्डर गर्नको लागि एकीकरणलाई समर्थन गर्नु हो, र एक स्थिर सेवा सुनिश्चित गर्न, हामीले सधैं हाम्रा माइक्रोसेवाहरूमा के भइरहेको छ भन्ने कुरा बुझ्नुपर्छ। र यसका लागि तपाईले लगहरू निरन्तर निगरानी गर्न आवश्यक छ।

Citymobil मा, हामी लगहरूसँग काम गर्न ELK स्ट्याक (ElasticSearch, Logstash, Kibana) प्रयोग गर्छौं, र त्यहाँ आउने डाटाको मात्रा ठूलो छ। अनुरोधहरूको यो समूहमा समस्याहरू फेला पार्न जुन नयाँ कोडको तैनाती पछि देखा पर्न सक्छ। र तिनीहरूको भिजुअल पहिचानको लागि, किबानासँग ड्यासबोर्ड खण्ड छ।

त्यहाँ डेटा प्राप्त गर्न र भण्डारण गर्न ELK स्ट्याक कसरी सेटअप गर्ने उदाहरणका साथ Habré मा धेरै लेखहरू छन्, तर त्यहाँ ड्यासबोर्ड सिर्जना गर्ने कुनै सान्दर्भिक सामग्रीहरू छैनन्। त्यसकारण, म किबानामा आगमन लगहरूमा आधारित डाटाको भिजुअल प्रतिनिधित्व कसरी सिर्जना गर्ने भनेर देखाउन चाहन्छु।

समायोजन

यसलाई स्पष्ट बनाउनको लागि, मैले ELK र Filebeat सँग डकर छवि सिर्जना गरें। र एउटा सानो कन्टेनरमा राखियो कार्यक्रम Go मा, जसले हाम्रो उदाहरणको लागि परीक्षण लगहरू उत्पन्न गर्नेछ। म ELK को कन्फिगरेसनको विस्तारमा वर्णन गर्नेछैन, Habré मा यसको बारेमा पर्याप्त लेखिएको छ।

कन्फिगरेसन भण्डार क्लोन गर्नुहोस् docker-compose र ELK सेटिङहरू, र आदेशको साथ सुरू गर्नुहोस् docker-compose up। जानाजानी कुञ्जी थपिएको छैन -dELK स्ट्याक को प्रगति हेर्न।

git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up

यदि सबै कुरा सही रूपमा कन्फिगर गरिएको छ भने, त्यसपछि हामी लगहरूमा प्रविष्टि देख्नेछौं (सायद तुरुन्तै होइन, सम्पूर्ण स्ट्याकको साथ कन्टेनर सुरू गर्ने प्रक्रियाले धेरै मिनेट लिन सक्छ):

{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}

ठेगाना द्वारा localhost:5061 किबाना खोल्नु पर्छ।

हामीले कन्फिगर गर्न आवश्यक पर्ने कुरा भनेको कुन डाटा प्रदर्शन गर्ने बारे जानकारी सहित किबानाको लागि अनुक्रमणिका ढाँचा सिर्जना गर्नु हो। यो गर्नको लागि, हामी कर्ल अनुरोध कार्यान्वयन गर्नेछौं वा ग्राफिकल इन्टरफेसमा कार्यहरूको श्रृंखला प्रदर्शन गर्नेछौं।

$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
    -H 'Content-Type: application/json'
    -H 'kbn-xsrf: true'
    -d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'

GUI मार्फत अनुक्रमणिका ढाँचा सिर्जना गर्दै
कन्फिगर गर्न, बायाँ मेनुमा डिस्कवर खण्ड चयन गर्नुहोस्, र अनुक्रमणिका ढाँचा सिर्जना पृष्ठमा जानुहोस्।

"अनुक्रमणिका ढाँचा सिर्जना गर्नुहोस्" बटनमा क्लिक गरेर, हामी अनुक्रमणिका सिर्जना पृष्ठमा पुग्छौं। "इन्डेक्स ढाँचा नाम" फिल्डमा, "logstash-*" प्रविष्ट गर्नुहोस्। यदि सबै कुरा ठीकसँग कन्फिगर गरिएको छ भने, तल किबानाले नियम अन्तर्गत पर्ने अनुक्रमणिकाहरू देखाउनेछ।

अर्को पृष्ठमा, टाइमस्ट्याम्पको साथ कुञ्जी फिल्ड चयन गर्नुहोस्, हाम्रो अवस्थामा यो हो @timestamp.

यसले अनुक्रमणिका सेटिङहरू पृष्ठ ल्याउनेछ, तर यस समयमा हामीबाट कुनै थप कार्य आवश्यक छैन।

अब हामी फेरि डिस्कभर सेक्सनमा जान सक्छौं, जहाँ हामी लग प्रविष्टिहरू देख्नेछौं।

ड्यासबोर्ड

बायाँ मेनुमा, ड्यासबोर्ड सिर्जना खण्डमा क्लिक गर्नुहोस् र सम्बन्धित पृष्ठमा जानुहोस्।

"नयाँ ड्यासबोर्ड सिर्जना गर्नुहोस्" मा क्लिक गर्नुहोस् र ड्यासबोर्डमा वस्तुहरू थप्नको लागि पृष्ठमा जानुहोस्।

"नयाँ सिर्जना गर्नुहोस्" बटनमा क्लिक गर्नुहोस्, र प्रणालीले तपाईंलाई डेटा प्रदर्शनको प्रकार चयन गर्न प्रोम्प्ट गर्नेछ। Kibana सँग तिनीहरूको ठूलो संख्या छ, तर हामी "ठाडो पट्टी" र एक तालिका "डेटा तालिका" को ग्राफिकल प्रतिनिधित्व सिर्जना गर्न हेर्नेछौं। अन्य प्रकारका प्रस्तुतिहरू समान रूपमा कन्फिगर गरिएका छन्। 

केही उपलब्ध वस्तुहरू B र E लेबल गरिएका छन्, जसको अर्थ ढाँचा प्रयोगात्मक वा बिटा परीक्षणमा छ। समयको साथ, ढाँचा परिवर्तन हुन सक्छ वा किबानाबाट पूर्ण रूपमा गायब हुन सक्छ।

ठाडो पट्टी

"ठाडो पट्टी" उदाहरणको लागि, हाम्रो सेवाको सफल र असफल प्रतिक्रिया स्थितिहरूको अनुपातको हिस्टोग्राम सिर्जना गरौं। सेटिङहरूको अन्त्यमा, हामीले निम्न ग्राफ पाउँछौं:

हामी सबै अनुरोधहरूलाई प्रतिक्रिया स्थिति < 400 सफल रूपमा र >= 400 लाई समस्याग्रस्त रूपमा वर्गीकृत गर्नेछौं।

"ठाडो पट्टी" चार्ट सिर्जना गर्न, हामीले डेटा स्रोत चयन गर्न आवश्यक छ। हामीले पहिले सिर्जना गरेको अनुक्रमणिका ढाँचा चयन गर्नुहोस्।

पूर्वनिर्धारित रूपमा, डेटा स्रोत चयन गरेपछि एकल ठोस ग्राफ देखा पर्नेछ। यसलाई सेट अप गरौं।

"बाल्टी" ब्लकमा, "थप्नुहोस्" बटन थिच्नुहोस्, "X-asis" चयन गर्नुहोस् र X अक्ष सेटअप गर्नुहोस्। लगमा प्रविष्टिहरूको प्राप्तिको लागि टाइमस्ट्याम्पहरू अलग राखौं। "एकत्रीकरण" फिल्डमा, "मिति हिस्टोग्राम" चयन गर्नुहोस्, र "फिल्ड" मा "@timestamp" चयन गर्नुहोस्, समय क्षेत्र संकेत गर्नुहोस्। "न्यूनतम अन्तराल" लाई "स्वत:" अवस्थामा छोडौं, र यसले स्वचालित रूपमा हाम्रो प्रदर्शनमा समायोजन गर्नेछ। 

"अपडेट" बटनमा क्लिक गरेर, हामी प्रत्येक 30 सेकेन्डमा अनुरोधहरूको संख्या भएको ग्राफ देख्नेछौं।

अब Y-अक्षको साथ स्तम्भहरू सेटअप गरौं। अब हामी चयन गरिएको समय अन्तरालमा अनुरोधहरूको कुल संख्या देखाउँदैछौं।

"एकत्रीकरण" मानलाई "सम बकेट" मा परिवर्तन गरौं, जसले हामीलाई सफल र असफल अनुरोधहरूको लागि डेटा संयोजन गर्न अनुमति दिनेछ। बाल्टी -> एग्रीगेशन ब्लकमा, "फिल्टर" द्वारा एग्रीगेसन चयन गर्नुहोस् र "statusCode >= 400" द्वारा फिल्टरिङ सेट गर्नुहोस्। र "कस्टम लेबल" फिल्डमा, हामी चार्टमा लिजेन्ड र सामान्य सूचीमा थप बुझ्न योग्य प्रदर्शनको लागि सूचकको नाम संकेत गर्छौं।

सेटिङ्हरू ब्लक अन्तर्गत "अपडेट" बटन क्लिक गरेर, हामी समस्या अनुरोधहरूको साथ ग्राफ प्राप्त गर्नेछौं।

यदि तपाइँ लेजेन्डको छेउमा रहेको सर्कलमा क्लिक गर्नुभयो भने, एउटा विन्डो देखा पर्नेछ जसमा तपाइँ स्तम्भहरूको रङ परिवर्तन गर्न सक्नुहुन्छ।

अब चार्टमा सफल अनुरोधहरूमा डेटा थपौं। "मेट्रिक्स" खण्डमा, "थप्नुहोस्" बटनमा क्लिक गर्नुहोस् र "Y-axis" चयन गर्नुहोस्।

सिर्जना गरिएको मेट्रिकमा, हामी त्रुटिपूर्ण अनुरोधहरूको लागि समान सेटिङहरू बनाउँछौं। केवल फिल्टरमा हामीले "statusCode <400" निर्दिष्ट गर्छौं।

नयाँ स्तम्भको रंग परिवर्तन गरेर, हामीले समस्याग्रस्त र सफल अनुरोधहरूको अनुपातको प्रदर्शन पाउँछौं।

स्क्रिनको शीर्षमा रहेको "बचत गर्नुहोस्" बटनमा क्लिक गरेर र नाम निर्दिष्ट गरेर, हामी ड्यासबोर्डमा पहिलो चार्ट देख्नेछौं।

डाटा तालिका

अब ट्याबुलर दृश्य "डेटा तालिका" लाई विचार गर्नुहोस्। अनुरोध गरिएका सबै URL हरूको सूची र ती अनुरोधहरूको सङ्ख्यासहितको तालिका बनाउनुहोस्। ठाडो पट्टी उदाहरणको रूपमा, हामी पहिले डेटा स्रोत चयन गर्छौं।

त्यस पछि, एक स्तम्भ भएको तालिका स्क्रिनमा प्रदर्शित हुनेछ, जसले चयन गरिएको समय अन्तरालका लागि अनुरोधहरूको कुल संख्या देखाउँछ।

हामी केवल "बाल्टी" ब्लक परिवर्तन गर्नेछौं। "थप्नुहोस्" बटनमा क्लिक गर्नुहोस् र "स्प्लिट पङ्क्तिहरू" चयन गर्नुहोस्।

"एकत्रीकरण" फिल्डमा, "सर्तहरू" चयन गर्नुहोस्। र देखा परेको फिल्ड "फिल्ड" मा "url.keyword" चयन गर्नुहोस्।

"कस्टम लेबल" फिल्डमा "Url" मान निर्दिष्ट गरेर र "अद्यावधिक" मा क्लिक गरेर, हामीले चयन गरिएको अवधिको लागि प्रत्येक URL को लागि अनुरोधहरूको संख्याको साथ इच्छित तालिका प्राप्त गर्नेछौं।

स्क्रिनको शीर्षमा, "बचत गर्नुहोस्" बटनमा फेरि क्लिक गर्नुहोस् र तालिकाको नाम निर्दिष्ट गर्नुहोस्, उदाहरणका लागि Urls। ड्यासबोर्डमा फर्कनुहोस् र सिर्जना गरिएका दुवै दृश्यहरू हेर्नुहोस्।

Dashboard मा काम गर्नुहुन्छ

ड्यासबोर्ड सिर्जना गर्दा, हामीले प्रदर्शन वस्तु सेटिङहरूमा मुख्य दृश्य प्यारामिटरहरू मात्र सेट गर्छौं। वस्तुहरूमा फिल्टरहरूको लागि डेटा निर्दिष्ट गर्न कुनै अर्थ छैन, उदाहरणका लागि, "मिति दायरा", "प्रयोगकर्ता द्वारा फिल्टर", "अनुरोध देश द्वारा फिल्टर", आदि। वांछित समय अवधि निर्दिष्ट गर्न वा वस्तुहरूको माथि अवस्थित क्वेरी प्यानलमा आवश्यक फिल्टरिङ सेट गर्न यो धेरै सुविधाजनक छ।

यस प्यानलमा थपिएका फिल्टरहरू सम्पूर्ण ड्यासबोर्डमा लागू हुनेछन्, र सबै प्रदर्शन वस्तुहरू वास्तविक फिल्टर गरिएको डाटा अनुसार पुनर्निर्माण गरिनेछ।

निष्कर्षमा

किबाना एक शक्तिशाली उपकरण हो जसले तपाईंलाई कुनै पनि डाटालाई सुविधाजनक तरिकामा कल्पना गर्न अनुमति दिन्छ। मैले दुई मुख्य प्रकारको डिस्प्लेको सेटिङ देखाउने प्रयास गरें। तर अन्य प्रकारहरू समान रूपमा कन्फिगर गरिएका छन्। र मैले "पछाडि पर्दा" छोडेको सेटिङहरूको प्रचुरताले तपाईंलाई तपाईंको आवश्यकताहरू अनुरूप चार्टहरू अनुकूलन गर्न धेरै लचिलो रूपमा अनुमति दिनेछ।

स्रोत: www.habr.com