लॉग मॉनिटर करण्यासाठी किबाना मध्ये डॅशबोर्ड तयार करणे

हॅलो, माझे नाव यूजीन आहे, मी सिटीमोबिल येथे B2B टीम लीडर आहे. आमच्या कार्यसंघाच्या कार्यांपैकी एक म्हणजे भागीदारांकडून टॅक्सी ऑर्डर करण्यासाठी एकत्रीकरणास समर्थन देणे आणि स्थिर सेवा सुनिश्चित करण्यासाठी, आमच्या मायक्रोसर्व्हिसेसमध्ये काय चालले आहे हे आम्ही नेहमी समजून घेतले पाहिजे. आणि यासाठी आपल्याला लॉगचे सतत निरीक्षण करणे आवश्यक आहे.

सिटीमोबिलमध्ये, आम्ही लॉगसह कार्य करण्यासाठी ELK स्टॅक (ElasticSearch, Logstash, Kibana) वापरतो आणि तेथे येणारा डेटा खूप मोठा आहे. नवीन कोडच्या उपयोजनानंतर येऊ शकणार्‍या विनंत्यांमधील समस्या शोधणे खूप कठीण आहे. आणि त्यांच्या व्हिज्युअल ओळखीसाठी, किबाना मध्ये डॅशबोर्ड विभाग आहे.

डेटा प्राप्त करण्यासाठी आणि संग्रहित करण्यासाठी ELK स्टॅक कसा सेट करायचा याच्या उदाहरणांसह Habré वर बरेच लेख आहेत, परंतु डॅशबोर्ड तयार करण्यासाठी कोणतीही संबंधित सामग्री नाही. म्हणून, मला किबाना मधील इनकमिंग लॉगवर आधारित डेटाचे दृश्य प्रतिनिधित्व कसे तयार करायचे ते दाखवायचे आहे.

समायोजन

हे स्पष्ट करण्यासाठी, मी ELK आणि Filebeat सह डॉकर प्रतिमा तयार केली. आणि एक लहान कंटेनर मध्ये ठेवले कार्यक्रम Go मध्ये, जे आमच्या उदाहरणासाठी चाचणी लॉग व्युत्पन्न करेल. मी ELK च्या कॉन्फिगरेशनचे तपशीलवार वर्णन करणार नाही, Habré वर त्याबद्दल पुरेसे लिहिले आहे.

कॉन्फिगरेशन रेपॉजिटरी क्लोन करा docker-compose आणि ELK सेटिंग्ज, आणि कमांडसह लॉन्च करा docker-compose up. जाणूनबुजून की जोडत नाही -dELK स्टॅकची प्रगती पाहण्यासाठी.

git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up

सर्वकाही योग्यरित्या कॉन्फिगर केले असल्यास, आम्हाला लॉगमध्ये एक एंट्री दिसेल (कदाचित लगेच नाही, संपूर्ण स्टॅकसह कंटेनर सुरू करण्याच्या प्रक्रियेस काही मिनिटे लागू शकतात):

{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}

पत्त्याने localhost:5061 किबाना उघडले पाहिजे.

आम्हाला फक्त एक गोष्ट कॉन्फिगर करायची आहे की कोणता डेटा प्रदर्शित करायचा याच्या माहितीसह किबानासाठी निर्देशांक नमुना तयार करणे. हे करण्यासाठी, आम्ही एक कर्ल विनंती कार्यान्वित करू किंवा ग्राफिकल इंटरफेसमध्ये क्रियांची मालिका करू.

$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
    -H 'Content-Type: application/json'
    -H 'kbn-xsrf: true'
    -d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'

GUI द्वारे इंडेक्स पॅटर्न तयार करणे
कॉन्फिगर करण्यासाठी, डाव्या मेनूमधील डिस्कव्हर विभाग निवडा आणि अनुक्रमणिका नमुना निर्मिती पृष्ठावर जा.

"इंडेक्स पॅटर्न तयार करा" बटणावर क्लिक करून, आम्ही इंडेक्स निर्मिती पृष्ठावर पोहोचतो. "इंडेक्स पॅटर्नचे नाव" फील्डमध्ये, "लॉगस्टॅश-*" प्रविष्ट करा. सर्वकाही योग्यरित्या कॉन्फिगर केले असल्यास, खाली Kibana नियमांतर्गत येणारे निर्देशांक दर्शवेल.

पुढील पृष्ठावर, टाइमस्टॅम्पसह की फील्ड निवडा, आमच्या बाबतीत ते आहे @timestamp.

हे अनुक्रमणिका सेटिंग्ज पृष्ठ आणेल, परंतु यावेळी आमच्याकडून कोणतीही पुढील कारवाई आवश्यक नाही.

आता आपण पुन्हा डिस्कव्हर विभागात जाऊ शकतो, जिथे आपल्याला लॉग एंट्री दिसतील.

डॅशबोर्ड

डाव्या मेनूमध्ये, डॅशबोर्ड निर्मिती विभागावर क्लिक करा आणि संबंधित पृष्ठावर जा.

"नवीन डॅशबोर्ड तयार करा" वर क्लिक करा आणि डॅशबोर्डवर ऑब्जेक्ट जोडण्यासाठी पृष्ठावर जा.

"नवीन तयार करा" बटणावर क्लिक करा आणि सिस्टम तुम्हाला डेटा डिस्प्लेचा प्रकार निवडण्यासाठी सूचित करेल. किबानामध्ये त्यांची संख्या मोठी आहे, परंतु आम्ही "व्हर्टिकल बार" आणि सारणीबद्ध "डेटा टेबल" चे ग्राफिकल प्रतिनिधित्व तयार करण्याकडे लक्ष देऊ. इतर प्रकारचे सादरीकरण अशाच प्रकारे कॉन्फिगर केले आहे. 

काही उपलब्ध वस्तूंना B आणि E असे लेबल दिले जाते, ज्याचा अर्थ असा आहे की स्वरूप प्रायोगिक किंवा बीटा चाचणीमध्ये आहे. कालांतराने, किबानाचे स्वरूप बदलू शकते किंवा पूर्णपणे अदृश्य होऊ शकते.

उभ्या बार

“व्हर्टिकल बार” उदाहरणासाठी, आमच्या सेवेच्या यशस्वी आणि अयशस्वी प्रतिसाद स्थितीच्या गुणोत्तराचा हिस्टोग्राम तयार करू या. सेटिंग्जच्या शेवटी, आम्हाला खालील आलेख मिळेल:

आम्ही सर्व विनंत्यांना प्रतिसाद स्थिती < 400 यशस्वी म्हणून आणि >= 400 समस्याप्रधान म्हणून वर्गीकृत करू.

"व्हर्टिकल बार" चार्ट तयार करण्यासाठी, आम्हाला डेटा स्रोत निवडण्याची आवश्यकता आहे. आम्ही आधी तयार केलेला इंडेक्स पॅटर्न निवडा.

डीफॉल्टनुसार, डेटा स्रोत निवडल्यानंतर एकच ठोस आलेख दिसेल. चला ते सेट करूया.

"बकेट्स" ब्लॉकमध्ये, "जोडा" बटण दाबा, "X-asis" निवडा आणि X अक्ष सेट करा. लॉगमधील नोंदींच्या पावतीसाठी टाइमस्टॅम्प बाजूला ठेवू. "एकत्रीकरण" फील्डमध्ये, "तारीख हिस्टोग्राम" निवडा आणि "फील्ड" मध्ये "@timestamp" निवडा, वेळ फील्ड दर्शवा. चला "किमान अंतराल" "ऑटो" स्थितीत सोडू, आणि ते आपोआप आमच्या डिस्प्लेमध्ये समायोजित होईल. 

"अपडेट" बटणावर क्लिक करून, आम्हाला दर 30 सेकंदांनी विनंत्यांची संख्या असलेला आलेख दिसेल.

आता Y-अक्षाच्या बाजूने स्तंभ सेट करू या. आता आपण निवडलेल्या वेळेच्या अंतरामध्ये एकूण विनंत्या दाखवत आहोत.

चला "एकत्रीकरण" मूल्य "सम बकेट" मध्ये बदलू, जे आम्हाला यशस्वी आणि अयशस्वी विनंत्यांसाठी डेटा एकत्र करण्यास अनुमती देईल. बकेट -> एकत्रीकरण ब्लॉकमध्ये, "फिल्टर्स" द्वारे एकत्रीकरण निवडा आणि "statusCode >= 400" नुसार फिल्टरिंग सेट करा. आणि "कस्टम लेबल" फील्डमध्ये, आम्ही चार्टवरील आख्यायिकेमध्ये आणि सामान्य सूचीमध्ये अधिक समजण्यायोग्य प्रदर्शनासाठी आमच्या निर्देशकाचे नाव सूचित करतो.

सेटिंग्ज ब्लॉक अंतर्गत "अपडेट" बटणावर क्लिक करून, आम्हाला समस्या विनंत्यांसह आलेख मिळेल.

आपण दंतकथेच्या पुढील वर्तुळावर क्लिक केल्यास, एक विंडो दिसेल ज्यामध्ये आपण स्तंभांचा रंग बदलू शकता.

आता चार्टमध्ये यशस्वी विनंत्यांचा डेटा जोडूया. "मेट्रिक्स" विभागात, "जोडा" बटणावर क्लिक करा आणि "Y-axis" निवडा.

तयार केलेल्या मेट्रिकमध्ये, आम्ही चुकीच्या विनंत्यांसाठी समान सेटिंग्ज करतो. फक्त फिल्टरमध्ये आम्ही "statusCode < 400" निर्दिष्ट करतो.

नवीन स्तंभाचा रंग बदलून, आम्हाला समस्याप्रधान आणि यशस्वी विनंत्यांच्या गुणोत्तराचे प्रदर्शन मिळते.

स्क्रीनच्या शीर्षस्थानी असलेल्या “सेव्ह” बटणावर क्लिक करून आणि नाव निर्दिष्ट करून, आपल्याला डॅशबोर्डवर पहिला चार्ट दिसेल.

डेटा टेबल

आता सारणी दृश्य "डेटा सारणी" विचारात घ्या. विनंती केलेल्या सर्व URL आणि त्या विनंत्यांची संख्या असलेली एक सारणी तयार करू. वर्टिकल बारच्या उदाहरणाप्रमाणे, आम्ही प्रथम डेटा स्रोत निवडतो.

त्यानंतर, स्क्रीनवर एका स्तंभासह एक सारणी प्रदर्शित केली जाईल, जी निवडलेल्या वेळेच्या अंतरासाठी एकूण विनंत्यांची संख्या दर्शवेल.

आम्ही फक्त "बकेट्स" ब्लॉक बदलू. "जोडा" बटणावर क्लिक करा आणि "पंक्ती विभाजित करा" निवडा.

"एकत्रीकरण" फील्डमध्ये, "अटी" निवडा. आणि "फील्ड" दिसलेल्या फील्डमध्ये "url.keyword" निवडा.

"कस्टम लेबल" फील्डमध्ये "Url" मूल्य निर्दिष्ट करून आणि "अपडेट" वर क्लिक करून, आम्हाला निवडलेल्या कालावधीसाठी प्रत्येक URL च्या विनंतीच्या संख्येसह इच्छित सारणी मिळेल.

स्क्रीनच्या शीर्षस्थानी, "जतन करा" बटणावर पुन्हा क्लिक करा आणि सारणीचे नाव निर्दिष्ट करा, उदाहरणार्थ Urls. चला डॅशबोर्डवर परत जाऊया आणि तयार केलेले दोन्ही दृश्य पाहू.

डॅशबोर्डसह कार्य करणे

डॅशबोर्ड तयार करताना, आम्ही डिस्प्ले ऑब्जेक्ट सेटिंग्जमध्ये फक्त मुख्य व्ह्यू पॅरामीटर्स सेट करतो. ऑब्जेक्टमधील फिल्टरसाठी डेटा निर्दिष्ट करण्यात काही अर्थ नाही, उदाहरणार्थ, “तारीख श्रेणी”, “वापरकर्त्याद्वारे फिल्टर करणे”, “विनंत्या देशानुसार फिल्टर करणे” इ. ऑब्जेक्ट्सच्या वर असलेल्या क्वेरी पॅनेलमध्ये इच्छित कालावधी निर्दिष्ट करणे किंवा आवश्यक फिल्टरिंग सेट करणे अधिक सोयीचे आहे.

या पॅनेलवर जोडलेले फिल्टर संपूर्ण डॅशबोर्डवर लागू केले जातील आणि सर्व डिस्प्ले ऑब्जेक्ट्स प्रत्यक्ष फिल्टर केलेल्या डेटानुसार पुन्हा तयार केले जातील.

निष्कर्ष

किबाना हे एक शक्तिशाली साधन आहे जे तुम्हाला कोणत्याही डेटाची सोयीस्कर पद्धतीने कल्पना करू देते. मी दोन मुख्य प्रकारच्या डिस्प्लेची सेटिंग दर्शविण्याचा प्रयत्न केला. परंतु इतर प्रकार समान प्रकारे कॉन्फिगर केले आहेत. आणि मी "पडद्यामागे" सोडलेल्या सेटिंग्जच्या विपुलतेमुळे तुम्हाला तुमच्या गरजा पूर्ण करण्यासाठी चार्ट अतिशय लवचिकपणे सानुकूलित करता येतील.

स्त्रोत: www.habr.com