ग्राफाना के लिए एक प्लगइन का विकास: बड़े शॉट्स का इतिहास

नमस्ते! कुछ महीने पहले, हमने उत्पादन में अपना नया ओपन-सोर्स प्रोजेक्ट लॉन्च किया था - कुबेरनेट्स की निगरानी के लिए ग्राफाना प्लगइन, जिसे हमने कहा था DevOpsProdigy KubeGraf. प्लगइन स्रोत कोड यहां उपलब्ध है GitHub पर सार्वजनिक भंडार. और इस लेख में हम आपके साथ यह कहानी साझा करना चाहते हैं कि हमने प्लगइन कैसे बनाया, हमने कौन से टूल का उपयोग किया और विकास प्रक्रिया के दौरान हमें किन कठिनाइयों का सामना करना पड़ा। चल दर!

भाग 0 - परिचयात्मक: हम इस मुकाम तक कैसे पहुंचे?

ग्राफाना के लिए अपना स्वयं का प्लगइन लिखने का विचार हमारे मन में संयोग से आया। हमारी कंपनी 10 वर्षों से अधिक समय से जटिलता के विभिन्न स्तरों की वेब परियोजनाओं की निगरानी कर रही है। इस दौरान, हमने विभिन्न निगरानी प्रणालियों का उपयोग करने में बड़ी मात्रा में विशेषज्ञता, दिलचस्प मामले और अनुभव जमा किया है। और कुछ बिंदु पर हमने खुद से पूछा: "क्या कुबेरनेट्स की निगरानी के लिए कोई जादुई उपकरण है, ताकि, जैसा कि वे कहते हैं, "इसे सेट करें और भूल जाएं"?".. k8s की निगरानी के लिए उद्योग मानक, निश्चित रूप से, लंबे समय से रहा है प्रोमेथियस + ग्राफाना संयोजन। और इस स्टैक के लिए तैयार समाधान के रूप में, विभिन्न प्रकार के उपकरणों का एक बड़ा सेट है: प्रोमेथियस-ऑपरेटर, कुबेरनेट्स-मिक्सिन डैशबोर्ड का एक सेट, ग्राफाना-कुबेरनेट्स-ऐप।

ग्राफाना-कुबेरनेट्स-ऐप प्लगइन हमारे लिए सबसे दिलचस्प विकल्प प्रतीत होता है, लेकिन इसे एक वर्ष से अधिक समय से समर्थित नहीं किया गया है और इसके अलावा, यह नोड-एक्सपोर्टर और क्यूब-स्टेट-मेट्रिक्स के नए संस्करणों के साथ काम नहीं कर सकता है। और किसी बिंदु पर हमने निर्णय लिया: "क्या हमें अपना निर्णय स्वयं नहीं लेना चाहिए?"

हमने अपने प्लगइन में किन विचारों को लागू करने का निर्णय लिया:

• "एप्लिकेशन मैप" का विज़ुअलाइज़ेशन: क्लस्टर में अनुप्रयोगों की सुविधाजनक प्रस्तुति, नामस्थान, तैनाती द्वारा समूहीकृत...;
• "परिनियोजन - सेवा (+पोर्ट)" जैसे कनेक्शनों का विज़ुअलाइज़ेशन।
• क्लस्टर नोड्स में क्लस्टर अनुप्रयोगों के वितरण का दृश्य।
• कई स्रोतों से मेट्रिक्स और जानकारी का संग्रह: प्रोमेथियस और k8s एपीआई सर्वर।
• दोनों बुनियादी ढांचे के हिस्से (सीपीयू समय, मेमोरी, डिस्क सबसिस्टम, नेटवर्क का उपयोग) और एप्लिकेशन लॉजिक की निगरानी - पॉड्स की स्वास्थ्य स्थिति, उपलब्ध प्रतिकृतियों की संख्या, जीवंतता/तत्परता परीक्षण पास करने के बारे में जानकारी।

भाग 1: "ग्राफाना प्लगइन" क्या है?

तकनीकी दृष्टिकोण से, ग्राफाना के लिए प्लगइन एक कोणीय नियंत्रक है, जो ग्राफाना डेटा निर्देशिका में संग्रहीत है (/var/grafana/plugins//dist/module.js) और SystemJS मॉड्यूल के रूप में लोड किया जा सकता है। साथ ही इस निर्देशिका में एक प्लगइन.जेसन फ़ाइल होनी चाहिए जिसमें आपके प्लगइन के बारे में सभी मेटा जानकारी शामिल हो: नाम, संस्करण, प्लगइन प्रकार, रिपॉजिटरी/साइट/लाइसेंस के लिंक, निर्भरताएं, इत्यादि।

मॉड्यूल.ts

प्लगइन.json

जैसा कि आप स्क्रीनशॉट में देख सकते हैं, हमने प्लगइन.टाइप = ऐप निर्दिष्ट किया है। क्योंकि Grafana के लिए प्लगइन्स तीन प्रकार के हो सकते हैं:

पैनल: प्लगइन का सबसे सामान्य प्रकार - यह किसी भी मेट्रिक्स को विज़ुअलाइज़ करने के लिए एक पैनल है, जिसका उपयोग विभिन्न डैशबोर्ड बनाने के लिए किया जाता है।
डेटा स्रोत: कुछ डेटा स्रोत के लिए प्लगइन कनेक्टर (उदाहरण के लिए, प्रोमेथियस-डेटासोर्स, क्लिकहाउस-डेटासोर्स, इलास्टिकसर्च-डेटासोर्स)।
अनुप्रयोग: एक प्लगइन जो आपको ग्राफाना के अंदर अपना स्वयं का फ्रंटएंड एप्लिकेशन बनाने, अपने स्वयं के HTML पेज बनाने और विभिन्न डेटा को विज़ुअलाइज़ करने के लिए डेटास्रोत तक मैन्युअल रूप से पहुंचने की अनुमति देता है। इसके अलावा, अन्य प्रकार के प्लगइन्स (डेटास्रोत, पैनल) और विभिन्न डैशबोर्ड का उपयोग निर्भरता के रूप में किया जा सकता है।

टाइप=ऐप के साथ उदाहरण प्लगइन निर्भरताएँ.

आप प्रोग्रामिंग भाषा के रूप में जावास्क्रिप्ट और टाइपस्क्रिप्ट दोनों का उपयोग कर सकते हैं (हमने इसे चुना)। आप किसी भी प्रकार के हैलो-वर्ल्ड प्लगइन्स की तैयारी कर सकते हैं लिंक ढूंढें: इस रिपॉजिटरी में पहले से इंस्टॉल और कॉन्फ़िगर किए गए बिल्डरों के साथ बड़ी संख्या में स्टार्टर-पैक (रिएक्ट में प्लगइन का एक प्रयोगात्मक उदाहरण भी है) शामिल हैं।

भाग 2: स्थानीय वातावरण तैयार करना

प्लगइन पर काम करने के लिए, हमें स्वाभाविक रूप से सभी प्रीइंस्टॉल्ड टूल के साथ एक कुबेरनेट्स क्लस्टर की आवश्यकता होती है: प्रोमेथियस, नोड-एक्सपोर्टर, क्यूब-स्टेट-मेट्रिक्स, ग्राफाना। पर्यावरण को जल्दी, आसानी से और स्वाभाविक रूप से स्थापित किया जाना चाहिए, और हॉट-रीलोड सुनिश्चित करने के लिए, ग्राफाना डेटा निर्देशिका को सीधे डेवलपर की मशीन से माउंट किया जाना चाहिए।

हमारी राय में, कुबेरनेट्स के साथ स्थानीय स्तर पर काम करने का सबसे सुविधाजनक तरीका है मिनीक्यूब. अगला चरण प्रोमेथियस-ऑपरेटर का उपयोग करके प्रोमेथियस + ग्राफाना संयोजन स्थापित करना है। में यह लेख मिनीक्यूब पर प्रोमेथियस-ऑपरेटर स्थापित करने की प्रक्रिया का विस्तार से वर्णन किया गया है। दृढ़ता को सक्षम करने के लिए, आपको पैरामीटर सेट करना होगा दृढ़ता: सत्य Charts/grafana/values.yaml फ़ाइल में, अपना स्वयं का PV और पीवीसी जोड़ें और उन्हेंpersistence.currentClaim पैरामीटर में निर्दिष्ट करें

हमारी अंतिम मिनीक्यूब लॉन्च स्क्रिप्ट इस तरह दिखती है:

minikube start --kubernetes-version=v1.13.4 --memory=4096 --bootstrapper=kubeadm --extra-config=scheduler.address=0.0.0.0 --extra-config=controller-manager.address=0.0.0.0
minikube mount 
/home/sergeisporyshev/Projects/Grafana:/var/grafana --gid=472 --uid=472 --9p-version=9p2000.L

भाग 3: वास्तविक विकास

ऑब्जेक्ट मॉडल

प्लगइन को लागू करने की तैयारी में, हमने उन सभी बुनियादी कुबेरनेट्स इकाइयों का वर्णन करने का निर्णय लिया, जिनके साथ हम टाइपस्क्रिप्ट कक्षाओं के रूप में काम करेंगे: पॉड, परिनियोजन, डेमोनसेट, स्टेटफुलसेट, जॉब, क्रोनजॉब, सर्विस, नोड, नेमस्पेस। इनमें से प्रत्येक वर्ग सामान्य बेसमॉडल वर्ग से विरासत में मिला है, जो कंस्ट्रक्टर, डिस्ट्रक्टर, दृश्यता को अद्यतन करने और स्विच करने के तरीकों का वर्णन करता है। प्रत्येक वर्ग अन्य संस्थाओं के साथ नेस्टेड संबंधों का वर्णन करता है, उदाहरण के लिए, प्रकार की तैनाती की इकाई के लिए पॉड्स की एक सूची।

import {Pod} from "./pod";
import {Service} from "./service";
import {BaseModel} from './traits/baseModel';

export class Deployment extends BaseModel{
   pods: Array<Pod>;
   services: Array<Service>;

   constructor(data: any){
       super(data);
       this.pods = [];
       this.services = [];
   }
}

गेटर्स और सेटर्स की सहायता से, हम अपनी आवश्यक इकाई मेट्रिक्स को सुविधाजनक और पठनीय रूप में प्रदर्शित या सेट कर सकते हैं। उदाहरण के लिए, आवंटन योग्य सीपीयू नोड्स का स्वरूपित आउटपुट:

get cpuAllocatableFormatted(){
   let cpu = this.data.status.allocatable.cpu;
   if(cpu.indexOf('m') > -1){
       cpu = parseInt(cpu)/1000;
   }
   return cpu;
}

पेज

हमारे सभी प्लगइन पेजों की एक सूची प्रारंभ में निर्भरता अनुभाग में हमारे प्लुइंग.जेसन में वर्णित है:

प्रत्येक पृष्ठ के ब्लॉक में हमें पृष्ठ का नाम बताना होगा (फिर इसे एक स्लग में बदल दिया जाएगा जिसके द्वारा यह पृष्ठ पहुंच योग्य होगा); इस पृष्ठ के संचालन के लिए जिम्मेदार घटक का नाम (घटकों की सूची मॉड्यूल.ts पर निर्यात की जाती है); उपयोगकर्ता की भूमिका का संकेत जिसके लिए इस पृष्ठ के साथ काम उपलब्ध है और साइडबार के लिए नेविगेशन सेटिंग्स।

पृष्ठ के संचालन के लिए जिम्मेदार घटक में, हमें टेम्पलेट यूआरएल सेट करना होगा, वहां मार्कअप के साथ एचटीएमएल फ़ाइल का पथ पास करना होगा। नियंत्रक के अंदर, निर्भरता इंजेक्शन के माध्यम से, हम 2 महत्वपूर्ण कोणीय सेवाओं तक पहुंच सकते हैं:

• बैकएंडएसआरवी - एक सेवा जो ग्राफाना एपीआई सर्वर के साथ इंटरैक्शन प्रदान करती है;
• datasourceSrv एक ऐसी सेवा है जो आपके ग्राफाना में स्थापित सभी डेटा स्रोतों के साथ स्थानीय इंटरैक्शन प्रदान करती है (उदाहरण के लिए, .getAll() विधि - सभी स्थापित डेटा स्रोतों की एक सूची लौटाती है; .get() - एक विशिष्ट डेटा स्रोत का एक इंस्टेंस ऑब्जेक्ट लौटाता है .

भाग 4: डेटा स्रोत

ग्राफाना के दृष्टिकोण से, डेटासोर्स अन्य सभी प्लगइन के समान ही है: इसका अपना प्रवेश बिंदु मॉड्यूल.जेएस है, मेटा सूचना प्लगइन.जेसन के साथ एक फ़ाइल है। टाइप = ऐप के साथ एक प्लगइन विकसित करते समय, हम मौजूदा डेटा स्रोतों (उदाहरण के लिए, प्रोमेथियस-डेटा स्रोत) और अपने स्वयं के दोनों के साथ बातचीत कर सकते हैं, जिसे हम सीधे प्लगइन निर्देशिका (डिस्ट/डेटा स्रोत/*) में संग्रहीत कर सकते हैं या निर्भरता के रूप में स्थापित कर सकते हैं। हमारे मामले में, डेटास्रोत प्लगइन कोड के साथ आता है। एक config.html टेम्प्लेट और एक कॉन्फिगCtrl नियंत्रक का होना भी आवश्यक है, जिसका उपयोग डेटास्रोत इंस्टेंस कॉन्फ़िगरेशन पृष्ठ और डेटास्रोत नियंत्रक के लिए किया जाएगा, जो आपके डेटास्रोत के ऑपरेटिंग लॉजिक को लागू करता है।

KubeGraf प्लगइन में, उपयोगकर्ता इंटरफ़ेस के दृष्टिकोण से, डेटास्रोत Kubernetes क्लस्टर का एक उदाहरण है जो निम्नलिखित क्षमताओं को लागू करता है (स्रोत कोड उपलब्ध है) по ссылке):

• K8s एपीआई-सर्वर से डेटा एकत्र करना (नामस्थानों, परिनियोजनों की सूची प्राप्त करना...)
• प्रोमेथियस-डेटासोर्स के लिए प्रॉक्सी अनुरोध (जो प्रत्येक विशिष्ट क्लस्टर के लिए प्लगइन सेटिंग्स में चुना गया है) और स्थिर पृष्ठों और डैशबोर्ड दोनों में डेटा का उपयोग करने के लिए प्रतिक्रियाओं को स्वरूपित करना।
• स्थिर प्लगइन पृष्ठों पर डेटा अपडेट करना (एक निर्धारित ताज़ा दर के साथ)।
• ग्राफाना-डैशबोर्ड (metriFindQuery() विधि) में एक टेम्पलेट शीट तैयार करने के लिए प्रश्नों को संसाधित करना

• अंतिम k8s क्लस्टर के साथ कनेक्शन परीक्षण।

testDatasource(){
   let url = '/api/v1/namespaces';
   let _url = this.url;
   if(this.accessViaToken)
       _url += '/__proxy';
   _url += url;
   return this.backendSrv.datasourceRequest({
       url: _url,
       method: "GET",
       headers: {"Content-Type": 'application/json'}
   })
       .then(response => {
           if (response.status === 200) {
               return {status: "success", message: "Data source is OK", title: "Success"};
           }else{
               return {status: "error", message: "Data source is not OK", title: "Error"};
           }
       }, error => {
           return {status: "error", message: "Data source is not OK", title: "Error"};
       })
}

हमारी राय में, एक अलग दिलचस्प बिंदु डेटास्रोत के लिए प्रमाणीकरण और प्राधिकरण तंत्र का कार्यान्वयन है। आमतौर पर, बॉक्स से बाहर, हम अंतिम डेटा स्रोत तक पहुंच को कॉन्फ़िगर करने के लिए अंतर्निहित ग्राफाना घटक डेटासोर्सHttpSettings का उपयोग कर सकते हैं। इस घटक का उपयोग करके, हम यूआरएल और बुनियादी प्रमाणीकरण/प्राधिकरण सेटिंग्स: लॉगिन-पासवर्ड, या क्लाइंट-सर्टिफिकेट/क्लाइंट-कुंजी निर्दिष्ट करके http डेटा स्रोत तक पहुंच कॉन्फ़िगर कर सकते हैं। बियरर टोकन (k8s के लिए वास्तविक मानक) का उपयोग करके पहुंच को कॉन्फ़िगर करने की क्षमता को लागू करने के लिए, हमें थोड़ा बदलाव करना पड़ा।

इस समस्या को हल करने के लिए, आप अंतर्निहित ग्राफाना "प्लगइन रूट्स" तंत्र का उपयोग कर सकते हैं (अधिक विवरण यहां देखें)। आधिकारिक दस्तावेज़ीकरण पृष्ठ). हमारे डेटास्रोत की सेटिंग में, हम रूटिंग नियमों का एक सेट घोषित कर सकते हैं जिसे ग्राफाना प्रॉक्सी सर्वर द्वारा संसाधित किया जाएगा। उदाहरण के लिए, प्रत्येक व्यक्तिगत एंडपॉइंट के लिए टेम्प्लेटिंग की संभावना के साथ हेडर या यूआरएल सेट करने की संभावना है, जिसके लिए डेटा jsonData और सुरक्षितJsonData फ़ील्ड से लिया जा सकता है (एन्क्रिप्टेड फॉर्म में पासवर्ड या टोकन संग्रहीत करने के लिए)। हमारे उदाहरण में, जैसे प्रश्न /__प्रॉक्सी/एपीआई/वी1/नेमस्पेसेस फॉर्म के यूआरएल पर प्रॉक्सी किया जाएगा
/api/v8/namespaces प्राधिकरण के साथ: बियरर हेडर।

स्वाभाविक रूप से, k8s एपीआई सर्वर के साथ काम करने के लिए हमें केवल पढ़ने योग्य पहुंच वाले उपयोगकर्ता की आवश्यकता होती है, जिसे बनाने के लिए मैनिफ़ेस्ट आप यहां भी पा सकते हैं प्लगइन स्रोत कोड.

भाग 5: रिहाई

एक बार जब आप अपना स्वयं का ग्राफाना प्लगइन लिख लेते हैं, तो आप स्वाभाविक रूप से इसे सार्वजनिक रूप से उपलब्ध कराना चाहेंगे। ग्राफाना में यह यहां उपलब्ध प्लगइन्स की एक लाइब्रेरी है Grafana.com/grafana/plugins

आपके प्लगइन को आधिकारिक स्टोर पर उपलब्ध कराने के लिए, आपको एक पीआर बनाना होगा यह भंडाररेपो.जेसन फ़ाइल में इस तरह की सामग्री जोड़कर:

जहां संस्करण आपके प्लगइन का संस्करण है, यूआरएल रिपॉजिटरी का एक लिंक है, और कमिट कमिट का हैश है जिसके लिए प्लगइन का एक विशिष्ट संस्करण उपलब्ध होगा।

और आउटपुट पर आपको एक अद्भुत तस्वीर दिखाई देगी जैसे:

इसके लिए डेटा आपके Readme.md, Changelog.md और प्लगइन विवरण के साथ प्लगइन.json फ़ाइल से स्वचालित रूप से लिया जाएगा।

भाग 6: निष्कर्ष के बजाय

रिलीज़ के बाद हमने अपना प्लगइन विकसित करना बंद नहीं किया। और अब हम क्लस्टर नोड्स के संसाधनों के उपयोग की सही ढंग से निगरानी करने, यूएक्स को बेहतर बनाने के लिए नई सुविधाओं को पेश करने, और हमारे ग्राहकों और GitHub पर लोगों (यदि आप छोड़ते हैं) दोनों से प्लगइन स्थापित करने के बाद बड़ी मात्रा में फीडबैक प्राप्त करने पर काम कर रहे हैं। आपकी समस्या या पुल अनुरोध, मुझे बहुत खुशी होगी :)

हमें उम्मीद है कि यह लेख आपको ग्राफाना जैसे अद्भुत टूल को समझने और, शायद, अपना खुद का प्लगइन लिखने में मदद करेगा।

धन्यवाद!)

स्रोत: www.habr.com