ग्राफ़ाना प्लगइन विकसित करना: गलतियों का इतिहास

सभी को नमस्कार! कुछ महीने पहले हमने अपना नया ओपन-सोर्स प्रोजेक्ट प्रोडक्शन में लॉन्च किया था - कुबेरनेट्स की निगरानी के लिए एक ग्राफाना प्लगइन, जिसे हमने कहा DevOpsProdigy KubeGrafप्लगइन का स्रोत कोड यहां उपलब्ध है GitHub पर सार्वजनिक रिपॉजिटरी. और इस लेख में हम आपके साथ यह कहानी साझा करना चाहते हैं कि हमने प्लगइन कैसे बनाया, हमने कौन से उपकरण इस्तेमाल किए और विकास प्रक्रिया के दौरान हमें किन-किन मुश्किलों का सामना करना पड़ा। चलिए शुरू करते हैं!

भाग 0 - परिचय: हम यहां कैसे पहुंचे?

ग्राफाना के लिए अपना खुद का प्लगइन लिखने का विचार हमारे मन में संयोग से आया। हमारी कंपनी 10 से अधिक वर्षों से अलग-अलग जटिलता वाली वेब परियोजनाओं की निगरानी कर रही है। इस दौरान, हमने विभिन्न निगरानी प्रणालियों का उपयोग करके विशेषज्ञता, दिलचस्प मामलों और अनुभव का खजाना जमा किया है। और किसी बिंदु पर, हमने खुद से पूछा: "क्या कुबेरनेट्स की निगरानी के लिए कोई जादुई उपकरण है जिसे आप, जैसा कि वे कहते हैं, "सेट और भूल जाओ" कर सकते हैं?" स्वाभाविक रूप से, प्रोमेथियस + ग्राफाना बंडल लंबे समय से K8S की निगरानी के लिए उद्योग मानक रहा है। और इस स्टैक के लिए तैयार समाधान के रूप में, विभिन्न उपकरणों का एक बड़ा सेट है: प्रोमेथियस-ऑपरेटर, डैशबोर्ड का एक सेट कुबेरनेट्स-मिक्सिन, ग्राफाना-कुबेरनेट्स-ऐप।

हमारे लिए सबसे दिलचस्प विकल्प grafana-kubernetes-app प्लगइन लग रहा था, लेकिन इसे एक साल से ज़्यादा समय से सपोर्ट नहीं किया गया है और इसके अलावा, यह node-exporter और kube-state-metrics के नए वर्शन के साथ काम नहीं कर सकता है। और एक समय पर हमने तय किया: "क्यों न हम अपना खुद का समाधान बनाएँ?"

हमने अपने प्लगइन में कौन से विचार लागू करने का निर्णय लिया:

• "अनुप्रयोग मानचित्र" का दृश्य: क्लस्टर में अनुप्रयोगों का एक सुविधाजनक प्रतिनिधित्व, नामस्थान, परिनियोजन आदि द्वारा समूहीकृत;
• "तैनाती - सेवा (+ पोर्ट)" प्रकार के कनेक्शनों का दृश्यीकरण.
• क्लस्टर नोड्स में क्लस्टर अनुप्रयोगों के वितरण का दृश्यीकरण।
• कई स्रोतों से मेट्रिक्स और जानकारी एकत्रित करना: प्रोमेथियस और k8s एपीआई सर्वर।
• अवसंरचना भाग (प्रोसेसर समय, मेमोरी, डिस्क सबसिस्टम, नेटवर्क का उपयोग) और अनुप्रयोग तर्क - पॉड्स की स्वास्थ्य स्थिति, उपलब्ध प्रतिकृतियों की संख्या, सजीवता/तैयारी परीक्षणों के पारित होने की जानकारी, दोनों की निगरानी।

भाग 1: "ग्राफाना प्लगइन" क्या है?

तकनीकी रूप से, ग्राफाना प्लगइन एक कोणीय नियंत्रक है जो ग्राफाना की डेटा निर्देशिका में संग्रहीत होता है (/var/grafana/प्लगइन्स/ /dist/मॉड्यूल.js) और इसे SystemJS मॉड्यूल के रूप में लोड किया जा सकता है। साथ ही इस निर्देशिका में एक फ़ाइल plugin.json होनी चाहिए, जिसमें आपके प्लगइन के बारे में सभी मेटा जानकारी शामिल है: नाम, संस्करण, प्लगइन प्रकार, रिपॉजिटरी/साइट/लाइसेंस के लिंक, निर्भरताएँ, आदि।

मॉड्यूल.ts

प्लगइन.json

जैसा कि आप स्क्रीनशॉट में देख सकते हैं, हमने plugin.type = app निर्दिष्ट किया है। क्योंकि ग्राफाना के लिए प्लगइन तीन प्रकार के हो सकते हैं:

पैनलप्लगइन्स का सबसे सामान्य प्रकार - कुछ मेट्रिक्स को दृश्यमान करने के लिए एक पैनल है, जिसका उपयोग विभिन्न डैशबोर्ड बनाने के लिए किया जाता है।
डेटा स्रोत: कुछ डेटा स्रोत के लिए एक प्लगइन कनेक्टर (उदाहरण के लिए, प्रोमेथियस-डेटासोर्स, क्लिकहाउस-डेटासोर्स, इलास्टिकसर्च-डेटासोर्स)।
अनुप्रयोग: एक प्लगइन जो आपको ग्राफाना के अंदर अपना खुद का फ्रंटएंड एप्लिकेशन बनाने, अपने खुद के HTML पेज बनाने और विभिन्न डेटा को विज़ुअलाइज़ करने के लिए मैन्युअल रूप से डेटासोर्स तक पहुंचने की अनुमति देता है। अन्य प्रकार के प्लगइन्स (डेटासोर्स, पैनल) और विभिन्न डैशबोर्ड का उपयोग निर्भरता के रूप में भी किया जा सकता है।

प्रकार = ऐप के साथ प्लगइन निर्भरता का उदाहरण.

आप प्रोग्रामिंग भाषा के रूप में जावास्क्रिप्ट या टाइपस्क्रिप्ट का उपयोग कर सकते हैं (हमने इसे चुना है)। आप किसी भी प्रकार के हेलो-वर्ल्ड प्लगइन के लिए टेम्पलेट पा सकते हैं लिंक द्वारा खोजेंइस रिपॉजिटरी में बड़ी संख्या में स्टार्टर पैक्स हैं (यहां तक ​​कि रिएक्ट पर एक प्लगइन का प्रायोगिक उदाहरण भी है) जिनमें पूर्व-स्थापित और कॉन्फ़िगर किए गए बंडलर्स हैं।

भाग 2: स्थानीय वातावरण तैयार करना

प्लगइन पर काम करने के लिए, हमें स्वाभाविक रूप से सभी पूर्व-स्थापित उपकरणों के साथ एक कुबेरनेट्स क्लस्टर की आवश्यकता होगी: प्रोमेथियस, नोड-एक्सपोर्टर, क्यूब-स्टेट-मेट्रिक्स, ग्राफाना। वातावरण को जल्दी, आसानी से और सहजता से सेट किया जाना चाहिए, और हॉट-रीलोड सुनिश्चित करने के लिए, ग्राफाना डेटा निर्देशिका को डेवलपर की मशीन से सीधे माउंट किया जाना चाहिए।

हमारी राय में, कुबेरनेट्स के साथ स्थानीय रूप से काम करने का सबसे सुविधाजनक तरीका है मिनीक्यूबअगला चरण प्रोमेथियस-ऑपरेटर का उपयोग करके प्रोमेथियस + ग्राफाना बंडल को स्थापित करना है। यह लेख मिनीक्यूब पर प्रोमेथियस-ऑपरेटर स्थापित करने की प्रक्रिया का विस्तार से वर्णन किया गया है। दृढ़ता को सक्षम करने के लिए, आपको पैरामीटर सेट करना होगा दृढ़ता: सत्य charts/grafana/values.yaml फ़ाइल में, अपना स्वयं का PV और PVC जोड़ें और उन्हें persistence.existingClaim पैरामीटर में निर्दिष्ट करें

हमारी अंतिम मिनीक्यूब लॉन्च स्क्रिप्ट इस तरह दिखती है:

minikube start --kubernetes-version=v1.13.4 --memory=4096 --bootstrapper=kubeadm --extra-config=scheduler.address=0.0.0.0 --extra-config=controller-manager.address=0.0.0.0
minikube mount 
/home/sergeisporyshev/Projects/Grafana:/var/grafana --gid=472 --uid=472 --9p-version=9p2000.L

भाग 3: प्रत्यक्ष विकास

ऑब्जेक्ट मॉडल

प्लगइन कार्यान्वयन की तैयारी में, हमने उन सभी बुनियादी कुबेरनेट्स इकाइयों का वर्णन करने का निर्णय लिया, जिनके साथ हम टाइपस्क्रिप्ट क्लास के रूप में काम करेंगे: पॉड, परिनियोजन, डेमॉनसेट, स्टेटफुलसेट, जॉब, क्रोनजॉब, सर्विस, नोड, नेमस्पेस। इनमें से प्रत्येक क्लास को सामान्य बेसमॉडल क्लास से विरासत में मिला है, जो कंस्ट्रक्टर, डिस्ट्रक्टर, अपडेट करने और दृश्यता स्विच करने के तरीकों का वर्णन करता है। प्रत्येक क्लास अन्य इकाइयों के साथ नेस्टेड संबंधों का वर्णन करता है, उदाहरण के लिए, परिनियोजन प्रकार की इकाई के लिए पॉड्स की एक सूची।

import {Pod} from "./pod";
import {Service} from "./service";
import {BaseModel} from './traits/baseModel';

export class Deployment extends BaseModel{
   pods: Array<Pod>;
   services: Array<Service>;

   constructor(data: any){
       super(data);
       this.pods = [];
       this.services = [];
   }
}

गेटर्स और सेटर्स की मदद से हम अपनी ज़रूरत के एंटिटी मेट्रिक्स को सुविधाजनक और पठनीय रूप में आउटपुट या सेट कर सकते हैं। उदाहरण के लिए, आवंटन योग्य सीपीयू नोड्स का फ़ॉर्मेटेड आउटपुट:

get cpuAllocatableFormatted(){
   let cpu = this.data.status.allocatable.cpu;
   if(cpu.indexOf('m') > -1){
       cpu = parseInt(cpu)/1000;
   }
   return cpu;
}

पेज

हमारे प्लगइन के सभी पृष्ठों की सूची प्रारंभ में हमारे pluing.json में निर्भरता अनुभाग में वर्णित है:

प्रत्येक पृष्ठ के लिए ब्लॉक में हमें पृष्ठ का नाम (तब इसे एक स्लग में परिवर्तित कर दिया जाएगा जिसके द्वारा यह पृष्ठ पहुंच योग्य होगा) निर्दिष्ट करना होगा; इस पृष्ठ के संचालन के लिए जिम्मेदार घटक का नाम (घटकों की सूची module.ts में निर्यात की जाती है); उस उपयोगकर्ता की भूमिका का संकेत जिसके लिए इस पृष्ठ के साथ कार्य उपलब्ध है और साइडबार के लिए नेविगेशन सेटिंग्स।

पेज के लिए जिम्मेदार घटक में, हमें टेम्पलेटUrl सेट करना होगा, वहां मार्कअप के साथ HTML फ़ाइल का पथ पास करना होगा। नियंत्रक के अंदर, निर्भरता इंजेक्शन के माध्यम से, हम 2 महत्वपूर्ण कोणीय सेवाओं तक पहुंच प्राप्त कर सकते हैं:

• backendSrv एक सेवा है जो grafana api सर्वर के साथ बातचीत प्रदान करती है;
• datasourceSrv — एक सेवा जो आपके ग्राफाना में स्थापित सभी डेटा स्रोतों के साथ स्थानीय सहभागिता प्रदान करती है (उदाहरण के लिए, .getAll() विधि सभी स्थापित डेटा स्रोतों की सूची लौटाती है; .get( ) - किसी विशिष्ट डेटा स्रोत का इंस्टेंस ऑब्जेक्ट लौटाता है।

भाग 4: डेटा स्रोत

ग्राफाना के दृष्टिकोण से, डेटासोर्स बिल्कुल वैसा ही प्लगइन है जैसा कि अन्य सभी हैं: इसका अपना प्रवेश बिंदु मॉड्यूल.js है, मेटा जानकारी वाली एक फ़ाइल plugin.json है। टाइप = ऐप के साथ प्लगइन विकसित करते समय, हम मौजूदा डेटासोर्स (उदाहरण के लिए, प्रोमेथियस-डेटासोर्स) और अपने स्वयं के दोनों के साथ बातचीत कर सकते हैं, जिसे हम सीधे प्लगइन निर्देशिका (dist/datasource/*) में संग्रहीत कर सकते हैं या निर्भरता के रूप में स्थापित कर सकते हैं। हमारे मामले में, डेटासोर्स को प्लगइन कोड के साथ आपूर्ति की जाती है। इसके अलावा config.html टेम्पलेट और ConfigCtrl नियंत्रक की भी आवश्यकता होती है, जिसका उपयोग डेटासोर्स इंस्टेंस कॉन्फ़िगरेशन पेज और डेटासोर्स नियंत्रक के लिए किया जाएगा, जो आपके डेटासोर्स के तर्क को लागू करता है।

KubeGraf प्लगइन में, उपयोगकर्ता इंटरफ़ेस के दृष्टिकोण से, डेटा स्रोत एक कुबेरनेट्स क्लस्टर का एक उदाहरण है जो निम्नलिखित क्षमताओं को लागू करता है (स्रोत कोड उपलब्ध है по ссылке):

• k8s api-सर्वर से डेटा प्राप्त करना (नेमस्पेस, परिनियोजनों की सूची प्राप्त करना...)
• प्रोमेथियस-डेटासोर्स (जिसे प्रत्येक विशिष्ट क्लस्टर के लिए प्लगइन सेटिंग्स में चुना जाता है) के लिए प्रॉक्सी अनुरोध और स्टेटिक पृष्ठों और डैशबोर्ड दोनों में डेटा का उपयोग करने के लिए प्रतिक्रियाओं को प्रारूपित करना।
• प्लगइन के स्थैतिक पृष्ठों पर डेटा अद्यतन करना (निर्धारित ताज़ा दर समय के साथ)।
• grafana-dashboards में टेम्पलेट शीट बनाने के लिए क्वेरीज़ को संसाधित करना (विधि .metriFindQuery())

• अंतिम k8s क्लस्टर के साथ कनेक्शन का परीक्षण करें।

testDatasource(){
   let url = '/api/v1/namespaces';
   let _url = this.url;
   if(this.accessViaToken)
       _url += '/__proxy';
   _url += url;
   return this.backendSrv.datasourceRequest({
       url: _url,
       method: "GET",
       headers: {"Content-Type": 'application/json'}
   })
       .then(response => {
           if (response.status === 200) {
               return {status: "success", message: "Data source is OK", title: "Success"};
           }else{
               return {status: "error", message: "Data source is not OK", title: "Error"};
           }
       }, error => {
           return {status: "error", message: "Data source is not OK", title: "Error"};
       })
}

हमारी राय में, एक अलग दिलचस्प बिंदु डेटा स्रोत के लिए प्रमाणीकरण और प्राधिकरण तंत्र का कार्यान्वयन है। एक नियम के रूप में, बॉक्स से बाहर, अंतिम डेटा स्रोत तक पहुँच को कॉन्फ़िगर करने के लिए, हम अंतर्निहित ग्राफ़ाना घटक - डेटासोर्सएचटीपीसेटिंग्स का उपयोग कर सकते हैं। इस घटक के साथ, हम यूआरएल और बुनियादी प्रमाणीकरण/प्राधिकरण सेटिंग्स निर्दिष्ट करके http डेटा स्रोत तक पहुँच को कॉन्फ़िगर कर सकते हैं: लॉगिन-पासवर्ड, या क्लाइंट-सर्टिफिकेट/क्लाइंट-की। एक वाहक टोकन (k8s के लिए वास्तविक मानक) का उपयोग करके पहुँच को कॉन्फ़िगर करने की क्षमता को लागू करने के लिए, हमें थोड़ा "धोखा" देना पड़ा।

इस समस्या को हल करने के लिए, आप अंतर्निहित ग्राफाना तंत्र "प्लगइन रूट्स" का उपयोग कर सकते हैं (अधिक जानकारी के लिए आधिकारिक दस्तावेज़ पृष्ठ)। हमारे डेटासोर्स की सेटिंग में, हम रूटिंग नियमों का एक सेट घोषित कर सकते हैं जिसे ग्राफ़ाना प्रॉक्सी सर्वर द्वारा संसाधित किया जाएगा। उदाहरण के लिए, प्रत्येक व्यक्तिगत एंडपॉइंट के लिए, टेम्पलेट की क्षमता के साथ हेडर या यूआरएल सेट करने की क्षमता है, जिसके लिए डेटा jsonData और secureJsonData फ़ील्ड (एन्क्रिप्टेड फ़ॉर्म में पासवर्ड या टोकन संग्रहीत करने के लिए) से लिया जा सकता है। हमारे उदाहरण में, प्रकार के अनुरोध /__प्रॉक्सी/api/v1/नेमस्पेस फॉर्म के URL पर प्रॉक्सी किया जाएगा
/api/v8/namespaces को Authorization: Bearer हेडर सेट के साथ जोड़ें।

स्वाभाविक रूप से, k8s एपीआई सर्वर के साथ काम करने के लिए हमें केवल पढ़ने के लिए पहुँच वाले उपयोगकर्ता की आवश्यकता होती है, जिसके निर्माण के लिए मैनिफ़ेस्ट आप यहाँ भी पा सकते हैं प्लगइन स्रोत कोड.

भाग 5: रिहाई

एक बार जब आप अपना खुद का ग्राफाना प्लगइन लिख लेते हैं, तो आप स्वाभाविक रूप से इसे ओपन सोर्स बनाना चाहेंगे। ग्राफाना में, यह एक प्लगइन लाइब्रेरी है, जो यहाँ उपलब्ध है grafana.com/grafana/plugins

आपके प्लगइन को आधिकारिक स्टोर में उपलब्ध कराने के लिए, आपको एक पीआर बनाना होगा यह भंडार, repo.json फ़ाइल में इस तरह की सामग्री जोड़ना:

जहां version आपके प्लगइन का संस्करण है, url रिपोजिटरी का लिंक है, और commit उस कमिट का हैश है जो प्लगइन के विशिष्ट संस्करण को उपलब्ध कराएगा।

और बाहर निकलते समय आपको इस तरह की एक अद्भुत तस्वीर दिखाई देगी:

इसके लिए डेटा स्वचालित रूप से आपके Readme.md, Changelog.md और plugin.json फ़ाइल से प्लगइन विवरण के साथ प्राप्त हो जाएगा।

भाग 6: निष्कर्ष के बजाय

हमने रिलीज़ के बाद भी अपने प्लगइन को विकसित करना बंद नहीं किया है। और अब हम क्लस्टर नोड संसाधन उपयोग की सही निगरानी पर काम कर रहे हैं, UX को बेहतर बनाने के लिए नई सुविधाओं को लागू कर रहे हैं, और प्लगइन इंस्टॉलेशन के बाद हमारे क्लाइंट और GitHub पर अनुरोधों से प्राप्त बड़ी मात्रा में फीडबैक को भी सुलझा रहे हैं (यदि आप अपनी समस्या या पुल अनुरोध छोड़ते हैं, तो मुझे बहुत खुशी होगी 🙂 )।

हमें उम्मीद है कि यह लेख आपको ग्राफाना जैसे अद्भुत टूल को समझने में मदद करेगा और संभवतः आप अपना स्वयं का प्लगइन भी लिख सकेंगे।

धन्यवाद!)

स्रोत: www.habr.com