ग्राफानासाठी प्लगइनचा विकास: मोठ्या शॉट्सचा इतिहास

सर्वांना नमस्कार! काही महिन्यांपूर्वी, आम्ही आमचा नवीन मुक्त-स्रोत प्रकल्प उत्पादनात लाँच केला - कुबर्नेट्सच्या देखरेखीसाठी ग्राफाना प्लगइन, ज्याला आम्ही म्हणतो DevOpsProdigy KubeGraf. प्लगइन स्त्रोत कोड येथे उपलब्ध आहे GitHub वर सार्वजनिक भांडार. आणि या लेखात आम्ही प्लगइन कसे तयार केले, आम्ही कोणती साधने वापरली आणि विकास प्रक्रियेदरम्यान आम्हाला कोणत्या अडचणी आल्या याची कथा आम्ही तुमच्यासोबत शेअर करू इच्छितो. चल जाऊया!

भाग 0 - प्रास्ताविक: आम्ही या टप्प्यावर कसे पोहोचलो?

ग्राफनसाठी आमचे स्वतःचे प्लगइन लिहिण्याची कल्पना आम्हाला अपघाताने आली. आमची कंपनी 10 वर्षांहून अधिक काळ जटिलतेच्या विविध स्तरांच्या वेब प्रकल्पांचे निरीक्षण करत आहे. या वेळी, आम्ही विविध मॉनिटरिंग सिस्टम वापरण्याचा मोठ्या प्रमाणावर कौशल्य, मनोरंजक प्रकरणे आणि अनुभव जमा केला आहे. आणि काही क्षणी आम्ही स्वतःला विचारले: "कुबर्नेट्सचे निरीक्षण करण्यासाठी एखादे जादूचे साधन आहे का, जेणेकरुन ते म्हणतात, "सेट करा आणि विसरा"?".. k8 चे निरीक्षण करण्यासाठी उद्योग मानक, अर्थातच, बर्याच काळापासून आहे. प्रोमिथियस + ग्राफाना संयोजन. आणि या स्टॅकसाठी तयार उपाय म्हणून, विविध प्रकारच्या साधनांचा एक मोठा संच आहे: prometheus-operator, kubernetes-mixin dashboards चा संच, grafana-kubernetes-app.

grafana-kubernetes-app प्लगइन आमच्यासाठी सर्वात मनोरंजक पर्याय आहे असे वाटले, परंतु ते एका वर्षापेक्षा जास्त काळ समर्थित नाही आणि शिवाय, नोड-निर्यातकर्ता आणि kube-स्टेट-मेट्रिक्सच्या नवीन आवृत्त्यांसह कार्य करू शकत नाही. आणि कधीतरी आम्ही ठरवलं: “आपण स्वतःचा निर्णय घेऊ नये का?”

आम्ही आमच्या प्लगइनमध्ये कोणत्या कल्पना अंमलात आणण्याचा निर्णय घेतला:

• “अॅप्लिकेशन मॅप” चे व्हिज्युअलायझेशन: क्लस्टरमधील ऍप्लिकेशन्सचे सोयीस्कर सादरीकरण, नेमस्पेस, डिप्लॉयमेंट्स द्वारे गटबद्ध केलेले...;
• "डिप्लॉयमेंट - सर्व्हिस (+पोर्ट)" सारख्या कनेक्शनचे व्हिज्युअलायझेशन.
• क्लस्टर नोड्समध्ये क्लस्टर ऍप्लिकेशन्सच्या वितरणाचे व्हिज्युअलायझेशन.
• अनेक स्त्रोतांकडून मेट्रिक्स आणि माहितीचे संकलन: Prometheus आणि k8s api सर्व्हर.
• दोन्ही पायाभूत भागांचे निरीक्षण (CPU वेळ, मेमरी, डिस्क सबसिस्टम, नेटवर्कचा वापर) आणि ऍप्लिकेशन लॉजिक - हेल्थ-स्टेटस पॉड्स, उपलब्ध प्रतिकृतींची संख्या, जिवंतपणा/तयारी चाचणी उत्तीर्ण करण्याबद्दल माहिती.

भाग 1: "Grafana प्लगइन" म्हणजे काय?

तांत्रिक दृष्टिकोनातून, Grafana साठी प्लगइन एक कोनीय नियंत्रक आहे, जो Grafana डेटा निर्देशिकेत संग्रहित आहे (/var/grafana/plugins/ /dist/module.js) आणि सिस्टमजेएस मॉड्यूल म्हणून लोड केले जाऊ शकते. तसेच या निर्देशिकेत तुमच्या प्लगइनबद्दल सर्व मेटा माहिती असलेली plugin.json फाईल असावी: नाव, आवृत्ती, प्लगइन प्रकार, रेपॉजिटरी/साइट/परवाना, अवलंबित्व इत्यादींच्या लिंक्स.

module.ts

plugin.json

जसे आपण स्क्रीनशॉटमध्ये पाहू शकता, आम्ही plugin.type = app निर्दिष्ट केले आहे. कारण Grafana साठी प्लगइन तीन प्रकारचे असू शकतात:

पॅनल: प्लगइनचा सर्वात सामान्य प्रकार - हे विविध डॅशबोर्ड तयार करण्यासाठी वापरलेले कोणतेही मेट्रिक्स व्हिज्युअलायझ करण्यासाठी पॅनेल आहे.
माहितीचा स्रोत: काही डेटा स्रोताशी प्लगइन कनेक्टर (उदाहरणार्थ, Prometheus-datasource, ClickHouse-datasource, ElasticSearch-datasource).
अनुप्रयोग: एक प्लगइन जे तुम्हाला Grafana मध्ये तुमचा स्वतःचा फ्रंटएंड अॅप्लिकेशन तयार करण्यास, तुमची स्वतःची html पेज तयार करण्यास आणि विविध डेटाची कल्पना करण्यासाठी डेटास्रोत मॅन्युअली ऍक्सेस करण्यास अनुमती देते. तसेच, इतर प्रकारचे प्लगइन (डेटास्रोत, पॅनेल) आणि विविध डॅशबोर्ड अवलंबित्व म्हणून वापरले जाऊ शकतात.

type=app सह उदाहरण प्लगइन अवलंबित्व.

तुम्ही प्रोग्रामिंग भाषा म्हणून JavaScript आणि TypeScript दोन्ही वापरू शकता (आम्ही ते निवडले आहे). आपण करू शकता अशा कोणत्याही प्रकारच्या हॅलो-वर्ल्ड प्लगइनची तयारी लिंक शोधा: या रेपॉजिटरीमध्ये प्री-इंस्टॉल केलेल्या आणि कॉन्फिगर केलेल्या बिल्डर्ससह मोठ्या संख्येने स्टार्टर-पॅक आहेत (प्रतिक्रिया मध्ये प्लगइनचे प्रायोगिक उदाहरण देखील आहे).

भाग २: स्थानिक वातावरण तयार करणे

प्लगइनवर कार्य करण्यासाठी, आम्हाला नैसर्गिकरित्या सर्व पूर्वस्थापित साधनांसह kubernetes क्लस्टरची आवश्यकता आहे: prometheus, node-exporter, kube-state-metrics, grafana. वातावरण जलद, सहज आणि नैसर्गिकरित्या सेट केले जावे आणि हॉट-रीलोड सुनिश्चित करण्यासाठी, Grafana डेटा निर्देशिका थेट विकसकाच्या मशीनवरून माउंट केली जावी.

आमच्या मते, कुबर्नेट्ससह स्थानिक पातळीवर काम करण्याचा सर्वात सोयीस्कर मार्ग आहे minikube. पुढील पायरी म्हणजे प्रोमिथियस-ऑपरेटर वापरून प्रोमिथियस + ग्राफाना संयोजन स्थापित करणे. IN हा लेख मिनीक्युबवर प्रोमिथियस-ऑपरेटर स्थापित करण्याच्या प्रक्रियेचे तपशीलवार वर्णन केले आहे. दृढता सक्षम करण्यासाठी, आपण पॅरामीटर सेट करणे आवश्यक आहे दृढता: खरे चार्ट/grafana/values.yaml फाइलमध्ये, तुमचे स्वतःचे PV आणि PVC जोडा आणि त्यांना persistence.existingClaim पॅरामीटरमध्ये नमूद करा.

आमची अंतिम मिनीक्युब लॉन्च स्क्रिप्ट यासारखी दिसते:

minikube start --kubernetes-version=v1.13.4 --memory=4096 --bootstrapper=kubeadm --extra-config=scheduler.address=0.0.0.0 --extra-config=controller-manager.address=0.0.0.0
minikube mount 
/home/sergeisporyshev/Projects/Grafana:/var/grafana --gid=472 --uid=472 --9p-version=9p2000.L

भाग 3: वास्तविक विकास

ऑब्जेक्ट मॉडेल

प्लगइन लागू करण्याच्या तयारीत, आम्ही सर्व मूलभूत कुबर्नेट्स घटकांचे वर्णन करण्याचे ठरविले आहे ज्यांच्यासह आम्ही टाइपस्क्रिप्ट वर्गांच्या स्वरूपात कार्य करू: पॉड, डिप्लॉयमेंट, डेमॉनसेट, स्टेटफुलसेट, नोकरी, क्रॉनजॉब, सेवा, नोड, नेमस्पेस. यातील प्रत्येक वर्ग सामान्य बेसमॉडेल वर्गाकडून वारसा घेतो, जे कन्स्ट्रक्टर, डिस्ट्रक्टर, दृश्यमानता अपडेट आणि स्विच करण्याच्या पद्धतींचे वर्णन करते. प्रत्येक वर्ग इतर घटकांसह नेस्टेड नातेसंबंधांचे वर्णन करतो, उदाहरणार्थ, प्रकारच्या उपयोजनाच्या घटकासाठी पॉड्सची सूची.

import {Pod} from "./pod";
import {Service} from "./service";
import {BaseModel} from './traits/baseModel';

export class Deployment extends BaseModel{
   pods: Array<Pod>;
   services: Array<Service>;

   constructor(data: any){
       super(data);
       this.pods = [];
       this.services = [];
   }
}

गेटर्स आणि सेटर्सच्या मदतीने, आम्ही आम्हाला आवश्यक असलेले घटक मेट्रिक्स सोयीस्कर आणि वाचनीय स्वरूपात प्रदर्शित करू शकतो किंवा सेट करू शकतो. उदाहरणार्थ, वाटप करण्यायोग्य cpu नोड्सचे स्वरूपित आउटपुट:

get cpuAllocatableFormatted(){
   let cpu = this.data.status.allocatable.cpu;
   if(cpu.indexOf('m') > -1){
       cpu = parseInt(cpu)/1000;
   }
   return cpu;
}

पृष्ठे

आमच्या सर्व प्लगइन पृष्ठांची सूची सुरुवातीला आमच्या pluing.json मध्ये अवलंबित्व विभागामध्ये वर्णन केली आहे:

प्रत्येक पृष्ठाच्या ब्लॉकमध्ये आम्ही पृष्ठाचे नाव सूचित केले पाहिजे (ते नंतर एका स्लगमध्ये रूपांतरित केले जाईल ज्याद्वारे हे पृष्ठ प्रवेशयोग्य असेल); या पृष्ठाच्या ऑपरेशनसाठी जबाबदार असलेल्या घटकाचे नाव (घटकांची सूची module.ts वर निर्यात केली जाते); वापरकर्त्याची भूमिका सूचित करते ज्यासाठी या पृष्ठासह कार्य उपलब्ध आहे आणि साइडबारसाठी नेव्हिगेशन सेटिंग्ज.

पृष्ठाच्या ऑपरेशनसाठी जबाबदार असलेल्या घटकामध्ये, आम्ही templateUrl सेट करणे आवश्यक आहे, तेथे मार्कअपसह html फाईलचा मार्ग पास करणे आवश्यक आहे. कंट्रोलरच्या आत, अवलंबित्व इंजेक्शनद्वारे, आम्ही 2 महत्त्वाच्या कोनीय सेवांमध्ये प्रवेश करू शकतो:

• backendSrv - Grafana API सर्व्हरसह परस्परसंवाद प्रदान करणारी सेवा;
• datasourceSrv - एक सेवा जी तुमच्या Grafana मध्ये स्थापित केलेल्या सर्व डेटासोर्ससह स्थानिक परस्परसंवाद प्रदान करते (उदाहरणार्थ, .getAll() पद्धत - सर्व स्थापित डेटासोर्सची सूची परत करते; .get( ) - विशिष्‍ट डेटास्‍रोतचे इंस्‍टन्स ऑब्जेक्ट परत करते.

भाग 4: डेटा स्रोत

Grafana च्या दृष्टिकोनातून, डेटासोर्स हे इतर सर्व प्लगइन सारखेच आहे: त्याचे स्वतःचे एंट्री पॉईंट module.js आहे, मेटा माहिती plugin.json असलेली फाइल आहे. type = app सह प्लगइन विकसित करताना, आम्ही विद्यमान डेटास्रोत (उदाहरणार्थ, prometheus-datasource) आणि आमच्या स्वतःच्या दोन्हीशी संवाद साधू शकतो, जे आम्ही थेट प्लगइन निर्देशिकेत (dist/datasource/*) संचयित करू शकतो किंवा अवलंबित्व म्हणून स्थापित करू शकतो. आमच्या बाबतीत, डेटास्रोत प्लगइन कोडसह येतो. config.html टेम्प्लेट आणि ConfigCtrl कंट्रोलर असणे देखील आवश्यक आहे, ज्याचा वापर डेटासोर्स इन्स्टन्स कॉन्फिगरेशन पेज आणि डेटासोर्स कंट्रोलरसाठी केला जाईल, जो तुमच्या डेटासोर्सचे लॉजिक लागू करतो.

कुबेग्राफ प्लगइनमध्ये, वापरकर्ता इंटरफेसच्या दृष्टिकोनातून, डेटासोर्स हे कुबर्नेट्स क्लस्टरचे उदाहरण आहे जे खालील क्षमता लागू करते (स्रोत कोड उपलब्ध आहे दुवा):

• k8s api-server वरून डेटा गोळा करणे (नेमस्पेसेस, उपयोजनांची यादी मिळवणे...)
• prometheus-datasource ला प्रॉक्सी विनंत्या (जे प्रत्येक विशिष्ट क्लस्टरसाठी प्लगइन सेटिंग्जमध्ये निवडले जाते) आणि स्थिर पृष्ठांमध्ये आणि डॅशबोर्डमध्ये डेटा वापरण्यासाठी प्रतिसादांचे स्वरूपन.
• स्थिर प्लगइन पृष्ठांवर डेटा अद्यतनित करणे (सेट रिफ्रेश दरासह).
• ग्राफाना-डॅशबोर्ड्स (metriFindQuery() पद्धत) मध्ये टेम्पलेट शीट व्युत्पन्न करण्यासाठी क्वेरीवर प्रक्रिया करणे

• अंतिम k8s क्लस्टरसह कनेक्शन चाचणी.

testDatasource(){
   let url = '/api/v1/namespaces';
   let _url = this.url;
   if(this.accessViaToken)
       _url += '/__proxy';
   _url += url;
   return this.backendSrv.datasourceRequest({
       url: _url,
       method: "GET",
       headers: {"Content-Type": 'application/json'}
   })
       .then(response => {
           if (response.status === 200) {
               return {status: "success", message: "Data source is OK", title: "Success"};
           }else{
               return {status: "error", message: "Data source is not OK", title: "Error"};
           }
       }, error => {
           return {status: "error", message: "Data source is not OK", title: "Error"};
       })
}

एक वेगळा मनोरंजक मुद्दा, आमच्या मते, डेटासोर्ससाठी प्रमाणीकरण आणि अधिकृतता यंत्रणा लागू करणे. सामान्यतः, बॉक्सच्या बाहेर, आम्ही अंतिम डेटा स्त्रोताचा प्रवेश कॉन्फिगर करण्यासाठी अंगभूत Grafana घटक datasourceHttpSettings वापरू शकतो. या घटकाचा वापर करून, आम्ही url आणि मूलभूत प्रमाणीकरण/अधिकृतीकरण सेटिंग्ज: login-password, किंवा client-cert/client-key निर्दिष्ट करून http डेटा स्रोतावर प्रवेश कॉन्फिगर करू शकतो. बेअरर टोकन (k8s साठी डी फॅक्टो मानक) वापरून प्रवेश कॉन्फिगर करण्याची क्षमता कार्यान्वित करण्यासाठी, आम्हाला थोडे ट्वीकिंग करावे लागले.

या समस्येचे निराकरण करण्यासाठी, आपण अंगभूत ग्राफना "प्लगइन मार्ग" यंत्रणा वापरू शकता (अधिक तपशील येथे अधिकृत दस्तऐवजीकरण पृष्ठ). आमच्या डेटासोर्सच्या सेटिंग्जमध्ये, आम्ही राउटिंग नियमांचा संच घोषित करू शकतो ज्यावर ग्राफाना प्रॉक्सी सर्व्हरद्वारे प्रक्रिया केली जाईल. उदाहरणार्थ, प्रत्येक वैयक्तिक एंडपॉइंटसाठी टेम्प्लेटिंगच्या शक्यतेसह शीर्षलेख किंवा url सेट करणे शक्य आहे, ज्यासाठी डेटा jsonData आणि सुरक्षितJsonData फील्डमधून घेतला जाऊ शकतो (एनक्रिप्टेड स्वरूपात पासवर्ड किंवा टोकन संचयित करण्यासाठी). आमच्या उदाहरणात, सारखे प्रश्न /__proxy/api/v1/namespaces फॉर्मच्या url वर प्रॉक्सी केले जाईल
अधिकृततेसह /api/v8/namespaces: Bearer शीर्षलेख.

साहजिकच, k8s api सर्व्हरसह कार्य करण्यासाठी आम्हाला केवळ वाचनीय प्रवेश असलेल्या वापरकर्त्याची आवश्यकता आहे, जे तयार करण्यासाठी मॅनिफेस्ट आहे जे तुम्ही देखील शोधू शकता प्लगइन स्त्रोत कोड.

भाग 5: रिलीज

एकदा तुम्ही तुमचे स्वतःचे Grafana प्लगइन लिहिल्यानंतर, तुम्हाला ते सार्वजनिकरित्या उपलब्ध करून द्यायचे असेल. Grafana मध्ये ही प्लगइनची लायब्ररी येथे उपलब्ध आहे grafana.com/grafana/plugins

तुमचे प्लगइन अधिकृत स्टोअरवर उपलब्ध होण्यासाठी, तुम्हाला पीआर इन करणे आवश्यक आहे हे भांडारrepo.json फाइलमध्ये यासारखी सामग्री जोडून:

जेथे आवृत्ती ही तुमच्या प्लगइनची आवृत्ती आहे, url ही रेपॉजिटरीची लिंक आहे आणि कमिट हा कमिटचा हॅश आहे ज्यासाठी प्लगइनची विशिष्ट आवृत्ती उपलब्ध असेल.

आणि आउटपुटवर तुम्हाला एक अद्भुत चित्र दिसेल:

त्यासाठीचा डेटा तुमच्या Readme.md, Changelog.md आणि प्लगइन वर्णनासह plugin.json फाइलमधून आपोआप हस्तगत केला जाईल.

भाग 6: निष्कर्षांऐवजी

आम्ही प्रकाशनानंतर आमचे प्लगइन विकसित करणे थांबवले नाही. आणि आता आम्ही क्लस्टर नोड्सच्या संसाधनांच्या वापराचे योग्यरित्या परीक्षण करणे, UX सुधारण्यासाठी नवीन वैशिष्ट्ये सादर करणे आणि आमच्या क्लायंट आणि GitHub वरील लोकांकडून (जर तुम्ही सोडले तर) प्लगइन स्थापित केल्यानंतर मोठ्या प्रमाणात अभिप्राय प्राप्त करण्यावर काम करत आहोत. तुमची समस्या किंवा पुल विनंती, मला खूप आनंद होईल :)

आम्हाला आशा आहे की हा लेख तुम्हाला ग्राफना सारखे अद्भूत साधन समजण्यास मदत करेल आणि कदाचित, तुमचे स्वतःचे प्लगइन लिहा.

धन्यवाद!)

स्त्रोत: www.habr.com