Grafana को लागी एक प्लगइन को विकास: ठूलो शट को इतिहास

नमस्ते सबै! केही महिना अघि, हामीले उत्पादनमा हाम्रो नयाँ खुला स्रोत परियोजना सुरु गर्‍यौं - kubernetes निगरानीको लागि Grafana प्लगइन, जसलाई हामीले भनिन्छ। DevOpsProdigy KubeGraf। प्लगइन स्रोत कोड मा उपलब्ध छ GitHub मा सार्वजनिक भण्डार। र यस लेखमा हामी तपाइँसँग कसरी प्लगइन सिर्जना गर्यौं, हामीले कुन उपकरणहरू प्रयोग गर्यौं र विकास प्रक्रियाको क्रममा हामीले कस्ता समस्याहरू सामना गर्यौं भन्ने कथा साझा गर्न चाहन्छौं। जाऔं!

भाग 0 - परिचयात्मक: हामी कसरी यस बिन्दुमा पुग्यौं?

Grafan को लागी हाम्रो आफ्नै प्लगइन लेख्ने विचार संयोगवश हामीलाई आयो। हाम्रो कम्पनीले 10 वर्ष भन्दा बढी समय देखि जटिलता को विभिन्न स्तरहरु को वेब परियोजनाहरु को निगरानी गरिरहेको छ। यस समयमा, हामीले धेरै मात्रामा विशेषज्ञता, चाखलाग्दो केसहरू, र विभिन्न अनुगमन प्रणालीहरू प्रयोग गर्ने अनुभव सङ्कलन गरेका छौं। र केहि बिन्दुमा हामीले आफैलाई सोध्यौं: "के त्यहाँ Kubernetes को निगरानी गर्न को लागी एक जादुई उपकरण छ, ताकि तिनीहरू भन्छन्, "यसलाई सेट गर्नुहोस् र यसलाई बिर्सनुहोस्"?"। प्रोमेथियस + ग्राफाना संयोजन। र यस स्ट्याकको लागि तयार समाधानको रूपमा, त्यहाँ विभिन्न प्रकारका उपकरणहरूको ठूलो सेट छ: प्रोमेथियस-अपरेटर, kubernetes-mixin ड्यासबोर्डहरूको सेट, grafana-kubernetes-app।

grafana-kubernetes-app प्लगइन हाम्रो लागि सबैभन्दा चाखलाग्दो विकल्प जस्तो देखिन्थ्यो, तर यो एक वर्ष भन्दा बढीको लागि समर्थित छैन र, थप रूपमा, नोड-निर्यातकर्ता र kube-state-metrics को नयाँ संस्करणहरूसँग काम गर्न सक्दैन। र केही बिन्दुमा हामीले निर्णय गर्यौं: "के हामीले आफ्नै निर्णय लिनु हुँदैन?"

हामीले हाम्रो प्लगइनमा लागू गर्ने निर्णय गरेका विचारहरू:

• "एप्लिकेशन नक्सा" को दृश्यावलोकन: क्लस्टरमा अनुप्रयोगहरूको सुविधाजनक प्रस्तुति, नेमस्पेस, डिप्लोइमेन्टहरू द्वारा समूहबद्ध ...;
• "डिप्लोइमेन्ट - सेवा (+पोर्टहरू)" जस्ता जडानहरूको दृश्य।
• क्लस्टर नोडहरूमा क्लस्टर अनुप्रयोगहरूको वितरणको दृश्य।
• धेरै स्रोतहरुबाट मेट्रिक्स र जानकारी को संग्रह: Prometheus र k8s api सर्भर।
• दुवै पूर्वाधार भागको अनुगमन (CPU समय, मेमोरी, डिस्क सबसिस्टम, नेटवर्कको प्रयोग) र अनुप्रयोग तर्क - स्वास्थ्य स्थिति पोडहरू, उपलब्ध प्रतिकृतिहरूको संख्या, जीवन्तता/तयारी परीक्षणहरू पास गर्ने बारे जानकारी।

भाग 1: "Grafana प्लगइन" के हो?

प्राविधिक दृष्टिकोणबाट, Grafana को लागी प्लगइन एक कोणीय नियन्त्रक हो, जुन Grafana डाटा डाइरेक्टरीमा भण्डार गरिएको छ (/var/grafana/plugins/ /dist/module.js) र SystemJS मोड्युलको रूपमा लोड गर्न सकिन्छ। साथै यस डाइरेक्टरीमा तपाईंको प्लगइनको बारेमा सबै मेटा जानकारी समावेश गर्ने plugin.json फाइल हुनुपर्छ: नाम, संस्करण, प्लगइन प्रकार, रिपोजिटरी/साइट/लाइसेन्स, निर्भरताहरू, र यस्तै अन्य।

module.ts

plugin.json

तपाईले स्क्रिनसटमा देख्न सक्नुहुन्छ, हामीले plugin.type = app निर्दिष्ट गरेका छौं। किनभने Grafana का लागि प्लगइनहरू तीन प्रकारका हुन सक्छन्:

प्यानल: प्लगइनको सबैभन्दा सामान्य प्रकार - यो विभिन्न ड्यासबोर्डहरू निर्माण गर्न प्रयोग गरिने कुनै पनि मेट्रिक्सको कल्पना गर्ने प्यानल हो।
डाटा स्रोत: केही डाटा स्रोतमा प्लगइन कनेक्टर (उदाहरणका लागि, प्रोमेथियस-डेटा स्रोत, क्लिकहाउस-डेटा स्रोत, इलास्टिकसर्च-डेटा स्रोत)।
अनुप्रयोग: एउटा प्लगइन जसले तपाइँलाई Grafana भित्र तपाइँको आफ्नै फ्रन्टएन्ड एप्लिकेसन निर्माण गर्न, तपाइँको आफ्नै html पृष्ठहरू सिर्जना गर्न र विभिन्न डाटा कल्पना गर्नको लागि म्यानुअल रूपमा डाटा स्रोत पहुँच गर्न अनुमति दिन्छ। साथै, अन्य प्रकारका प्लगइनहरू (डेटा स्रोत, प्यानल) र विभिन्न ड्यासबोर्डहरू निर्भरताको रूपमा प्रयोग गर्न सकिन्छ।

टाइप=एपको साथ उदाहरण प्लगइन निर्भरता.

तपाइँ प्रोग्रामिङ भाषाको रूपमा JavaScript र TypeScript दुवै प्रयोग गर्न सक्नुहुन्छ (हामीले यसलाई रोजेका छौं)। तपाईंले गर्न सक्ने कुनै पनि प्रकारको हेलो-वर्ल्ड प्लगइनहरूको लागि तयारी लिङ्क फेला पार्नुहोस्: यस भण्डारमा पूर्व-स्थापित र कन्फिगर गरिएका निर्माणकर्ताहरूसँग ठूलो संख्यामा स्टार्टर-प्याकहरू छन् (त्यहाँ प्रतिक्रियामा प्लगइनको प्रयोगात्मक उदाहरण पनि छ)।

भाग 2: स्थानीय वातावरण तयार गर्दै

प्लगइनमा काम गर्न, हामीलाई स्वाभाविक रूपमा सबै पूर्व-स्थापित उपकरणहरू सहितको kubernetes क्लस्टर चाहिन्छ: prometheus, node-exporter, kube-state-metrics, grafana। वातावरण छिटो, सजिलै र स्वाभाविक रूपमा सेट अप गरिनुपर्छ, र हट-रिलोड सुनिश्चित गर्न, ग्राफना डाटा डाइरेक्टरी विकासकर्ताको मेसिनबाट सीधै माउन्ट गर्नुपर्छ।

हाम्रो विचारमा, kubernetes सँग स्थानीय रूपमा काम गर्ने सबैभन्दा सुविधाजनक तरिका हो minikube। अर्को चरण प्रोमिथियस-अपरेटर प्रयोग गरेर प्रोमिथियस + ग्राफाना संयोजन स्थापना गर्नु हो। IN यो लेख minikube मा prometheus-अपरेटर स्थापना गर्ने प्रक्रिया विस्तारमा वर्णन गरिएको छ। दृढता सक्षम गर्न, तपाईंले प्यारामिटर सेट गर्नुपर्छ दृढता: सत्य चार्ट/grafana/values.yaml फाइलमा, तपाईंको आफ्नै PV र PVC थप्नुहोस् र तिनीहरूलाई persistence.existingClaim प्यारामिटरमा निर्दिष्ट गर्नुहोस्।

हाम्रो अन्तिम minikube लन्च स्क्रिप्ट यस्तो देखिन्छ:

minikube start --kubernetes-version=v1.13.4 --memory=4096 --bootstrapper=kubeadm --extra-config=scheduler.address=0.0.0.0 --extra-config=controller-manager.address=0.0.0.0
minikube mount 
/home/sergeisporyshev/Projects/Grafana:/var/grafana --gid=472 --uid=472 --9p-version=9p2000.L

भाग 3: वास्तविक विकास

वस्तु मोडेल

प्लगइन लागू गर्ने तयारीमा, हामीले TypeScript वर्गहरूको रूपमा काम गर्ने सबै आधारभूत Kubernetes निकायहरू वर्णन गर्ने निर्णय गर्यौं: pod, deployment, daemonset, statefulset, job, cronjob, service, node, namespace। यी प्रत्येक वर्गहरू साझा आधार मोडेल वर्गबाट ​​प्राप्त हुन्छन्, जसले कन्स्ट्रक्टर, डिस्ट्रक्टर, दृश्यता अपडेट गर्ने र स्विच गर्ने तरिकाहरू वर्णन गर्दछ। प्रत्येक कक्षाले अन्य निकायहरूसँग नेस्टेड सम्बन्धहरू वर्णन गर्दछ, उदाहरणका लागि, प्रकारको डिप्लोइमेन्टको इकाईको लागि पोडहरूको सूची।

import {Pod} from "./pod";
import {Service} from "./service";
import {BaseModel} from './traits/baseModel';

export class Deployment extends BaseModel{
   pods: Array<Pod>;
   services: Array<Service>;

   constructor(data: any){
       super(data);
       this.pods = [];
       this.services = [];
   }
}

गेटर र सेटरहरूको मद्दतले, हामी एक सुविधाजनक र पढ्न योग्य फारममा हामीलाई आवश्यक इकाई मेट्रिक्स प्रदर्शन वा सेट गर्न सक्छौं। उदाहरण को लागी, आवंटित cpu नोडहरु को ढाँचा उत्पादन:

get cpuAllocatableFormatted(){
   let cpu = this.data.status.allocatable.cpu;
   if(cpu.indexOf('m') > -1){
       cpu = parseInt(cpu)/1000;
   }
   return cpu;
}

पृष्ठ

हाम्रा सबै प्लगइन पृष्ठहरूको सूची सुरुमा हाम्रो pluing.json मा निर्भरता खण्डमा वर्णन गरिएको छ:

प्रत्येक पृष्ठको लागि ब्लकमा हामीले पृष्ठ नाम संकेत गर्नुपर्छ (यसलाई त्यसपछि यो पृष्ठ पहुँचयोग्य हुने स्लगमा रूपान्तरण गरिनेछ); यस पृष्ठको सञ्चालनको लागि जिम्मेवार घटकको नाम (घटकहरूको सूची module.ts मा निर्यात गरिएको छ); यो पृष्ठमा उपलब्ध रहेको प्रयोगकर्ता भूमिका र साइडबारका लागि नेभिगेसन सेटिङहरू संकेत गर्दै।

पृष्ठको सञ्चालनको लागि जिम्मेवार कम्पोनेन्टमा, हामीले templateUrl सेट गर्नुपर्छ, त्यहाँ मार्कअपको साथ html फाइलको बाटो पास गर्दै। नियन्त्रक भित्र, निर्भरता इंजेक्शन मार्फत, हामी 2 महत्त्वपूर्ण कोणीय सेवाहरू पहुँच गर्न सक्छौं:

• backendSrv - Grafana API सर्भरसँग अन्तरक्रिया प्रदान गर्ने सेवा;
• datasourceSrv - एक सेवा जसले तपाइँको Grafana मा स्थापित सबै डेटा स्रोतहरु संग स्थानीय अन्तरक्रिया प्रदान गर्दछ (उदाहरण को लागी, .getAll() विधि - सबै स्थापित डेटा स्रोतहरु को एक सूची फर्काउँछ; .get( ) - एक विशिष्ट डेटा स्रोतको उदाहरण वस्तु फर्काउँछ।

भाग 4: डाटा स्रोत

Grafana को दृष्टिकोणबाट, डेटास्रोत अन्य सबै जस्तै ठ्याक्कै उस्तै प्लगइन हो: यसको आफ्नै प्रविष्टि बिन्दु module.js छ, त्यहाँ मेटा जानकारी plugin.json भएको फाइल छ। टाइप = एपको साथ प्लगइन विकास गर्दा, हामी दुबै अवस्थित डेटा स्रोतहरू (उदाहरणका लागि, प्रोमेथियस-डेटा स्रोत) र हाम्रो आफ्नैसँग अन्तरक्रिया गर्न सक्छौं, जुन हामी सिधै प्लगइन डाइरेक्टरी (dist/datasource/*) मा भण्डारण गर्न सक्छौं वा निर्भरताको रूपमा स्थापना गर्न सक्छौं। हाम्रो अवस्थामा, डाटा स्रोत प्लगइन कोडको साथ आउँछ। config.html टेम्प्लेट र ConfigCtrl नियन्त्रक हुनु पनि आवश्यक छ, जुन डेटा स्रोत उदाहरण कन्फिगरेसन पृष्ठ र डेटा स्रोत नियन्त्रकको लागि प्रयोग गरिनेछ, जसले तपाइँको डेटा स्रोतको तर्क लागू गर्दछ।

KubeGraf प्लगइनमा, प्रयोगकर्ता इन्टरफेसको दृष्टिकोणबाट, डेटास्रोत कुबर्नेट्स क्लस्टरको उदाहरण हो जसले निम्न क्षमताहरू लागू गर्दछ (स्रोत कोड उपलब्ध छ। लिङ्क):

• k8s एपीआई-सर्भरबाट डाटा सङ्कलन गर्दै (नेमस्पेस, डिप्लोइमेन्टहरूको सूची प्राप्त गर्दै...)
• prometheus-datasource मा प्रोक्सी अनुरोधहरू (जुन प्रत्येक विशिष्ट क्लस्टरको लागि प्लगइन सेटिङहरूमा चयन गरिएको छ) र स्थिर पृष्ठहरू र ड्यासबोर्डहरूमा डेटा प्रयोग गर्नका लागि प्रतिक्रियाहरू फर्म्याट गर्ने।
• स्थिर प्लगइन पृष्ठहरूमा डाटा अपडेट गर्दै (सेट रिफ्रेस दरको साथ)।
• grafana-ड्यासबोर्डहरू (metriFindQuery() विधि) मा टेम्प्लेट पाना उत्पन्न गर्न प्रश्नहरू प्रशोधन गर्दै

• अन्तिम k8s क्लस्टर संग जडान परीक्षण।

testDatasource(){
   let url = '/api/v1/namespaces';
   let _url = this.url;
   if(this.accessViaToken)
       _url += '/__proxy';
   _url += url;
   return this.backendSrv.datasourceRequest({
       url: _url,
       method: "GET",
       headers: {"Content-Type": 'application/json'}
   })
       .then(response => {
           if (response.status === 200) {
               return {status: "success", message: "Data source is OK", title: "Success"};
           }else{
               return {status: "error", message: "Data source is not OK", title: "Error"};
           }
       }, error => {
           return {status: "error", message: "Data source is not OK", title: "Error"};
       })
}

एउटा छुट्टै चाखलाग्दो बिन्दु, हाम्रो विचारमा, डाटा स्रोतको लागि प्रमाणीकरण र प्राधिकरण संयन्त्रको कार्यान्वयन हो। सामान्यतया, बाकसको बाहिर, हामी अन्तिम डेटा स्रोतमा पहुँच कन्फिगर गर्नको लागि निर्मित Grafana कम्पोनेन्ट datasourceHttpSettings प्रयोग गर्न सक्छौं। यो कम्पोनेन्ट प्रयोग गरेर, हामी url र आधारभूत प्रमाणीकरण/प्राधिकरण सेटिङहरू: login-password, वा client-cert/client-key निर्दिष्ट गरेर http डाटा स्रोतमा पहुँच कन्फिगर गर्न सक्छौं। बेयरर टोकन (k8s को लागि वास्तविक मानक) प्रयोग गरेर पहुँच कन्फिगर गर्ने क्षमता लागू गर्नको लागि, हामीले थोरै ट्वीकिंग गर्नुपर्‍यो।

यो समस्या समाधान गर्न, तपाइँ निर्मित Grafana "प्लगइन मार्ग" संयन्त्र प्रयोग गर्न सक्नुहुन्छ (थप विवरणहरू आधिकारिक कागजात पृष्ठ)। हाम्रो डेटास्रोतको सेटिङहरूमा, हामी राउटिंग नियमहरूको सेट घोषणा गर्न सक्छौं जुन ग्राफाना प्रोक्सी सर्भरद्वारा प्रशोधन गरिनेछ। उदाहरणका लागि, प्रत्येक व्यक्तिगत अन्तिम बिन्दुको लागि टेम्प्लेटिंगको सम्भावनाको साथ हेडर वा url सेट गर्न सम्भव छ, डेटा जसको लागि jsonData र safeJsonData क्षेत्रहरूबाट लिन सकिन्छ (इन्क्रिप्टेड फारममा पासवर्ड वा टोकनहरू भण्डारण गर्नका लागि)। हाम्रो उदाहरणमा, प्रश्नहरू जस्तै /__proxy/api/v1/namespaces फारमको url मा प्रोक्सी हुनेछ
प्राधिकरणको साथ /api/v8/namespaces: Bearer हेडर।

स्वाभाविक रूपमा, k8s एपीआई सर्भरसँग काम गर्न हामीलाई पढ्न मात्र पहुँच भएको प्रयोगकर्ता चाहिन्छ, सिर्जना गर्नका लागि प्रकट हुन्छ जुन तपाईंले पनि फेला पार्न सक्नुहुन्छ। प्लगइन स्रोत कोड.

भाग 5: रिलीज

एकचोटि तपाईंले आफ्नै Grafana प्लगइन लेख्नुभएपछि, तपाईं स्वाभाविक रूपमा यसलाई सार्वजनिक रूपमा उपलब्ध गराउन चाहनुहुन्छ। Grafana मा यो उपलब्ध प्लगइनहरूको पुस्तकालय हो grafana.com/grafana/plugins

तपाईंको प्लगइन आधिकारिक स्टोरमा उपलब्ध हुनको लागि, तपाईंले PR इन गर्न आवश्यक छ यो भण्डारrepo.json फाइलमा यस्तो सामग्री थपेर:

जहाँ संस्करण तपाईको प्लगइनको संस्करण हो, url भण्डारको लिङ्क हो, र कमिट भनेको कमिटको ह्यास हो जसको लागि प्लगइनको विशिष्ट संस्करण उपलब्ध हुनेछ।

र आउटपुटमा तपाईले एउटा अद्भुत तस्वीर देख्नुहुनेछ जस्तै:

यसको लागि डेटा स्वचालित रूपमा तपाइँको Readme.md, Changelog.md र प्लगइन विवरण सहितको plugin.json फाइलबाट लिइनेछ।

भाग 6: निष्कर्षको सट्टा

हामीले रिलीज पछि हाम्रो प्लगइन विकास गर्न रोकेनौं। र अब हामी क्लस्टर नोडहरूको स्रोतहरूको प्रयोगको सही रूपमा अनुगमन गर्ने, UX सुधार गर्न नयाँ सुविधाहरू प्रस्तुत गर्ने, र हाम्रा ग्राहकहरू र GitHub मा मानिसहरूबाट (यदि तपाईंले छोड्नुभयो भने) प्लगइन स्थापना गरेपछि प्राप्त प्रतिक्रियाको ठूलो मात्रामा र्याकिंगमा काम गरिरहेका छौं। तपाईंको मुद्दा वा पुल अनुरोध, म धेरै खुसी हुनेछु :)

हामी आशा गर्छौं कि यस लेखले तपाईंलाई Grafana जस्ता अद्भुत उपकरण बुझ्न मद्दत गर्नेछ र, सायद, आफ्नै प्लगइन लेख्नुहोस्।

धन्यवाद!)

स्रोत: www.habr.com