Grafana plugina arendamine: kogemuste jagamine

Tere kõik! Mitme kuu eest käivitasime tootmisse meie uue avatud lähtekoodiga projekti — Grafana plugina, mis on mõeldud Kubernetes'e jälgimiseks ja mille nimeks saime DevOpsProdigy KubeGraf. Plugina lähtekood on saadaval avalikus GitHubi repos. Selles artiklis soovime jagada teiega lugu sellest, kuidas me plugina lõime, milliseid tööriistu kasutasime ja milliste takistustega arendamise käigus silmitsi seisisime. Alustame!

Osa 0 — sissejuhatus: kuidas me niimoodi siia jõudsime?

Idee kirjutada oma plugina Grafanale tuli meile täiesti juhuslikult. Meie ettevõte on juba üle 10 aasta tegelenud erineva keerukusega veebiprojektide monitooringuga. Selle aja jooksul oleme kogunud suure hulga teadmisi, huvitavaid näiteid ja kogemusi erinevate monitooringusüsteemide kasutamisel. Ja mingil hetkel küsisime endalt: "Kas on olemas maagiline tööriist Kubernetes'e monitooringuks, et, nagu öeldakse, 'pane ja unusta'"?.. K8s monitooringu standardiks on loomulikult ammu juba kombinatsioon Prometheus + Grafana. Ja antud tehnoloogiakomplekti jaoks on olemas suur hulk erinevaid lahendusi: prometheus-operator, kubernetes-mixin dashi komplekt, grafana-kubernetes-app.

Meie jaoks tundus kõige huvitavam variant olema plugina grafana-kubernetes-app, kuid seda ei toetata enam rohkem kui aasta ja lisaks ei suuda see töötada uute node-exporteri ja kube-state-metrics'e versioonidega. Ja mingil hetkel otsustasime: "Kas me ei peaks tegema oma lahenduse?"

Milliseid ideid otsustasime oma plugina ellu viia:

• rakenduste "rakenduse kaart": mugav rakenduste esitamine klassis, rühmitatuna namespace'i ja deployment'ite kaupa…;
• seoste visualiseerimine tüübis "deployment — teenus (+ports)".
• rakenduste jaotuse visualiseerimine klassi nod'ides.
• mõõdikute ja teabe kogumine mitmest allikast: Prometheus ja k8s api server.
• monitoring nii infrastruktuuri osana (kasutatud protsessori aega, mälu, diskiallikat, võrku) kui ka rakenduste loogika — pod'ide health-status, saadaval olevate replikate arv, teave liveness/readyness testide läbimise kohta.

Osa 1: Mis on "Grafana plugin"?

Tehnilisest vaatepunktist on Grafana plugin angular-kontroller, mis asub Grafana data-kaustas (/var/grafana/plugins/<your_plugin_name>/dist/module.js) ja saab laadida SystemJS-moodulina. Samuti peaks selles kaustas olema fail plugin.json, mis sisaldab kogu metaandmeid teie plugina kohta: nimi, versioon, plugina tüüp, lingid hoidla/veebi/ litsentsi, sõltuvused jne.

module.ts

plugin.json

Kuidas on pildil näha, oleme määranud plugin.type = app. Sest Grafana pluginad võivad olla kolme tüüpi:

paneel: kõige levinum pluginatüüp – esindab paneeli, mis visualiseerib teatud näitajaid, ja kasutatakse erinevate juhtpaneelide loomiseks.
andmeallikaks: andmeallika konnektoriplaan (nt Prometheus-datasource, ClickHouse-datasource, ElasticSearch-datasource).
app: plugin, mis võimaldab teil luua omaenda front-end rakenduse Grafana-s, luua oma HTML-lehti ja manuaalselt pöörduda andmeallika poole erinevate andmete visualiseerimiseks. Samuti võivad sõltuvustena kasutada teisi tüüpe pluginaid (datasource, panel) ja erinevaid juhtpaneele.

Pluginate sõltuvuste näidis tüübi = rakendus.

Programmeerimiskeelena saab kasutada nii JavaScripti kui ka TypeScripti (meie valik langes viimasele). Igasuguste pluginatüübi hello-world malli leiate lingilt: selles hoidlas on suur hulk starter-packe (seal on isegi eksperimentaalne Reacti plugin) eelinstallitud ja konfigureeritud ehitajatega.

Osa 2: kohaliku keskkonna ettevalmistamine

Pluginiga töötamiseks on meil loomulikult vaja kubernetes-klõster kõigi eelinstallitud tööriistadega: prometheus, node-exporter, kube-state-metrics, grafana. Keskkond peab olema kiiresti, lihtsalt ja mugavalt seadistatud ning hot-reloadi tagamiseks peab Grafana andmekaust olema otse arendaja masina külge monteeritud.

Meie arvates on mugavaim viis kohaliku töö tegemiseks kubernetesega minikube. Järgmise sammu käigus installime Prometheus + Grafana komplekti prometheus-operatori abil. selles artiklis Protsessi prometheus-operatori installimiseks minikubes on kirjeldatud üksikasjalikult. Püsivuse lubamiseks tuleb seadistada parameeter persistence: true failis charts/grafana/values.yaml, lisada oma PV ja PVC ning viidata neile parameetriga persistence.existingClaim.

Lõppkokkuvõttes näeb meie minikube'i käivitus skript välja selline:

minikube start --kubernetes-version=v1.13.4 --memory=4096 --bootstrapper=kubeadm --extra-config=scheduler.address=0.0.0.0 --extra-config=controller-manager.address=0.0.0.0
minikube mount 
/home/sergeisporyshev/Projects/Grafana:/var/grafana --gid=472 --uid=472 --9p-version=9p2000.L

Osa 3: arendustöö

Objekti mudel

Plugin'i rakendamiseks valmistudes otsustasime kirjeldada kõiki Kubernetes'i põhielemente, millega me töötame, TypeScript'i klasside kujul: pod, deployment, daemonset, statefulset, job, cronjob, service, node, namespace. Igaüks neist klassidest pärineb ühest baasklassist BaseModel, kus on kirjeldatud konstruktor, deconstructor, meetodid uuendamiseks ja nähtavuse muutmiseks. Igas klassis on kirjas loetelud, mis on seotud teiste elementidega, näiteks deployment'i tüüpi elemendi pod'ide nimekiri.

import {Pod} from "./pod";
import {Service} from "./service";
import {BaseModel} from './traits/baseModel';

export class Deployment extends BaseModel{
   pods: Array;
   services: Array;

   constructor(data: any){
       super(data);
       this.pods = [];
       this.services = [];
   }
}

Getter'ite ja setter'ite abil saame näidata või määrata vajalikud elemendi mõõdikud mugavas ja arusaadavas vormingus. Näiteks vormindatud väljund allocatable cpu nod'ile:

get cpuAllocatableFormatted(){
   let cpu = this.data.status.allocatable.cpu;
   if(cpu.indexOf('m') > -1){
       cpu = parseInt(cpu)/1000;
   }
   return cpu;
}

Lehed

Meie plugina kõigi lehtede loetelu on algselt kirjeldatud meie pluing.json-is sõltuvuste jaos:

Iga lehe jaotises peame näitama LEHE PEALKIRJA (see konverteeritakse hiljem slug'iks, mille kaudu see leht on saadaval); komponendi nimetuse, mis vastutab selle lehe toimimise eest (komponentide nimekiri eksporditakse module.ts); kasutaja rolli määramine, kellele see leht on saadaval ja külgriba navigeerimise seadistamine.

Lehe töötluse komponendis peame seadma templateUrl, edastades sinna html-faili tee, kus on märgistamine. Kontrolleris saame dependency injection'i kaudu ligipääsu kahele olulisele angular-teenusele:

• backendSrv — teenus, mis tagab suhtlemise grafana api-serveriga;
• datasourceSrv — teenus, mis tagab kohaliku suhtluse kõigi teie Grafanas installitud andmeallikatega (näiteks meetod .getAll() — tagastab kõigi installitud andmeallikate nimekirja; .get(<nаme>) — tagastab kindla andmeallika objekti-instantsse.

Osa 4: andmeallikas

Grafana vaatepunktist on andmeallikas täpselt samasugune plugin nagu kõik teised: sellel on oma sissejuhatus module.js, ning metainfo fail plugin.json. Rakenduse tüübi plugina arendamisel saame suhelda nii olemasolevate andmeallikatega (näiteks prometheus-datasource) kui ka meie enda andmeallikatega, mida saame hoida otse plugina kataloogis (dist/datasource/*) või installida sõltuvusena. Meie puhul tuleb andmeallikas koos plugina koodiga. Samuti on vajalik config.html malli olemasolu ja ConfigCtrl kontroller, mida kasutatakse andmeallika eksemplari konfigureerimise lehe jaoks ning andmeallika kontroller, mille sees toimub teie andmeallika toimimisloogika.

KubeGraf plugina puhul, kasutajaliidese vaatepunktist, on andmeallikas kubernetes klastrite eksemplar, millel on järgmised võimalused (allikakood on saadaval lingi kaudu):

• andmete hankimine k8s api-server'ist (namespace'ide, deployment'ide jne loetelu saamine…)
• proksimise päringud prometheus-datasource'is (mida valitakse plugina seadetes iga konkreetse rühma jaoks) ja vastuste vormindamine andmete kasutamiseks nii staatilistes lehtedes kui ka armatuurlaudades.
• andmete uuendamine plugina staatilistes lehtedes (kindlaksmääratud uuendamise ajaga).
• päringute töötlemine template-loendi koostamiseks grafana-dashboards'is (meetod .metriFindQuery())

• ühenduse testimine lõpliku k8s-rühma suhtes.

testDatasource(){
   let url = '/api/v1/namespaces';
   let _url = this.url;
   if(this.accessViaToken)
       _url += '/__proxy';
   _url += url;
   return this.backendSrv.datasourceRequest({
       url: _url,
       method: "GET",
       headers: {"Content-Type": 'application/json'}
   })
       .then(response => {
           if (response.status === 200) {
               return {status: "success", message: "Andmeallikas on OK", title: "Edulugu"};
           }else{
               return {status: "error", message: "Andmeallikas ei ole OK", title: "Viga"};
           }
       }, error => {
           return {status: "error", message: "Andmeallikas ei ole OK", title: "Viga"};
       })
}

Meie arvates on eriliselt huvitav punkt andmeallika autentimise ja autoriseerimise mehhanismi rakendamine. Tüüpiliselt saame andmeallika lõpp-punkti ligipääsu konfigureerimiseks kasutada Grafana sisseehitatud komponenti — datasourceHttpSettings. Selle komponendi abil saame seadistada ligipääsu http-andmeallikale, määrates url ja autentimise/autoriseerimise põhiseaded: kasutajanimi-parool või client-cert/client-key. Bearer-tunnuse (de facto standard k8s-i jaoks) abil ligipääsu seadistamine nõudis natuke „keemiat“.

Selle ülesande täitmiseks võime kasutada Grafana sisseehitatud mehhanismi „Plugin Routes“ (lisainfot leiate ametlikult dokumentatsioonilehelt). Andmeallika seadistustes saame deklareerida reeglite kogumi, mida töötleb Grafana proxy-server. Näiteks iga eraldi lõpp-punkti jaoks on võimalus määrata päiseid või url-e šabloonimise võimalusega, mille andmed võivad pärineda jsonData ja secureJsonData väljadest (paroolide või tokenite salvestamiseks krüpteeritud kujul). Meie näites sarnased päringud /__proxy/api/v1/namespaces proksitakse url vormis
/api/v1/namespaces, lisades Authorization: Bearer päise.

Muidugi on k8s api-serveriga suhtlemiseks vajalik kasutaja, kellel on ainult lugemisõigused; manifeste nende loomiseks leiate samuti plugin’i lähtekoodist..

Osa 5: väljaanne

Pärast oma plugina kirjutamist Grafa jaoks soovite loomulikult selle avatud juurdepääsu jaoks jagada. Grafanas on see pluginabiblioteek, mis on saadaval aadressil grafana.com/grafana/plugins.

Et teie plugin oleks ametlikus poes saadaval, peate tegema PR sellesse repositooriumi, lisades repo.json faili sisu järgmisel kujul:

kus version on teie plugin`i versioon, url on lingi allikas ja commit on hash, mille järgi on saadaval konkreetne versioon.

Ja välja tulevad uimastavad pildid nagu see:

Andmed selle jaoks hangitakse automaatselt teie Readme.md, Changelog.md ja plugin.json failist, kus on plugina kirjeldus.

Osa 6: järelduste asemel

Me ei ole pärast väljalaskmist meie pistikprogrammi arendamist lõpetanud. Töö käib praegu korrektse jälgimise kallal, et jälgida klastrite sõlmede ressursikasutust, uute funktsioonide rakendamiseks kasutajakogemuse parandamiseks ning lahendame suure hulga tagasisidet, mida oleme saanud pistikprogrammi installimise ajal nii meie klientidelt kui ka GitHubis esitatud küsimustest (kui jätate oma küsimuse või pull request'i, oleksin ma väga õnnelik 🙂 ).

Loodame, et see artikkel aitab teil tutvuda sellise toreda tööriistaga nagu Grafana ja võib-olla kirjutada oma pistikprogrammi.

Aitäh!)

Allikas: habr.com