Развој додатка за Графану: историја великих успеха

Здраво свима! Пре неколико месеци смо покренули наш нови пројекат отвореног кода у продукцију - Графана додатак за праћење кубернетеса, који смо назвали ДевОпсПродиги КубеГраф. Изворни код додатка је доступан на јавно спремиште на ГитХуб-у. И у овом чланку желимо да поделимо са вама причу о томе како смо креирали додатак, које алате смо користили и на које смо замке наишли током процеса развоја. Идемо!

Део 0 - уводни: како смо дошли до ове тачке?

Идеја да напишемо сопствени додатак за Графан дошла нам је сасвим случајно. Наша компанија прати веб пројекте различитих нивоа сложености више од 10 година. За то време стекли смо велику количину стручности, занимљивих случајева и искуства у коришћењу различитих система за праћење. И у једном тренутку смо се запитали: „Да ли постоји магични алат за надгледање Кубернетес-а, тако да, како кажу, „подеси и заборави“?“ Индустријски стандард за праћење к8с, наравно, одавно је Комбинација Прометеј + Графана. И као готова решења за овај стек, постоји велики скуп разних врста алата: прометхеус-оператор, сет кубернетес-микин контролних табли, графана-кубернетес-апп.

Додатак графана-кубернетес-апп се чинио најинтересантнијом опцијом за нас, али није подржан више од годину дана и, штавише, не може да ради са новим верзијама ноде-екпортер-а и кубе-стате-метрицс. И у неком тренутку смо одлучили: „Зар не бисмо требали сами да донесемо одлуку?“

Које смо идеје одлучили да имплементирамо у наш додатак:

• визуелизација „мапе апликација”: погодно представљање апликација у кластеру, груписаних по именским просторима, имплементацијама...;
• визуелизација веза као што је „примена - услуга (+портови)“.
• визуелизација дистрибуције кластер апликација по чворовима кластера.
• збирка метрика и информација из неколико извора: Прометхеус и к8с апи сервер.
• праћење и инфраструктурног дела (коришћење ЦПУ времена, меморије, дисковног подсистема, мреже) и логике апликације - подови здравственог стања, број доступних реплика, информације о пролазности тестова животности/спремности.

Део 1: Шта је „Графана додатак“?

Са техничке тачке гледишта, додатак за Графана је угаони контролер, који се чува у директоријуму података Графана (/вар/графана/плугинс/ /дист/модуле.јс) и може се учитати као СистемЈС модул. Такође у овом директоријуму треба да постоји датотека плугин.јсон која садржи све мета информације о вашем додатку: име, верзију, тип додатка, везе до спремишта/сајта/лиценце, зависности итд.

модул.тс

плугин.јсон

Као што можете видети на снимку екрана, навели смо плугин.типе = апп. Зато што додаци за Графану могу бити три типа:

табла: најчешћи тип додатка - то је панел за визуелизацију било које метрике, који се користи за прављење различитих контролних табли.
извор података: конектор прикључка за неки извор података (на пример, Прометхеус-датасоурце, ЦлицкХоусе-датасоурце, ЕластицСеарцх-датасоурце).
aplikacija: Додатак који вам омогућава да направите сопствену фронтенд апликацију унутар Графане, креирате сопствене хтмл странице и ручно приступите извору података за визуелизацију различитих података. Такође, додаци других типова (извор података, панел) и разне контролне табле се могу користити као зависности.

Пример зависности додатака са типе=апп.

Можете користити и ЈаваСцрипт и ТипеСцрипт као програмски језик (ми смо га изабрали). Припреме за хелло-ворлд додатке било које врсте које можете пронађите путем везе: ово спремиште садржи велики број почетних пакета (постоји чак и експериментални пример додатка у Реацт-у) са унапред инсталираним и конфигурисаним програмерима.

Део 2: припрема локалне средине

Да бисмо радили на додатку, природно нам је потребан кубернетес кластер са свим унапред инсталираним алатима: прометхеус, ноде-екпортер, кубе-стате-метрицс, графана. Окружење треба да се подеси брзо, лако и природно, а да би се обезбедило поновно учитавање, Графана директоријум података треба да се монтира директно са машине програмера.

Најпогоднији начин, по нашем мишљењу, да се локално ради са кубернетес-ом миникубе. Следећи корак је инсталирање комбинације Прометхеус + Графана помоћу прометхеус-оператора. ИН Овај чланак Детаљно је описан процес инсталирања прометхеус-оператора на миникубе. Да бисте омогућили постојаност, морате подесити параметар постојаност: истина у датотеци цхартс/графана/валуес.иамл, додајте своје ПВ и ПВЦ и наведите их у параметру персистенце.екистингЦлаим

Наша коначна скрипта за покретање миникубеа изгледа овако:

minikube start --kubernetes-version=v1.13.4 --memory=4096 --bootstrapper=kubeadm --extra-config=scheduler.address=0.0.0.0 --extra-config=controller-manager.address=0.0.0.0
minikube mount 
/home/sergeisporyshev/Projects/Grafana:/var/grafana --gid=472 --uid=472 --9p-version=9p2000.L

Део 3: стварни развој

Објектни модел

У припреми за имплементацију додатка, одлучили смо да опишемо све основне Кубернетес ентитете са којима ћемо радити у облику ТипеСцрипт класа: под, деплоимент, даемонсет, статефулсет, посао, цроњоб, сервице, ноде, намеспаце. Свака од ових класа наслеђује заједничку класу БасеМодел, која описује конструктор, деструктор, методе за ажурирање и промену видљивости. Свака од класа описује угнежђене односе са другим ентитетима, на пример, листу подова за ентитет примене типа.

import {Pod} from "./pod";
import {Service} from "./service";
import {BaseModel} from './traits/baseModel';

export class Deployment extends BaseModel{
   pods: Array<Pod>;
   services: Array<Service>;

   constructor(data: any){
       super(data);
       this.pods = [];
       this.services = [];
   }
}

Уз помоћ геттера и сеттера, можемо приказати или поставити метрику ентитета која нам је потребна у прикладном и читљивом облику. На пример, форматирани излаз цпу чворова који се могу доделити:

get cpuAllocatableFormatted(){
   let cpu = this.data.status.allocatable.cpu;
   if(cpu.indexOf('m') > -1){
       cpu = parseInt(cpu)/1000;
   }
   return cpu;
}

Stranice

Листа свих наших страница додатака је првобитно описана у нашем плуинг.јсон у одељку зависности:

У блоку за сваку страницу морамо навести НАЗИВ СТРАНИЦЕ (оно ће тада бити конвертовано у пуж помоћу којег ће овој страници бити приступачна); назив компоненте одговорне за рад ове странице (листа компоненти се извози у модуле.тс); означавајући улогу корисника за коју је рад са овом страницом доступан и подешавања навигације за бочну траку.

У компоненти одговорној за рад странице, морамо поставити темплатеУрл, проследујући тамо путању до хтмл датотеке са маркупом. Унутар контролера, кроз ињекцију зависности, можемо приступити до 2 важна угаона сервиса:

• бацкендСрв - сервис који обезбеђује интеракцију са Графана АПИ сервером;
• датасоурцеСрв – услуга која обезбеђује локалну интеракцију са свим изворима података инсталираним у вашој Графани (на пример, метода .гетАлл() – враћа листу свих инсталираних извора података; .гет( ) - враћа објекат инстанце одређеног извора података.

Део 4: извор података

Са Графанине тачке гледишта, извор података је потпуно исти додатак као и сви остали: има сопствену улазну тачку модуле.јс, постоји датотека са мета информацијама плугин.јсон. Када развијамо додатак са типом = апп, можемо да комуницирамо и са постојећим изворима података (на пример, прометхеус-датасоурце) и са нашим сопственим, које можемо да складиштимо директно у директоријум додатака (дист/датасоурце/*) или да инсталирамо као зависност. У нашем случају, извор података долази са кодом додатка. Такође је неопходно имати шаблон цонфиг.хтмл и контролер ЦонфигЦтрл, који ће се користити за страницу конфигурације инстанце извора података и контролер извора података, који имплементира логику вашег извора података.

У додатку КубеГраф, са становишта корисничког интерфејса, извор података је инстанца кубернетес кластера који имплементира следеће могућности (изворни код је доступан по ссылке):

• прикупљање података са к8с апи-сервера (добивање листе именских простора, распоређивања...)
• проки захтева за прометхеус-датасоурце (који је изабран у подешавањима додатка за сваки одређени кластер) и форматирање одговора за коришћење података и на статичним страницама и на контролним таблама.
• ажурирање података на статичним страницама додатака (са подешеном брзином освежавања).
• обрада упита за генерисање шаблона у графана-контролним таблама (метод метриФиндКуери())

• тест везе са коначним к8с кластером.

testDatasource(){
   let url = '/api/v1/namespaces';
   let _url = this.url;
   if(this.accessViaToken)
       _url += '/__proxy';
   _url += url;
   return this.backendSrv.datasourceRequest({
       url: _url,
       method: "GET",
       headers: {"Content-Type": 'application/json'}
   })
       .then(response => {
           if (response.status === 200) {
               return {status: "success", message: "Data source is OK", title: "Success"};
           }else{
               return {status: "error", message: "Data source is not OK", title: "Error"};
           }
       }, error => {
           return {status: "error", message: "Data source is not OK", title: "Error"};
       })
}

Посебна занимљива тачка, по нашем мишљењу, је имплементација механизма аутентификације и ауторизације за извор података. Обично, ван кутије, можемо да користимо уграђену компоненту Графана датасоурцеХттпСеттингс да конфигуришемо приступ коначном извору података. Користећи ову компоненту, можемо да конфигуришемо приступ извору хттп података тако што ћемо навести урл и основна подешавања за аутентификацију/ауторизацију: логин-пассворд или цлиент-церт/цлиент-кеи. Да бисмо применили могућност конфигурисања приступа коришћењем токена носиоца (де фацто стандард за к8с), морали смо да урадимо мало подешавање.

Да бисте решили овај проблем, можете користити уграђени Графана механизам „Плугин Роутес“ (више детаља на страна званичне документације). У подешавањима нашег извора података можемо декларисати скуп правила рутирања које ће обрадити графана проки сервер. На пример, за сваку појединачну крајњу тачку могуће је поставити заглавља или УРЛ-ове са могућношћу шаблонирања, за које се подаци могу преузети из поља јсонДата и сецуреЈсонДата (за чување лозинки или токена у шифрованом облику). У нашем примеру, упити попут /__проки/апи/в1/намеспацес ће бити прокси на урл обрасца
/апи/в8/намеспацес са заглављем Аутхоризатион: Беарер.

Наравно, за рад са к8с апи сервером потребан нам је корисник са приступом само за читање, манифесте за креирање које такође можете пронаћи у изворни код додатка.

Део 5: ослобађање

Једном када напишете сопствени Графана додатак, природно ћете желети да га учините јавно доступним. У Графани ово је библиотека додатака доступна овде графана.цом/графана/плугинс

Да би ваш додатак био доступан у званичној продавници, потребно је да направите ПР ово спремиштедодавањем оваквог садржаја у датотеку репо.јсон:

где је верзија верзија вашег додатка, урл је веза до спремишта, а урезивање је хеш урезивања за који ће бити доступна одређена верзија додатка.

А на излазу ћете видети дивну слику попут:

Подаци за њега ће аутоматски бити преузети из вашег Реадме.мд, Цхангелог.мд и датотеке плугин.јсон са описом додатка.

Део 6: уместо закључака

Нисмо престали да развијамо наш додатак након објављивања. И сада радимо на исправном праћењу коришћења ресурса чворова кластера, увођењу нових функција за побољшање корисничког искуства, а такође и на прикупљању велике количине повратних информација које су након инсталирања додатка добили и наши клијенти и људи на ГитХуб-у (ако одете ваш проблем или захтев за повлачење, бићу веома срећан :)

Надамо се да ће вам овај чланак помоћи да разумете тако диван алат као што је Графана и, можда, да напишете сопствени додатак.

Хвала!)

Извор: ввв.хабр.цом