Ħolqien ta 'Dashboard f'Kibana biex Tissorvelja Zkuk

Hello, jien jisimni Eugene, jien mexxej ta' tim B2B f'Citymobil. Wieħed mill-kompiti tat-tim tagħna huwa li jappoġġa l-integrazzjoni għall-ordni ta 'taxi mingħand l-imsieħba, u sabiex niżguraw servizz stabbli, irridu dejjem nifhmu x'qed jiġri fil-mikroservizzi tagħna. U għal dan għandek bżonn tissorvelja kontinwament iż-zkuk.

F'Citymobil, nużaw il-munzell ELK (ElasticSearch, Logstash, Kibana) biex naħdmu bi zkuk, u l-ammont ta 'dejta li ġejja hemm huwa enormi. Is-sejba ta 'problemi f'din il-massa ta' talbiet li jistgħu jidhru wara l-iskjerament ta 'kodiċi ġdid huwa pjuttost diffiċli. U għall-identifikazzjoni viżwali tagħhom, Kibana għandha sezzjoni Dashboard.

Hemm pjuttost ftit artikoli dwar Habré b'eżempji ta 'kif twaqqaf munzell ELK biex tirċievi u taħżen data, iżda m'hemm l-ebda materjali rilevanti dwar il-ħolqien ta' Dashboard. Għalhekk, irrid nuri kif toħloq rappreżentazzjoni viżwali tad-dejta bbażata fuq zkuk deħlin f'Kibana.

aġġustament

Biex tagħmilha aktar ċara, ħloqt immaġni Docker b'ELK u Filebeat. U mqiegħda f'kontenitur żgħir il-programm f'Go, li għall-eżempju tagħna se jiġġenera zkuk tat-test. Mhux se niddeskrivi fid-dettall il-konfigurazzjoni ta 'ELK, hemm biżżejjed miktub dwarha fuq Habré.

Ikklonja r-repożitorju tal-konfigurazzjoni docker-compose u settings ELK, u tniedi bil-kmand docker-compose up. Intenzjonalment ma żżidx ċavetta -dbiex tara l-progress tal-munzell ELK.

git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up

Jekk kollox huwa kkonfigurat b'mod korrett, allura naraw dħul fir-zkuk (forsi mhux immedjatament, il-proċess tal-bidu ta 'kontenitur bil-munzell kollu jista' jieħu diversi minuti):

{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}

Mill-indirizz localhost:5061 Kibana għandha tiftaħ.

L-unika ħaġa li rridu nikkonfiguraw hija li noħolqu Mudell ta 'Indiċi għal Kibana b'informazzjoni dwar liema data għandha turi. Biex tagħmel dan, aħna se tesegwixxi talba curl jew inwettqu serje ta 'azzjonijiet fl-interface grafika.

$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
    -H 'Content-Type: application/json'
    -H 'kbn-xsrf: true'
    -d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'

Ħolqien ta' Mudell ta' Indiċi permezz tal-GUI
Biex tikkonfigura, agħżel is-sezzjoni Skopri fil-menu tax-xellug, u waslet għall-paġna tal-ħolqien tal-mudell tal-Indiċi.

Billi tikklikkja fuq il-buttuna "Oħloq mudell tal-indiċi", naslu għall-paġna tal-ħolqien tal-indiċi. Fil-qasam "Isem tal-mudell tal-indiċi", daħħal "logstash-*". Jekk kollox huwa kkonfigurat b'mod korrett, taħt Kibana se juri l-indiċi li jaqgħu taħt ir-regola.

Fil-paġna li jmiss, agħżel il-qasam ewlieni b'timestamp, fil-każ tagħna huwa @timestamp.

Dan se jqajjem il-paġna tas-settings tal-indiċi, iżda l-ebda azzjoni oħra mhi meħtieġa minna f'dan il-ħin.

Issa nistgħu nerġgħu mmorru fit-taqsima Skopri, fejn se naraw l-entrati tal-log.

dashboard

Fil-menu tax-xellug, ikklikkja fuq it-taqsima tal-ħolqien tad-Dashboard u wasal għall-paġna korrispondenti.

Ikklikkja fuq "Oħloq dashboard ġdid" u waslet għall-paġna biex iżżid oġġetti mad-Dashboard.

Ikklikkja fuq il-buttuna "Oħloq ġdid", u s-sistema se tħeġġeġ biex tagħżel it-tip ta 'wiri tad-data. Kibana għandu numru kbir minnhom, iżda se nħarsu lejn il-ħolqien ta 'rappreżentazzjoni grafika tal-"Bar Vertikali" u tabulari "Tabella tad-Data". Tipi oħra ta 'preżentazzjoni huma kkonfigurati b'mod simili. 

Xi oġġetti disponibbli huma ttikkettjati B u E, li jfisser li l-format huwa sperimentali jew fl-ittestjar beta. Maż-żmien, il-format jista 'jinbidel jew jisparixxi kompletament minn Kibana.

Bar Vertikali

Għall-eżempju tal-"Bar Vertikali", ejja noħolqu istogramma tal-proporzjon ta 'status ta' rispons ta 'suċċess u mhux ta' suċċess tas-servizz tagħna. Fl-aħħar tas-settings, irridu l-graff li ġej:

Aħna se nikklassifikaw it-talbiet kollha bi status ta' rispons < 400 bħala suċċess, u >= 400 bħala problematiċi.

Biex toħloq chart "Bar Vertikali", għandna bżonn nagħżlu sors tad-dejta. Agħżel il-Mudell tal-Indiċi li ħloqna qabel.

B'mod awtomatiku, se tidher grafika solida waħda wara li tagħżel sors tad-dejta. Ejja nwaqqfuha.

Fil-blokka "Bramel", agħfas il-buttuna "Żid", agħżel "X-asis" u waqqaf l-assi X. Ejja twarrab it-timestamps tal-entrati fil-ġurnal tulha. Fil-qasam "Aggregazzjoni", agħżel "Istogramma tad-Data", u fil-"Field" agħżel "@timestamp", li tindika l-qasam tal-ħin. Ejja nħallu "Intervall minimu" fl-istat "Auto", u awtomatikament jaġġusta ruħu għall-wiri tagħna. 

Billi tikklikkja fuq il-buttuna "Aġġorna", naraw grafika bin-numru ta 'talbiet kull 30 sekonda.

Issa ejja nwaqqfu l-kolonni tul l-assi Y. Issa qed nuru n-numru totali ta 'talbiet fl-intervall ta' ħin magħżul.

Ejja nbiddlu l-valur "Aggregazzjoni" għal "Sum Bucket", li se jippermettilna ngħaqqdu d-dejta għal talbiet li rnexxew u dawk li ma rnexxewx. Fil-Blokk Barmil -> Aggregazzjoni, agħżel l-aggregazzjoni minn "Filtri" u ssettja l-iffiltrar bi "statusCode >= 400". U fil-qasam "Tikketta personalizzata", aħna nindikaw l-isem tagħna tal-indikatur għal wirja li tinftiehem aktar fil-leġġenda fuq iċ-ċart u fil-lista ġenerali.

Billi tikklikkja l-buttuna "Aġġorna" taħt il-blokka tas-settings, aħna se tikseb grafika b'talbiet problema.

Jekk tikklikkja fuq iċ-ċirku ħdejn il-leġġenda, se tidher tieqa li fiha tista 'tbiddel il-kulur tal-kolonni.

Issa ejja nżidu data dwar talbiet b'suċċess mal-grafika. Fit-taqsima "Metriċi", ikklikkja l-buttuna "Żid" u agħżel "Y-axis".

Fil-metrika maħluqa, nagħmlu l-istess settings bħal għal talbiet żbaljati. Fil-filtru biss nispeċifikaw "statusCode < 400".

Billi nbiddlu l-kulur tal-kolonna l-ġdida, inġibu wirja tal-proporzjon ta 'talbiet problematiċi u ta' suċċess.

Billi tikklikkja l-buttuna "Save" fin-naħa ta 'fuq tal-iskrin u tispeċifika l-isem, se naraw l-ewwel tabella fuq id-Dashboard.

Tabella tad-Dejta

Issa ikkunsidra l-veduta tabulari "Tabella tad-Data". Ejja noħolqu tabella b'lista tal-URLs kollha li ġew mitluba u n-numru ta' dawk it-talbiet. Bħal fl-eżempju tal-Bar Vertikali, l-ewwel nagħżlu sors tad-dejta.

Wara dan, se tintwera tabella b'kolonna waħda fuq l-iskrin, li turi n-numru totali ta 'talbiet għall-intervall ta' ħin magħżul.

Aħna se nbiddlu biss il-blokka "Bramel". Ikklikkja l-buttuna "Żid" u agħżel "Split rows".

Fil-qasam "Aggregazzjoni", agħżel "Termini". U fil-qasam deher "Qasam" agħżel "url.keyword".

Billi tispeċifika l-valur "Url" fil-qasam "Tikketta personalizzata" u tikklikkja "Aġġorna", aħna se tikseb it-tabella mixtieqa bin-numru ta 'talbiet għal kull wieħed mill-URLs għall-perjodu ta' żmien magħżul.

Fin-naħa ta' fuq tal-iskrin, erġa' kklikkja l-buttuna "Save" u speċifika l-isem tat-tabella, pereżempju Urls. Ejja mmorru lura għad-Dashboard u naraw iż-żewġ fehmiet maħluqa.

Ħidma ma 'Dashboard

Meta noħolqu d-Dashboard, aħna nissettjaw biss il-parametri prinċipali tal-vista fis-settings tal-oġġett tal-wiri. Ma jagħmilx sens li tispeċifika d-dejta għall-filtri f'oġġetti, pereżempju, "firxa tad-data", "filtrazzjoni minn useragent", "filtrazzjoni skont il-pajjiż tat-talba", eċċ. Huwa ħafna aktar konvenjenti li tispeċifika l-perjodu ta 'żmien mixtieq jew issettja l-iffiltrar meħtieġ fil-pannell tal-mistoqsija, li jinsab fuq l-oġġetti.

Il-filtri miżjuda fuq dan il-pannell se jiġu applikati għad-Dashboard kollu, u l-oġġetti kollha tal-wiri se jinbnew mill-ġdid skont id-dejta ffiltrata attwali.

Konklużjoni

Kibana hija għodda b'saħħitha li tippermettilek tara kwalunkwe data b'mod konvenjenti. Ippruvajt nuri l-issettjar taż-żewġ tipi ewlenin ta 'wiri. Iżda tipi oħra huma kkonfigurati b'mod simili. U l-abbundanza ta 'settings li ħallejt "wara l-kwinti" se tippermetti li inti tippersonalizza b'mod flessibbli ħafna mapep biex taqdi l-bżonnijiet tiegħek.

Sors: www.habr.com