Kibana armatuurlaua loomine logide jälgimiseks

Tere, minu nimi on Evgeni, olen SitiMobili B2B suuna tiimijuht. Meie meeskonna üheks ülesandeks on toetada partnerite takso tellimise integraatioone ning teenuse stabiilsuse tagamiseks peame alati teadma, mis meie mikroteenustes toimub. Seetõttu peame pidevalt jälgima logisid.

SitiMobilis kasutame logide töötlemiseks ELK-stekki (ElasticSearch, Logstash, Kibana) ja andmevoog, mis sinna tuleb, on tohutu. Sel hulgal päringutes probleemide leidmine, mis võivad ilmuda pärast uue koodi juurutamist, on üsna keeruline. Seetõttu on Kibanas olemas Dashboardi sektsioon, mis aitab neid probleeme visualiseerida.

Habr on palju artikleid, kus on näidatud, kuidas seadistada ELK-stekki andmete saamiseks ja hoidmiseks, kuid Dashboardi loomise kohta pole asjakohaseid materjale. Seetõttu soovin näidata, kuidas Kibanas luua andmete visuaalset esitlemist saabuvate logide põhjal.

Seadistamine

Kuna see oleks visuaalsem, lõin ELK ja Filebeati jaoks Docker-pildi. Ja panin konteinerisse väikese programmi Go-s kirjutatud rakenduse, mis meie näite jaoks genereerib testlogisid. ELK seadistamise üksikasju ma ei kirjelda, Habril on piisavalt selle kohta kirjutatud.

Kloonime konfiguratsiooni version: '1' services: simplesample-sonar: image: sonarqube:lts ports: - 9001:9000 - 9092:9092 network_mode: bridge ja ELK seadistuste reposti ning käivitame selle käsuga docker-compose up. Tahtlikult ei lisa ma võtit -d, et näha ELK-steki tööprotsessi.

git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up

Kui kõik on õigesti seadistatud, siis logides näeme kirjet (võib-olla mitte kohe, konteineri käivitamise protsess kogu steki jaoks võib võtta mitu minutit):

{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}

Aadressil localhost:5061 peaks avama Kibana.

Ainus asi, mida peame seadistama, on luua Kibana jaoks indeksimuster, mis sisaldab teavet selle kohta, milliseid andmeid tuleb kuvada. Selleks teeme curl-päringu või teeme rida toiminguid graafilises liideses.

$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
    -H 'Content-Type: application/json'
    -H 'kbn-xsrf: true'
    -d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'

Indeksimustri loomine graafilise liidese kaudu
Seadistamiseks valime vasakpoolses menüüs jaotise Discover ja jõuame indeksimustri loomise lehele.

Klõpsates nuppu „Loo indeksimuster“, jõuame indeksi loomise lehele. Välja „Indeksimustri nimi“ kirjutame „logstash-*“. Kui kõik on õigesti seadistatud, näitab Kibana allpool sobivaid indekseid.

Järgmisel lehel valime ajatempli võtme, meie puhul on see @timestamp.

Tulemusena ilmub seadistuste indeksileht, kuid praegu ei ole meil vaja täiendavaid toiminguid.

Nüüd saame taas minna jaossa Discover, kus näeme logikirjeid.

Armatuurlaud

Vasakul menüüs klõpsame armatuurlauda loomise jaotisel ja jõuame vastavale lehele.

Klõpsame nuppu „Loo uus armatuurlaud“ ja jõuame objektide lisamise lehele armatuurlauda.

Klõpsame nuppu „Loo uus“, ja süsteem pakub valida andmete kuvamise viisi. Kibanas on neid palju, aga vaatame graafilise vaate „Vertikaalne diagramm“ ja tabeli „Andmeedastust“ loomist. Ülejäänud kuvamisviise saab seadistada sarnaselt. 

Mõned saadaval olevad objektid on tähistatud B ja E - see tähendab, et formaat on katse- või beetaversioonis. Aja jooksul võib formaat muutuda või täielikult kaduda Kibana-st.

Vertikaalne diagramm

Näiteks loome „Vertikaalse diagrammi“ histogrammi, mis näitab meie teenuse eduka ja ebaõnnestunud vastuse staatuste suhet. Seadistuste lõpuks saame järgmise graafiku:

Edusammude hulka loeme kõik päringud, mille vastuse staatus on = 400.

„Vertikaalse diagrammi“ loomiseks peame valima andmeallika. Valime Indeksi mustri, mille loome varem.

Vaikimisi ilmub andmeallika valimisel üks pidev graafik. Seadistame selle.

Blokis „Buckets“ klõpsame nuppu „Lisa“, valime „X-asis“ ja seadistame X-telje. Asetame sellele logikirjete ajamärgid. „Agregatsiooni“ väljas valime „Kuupäeva histogrammi“ ja „Välja“ valime „@timestamp“, mis näitab ajavälja. „Minimaalne intervall“ jätame olekusse „Automaatne“, ning see kohandub automaatselt meie kuvamise järgi. 

Klõpsates nuppu „Uuenda“, näeme graafikut, mis näitab päringute arvu iga 30 sekundi järel.

Nüüd seadistame Y-telje veerud. Praegu kuvatakse meil valitud ajavahemikus üldine päringute arv.

Muudame „Agregatsiooni“ väärtuse „Sum Bucket“, mis võimaldab meil ühendada edukaid ja ebaõnnestunud päringute andmeid. Blokis Buckets -> Agregatsioon valime agregatsiooni „Filtrite“ järgi ja määrame filtreerimise „statusCode >= 400“ järgi. Ja väljale „Kohandatud silt“ märgime meie indikaatori nime, et see oleks graafiku legendis ja üldnimekirjas arusaadavam.

Klõpsates nuppu „Uuenda“ seadistuste ploki all, saame graafiku probleemsete päringute arvust.

Kui klõpsate legenda lähedal olevale ringile, kuvatakse aken, kus saate muuta veergude värvi.

Nüüd lisame diagrammile andmed edukaid päringute kohta. Jaotises "Metrics" klõpsame nupule "Add" ja valime "Y-axis".

Loo mõõtmisel teeme sarnased seaded nagu vea päringute puhul. Ainult filtris märgime "statusCode < 400".

Uue veeru värvi muutes saame kuvada probleemsete ja eduka päringute suhet.

Klõpsates ekraani ülaosas nupule "Save" ja sisestades nime, näeme esimest diagrammi Dashboardil.

Data Table

Nüüd vaatame "Data Table" tabelivaatet. Loome tabeli, kus on loetletud kõik URL-id, millele on päringud tehtud, ja nende päringute arv. Nagu vertikaalse baari näites, valime kõigepealt andmeallika.

Pärast seda kuvatakse ekraanil tabel, millel on üks veerg, mis näitab valitud ajavahemiku jooksul tehtud päringute koguarvu.

Muudame ainult "Buckets" plokki. Klõpsame nupule "Add" ja valime "Split rows".

Väljas "Aggregation" valime "Terms". Ja avanemas välja "Field" valime "url.keyword".

Sisestades väljal "Custom label" väärtuse "Url" ja klõpsates "Update", saame soovitud tabeli, kus on päringute arv iga URL-i kohta valitud ajavahemiku jooksul.

Ekraani ülaosas klõpsame taas nupule "Save" ja anname tabelile nime, näiteks Urls. Naaseme tagasi Dashboardile ja näeme kahte loodud kuvandit.

Töötamine Dashboardiga

Dashboardi loomisel määrasime objekti kuvade seadetes ainult peamised välimuse parameetrid. Pole mõtet objektides määrata andmeid filtrite jaoks, näiteks "kuupäevavahemik", "useragent'i filtreerimine", "päringu riigi filtreerimine" jne. Oluliselt mugavam on määrata soovitud ajavahemik või seada vajalik filtreerimine päringu paneelis, mis asub objektide kohal.

Sellel paneelil lisatud filtrid rakenduvad kogu Dashboardile ja kõik kuvandite objektid kohandatakse vastavalt kehtivatele filtreeritud andmetele.

Kokkuvõte

Kibana on võimas tööriist, mis võimaldab visualiseerida mis tahes andmeid mugaval viisil. Olen püüdnud näidata kahe peamise kuvandi seadistust. Kuid ka teisi kuvandeid saab seadistada sarnaselt. Ja hulk seadeid, mille ma "kaadrilt välja" jätsin, võimaldavad teil graafikud väga paindlikult enda vajadustele kohandada.

Allikas: habr.com