Að búa til mælaborð í Kibana til að fylgjast með annálum

Halló, ég heiti Eugene, ég er B2B liðsstjóri hjá Citymobil. Eitt af verkefnum teymisins okkar er að styðja við samþættingu til að panta leigubíl frá samstarfsaðilum og til að tryggja stöðuga þjónustu verðum við alltaf að skilja hvað er að gerast í örþjónustunni okkar. Og fyrir þetta þarftu stöðugt að fylgjast með annálunum.

Í Citymobil notum við ELK staflann (ElasticSearch, Logstash, Kibana) til að vinna með logs og gagnamagnið sem kemur þangað er mikið. Það er frekar erfitt að finna vandamál í þessum fjölda beiðna sem kunna að birtast eftir uppsetningu nýs kóða. Og fyrir sjónræna auðkenningu þeirra er Kibana með mælaborðshluta.

Það eru allmargar greinar um Habré með dæmum um hvernig á að setja upp ELK stafla til að taka á móti og geyma gögn, en það er ekkert viðeigandi efni um að búa til mælaborð. Þess vegna vil ég sýna hvernig á að búa til sjónræna framsetningu á gögnum byggt á komandi annálum í Kibana.

aðlögun

Til að gera það skýrara bjó ég til Docker mynd með ELK og Filebeat. Og sett í ílát lítið forritið í Go, sem fyrir dæmi okkar mun búa til prófunarskrár. Ég mun ekki lýsa uppsetningu ELK í smáatriðum, það er nóg skrifað um hana á Habré.

Klóna stillingargeymsluna docker-compose og ELK stillingar og ræstu það með skipuninni docker-compose up. Viljandi ekki bæta við lykli -dtil að sjá framvindu ELK stafla.

git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up

Ef allt er rétt stillt, þá munum við sjá færslu í annálunum (kannski ekki strax, ferlið við að ræsa gám með öllum staflanum getur tekið nokkrar mínútur):

{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}

Eftir heimilisfanginu localhost:5061 Kibana ætti að opna.

Það eina sem við þurfum að stilla er að búa til Index Pattern fyrir Kibana með upplýsingum um hvaða gögn á að birta. Til að gera þetta munum við framkvæma krullabeiðni eða framkvæma röð aðgerða í grafíska viðmótinu.

$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
    -H 'Content-Type: application/json'
    -H 'kbn-xsrf: true'
    -d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'

Að búa til vísitölumynstur í gegnum GUI
Til að stilla, veldu Uppgötvaðu hlutann í vinstri valmyndinni og farðu á síðuna til að búa til vísitölumynstur.

Með því að smella á hnappinn „Búa til vísitölumynstur“ komumst við á síðu til að búa til vísitölu. Í reitnum "Nafn vísitölumynsturs" skaltu slá inn "logstash-*". Ef allt er rétt stillt mun Kibana hér að neðan sýna vísitölurnar sem falla undir regluna.

Á næstu síðu skaltu velja lykilreitinn með tímastimpli, í okkar tilviki er það það @timestamp.

Þetta mun birta vísitölustillingasíðuna, en ekki er þörf á frekari aðgerðum frá okkur að svo stöddu.

Nú getum við farið aftur í Uppgötvunarhlutann, þar sem við munum sjá skráningarfærslurnar.

Mælaborð

Í vinstri valmyndinni, smelltu á hlutann til að búa til mælaborð og farðu á samsvarandi síðu.

Smelltu á "Búa til nýtt mælaborð" og farðu á síðuna til að bæta hlutum við stjórnborðið.

Smelltu á hnappinn „Búa til nýtt“ og kerfið mun biðja þig um að velja tegund gagnaskjás. Kibana hefur mikinn fjölda þeirra, en við munum skoða að búa til myndræna framsetningu á „Lóðréttu stikunni“ og „gagnatöflu“ í töflu. Aðrar tegundir kynningar eru stilltar á svipaðan hátt. 

Sumir tiltækir hlutir eru merktir B og E, sem þýðir að sniðið er tilrauna- eða beta-prófun. Með tímanum getur sniðið breyst eða alveg horfið úr Kibana.

Lóðrétt bar

Fyrir dæmið „Lóðrétt stika“ skulum við búa til stiklurit yfir hlutfall árangursríkra og misheppnaðra svarstaða þjónustu okkar. Í lok stillinganna fáum við eftirfarandi línurit:

Við munum flokka allar beiðnir með svarstöðu < 400 sem árangursríkar og >= 400 sem erfiðar.

Til að búa til „Lóðrétt súlurit“ þurfum við að velja gagnagjafa. Veldu Index Pattern sem við bjuggum til áðan.

Sjálfgefið er að eitt heilt graf birtist eftir að gagnagjafi hefur verið valinn. Við skulum setja það upp.

Í "Buckets" blokkinni, ýttu á "Bæta við" hnappinn, veldu "X-asis" og stilltu X-ásinn. Við skulum setja til hliðar tímastimplin fyrir móttöku færslur í skránni. Í reitnum „Söfnun“ velurðu „Date Histogram“ og í „Field“ velurðu „@timestamp“ sem gefur til kynna tímareitinn. Við skulum skilja „Lágmarksbil“ eftir í „Sjálfvirkt“ ástandi og það mun sjálfkrafa aðlagast skjánum okkar. 

Með því að smella á „Uppfæra“ hnappinn sjáum við línurit með fjölda beiðna á 30 sekúndna fresti.

Nú skulum við setja upp dálkana meðfram Y-ásnum. Núna erum við að sýna heildarfjölda beiðna á völdum tímabili.

Við skulum breyta „Söfnun“ gildinu í „Summa Bucket“ sem gerir okkur kleift að sameina gögn fyrir árangursríkar og misheppnaðar beiðnir. Í Bucket -> Aggregation reit, veldu söfnunina með "Síur" og stilltu síunina með "statusCode >= 400". Og í reitnum „Sérsniðið merki“ tilgreinum við nafnið okkar á vísinum fyrir skiljanlegri birtingu í þjóðsögunni á töflunni og í almennum lista.

Með því að smella á „Uppfæra“ hnappinn undir stillingablokkinni fáum við línurit með vandamálabeiðnum.

Ef þú smellir á hringinn við hliðina á þjóðsögunni birtist gluggi þar sem þú getur breytt litnum á dálkunum.

Nú skulum við bæta gögnum um árangursríkar beiðnir við töfluna. Í hlutanum „Mælingar“, smelltu á „Bæta við“ hnappinn og veldu „Y-ás“.

Í stofnuðu mælistikunni gerum við sömu stillingar og fyrir rangar beiðnir. Aðeins í síunni tilgreinum við "statusCode < 400".

Með því að breyta litnum á nýja dálknum fáum við sýningu á hlutfalli erfiðra og árangursríkra beiðna.

Með því að smella á „Vista“ hnappinn efst á skjánum og tilgreina nafnið munum við sjá fyrsta töfluna á mælaborðinu.

Gögn töflu

Skoðaðu nú töflumyndina „Gagnatafla“. Búum til töflu með lista yfir allar vefslóðirnar sem beðið var um og fjölda þeirra beiðna. Eins og með lóðrétta stikuna, veljum við fyrst gagnagjafa.

Eftir það birtist tafla með einum dálki á skjánum sem sýnir heildarfjölda beiðna fyrir valið tímabil.

Við munum aðeins breyta "Buckets" blokkinni. Smelltu á "Bæta við" hnappinn og veldu "Skljúfa línur".

Í reitnum „Söfnun“ velurðu „Skilmálar“. Og í reitnum sem birtist "Field" veldu "url.keyword".

Með því að tilgreina „Vefslóð“ gildið í „Sérsniðið merki“ reitinn og smella á „Uppfæra“ fáum við þá töflu sem óskað er eftir með fjölda beiðna fyrir hverja vefslóð fyrir valið tímabil.

Efst á skjánum, smelltu aftur á "Vista" hnappinn og tilgreindu nafn töflunnar, til dæmis vefslóðir. Við skulum fara aftur í mælaborðið og sjá báðar skoðanir búnar til.

Vinna með mælaborði

Þegar stjórnborðið er búið til, stillum við aðeins aðalskjábreytur í stillingum skjáhlutanna. Það þýðir ekkert að tilgreina gögn fyrir síur í hlutum, til dæmis „dagsetningarbil“, „sía eftir notandaumboði“, „sía eftir beiðnilandi“ o.s.frv. Það er miklu þægilegra að tilgreina þann tíma sem óskað er eftir eða stilla nauðsynlega síun á fyrirspurnarspjaldinu sem er staðsett fyrir ofan hlutina.

Síurnar sem bætt er við á þessu spjaldi verða notaðar á allt mælaborðið og allir skjáhlutir verða endurbyggðir í samræmi við raunveruleg síuð gögn.

Ályktun

Kibana er öflugt tól sem gerir þér kleift að sjá hvaða gögn sem er á þægilegan hátt. Ég reyndi að sýna stillingu á tveimur helstu tegundum skjásins. En aðrar gerðir eru stilltar á svipaðan hátt. Og gnægð stillinga sem ég skildi eftir „á bak við tjöldin“ gerir þér kleift að sérsníða töflur á mjög sveigjanlegan hátt að þínum þörfum.

Heimild: www.habr.com