Skapa en instrumentpanel i Kibana för att övervaka loggar

Hej, jag heter Evgeniy och jag är B2B-teamledare på Citymobil. En av våra teams uppgifter är att stödja integrationer för taxibeställningar från partners, och för att säkerställa en stabil tjänst måste vi alltid förstå vad som händer i våra mikrotjänster. Och för att göra detta måste du ständigt övervaka loggarna.

På Citymobil använder vi ELK-stacken (ElasticSearch, Logstash, Kibana) för att arbeta med loggar, och mängden data som kommer in dit är enorm. Det är ganska svårt att hitta problem i den här massan av förfrågningar som kan uppstå efter att ny kod har distribuerats. Och för att visuellt identifiera dem har Kibana en instrumentpanelssektion.

Det finns en hel del artiklar om Habr med exempel på hur man konfigurerar en ELK-stack för att ta emot och lagra data, men det finns inget relevant material om hur man skapar en Dashboard. Så jag vill visa dig hur du skapar en visuell representation av data baserat på inkommande loggar i Kibana.

justering

För att göra det mer visuellt skapade jag en Docker-avbildning med ELK och Filebeat. Och placerade en liten i behållaren programmet i Go, vilket i vårt exempel genererar testloggar. Jag kommer inte att beskriva ELK-konfigurationen i detalj, det finns tillräckligt skrivet om den på Habr.

Klona arkivet med konfigurationen docker-compose och ELK-inställningar, och starta det med kommandot docker-compose up. Jag lägger avsiktligt inte till nyckeln -d, för att se ELK-stacken köras.

git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up

Om allt är korrekt konfigurerat kommer vi att se en post i loggarna (kanske inte direkt, processen att starta en container med hela stacken kan ta flera minuter):

{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}

adress localhost:5061 Kibana borde öppna.

Det enda vi behöver konfigurera är att skapa ett indexmönster för Kibana med information om vilken data som ska visas. För att göra detta kommer vi att köra en curl-förfrågan eller utföra ett antal åtgärder i det grafiska gränssnittet.

$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
    -H 'Content-Type: application/json'
    -H 'kbn-xsrf: true'
    -d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'

Skapa ett indexmönster via det grafiska användargränssnittet
För att konfigurera, välj avsnittet Upptäck i vänstermenyn så kommer du till sidan för att skapa indexmönster.

Genom att klicka på knappen ”Skapa indexmönster” kommer vi till sidan för att skapa index. I fältet "Indexmönsternamn" anger du "logstash-*". Om allt är korrekt konfigurerat kommer Kibana att visa de index som matchar regeln nedan.

På nästa sida väljer du nyckelfältet med tidsstämpeln, i vårt fall är det @timestamp.

Som ett resultat kommer sidan med indexinställningar att visas, men nu krävs inga ytterligare åtgärder från oss.

Nu kan vi gå tillbaka till avsnittet Upptäck där vi ser loggposterna.

Dashboard

I vänstermenyn klickar du på avsnittet Skapa instrumentpanel så kommer du till motsvarande sida.

Klicka på "Skapa ny instrumentpanel" så kommer du till sidan för att lägga till objekt i instrumentpanelen.

Klicka på knappen ”Skapa ny” så uppmanas du att välja typ av datavisning. Det finns många av dem i Kibana, men vi ska titta på att skapa en grafisk representation av den "vertikala stapeln" och en tabellformad "datatabell". De andra typerna av vyer konfigureras på ett liknande sätt. 

Vissa tillgängliga objekt är märkta B och E, vilket betyder att formatet är experimentellt eller i betatestning. Med tiden kan formatet ändras eller försvinna helt och hållet från Kibana.

Vertikal bar

För exemplet "Vertikal stapel", låt oss skapa ett histogram över förhållandet mellan lyckade och misslyckade svarsstatusar för vår tjänst. När inställningarna är klara får vi följande graf:

Vi kommer att betrakta alla förfrågningar med en svarsstatus < 400 som lyckade och >= 400 som problematiska.

För att skapa ett "vertikalt stapeldiagram" måste vi välja en datakälla. Välj indexmönstret som vi skapade tidigare.

Som standard visas ett enda heldraget diagram efter att en datakälla har valts. Låt oss ställa in det.

I blocket "Buckets" klickar du på knappen "Lägg till", väljer "X-axel" och ställer in X-axeln. Vi kommer att plotta tidsstämplarna för de mottagna posterna i loggen längs den. I fältet ”Aggregering” väljer du ”Datumhistogram” och i ”Fält” väljer du ”@tidsstämpel”, vilket anger tidsfältet. Vi lämnar "Minsta intervall" i tillståndet "Auto", och det kommer automatiskt att justeras till vår skärm. 

Genom att klicka på knappen "Uppdatera" ser vi ett diagram med antalet förfrågningar var 30:e sekund.

Nu ska vi ställa in kolumnerna på Y-axeln. Just nu visar vi det totala antalet förfrågningar under det valda tidsintervallet.

Låt oss ändra värdet "Aggregering" till "Sum Bucket", vilket gör att vi kan kombinera data från lyckade och misslyckade förfrågningar. I blocket Bucket -> Aggregation, välj aggregering med "Filters" och ställ in filtrering med "statusCode >= 400". Och i fältet ”Anpassad etikett” anger vi vårt indikatornamn för en tydligare visning i förklaringen på grafen och i den allmänna listan.

Genom att klicka på knappen ”Uppdatera” under inställningsblocket får vi upp ett diagram med problematiska frågor.

Om du klickar på cirkeln bredvid förklaringen visas ett fönster där du kan ändra färgen på kolumnerna.

Nu ska vi lägga till data om lyckade förfrågningar i grafen. I avsnittet ”Mätvärden” klickar du på knappen ”Lägg till” och väljer ”Y-axel”.

I det skapade mätvärdet gör vi samma inställningar som för felaktiga förfrågningar. Endast i filtret anger vi “statusCode < 400”.

Genom att ändra färgen på den nya kolumnen får vi en visning av förhållandet mellan problematiska och lyckade förfrågningar.

Genom att klicka på knappen "Spara" högst upp på skärmen och ange ett namn ser vi det första diagrammet på instrumentpanelen.

data~~POS=TRUNC

Nu ska vi titta på tabellvyn "Datatabell". Låt oss skapa en tabell med en lista över alla URL:er som begärdes och antalet dessa förfrågningar. Precis som i exemplet med den vertikala stapeln, välj först datakällan.

Efter detta visas en tabell med en kolumn på skärmen, som visar det totala antalet förfrågningar för det valda tidsintervallet.

Vi kommer bara att ändra blocket "Hinkar". Klicka på knappen ”Lägg till” och välj ”Dela rader”.

I fältet ”Aggregering” väljer du ”Termer”. Och i fältet ”Fält” som visas väljer du ”url.keyword”.

Genom att ange värdet ”Url” i fältet ”Anpassad etikett” och klicka på ”Uppdatera” får vi önskad tabell med antalet förfrågningar för varje URL under den valda tidsperioden.

Klicka på knappen ”Spara” igen högst upp på skärmen och ange namnet på tabellen, till exempel URL:er. Låt oss gå tillbaka till instrumentpanelen och se båda vyerna vi skapade.

Arbeta med instrumentpanelen

När vi skapar instrumentpanelen ställer vi bara in de grundläggande vyparametrarna i visningsobjektinställningarna. Det är ingen idé att ange data för filter i objekt, till exempel "datumintervall", "filtrering efter användaragent", "filtrering efter begäranland" etc. Det är mycket bekvämare att ange önskad tidsperiod eller ställa in nödvändig filtrering i frågepanelen, som finns ovanför objekten.

Filter som läggs till i den här panelen kommer att tillämpas på hela instrumentpanelen, och alla visningsobjekt kommer att byggas om enligt den aktuella filtrerade informationen.

Slutsats

Kibana är ett kraftfullt verktyg som låter dig visualisera all data på ett bekvämt sätt. Jag försökte visa uppställningen av två huvudtyper av skärmar. Men även andra typer är konfigurerade på ett liknande sätt. Och det stora utbudet av inställningar som jag lämnade "bakom kulisserna" gör att du mycket flexibelt kan anpassa graferna efter dina behov.

Källa: will.com