🥇Tips och rekommendationer för att konvertera ostrukturerade data från loggar till ELK Stack med GROK i LogStash

Strukturering av ostrukturerade data med GROK

Om du använder Elastic-stack (ELK) och är intresserad av att matcha användarloggar från Logstash med Elasticsearch, så är det här inlägget för dig.

ELK-stack är en akronym för tre öppen källkod-projekt: Elasticsearch, Logstash och Kibana. Tillsammans bildar de en plattform för logghantering.

Elasticsearch – är ett sök- och analysystem.
Logstash – är en serverkonveyor för databehandling som tar emot data från flera källor samtidigt, omvandlar dem och skickar dem sedan till en "lagringsplats", till exempel Elasticsearch.
Kibana möjliggör för användare att visualisera data med diagram och grafer i Elasticsearch.

Beats kom senare och är en lättviktsdatasändare. Introduktionen av Beats omvandlade Elk Stack till Elastic Stack, men det är inte huvudpoängen.

Den här artikeln är dedikerad till Grok, som är en funktion i Logstash som kan omvandla dina loggar innan de skickas till lagringsplatsen. För våra syften kommer jag att prata om databehandling från Logstash till Elasticsearch.

Grok är en filter i Logstash som används för att analysera ostrukturerade data till något strukturerat och sökbart. Den ligger ovanpå reguljära uttryck (regex) och använder textmönster för att matcha rader i loggfiler.

Som vi kommer att se i följande avsnitt är användningen av Grok av stor vikt när det gäller effektiv logghantering.

Utan Grok är dina loggdata ostrukturerade.

Utan Grok, när loggar skickas från Logstash till Elasticsearch och visualiseras i Kibana, visas de endast i meddelandets värde.

Att fråga efter meningsfull information i denna situation är svårt, eftersom all loggdata lagras i en nyckel. Det skulle vara bättre om loggmeddelandena var bättre organiserade.

Ostrukturerade data från loggar

localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0

Om du tittar noga på de råa data kommer du att se att de faktiskt består av olika delar, var och en åtskild med ett mellanrum.

För mer erfarna utvecklare kan du förmodligen gissa vad var och en av delarna betyder och att detta loggmeddelande kommer från ett API-anrop. Presentationen av varje punkt anges nedan.

Den strukturerade versionen av våra data

localhost == miljö
GET == metod
/v2/applink/5c2f4bb3e9fda1234edc64d == url
400 == respons_status
46ms == respons_tid
5bc6e716b5d6cb35fc9687c0 == användar_id

Som vi ser i de strukturerade data, finns det en ordning för ostrukturerade loggar. Nästa steg är den programmässiga bearbetningen av rådata. Här lyser Grok.

Grok-mallar

Logstash levereras med mer än 100 inbyggda mallar för att strukturera ostrukturerade data. Du bör definitivt utnyttja detta när det är möjligt för vanliga systemloggar som apache, linux, haproxy, aws, och så vidare.

Men vad händer när du har anpassade loggar, som i exemplet ovan? Du måste bygga din egen Grok-mall.

Anpassade Grok-mallar

Det krävs försök för att bygga din egen Grok-mall. Jag använde

Grok Debugger Grok-mönster och Observera att syntaksen för Grok-mallar ser ut på följande sätt:.

%{SYNTAX:SEMANTIK} Det första jag försökte göra var att gå till fliken

Discover i Grok-debuggern. Jag tyckte det skulle vara bra om detta verktyg kunde automatiskt generera en Grok-mall, men det var inte särskilt användbart, eftersom det bara hittade två träffar. Genom att använda denna upptäckte började jag skapa min egen mall i Grok-debuggern, med hjälp av syntaksen som fanns på GitHub Elastic-sidan.

Efter att ha lekt med olika syntakser kunde jag äntligen strukturera loggdata så som jag ville.

Länk till Grok-debuggern

Källa: https://grokdebug.herokuapp.com/

Mönster:

localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0

%{WORD:miljö} %{WORD:metod} %{URIPATH:url} %{NUMBER:respons_status} %{WORD:respons_tid} %{USERNAME:användar_id}

Vad som blev resultatet

{ "miljö": [ [ "localhost" ] ], "metod": [ [ "GET" ] ], "url": [ [ "/v2/applink/5c2f4bb3e9fda1234edc64d" ] ], "respons_status": [ [ "400" ] ], "BASE10NUM": [ [ "400" ] ], "respons_tid": [ [ "46ms" ] ], "användar_id": [ [ "5bc6e716b5d6cb35fc9687c0" ] ] }

Med Grok-mallen och de matchande datan i handen, är det sista steget att lägga till den i Logstash.

Uppdatera Logstash.conf konfigurationsfilen

På servern där du har installerat ELK-stacken, gå till Logstash-konfigurationen:

sudo vi /etc/logstash/conf.d/logstash.conf

Klistra in ändringarna.

input { file { path => "/your_logs/*.log" } } filter{ grok { match => { "message" => "%{WORD:miljö} %{WORD:metod} %{URIPATH:url} %{NUMBER:respons_status} %{WORD:respons_tid} %{USERNAME:användar_id}"} } } output { elasticsearch { hosts => [ "localhost:9200" ] } }

input { 
  file {
    path => "/your_logs/*.log"
  }
}
filter{
  grok {
    match => { "message" => "%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}"}
  }
}
output {
  elasticsearch {
    hosts => [ "localhost:9200" ]
  }
}

När ändringarna har sparats, starta om Logstash och kontrollera dess status för att säkerställa att det fortfarande fungerar.

sudo service logstash restart
sudo service logstash status

Slutligen, för att säkerställa att förändringarna har trätt i kraft, kom ihåg att uppdatera Elasticsearch-indexet för Logstash i Kibana!

Med Grok är dina loggdata strukturerade!

Som vi ser på bilden ovan kan Grok automatiskt mappa loggdata till Elasticsearch. Detta underlättar logghantering och snabb informationsfråga. Istället för att gräva i loggfiler för felsökning kan du helt enkelt filtrera det du söker, som miljön eller url-adressen.

Ge Grok expressions en chans! Om du har ett annat sätt att göra detta eller har några problem med exemplen ovan, skriv bara en kommentar nedan för att låta mig veta.

Tack för att du läste — och följ gärna mig här på Medium för fler intressanta artiklar om mjukvaruteknik!

Resurser

https://www.elastic.co/blog/do-you-grok-grok
https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns
https://grokdebug.herokuapp.com/

P.S Länk till källan

Telegramkanal om Elasticsearch

Källa: habr.com