Nõuanded ja soovitused struktureerimata andmete ümberkujundamiseks logidest ELK Stackis, kasutades GROK-i LogStashis

Ebareegiline andmete struktuurimine GROK abil

Kui kasutate Elastic (ELK) steki ja olete huvitatud Logstashi kasutajalogide sobitamisest Elasticsearchiga, siis on see postitus just teile.

ELK stek on lühend kolmest avatud lähtekoodiga projektist: Elasticsearch, Logstash ja Kibana. Koos moodustavad nad logihalduse platvormi.

• Elasticsearch – on otsingu- ja analüüsisüsteem.
• Logstash – on serveripoolne andmeprotsessimise konveier, mis võtab andmed mitmest allikast korraga, muudab need ja saadab seejärel “salve”, näiteks Elasticsearchisse.
• Kibana võimaldab kasutajatel visualiseerida andmeid diagrammide ja graafikute abil Elasticsearchis.

Beats ilmus hiljem ja on kerge andmete edastaja. Beatsi tutvustamine muutis Elk Stacki Elastic Stackiks, kuid see ei ole peamine.

See artikkel on pühendatud Grokile, mis on Logstashi funktsioon, mis suudab teie logisid muuta enne, kui need saadetakse salve. Meie eesmärkide jaoks räägin ainult Logstashi andmete töötlemisest Elasticsearchisse.

Grok on Logstashi sees asuv filter, mida kasutatakse ebareeglipäraste andmete analüüsimiseks struktuuri ja päringute jaoks sobivaks. See põhineb regulaarsetel väljenditel (regex) ning kasutab tekstimalle logifailide ridade sobitamiseks.

Kuidas me näeme järgmistes osades, on Groki kasutamine äärmiselt oluline tõhusa logihalduse jaoks.

Ilma Grokita on teie logiandmed struktuuri puuduvad.

Ilma Grokita, kui logid saadetakse Logstashist Elasticsearchisse ja visualiseeritakse Kibanas, ilmuvad nad ainult sõnumi väärtuses.

Olulise teabe pärimine sellises olukorras on keeruline, kuna kõik logiandmed on salvestatud ühte võtmesse. Oleks parem, kui logisõnumid oleksid paremini struktureeritud.

Ebareeglipärased andmed logidelt

localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0

Kui vaatate toorandmeid tähelepanelikult, näete, et need koosnevad tegelikult erinevatest osadest, millest igaüks on eraldatud tühikuga.

Kogenud arendajatele, tõenäoliselt suudate ära arvata, mida iga osa tähendab ja et see on logisõnum API kutse kohta. Iga elemendi esitlus on allpool.

Meie andmete struktureeritud vorm

• ​ localhost == keskkond
• ​ GET == meetod
• ​ /v2/applink/5c2f4bb3e9fda1234edc64d == url
• ​ 400 == vastuse_staatus
• ​ 46ms == vastuse_aeg
• ​ 5bc6e716b5d6cb35fc9687c0 == kasutaja_id

Kuna me näeme struktureeritud andmetes, eksisteerib ebastruktureeritud logide jaoks mingi kord. Järgmine samm on toore andmete programmiline töötlemine. Just siin paistab Grok silma.

Grok mallid

Logstash tarnib enam kui 100 sisse ehitatud malliga, et struktureerida ebastruktureeritud andmeid. Te peaksite kindlasti seda võimalust ära kasutama, kui võimalik, tavaliste süsteemi logide nagu apache, linux, haproxy, aws jne jaoks.

Kuid mis juhtub, kui teil on kohandatud logid, nagu eespool toodud näites? Peate koostama oma Grok malli.

Kohandatud Grok mallid

Peate proovima, et koostada oma Grok mall. Mina kasutasin

Grok Debugger Grok mallid ja Pange tähele, et Grok mallide süntaks näeb välja järgmine:.

%{SYNTAX:SEMANTIC} Esimene asi, mida proovisin teha, oli minna vahekaardile

Avastada Grok Debuggeris. Ma arvasin, et oleks tore, kui see tööriist saaks automaatselt genereerida Grok malli, kuid see ei olnud kuigi kasulik, kuna leidis vaid kaks vastet. Seda avastust kasutades hakkasin koostama oma Grok malli Grok Debuggeris, kasutades süntaksit, mida leidsin Elastici Githubi lehelt.

Mängides erinevate süntaksitega, suutsin lõpuks struktureerida logiandmed nii, nagu ma tahtsin.

Link Grok Debuggerile

Algne tekst: https://grokdebug.herokuapp.com/

Muster:

localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0

%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}

Küsimus, mis lõpuks välja tuli

{ "environment": [ [ "localhost" ] ], "method": [ [ "GET" ] ], "url": [ [ "\/v2\/applink\/5c2f4bb3e9fda1234edc64d" ] ], "response_status": [ [ "400" ] ], "BASE10NUM": [ [ "400" ] ], "response_time": [ [ "46ms" ] ], "user_id": [ [ "5bc6e716b5d6cb35fc9687c0" ] ] }

Olles Grok malli ja vastetega andmed, on viimane samm lisada see Logstashi.

Logstash.conf konfiguratsioonifaili värskendamine

Serveris, kuhu olete paigaldanud ELK kraani, liikuge Logstashi konfiguratsiooni:

sudo vi /etc/logstash/conf.d/logstash.conf

Pange muudatused sisse.

input { file { path => "\/your_logs\/*.log" } } filter{ grok { match => { "message" => "%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}"} } } output { elasticsearch { hosts => [ "localhost:9200" ] } }

input { 
  file {
    path => "/your_logs/*.log"
  }
}
filter{
  grok {
    match => { "message" => "%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}"}
  }
}
output {
  elasticsearch {
    hosts => [ "localhost:9200" ]
  }
}

Pärast muudatuste salvestamist taaskäivitage Logstash ja kontrollige selle olekut, et veenduda, et see töötab endiselt.

sudo service logstash restart
sudo service logstash status

Lõpuks, et veenduda, et muudatused on jõustunud, uuendage kindlasti Logstashi Elasticsearchi indeksit Kibanas!

Grokiga on teie logide andmed struktureeritud!

Nagu näeme ülaltoodud pildil, suudab Grok automaatselt siduda logifailide andmed Elasticsearchiga. See lihtsustab logide haldamist ja teabe kiiret pärimist. Selle asemel, et logifailides üles otsida, saate lihtsalt filtreerida, mida otsite, näiteks keskkonda või url-i.

Proovige anda Grok expressions võimalus! Kui teil on mõni muu viis selle tegemiseks või kui teil tekib ülaltoodud näidete osas mingeid probleeme, andke lihtsalt allpool kommentaarides teada.

Aitäh lugemise eest — ja palun järgige mind siin, Mediumis, et saada rohkem huvitavaid artikleid tarkvaraarhitektuurist!

Resursid

https://www.elastic.co/blog/do-you-grok-grok
https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns
https://grokdebug.herokuapp.com/

P.S Allika link

Telegrami kanal teemal Elasticsearch

Allikas: habr.com