Te hanga i nga raraunga kaore i hangaia me GROK
Mēnā kei te whakamahi koe i te tāpae Elastic (ELK) ā kei te hiahia koe ki te mapi i ngā rākau Logstash ritenga ki Elasticsearch, nau tenei pou.
Ko te puranga ELK he acronym mo nga kaupapa tuwhera e toru: Elasticsearch, Logstash me Kibana. Ka hanga tahi ratou he papa whakahaere pororakau.
- Te rangahau elastic he punaha rapu me te tātari.
- Te whanui he paipa tukatuka raraunga taha-tumau e whakauru ana i nga raraunga mai i nga puna maha i te wa kotahi, ka huri, ka tukuna atu ki te "stash" penei i a Elasticsearch.
- Kibana ka taea e nga kaiwhakamahi te tiro raraunga ma te whakamahi i nga tūtohi me nga kauwhata i Elasticsearch.
Puti i tae mai i muri mai, a he kaikawe raraunga mama. Na te whakaurunga o Beats i huri te Elk Stack ki te Elastic Stack, engari ehara tena i te kaupapa.
Ko tenei tuhinga e pa ana ki a Grok, he ahuatanga kei roto i te Logstash ka taea te whakarereke i o raarangi i mua i te tukuna ki te waahi. Mo a maatau kaupapa, ka korero noa ahau mo te tukatuka raraunga mai i te Logstash ki te Elasticsearch.
Ko Grok he tātari i roto i te Logstash e whakamahia ana ki te tarai i nga raraunga kaore i hangahia ki tetahi mea kua hangahia me te patai. Ka noho ki runga ake o te whakahuatanga auau (regex) me te whakamahi i nga tauira kupu ki te whakataurite i nga aho i roto i nga konae rangitaki.
Ka kite tatou i nga waahanga e whai ake nei, ko te whakamahi i a Grok he rereketanga nui ina tae mai ki te whakahaerenga raupaparorohiko pai.
Ki te kore a Grok kaore he hanganga o to raraunga rangitaki
Karekau he Grok, ka tukuna mai nga raarangi mai i te Logstash ki Elasticsearch ka tukuna ki Kibana, ka puta noa i te uara karere.
He uaua te uiui i nga korero whai kiko i roto i tenei ahuatanga na te mea kei te penapena nga raraunga rangitaki katoa ki te kii kotahi. He pai ake mena he pai ake te whakarite i nga karere rangitaki.
Ko nga raraunga kore hanga mai i nga raarangi
localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0Mena ka ata titiro koe ki nga raraunga mata, ka kite koe he maha nga waahanga kei roto, ka wehea ia e tetahi waahi.
Mo nga kaiwhakawhanake mohio ake, ka taea pea e koe te whakaaro he aha te tikanga o ia waahanga me te aha o taua karere rangitaki mai i te waea API. Ko te whakaaturanga o ia mea kei raro iho nei.
Tirohanga hanganga o a maatau raraunga
- localhost == taiao
- Tiki == tikanga
- /v2/applink/5c2f4bb3e9fda1234edc64d == url
- 400 == whakautu_tuanga
- 46ms == wa_whakautu
- 5bc6e716b5d6cb35fc9687c0 == user_id
Ka kite tatou i roto i nga raraunga hanganga, he ota mo nga rakau kaore i hangaia. Ko te mahi e whai ake nei ko te tukatuka rorohiko o nga raraunga mata. Koinei te wahi e whiti ana a Grok.
Tauira Grok
Nga tauira Grok i hangaia
Ka tae mai a Logstash me te neke atu i te 100 nga tauira hanga-i roto mo te hanga i nga raraunga kaore i hangaia. Me tino whakamahi koe i tenei i nga wa katoa ka taea mo nga syslogs whanui penei i te apache, linux, haproxy, aws me etahi atu.
Heoi, he aha te mea ka whai koe i nga raarangi ritenga penei i te tauira i runga ake nei? Me hanga e koe taau ake tauira Grok.
Nga tauira ritenga Grok
Me ngana koe ki te hanga i taau ake tauira Grok. I whakamahia e ahau и .
Kia mahara ko te wetereo tauira Grok e whai ake nei: %{SYNTAX:SEMANTIC}
Ko te mea tuatahi i ngana ahau ki te mahi ko te haere ki te ripa Discover i roto i te patuiro Grok. I whakaaro ahau he pai mena ka taea e tenei taputapu te whakaputa aunoa i te tauira Grok, engari kaore i tino whai hua mai i te mea ka kitea e rua noa nga whakataetae.
Ma te whakamahi i tenei kitenga, i timata ahau ki te hanga i taku ake tauira i roto i te Grok debugger ma te whakamahi i te syntax i kitea i te wharangi Elastic Github.
Whai muri i te purei me nga wetereo rereke, i te mutunga ka taea e au te hanga i nga raraunga rangitaki ki taku hiahia.
Grok Debugger Hononga
Kuputuhi taketake:
localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0tauira:
%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}He aha te mea i tupu i te mutunga
{
"environment": [
[
"localhost"
]
],
"method": [
[
"GET"
]
],
"url": [
[
"/v2/applink/5c2f4bb3e9fda1234edc64d"
]
],
"response_status": [
[
"400"
]
],
"BASE10NUM": [
[
"400"
]
],
"response_time": [
[
"46ms"
]
],
"user_id": [
[
"5bc6e716b5d6cb35fc9687c0"
]
]
}Ma te tauira Grok me nga raraunga mapi i te ringaringa, ko te mahi whakamutunga ko te taapiri atu ki te Logstash.
Te whakahou i te konae whirihoranga Logstash.conf
I runga i te tūmau i whakauruhia e koe te puranga ELK, haere ki te whirihoranga Logstash:
sudo vi /etc/logstash/conf.d/logstash.confWhakapirihia nga huringa.
input {
file {
path => "/your_logs/*.log"
}
}
filter{
grok {
match => { "message" => "%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}"}
}
}
output {
elasticsearch {
hosts => [ "localhost:9200" ]
}
}I muri i te tiaki i o huringa, whakaara ano i te Logstash ka tirohia tona mana kia mohio kei te mahi tonu.
sudo service logstash restart
sudo service logstash statusKa mutu, kia mohio kua whai mana nga huringa, Kia mahara ki te whakahou i to taurangi Elasticsearch mo Logstash i Kibana!
Ki a Grok, kua hangahia to raraunga rangitaki!
Ka taea e tatou te kite i te ahua o runga ake nei, ka taea e Grok te whakarite aunoa i nga raraunga rangitaki me te Elasticsearch. Ma tenei ka ngawari ake te whakahaere i nga raarangi me te uiui tere i nga korero. Engari i te keri i roto i nga konae rangitaki hei patuiro, ka taea e koe te tarai ma te aha e rapu ana koe, penei i te taiao, i te url ranei.
Whakamātauria nga korero a Grok! Mena kei a koe tetahi atu huarahi ki te mahi i tenei, he raru ranei mo nga tauira i runga ake nei, tuhia he korero ki raro kia mohio ai ahau.
Nga mihi mo te panui—a koa whai mai i ahau i konei i runga i te Waenga mo etahi atu tuhinga whakahihiri rorohiko!
Rauemi
PS
Te hongere Telegram na
Source: will.com