LogStash ਵਿੱਚ GROK ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਲੌਗਸ ਤੋਂ ELK ਸਟੈਕ ਵਿੱਚ ਗੈਰ-ਸੰਗਠਿਤ ਡੇਟਾ ਨੂੰ ਬਦਲਣ ਲਈ ਸੁਝਾਅ ਅਤੇ ਜੁਗਤਾਂ

GROK ਨਾਲ ਗੈਰ-ਸੰਗਠਿਤ ਡੇਟਾ ਦਾ ਸੰਰਚਨਾ ਕਰਨਾ

ਜੇਕਰ ਤੁਸੀਂ ਇਲਾਸਟਿਕ (ELK) ਸਟੈਕ ਦੀ ਵਰਤੋਂ ਕਰ ਰਹੇ ਹੋ ਅਤੇ Elasticsearch ਨਾਲ ਕਸਟਮ ਲੌਗਸਟੈਸ਼ ਲੌਗਸ ਨੂੰ ਮੈਪ ਕਰਨ ਵਿੱਚ ਦਿਲਚਸਪੀ ਰੱਖਦੇ ਹੋ, ਤਾਂ ਇਹ ਪੋਸਟ ਤੁਹਾਡੇ ਲਈ ਹੈ।

ELK ਸਟੈਕ ਤਿੰਨ ਓਪਨ ਸੋਰਸ ਪ੍ਰੋਜੈਕਟਾਂ ਦਾ ਸੰਖੇਪ ਰੂਪ ਹੈ: Elasticsearch, Logstash ਅਤੇ Kibana। ਇਕੱਠੇ ਉਹ ਇੱਕ ਲਾਗ ਪ੍ਰਬੰਧਨ ਪਲੇਟਫਾਰਮ ਬਣਾਉਂਦੇ ਹਨ।

• ਲਲਸੀ ਖੋਜ ਇੱਕ ਖੋਜ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਪ੍ਰਣਾਲੀ ਹੈ।
• ਲੌਗਸਟੈਸ਼ ਇੱਕ ਸਰਵਰ-ਸਾਈਡ ਡੇਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਪਾਈਪਲਾਈਨ ਹੈ ਜੋ ਇੱਕੋ ਸਮੇਂ ਕਈ ਸਰੋਤਾਂ ਤੋਂ ਡੇਟਾ ਨੂੰ ਗ੍ਰਹਿਣ ਕਰਦੀ ਹੈ, ਇਸਨੂੰ ਬਦਲਦੀ ਹੈ, ਅਤੇ ਫਿਰ ਇਸਨੂੰ "ਸਟੈਸ਼" ਜਿਵੇਂ ਕਿ Elasticsearch ਵਿੱਚ ਭੇਜਦੀ ਹੈ।
• ਕਿਬਾਨਾ Elasticsearch ਵਿੱਚ ਚਾਰਟ ਅਤੇ ਗ੍ਰਾਫ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਡੇਟਾ ਦੀ ਕਲਪਨਾ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।

ਬੀਟਸ ਬਾਅਦ ਵਿੱਚ ਆਇਆ ਅਤੇ ਇੱਕ ਹਲਕਾ ਡਾਟਾ ਸ਼ਿਪਰ ਹੈ। ਬੀਟਸ ਦੀ ਸ਼ੁਰੂਆਤ ਨੇ ਐਲਕ ਸਟੈਕ ਨੂੰ ਲਚਕੀਲੇ ਸਟੈਕ ਵਿੱਚ ਬਦਲ ਦਿੱਤਾ, ਪਰ ਇਹ ਬਿੰਦੂ ਨਹੀਂ ਹੈ।

ਇਹ ਲੇਖ Grok ਬਾਰੇ ਹੈ, ਜੋ ਕਿ Logstash ਵਿੱਚ ਇੱਕ ਵਿਸ਼ੇਸ਼ਤਾ ਹੈ ਜੋ ਤੁਹਾਡੇ ਲੌਗਸ ਨੂੰ ਸਟੈਸ਼ ਵਿੱਚ ਭੇਜਣ ਤੋਂ ਪਹਿਲਾਂ ਉਹਨਾਂ ਨੂੰ ਬਦਲ ਸਕਦੀ ਹੈ। ਸਾਡੇ ਉਦੇਸ਼ਾਂ ਲਈ, ਮੈਂ ਸਿਰਫ Logstash ਤੋਂ Elasticsearch ਵਿੱਚ ਡੇਟਾ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਨ ਬਾਰੇ ਗੱਲ ਕਰਾਂਗਾ।

Grok ਲੌਗਸਟੈਸ਼ ਦੇ ਅੰਦਰ ਇੱਕ ਫਿਲਟਰ ਹੈ ਜੋ ਗੈਰ-ਸੰਗਠਿਤ ਡੇਟਾ ਨੂੰ ਕਿਸੇ ਸਟ੍ਰਕਚਰਡ ਅਤੇ ਪੁੱਛਗਿੱਛਯੋਗ ਵਿੱਚ ਪਾਰਸ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। ਇਹ ਇੱਕ ਰੈਗੂਲਰ ਸਮੀਕਰਨ (ਰੇਜੈਕਸ) ਦੇ ਸਿਖਰ 'ਤੇ ਬੈਠਦਾ ਹੈ ਅਤੇ ਲੌਗ ਫਾਈਲਾਂ ਵਿੱਚ ਸਤਰ ਨਾਲ ਮੇਲ ਕਰਨ ਲਈ ਟੈਕਸਟ ਪੈਟਰਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।

ਜਿਵੇਂ ਕਿ ਅਸੀਂ ਹੇਠਾਂ ਦਿੱਤੇ ਭਾਗਾਂ ਵਿੱਚ ਦੇਖਾਂਗੇ, ਜਦੋਂ ਕੁਸ਼ਲ ਲੌਗ ਪ੍ਰਬੰਧਨ ਦੀ ਗੱਲ ਆਉਂਦੀ ਹੈ ਤਾਂ Grok ਦੀ ਵਰਤੋਂ ਕਰਨ ਨਾਲ ਇੱਕ ਵੱਡਾ ਫ਼ਰਕ ਪੈਂਦਾ ਹੈ।

Grok ਤੋਂ ਬਿਨਾਂ ਤੁਹਾਡਾ ਲੌਗ ਡੇਟਾ ਗੈਰ-ਸੰਗਠਿਤ ਹੈ

Grok ਤੋਂ ਬਿਨਾਂ, ਜਦੋਂ ਲੌਗਸ ਨੂੰ Logstash ਤੋਂ Elasticsearch ਨੂੰ ਭੇਜਿਆ ਜਾਂਦਾ ਹੈ ਅਤੇ ਕਿਬਾਨਾ ਵਿੱਚ ਰੈਂਡਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਉਹ ਸਿਰਫ਼ ਸੁਨੇਹੇ ਦੇ ਮੁੱਲ ਵਿੱਚ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ।

ਇਸ ਸਥਿਤੀ ਵਿੱਚ ਅਰਥਪੂਰਨ ਜਾਣਕਾਰੀ ਦੀ ਪੁੱਛਗਿੱਛ ਕਰਨਾ ਮੁਸ਼ਕਲ ਹੈ ਕਿਉਂਕਿ ਸਾਰਾ ਲੌਗ ਡੇਟਾ ਇੱਕ ਕੁੰਜੀ ਵਿੱਚ ਸਟੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਇਹ ਬਿਹਤਰ ਹੋਵੇਗਾ ਜੇਕਰ ਲੌਗ ਸੁਨੇਹਿਆਂ ਨੂੰ ਬਿਹਤਰ ਢੰਗ ਨਾਲ ਵਿਵਸਥਿਤ ਕੀਤਾ ਜਾਵੇ।

ਲੌਗਸ ਤੋਂ ਗੈਰ-ਸੰਗਠਿਤ ਡੇਟਾ

localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0

ਜੇਕਰ ਤੁਸੀਂ ਕੱਚੇ ਡੇਟਾ ਨੂੰ ਨੇੜਿਓਂ ਦੇਖਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਦੇਖੋਗੇ ਕਿ ਇਹ ਅਸਲ ਵਿੱਚ ਵੱਖ-ਵੱਖ ਭਾਗਾਂ ਦੇ ਸ਼ਾਮਲ ਹਨ, ਹਰੇਕ ਨੂੰ ਇੱਕ ਸਪੇਸ ਦੁਆਰਾ ਵੱਖ ਕੀਤਾ ਗਿਆ ਹੈ।

ਵਧੇਰੇ ਤਜਰਬੇਕਾਰ ਡਿਵੈਲਪਰਾਂ ਲਈ, ਤੁਸੀਂ ਸ਼ਾਇਦ ਅੰਦਾਜ਼ਾ ਲਗਾ ਸਕਦੇ ਹੋ ਕਿ ਹਰੇਕ ਹਿੱਸੇ ਦਾ ਕੀ ਅਰਥ ਹੈ ਅਤੇ API ਕਾਲ ਤੋਂ ਉਹ ਲੌਗ ਸੁਨੇਹਾ ਕੀ ਹੈ। ਹਰੇਕ ਆਈਟਮ ਦੀ ਪੇਸ਼ਕਾਰੀ ਹੇਠਾਂ ਦਿੱਤੀ ਗਈ ਹੈ।

ਸਾਡੇ ਡੇਟਾ ਦਾ ਢਾਂਚਾਗਤ ਦ੍ਰਿਸ਼

• ਲੋਕਲਹੋਸਟ == ਵਾਤਾਵਰਨ
• ਪ੍ਰਾਪਤ ਕਰੋ == ਵਿਧੀ
• ​ /v2/applink/5c2f4bb3e9fda1234edc64d == url
• 400 == ਜਵਾਬ_ਸਥਿਤੀ
• 46ms == ਜਵਾਬ_ਸਮਾਂ
• ​ 5bc6e716b5d6cb35fc9687c0 == user_id

ਜਿਵੇਂ ਕਿ ਅਸੀਂ ਸਟ੍ਰਕਚਰਡ ਡੇਟਾ ਵਿੱਚ ਦੇਖਦੇ ਹਾਂ, ਗੈਰ-ਸੰਗਠਿਤ ਲੌਗਸ ਲਈ ਇੱਕ ਆਰਡਰ ਹੈ। ਅਗਲਾ ਕਦਮ ਕੱਚੇ ਡੇਟਾ ਦੀ ਸੌਫਟਵੇਅਰ ਪ੍ਰੋਸੈਸਿੰਗ ਹੈ। ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਗ੍ਰੋਕ ਚਮਕਦਾ ਹੈ.

Grok ਟੈਂਪਲੇਟਸ

ਬਿਲਟ-ਇਨ ਗ੍ਰੋਕ ਟੈਂਪਲੇਟਸ

ਲੌਗਸਟੈਸ਼ 100 ਤੋਂ ਵੱਧ ਬਿਲਟ-ਇਨ ਟੈਂਪਲੇਟਸ ਦੇ ਨਾਲ ਗੈਰ-ਸੰਗਠਿਤ ਡੇਟਾ ਨੂੰ ਸਟ੍ਰਕਚਰ ਕਰਨ ਲਈ ਆਉਂਦਾ ਹੈ। apache, linux, haproxy, aws ਆਦਿ ਵਰਗੇ ਆਮ ਸਿਸਲੌਗ ਲਈ ਜਦੋਂ ਵੀ ਸੰਭਵ ਹੋਵੇ ਤਾਂ ਤੁਹਾਨੂੰ ਯਕੀਨੀ ਤੌਰ 'ਤੇ ਇਸਦਾ ਲਾਭ ਲੈਣਾ ਚਾਹੀਦਾ ਹੈ।

ਹਾਲਾਂਕਿ, ਕੀ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਤੁਹਾਡੇ ਕੋਲ ਕਸਟਮ ਲੌਗ ਹੁੰਦੇ ਹਨ ਜਿਵੇਂ ਕਿ ਉਪਰੋਕਤ ਉਦਾਹਰਨ ਵਿੱਚ? ਤੁਹਾਨੂੰ ਆਪਣਾ Grok ਟੈਂਪਲੇਟ ਬਣਾਉਣਾ ਚਾਹੀਦਾ ਹੈ।

ਕਸਟਮ Grok ਟੈਮਪਲੇਟਸ

ਤੁਹਾਨੂੰ ਆਪਣਾ ਗਰੋਕ ਟੈਂਪਲੇਟ ਬਣਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਨੀ ਪਵੇਗੀ। ਮੈਂ ਵਰਤਿਆ Grok ਡੀਬੱਗਰ и Grok ਪੈਟਰਨ.

ਨੋਟ ਕਰੋ ਕਿ Grok ਟੈਂਪਲੇਟ ਸੰਟੈਕਸ ਇਸ ਤਰ੍ਹਾਂ ਹੈ: %{SYNTAX:SEMANTIC}

ਪਹਿਲੀ ਚੀਜ਼ ਜੋ ਮੈਂ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ ਉਹ ਟੈਬ 'ਤੇ ਜਾਣਾ ਸੀ ਖੋਜੋ Grok ਡੀਬੱਗਰ ਵਿੱਚ. ਮੈਂ ਸੋਚਿਆ ਕਿ ਇਹ ਵਧੀਆ ਹੋਵੇਗਾ ਜੇਕਰ ਇਹ ਟੂਲ ਆਟੋਮੈਟਿਕਲੀ ਇੱਕ Grok ਪੈਟਰਨ ਤਿਆਰ ਕਰ ਸਕਦਾ ਹੈ, ਪਰ ਇਹ ਬਹੁਤ ਉਪਯੋਗੀ ਨਹੀਂ ਸੀ ਕਿਉਂਕਿ ਇਸਨੂੰ ਸਿਰਫ ਦੋ ਮੈਚ ਮਿਲੇ ਹਨ.

ਇਸ ਖੋਜ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਮੈਂ ਲਚਕੀਲੇ ਗਿਥਬ ਪੰਨੇ 'ਤੇ ਪਾਏ ਗਏ ਸੰਟੈਕਸ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਗ੍ਰੋਕ ਡੀਬੱਗਰ ਵਿੱਚ ਆਪਣਾ ਖੁਦ ਦਾ ਟੈਂਪਲੇਟ ਬਣਾਉਣਾ ਸ਼ੁਰੂ ਕੀਤਾ.

ਵੱਖ-ਵੱਖ ਸੰਟੈਕਸ ਦੇ ਨਾਲ ਖੇਡਣ ਤੋਂ ਬਾਅਦ, ਮੈਂ ਅੰਤ ਵਿੱਚ ਲੌਗ ਡੇਟਾ ਨੂੰ ਉਸ ਤਰੀਕੇ ਨਾਲ ਢਾਂਚਾ ਕਰਨ ਦੇ ਯੋਗ ਹੋ ਗਿਆ ਜਿਸ ਤਰ੍ਹਾਂ ਮੈਂ ਚਾਹੁੰਦਾ ਸੀ.

Grok ਡੀਬੱਗਰ ਲਿੰਕ https://grokdebug.herokuapp.com/

ਮੂਲ ਪਾਠ:

localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0

ਪੈਟਰਨ:

%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}

ਅੰਤ ਵਿੱਚ ਕੀ ਹੋਇਆ

{
  "environment": [
    [
      "localhost"
    ]
  ],
  "method": [
    [
      "GET"
    ]
  ],
  "url": [
    [
      "/v2/applink/5c2f4bb3e9fda1234edc64d"
    ]
  ],
  "response_status": [
    [
      "400"
    ]
  ],
  "BASE10NUM": [
    [
      "400"
    ]
  ],
  "response_time": [
    [
      "46ms"
    ]
  ],
  "user_id": [
    [
      "5bc6e716b5d6cb35fc9687c0"
    ]
  ]
}

Grok ਟੈਂਪਲੇਟ ਅਤੇ ਮੈਪ ਕੀਤੇ ਡੇਟਾ ਦੇ ਨਾਲ, ਆਖਰੀ ਪੜਾਅ ਇਸਨੂੰ Logstash ਵਿੱਚ ਜੋੜਨਾ ਹੈ।

Logstash.conf ਸੰਰਚਨਾ ਫਾਇਲ ਨੂੰ ਅੱਪਡੇਟ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ

ਸਰਵਰ 'ਤੇ ਜਿੱਥੇ ਤੁਸੀਂ ELK ਸਟੈਕ ਸਥਾਪਤ ਕੀਤਾ ਹੈ, Logstash ਸੰਰਚਨਾ 'ਤੇ ਜਾਓ:

sudo vi /etc/logstash/conf.d/logstash.conf

ਤਬਦੀਲੀਆਂ ਨੂੰ ਪੇਸਟ ਕਰੋ।

input { 
  file {
    path => "/your_logs/*.log"
  }
}
filter{
  grok {
    match => { "message" => "%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}"}
  }
}
output {
  elasticsearch {
    hosts => [ "localhost:9200" ]
  }
}

ਤੁਹਾਡੀਆਂ ਤਬਦੀਲੀਆਂ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਲੌਗਸਟੈਸ਼ ਨੂੰ ਮੁੜ ਚਾਲੂ ਕਰੋ ਅਤੇ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਇਸਦੀ ਸਥਿਤੀ ਦੀ ਜਾਂਚ ਕਰੋ ਕਿ ਇਹ ਅਜੇ ਵੀ ਕੰਮ ਕਰ ਰਿਹਾ ਹੈ।

sudo service logstash restart
sudo service logstash status

ਅੰਤ ਵਿੱਚ, ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਕਿ ਤਬਦੀਲੀਆਂ ਲਾਗੂ ਹੋ ਗਈਆਂ ਹਨ, Kibana ਵਿੱਚ Logstash ਲਈ ਆਪਣੇ Elasticsearch ਇੰਡੈਕਸ ਨੂੰ ਅੱਪਡੇਟ ਕਰਨਾ ਯਕੀਨੀ ਬਣਾਓ!

Grok ਦੇ ਨਾਲ, ਤੁਹਾਡਾ ਲੌਗ ਡੇਟਾ ਢਾਂਚਾਗਤ ਹੈ!

ਜਿਵੇਂ ਕਿ ਅਸੀਂ ਉਪਰੋਕਤ ਚਿੱਤਰ ਵਿੱਚ ਦੇਖ ਸਕਦੇ ਹਾਂ, Grok Elasticsearch ਨਾਲ ਲੌਗ ਡੇਟਾ ਨੂੰ ਆਪਣੇ ਆਪ ਮੇਲ ਕਰਨ ਦੇ ਸਮਰੱਥ ਹੈ. ਇਹ ਲੌਗਸ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਨਾ ਅਤੇ ਜਾਣਕਾਰੀ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਪੁੱਛਗਿੱਛ ਕਰਨਾ ਆਸਾਨ ਬਣਾਉਂਦਾ ਹੈ। ਡੀਬੱਗ ਕਰਨ ਲਈ ਲੌਗ ਫਾਈਲਾਂ ਨੂੰ ਖੋਦਣ ਦੀ ਬਜਾਏ, ਤੁਸੀਂ ਬਸ ਉਸ ਦੁਆਰਾ ਫਿਲਟਰ ਕਰ ਸਕਦੇ ਹੋ ਜੋ ਤੁਸੀਂ ਲੱਭ ਰਹੇ ਹੋ, ਜਿਵੇਂ ਕਿ ਵਾਤਾਵਰਣ ਜਾਂ url।

Grok ਸਮੀਕਰਨ ਅਜ਼ਮਾਓ! ਜੇ ਤੁਹਾਡੇ ਕੋਲ ਅਜਿਹਾ ਕਰਨ ਦਾ ਕੋਈ ਹੋਰ ਤਰੀਕਾ ਹੈ ਜਾਂ ਉਪਰੋਕਤ ਉਦਾਹਰਣਾਂ ਨਾਲ ਕੋਈ ਸਮੱਸਿਆ ਹੈ, ਤਾਂ ਮੈਨੂੰ ਦੱਸਣ ਲਈ ਹੇਠਾਂ ਇੱਕ ਟਿੱਪਣੀ ਲਿਖੋ।

ਪੜ੍ਹਨ ਲਈ ਧੰਨਵਾਦ—ਅਤੇ ਹੋਰ ਦਿਲਚਸਪ ਸਾਫਟਵੇਅਰ ਇੰਜੀਨੀਅਰਿੰਗ ਲੇਖਾਂ ਲਈ ਕਿਰਪਾ ਕਰਕੇ ਮੀਡੀਅਮ 'ਤੇ ਮੇਰਾ ਪਾਲਣ ਕਰੋ!

ਸਰੋਤ

https://www.elastic.co/blog/do-you-grok-grok
https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns
https://grokdebug.herokuapp.com/

PS ਸਰੋਤ ਲਿੰਕ

ਦੁਆਰਾ ਟੈਲੀਗ੍ਰਾਮ ਚੈਨਲ ਲਲਸੀ ਖੋਜ

ਸਰੋਤ: www.habr.com