LogStash-ലെ GROK ഉപയോഗിച്ച് ലോഗുകളിൽ നിന്ന് ELK സ്റ്റാക്കിലേക്ക് ഘടനയില്ലാത്ത ഡാറ്റ പരിവർത്തനം ചെയ്യുന്നതിനുള്ള നുറുങ്ങുകളും തന്ത്രങ്ങളും

GROK ഉപയോഗിച്ച് ഘടനയില്ലാത്ത ഡാറ്റ സ്ട്രക്ചർ ചെയ്യുന്നു

നിങ്ങൾ ഇലാസ്റ്റിക് (ELK) സ്റ്റാക്ക് ഉപയോഗിക്കുകയും ഇലാസ്റ്റിക് സെർച്ചിലേക്ക് ഇഷ്‌ടാനുസൃത ലോഗ്‌സ്റ്റാഷ് ലോഗുകൾ മാപ്പുചെയ്യാൻ താൽപ്പര്യമുണ്ടെങ്കിൽ, ഈ പോസ്റ്റ് നിങ്ങൾക്കുള്ളതാണ്.

ഇലാസ്റ്റിക് സെർച്ച്, ലോഗ്സ്റ്റാഷ്, കിബാന എന്നീ മൂന്ന് ഓപ്പൺ സോഴ്സ് പ്രോജക്ടുകളുടെ ചുരുക്കപ്പേരാണ് ELK സ്റ്റാക്ക്. അവർ ഒരുമിച്ച് ഒരു ലോഗ് മാനേജ്മെന്റ് പ്ലാറ്റ്ഫോം രൂപീകരിക്കുന്നു.

• ഇലാസ്റ്റിസെര്ച്ച് ഒരു തിരയൽ, വിശകലന സംവിധാനമാണ്.
• Logstash ഒരു സെർവർ സൈഡ് ഡാറ്റ പ്രോസസ്സിംഗ് പൈപ്പ്‌ലൈനാണ്, അത് ഒന്നിലധികം ഉറവിടങ്ങളിൽ നിന്ന് ഒരേസമയം ഡാറ്റ ഉൾക്കൊള്ളുന്നു, അത് രൂപാന്തരപ്പെടുത്തുന്നു, തുടർന്ന് ഇലാസ്റ്റിക് സെർച്ച് പോലുള്ള ഒരു "സ്റ്റാഷിലേക്ക്" അയയ്ക്കുന്നു.
• കിബാന ഇലാസ്റ്റിക് സെർച്ചിൽ ചാർട്ടുകളും ഗ്രാഫുകളും ഉപയോഗിച്ച് ഡാറ്റ ദൃശ്യവൽക്കരിക്കാൻ ഉപയോക്താക്കളെ അനുവദിക്കുന്നു.

ബീറ്റ്സ് പിന്നീട് വന്നു, ഒരു കനംകുറഞ്ഞ ഡാറ്റ ഷിപ്പർ ആണ്. ബീറ്റ്സിന്റെ ആമുഖം എൽക്ക് സ്റ്റാക്കിനെ ഇലാസ്റ്റിക് സ്റ്റാക്കാക്കി മാറ്റി, പക്ഷേ അതല്ല കാര്യം.

ഈ ലേഖനം ഗ്രോക്കിനെ കുറിച്ചുള്ളതാണ്, ഇത് ലോഗ്സ്റ്റാഷിലെ ഒരു സവിശേഷതയാണ്, അത് സ്റ്റാഷിലേക്ക് അയയ്‌ക്കുന്നതിന് മുമ്പ് നിങ്ങളുടെ ലോഗുകൾ പരിവർത്തനം ചെയ്യാൻ കഴിയും. ഞങ്ങളുടെ ആവശ്യങ്ങൾക്ക്, Logstash-ൽ നിന്ന് Elasticsearch-ലേക്ക് ഡാറ്റ പ്രോസസ്സ് ചെയ്യുന്നതിനെക്കുറിച്ച് മാത്രമേ ഞാൻ സംസാരിക്കൂ.

ഗ്രോക്ക് എന്നത് ലോഗ്‌സ്റ്റാഷിനുള്ളിലെ ഒരു ഫിൽട്ടറാണ്, അത് ഘടനാപരമായതും ചോദ്യം ചെയ്യാവുന്നതുമായ ഒന്നിലേക്ക് ഘടനയില്ലാത്ത ഡാറ്റ പാഴ്‌സ് ചെയ്യാൻ ഉപയോഗിക്കുന്നു. ഇത് ഒരു റെഗുലർ എക്‌സ്‌പ്രഷന്റെ (റെജക്‌സ്) മുകളിൽ ഇരിക്കുകയും ലോഗ് ഫയലുകളിലെ സ്ട്രിംഗുകൾ പൊരുത്തപ്പെടുത്തുന്നതിന് ടെക്‌സ്‌റ്റ് പാറ്റേണുകൾ ഉപയോഗിക്കുകയും ചെയ്യുന്നു.

ഇനിപ്പറയുന്ന വിഭാഗങ്ങളിൽ നമ്മൾ കാണുന്നത് പോലെ, കാര്യക്ഷമമായ ലോഗ് മാനേജുമെന്റിന്റെ കാര്യത്തിൽ ഗ്രോക്ക് ഉപയോഗിക്കുന്നത് വലിയ മാറ്റമുണ്ടാക്കുന്നു.

ഗ്രോക്ക് ഇല്ലാതെ നിങ്ങളുടെ ലോഗ് ഡാറ്റ ഘടനയില്ലാത്തതാണ്

Grok കൂടാതെ, Logstash-ൽ നിന്ന് Elasticsearch-ലേക്ക് ലോഗുകൾ അയച്ച് കിബാനയിൽ റെൻഡർ ചെയ്യുമ്പോൾ, അവ സന്ദേശ മൂല്യത്തിൽ മാത്രമേ ദൃശ്യമാകൂ.

എല്ലാ ലോഗ് ഡാറ്റയും ഒരൊറ്റ കീയിൽ സംഭരിച്ചിരിക്കുന്നതിനാൽ ഈ സാഹചര്യത്തിൽ അർത്ഥവത്തായ വിവരങ്ങൾ അന്വേഷിക്കുന്നത് ബുദ്ധിമുട്ടാണ്. ലോഗ് സന്ദേശങ്ങൾ നന്നായി ചിട്ടപ്പെടുത്തിയാൽ നന്നായിരിക്കും.

ലോഗുകളിൽ നിന്നുള്ള ഘടനയില്ലാത്ത ഡാറ്റ

localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0

നിങ്ങൾ അസംസ്‌കൃത ഡാറ്റ സൂക്ഷ്മമായി പരിശോധിച്ചാൽ, അതിൽ യഥാർത്ഥത്തിൽ വ്യത്യസ്ത ഭാഗങ്ങൾ അടങ്ങിയിരിക്കുന്നതായി നിങ്ങൾ കാണും, ഓരോന്നും ഒരു സ്‌പെയ്‌സ് കൊണ്ട് വേർതിരിച്ചിരിക്കുന്നു.

കൂടുതൽ പരിചയസമ്പന്നരായ ഡെവലപ്പർമാർക്കായി, ഓരോ ഭാഗങ്ങളും എന്താണ് അർത്ഥമാക്കുന്നത് എന്നും API കോളിൽ നിന്നുള്ള ലോഗ് സന്ദേശം എന്താണെന്നും നിങ്ങൾക്ക് ഊഹിക്കാവുന്നതാണ്. ഓരോ ഇനത്തിന്റെയും അവതരണം ചുവടെ വിവരിച്ചിരിക്കുന്നു.

ഞങ്ങളുടെ ഡാറ്റയുടെ ഘടനാപരമായ കാഴ്ച

• ലോക്കൽ ഹോസ്റ്റ് == പരിസ്ഥിതി
• നേടുക == രീതി
• ​ /v2/applink/5c2f4bb3e9fda1234edc64d == url
• 400 == പ്രതികരണ_നില
• 46ms == പ്രതികരണ_സമയം
• ​ 5bc6e716b5d6cb35fc9687c0 == user_id

ഘടനാപരമായ ഡാറ്റയിൽ നമ്മൾ കാണുന്നത് പോലെ, ഘടനയില്ലാത്ത ലോഗുകൾക്ക് ഒരു ഓർഡർ ഉണ്ട്. അടുത്ത ഘട്ടം റോ ഡാറ്റയുടെ സോഫ്റ്റ്വെയർ പ്രോസസ്സിംഗ് ആണ്. ഇവിടെയാണ് ഗ്രോക്ക് തിളങ്ങുന്നത്.

ഗ്രോക്ക് ടെംപ്ലേറ്റുകൾ

അന്തർനിർമ്മിത ഗ്രോക്ക് ടെംപ്ലേറ്റുകൾ

ഘടനാരഹിതമായ ഡാറ്റ രൂപപ്പെടുത്തുന്നതിന് 100-ലധികം അന്തർനിർമ്മിത ടെംപ്ലേറ്റുകളുമായാണ് ലോഗ്സ്റ്റാഷ് വരുന്നത്. apache, linux, haproxy, aws മുതലായ പൊതുവായ സിസ്‌ലോഗുകൾക്കായി സാധ്യമാകുമ്പോഴെല്ലാം നിങ്ങൾ ഇത് തീർച്ചയായും പ്രയോജനപ്പെടുത്തണം.

എന്നിരുന്നാലും, മുകളിലെ ഉദാഹരണത്തിലെ പോലെ നിങ്ങൾക്ക് ഇഷ്ടാനുസൃത ലോഗുകൾ ഉണ്ടെങ്കിൽ എന്ത് സംഭവിക്കും? നിങ്ങളുടേതായ ഗ്രോക്ക് ടെംപ്ലേറ്റ് നിർമ്മിക്കണം.

ഇഷ്ടാനുസൃത ഗ്രോക്ക് ടെംപ്ലേറ്റുകൾ

നിങ്ങളുടെ സ്വന്തം ഗ്രോക്ക് ടെംപ്ലേറ്റ് നിർമ്മിക്കാൻ ശ്രമിക്കേണ്ടതുണ്ട്. ഞാൻ ഉപയോഗിച്ചു ഗ്രോക്ക് ഡീബഗ്ഗർ и ഗ്രോക്ക് പാറ്റേണുകൾ.

ഗ്രോക്ക് ടെംപ്ലേറ്റ് വാക്യഘടന ഇപ്രകാരമാണ് എന്നത് ശ്രദ്ധിക്കുക: %{SYNTAX:SEMANTIC}

ഞാൻ ആദ്യം ചെയ്യാൻ ശ്രമിച്ചത് ടാബിലേക്ക് പോകുക എന്നതാണ് കണ്ടെത്തുക ഗ്രോക്ക് ഡീബഗ്ഗറിൽ. ഈ ടൂളിന് ഒരു ഗ്രോക്ക് പാറ്റേൺ സ്വയമേവ സൃഷ്ടിക്കാൻ കഴിയുമെങ്കിൽ അത് രസകരമാകുമെന്ന് ഞാൻ കരുതി, പക്ഷേ രണ്ട് പൊരുത്തങ്ങൾ മാത്രം കണ്ടെത്തിയതിനാൽ ഇത് വളരെ ഉപയോഗപ്രദമായില്ല.

ഈ കണ്ടെത്തൽ ഉപയോഗിച്ച്, ഇലാസ്റ്റിക് ഗിത്തബ് പേജിൽ കാണുന്ന വാക്യഘടന ഉപയോഗിച്ച് ഗ്രോക്ക് ഡീബഗ്ഗറിൽ ഞാൻ സ്വന്തമായി ടെംപ്ലേറ്റ് സൃഷ്ടിക്കാൻ തുടങ്ങി.

വ്യത്യസ്‌ത വാക്യഘടനകൾ ഉപയോഗിച്ച് കളിച്ചതിന് ശേഷം, ഒടുവിൽ ഞാൻ ആഗ്രഹിച്ച രീതിയിൽ ലോഗ് ഡാറ്റ രൂപപ്പെടുത്താൻ എനിക്ക് കഴിഞ്ഞു.

ഗ്രോക്ക് ഡീബഗ്ഗർ ലിങ്ക് https://grokdebug.herokuapp.com/

യഥാർത്ഥ വാചകം:

localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0

പാറ്റേൺ:

%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}

അവസാനം എന്ത് സംഭവിച്ചു

{
  "environment": [
    [
      "localhost"
    ]
  ],
  "method": [
    [
      "GET"
    ]
  ],
  "url": [
    [
      "/v2/applink/5c2f4bb3e9fda1234edc64d"
    ]
  ],
  "response_status": [
    [
      "400"
    ]
  ],
  "BASE10NUM": [
    [
      "400"
    ]
  ],
  "response_time": [
    [
      "46ms"
    ]
  ],
  "user_id": [
    [
      "5bc6e716b5d6cb35fc9687c0"
    ]
  ]
}

ഗ്രോക്ക് ടെംപ്ലേറ്റും മാപ്പ് ചെയ്ത ഡാറ്റയും കയ്യിലുണ്ടെങ്കിൽ, അവസാന ഘട്ടം അത് ലോഗ്സ്റ്റാഷിലേക്ക് ചേർക്കുക എന്നതാണ്.

Logstash.conf കോൺഫിഗറേഷൻ ഫയൽ അപ്ഡേറ്റ് ചെയ്യുന്നു

നിങ്ങൾ ELK സ്റ്റാക്ക് ഇൻസ്റ്റാൾ ചെയ്ത സെർവറിൽ, Logstash കോൺഫിഗറേഷനിലേക്ക് പോകുക:

sudo vi /etc/logstash/conf.d/logstash.conf

മാറ്റങ്ങൾ ഒട്ടിക്കുക.

input { 
  file {
    path => "/your_logs/*.log"
  }
}
filter{
  grok {
    match => { "message" => "%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}"}
  }
}
output {
  elasticsearch {
    hosts => [ "localhost:9200" ]
  }
}

നിങ്ങളുടെ മാറ്റങ്ങൾ സംരക്ഷിച്ചതിന് ശേഷം, ലോഗ്സ്റ്റാഷ് പുനരാരംഭിച്ച് അത് ഇപ്പോഴും പ്രവർത്തിക്കുന്നുണ്ടെന്ന് ഉറപ്പാക്കാൻ അതിന്റെ നില പരിശോധിക്കുക.

sudo service logstash restart
sudo service logstash status

അവസാനമായി, മാറ്റങ്ങൾ പ്രാബല്യത്തിൽ വന്നുവെന്ന് ഉറപ്പാക്കാൻ, കിബാനയിലെ ലോഗ്‌സ്റ്റാഷിനായി നിങ്ങളുടെ ഇലാസ്റ്റിക് തിരയൽ സൂചിക അപ്‌ഡേറ്റ് ചെയ്യുന്നത് ഉറപ്പാക്കുക!

ഗ്രോക്ക് ഉപയോഗിച്ച്, നിങ്ങളുടെ ലോഗ് ഡാറ്റ ഘടനാപരമായതാണ്!

മുകളിലുള്ള ചിത്രത്തിൽ നമുക്ക് കാണാൻ കഴിയുന്നതുപോലെ, ഇലാസ്റ്റിക് സെർച്ചുമായി ലോഗ് ഡാറ്റ സ്വയമേവ പൊരുത്തപ്പെടുത്താൻ ഗ്രോക്കിന് കഴിയും. ഇത് ലോഗുകൾ നിയന്ത്രിക്കുന്നതും വേഗത്തിൽ വിവരങ്ങൾ അന്വേഷിക്കുന്നതും എളുപ്പമാക്കുന്നു. ഡീബഗ് ചെയ്യുന്നതിനായി ലോഗ് ഫയലുകൾ പരിശോധിക്കുന്നതിനുപകരം, ഒരു പരിസ്ഥിതി അല്ലെങ്കിൽ url പോലെ നിങ്ങൾ തിരയുന്നവ ഉപയോഗിച്ച് നിങ്ങൾക്ക് ഫിൽട്ടർ ചെയ്യാം.

ഗ്രോക്ക് എക്‌സ്‌പ്രഷനുകൾ ഒന്നു പരീക്ഷിച്ചുനോക്കൂ! നിങ്ങൾക്ക് ഇത് ചെയ്യാൻ മറ്റൊരു മാർഗമുണ്ടെങ്കിൽ അല്ലെങ്കിൽ മുകളിലുള്ള ഉദാഹരണങ്ങളിൽ എന്തെങ്കിലും പ്രശ്നമുണ്ടെങ്കിൽ, എന്നെ അറിയിക്കുന്നതിന് ചുവടെ ഒരു അഭിപ്രായം എഴുതുക.

വായിച്ചതിന് നന്ദി-കൂടുതൽ രസകരമായ സോഫ്റ്റ്‌വെയർ എഞ്ചിനീയറിംഗ് ലേഖനങ്ങൾക്കായി മീഡിയത്തിൽ എന്നെ ഇവിടെ പിന്തുടരുക!

വിഭവങ്ങൾ

https://www.elastic.co/blog/do-you-grok-grok
https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns
https://grokdebug.herokuapp.com/

പി.എസ് ഉറവിട ലിങ്ക്

ടെലിഗ്രാം ചാനൽ വഴി ഇലാസ്റ്റിസെര്ച്ച്

അവലംബം: www.habr.com