ലോഗുകൾ നിരീക്ഷിക്കാൻ കിബാനയിൽ ഒരു ഡാഷ്‌ബോർഡ് സൃഷ്‌ടിക്കുന്നു

ഹലോ, എന്റെ പേര് Evgeniy, ഞാൻ സിറ്റിമൊബിലിലെ B2B ടീം ലീഡാണ്. പങ്കാളികളിൽ നിന്ന് ടാക്സി ഓർഡർ ചെയ്യുന്നതിനുള്ള സംയോജനത്തെ പിന്തുണയ്‌ക്കുക എന്നതാണ് ഞങ്ങളുടെ ടീമിന്റെ ടാസ്‌ക്കുകളിലൊന്ന്, ഒപ്പം സ്ഥിരതയുള്ള സേവനം ഉറപ്പാക്കാൻ ഞങ്ങളുടെ മൈക്രോസർവീസുകളിൽ എന്താണ് സംഭവിക്കുന്നതെന്ന് ഞങ്ങൾ എപ്പോഴും മനസ്സിലാക്കണം. ഇതിനായി നിങ്ങൾ ലോഗുകൾ നിരന്തരം നിരീക്ഷിക്കേണ്ടതുണ്ട്.

സിറ്റിമൊബിലിൽ, ലോഗുകൾക്കൊപ്പം പ്രവർത്തിക്കാൻ ഞങ്ങൾ ELK സ്റ്റാക്ക് (ElasticSearch, Logstash, Kibana) ഉപയോഗിക്കുന്നു, അവിടെ ലഭിച്ച ഡാറ്റയുടെ അളവ് വളരെ വലുതാണ്. അഭ്യർത്ഥനകളുടെ ഈ കൂട്ടത്തിൽ, പുതിയ കോഡിന്റെ വിന്യാസത്തിന് ശേഷം ദൃശ്യമാകുന്ന പ്രശ്നങ്ങൾ കണ്ടെത്തുന്നത് വളരെ ബുദ്ധിമുട്ടാണ്. അവരെ വ്യക്തമായി തിരിച്ചറിയാൻ, കിബാനയ്ക്ക് ഒരു ഡാഷ്‌ബോർഡ് വിഭാഗമുണ്ട്.

ഡാറ്റ സ്വീകരിക്കുന്നതിനും സംഭരിക്കുന്നതിനുമായി ഒരു ELK സ്റ്റാക്ക് എങ്ങനെ സജ്ജീകരിക്കാം എന്നതിന്റെ ഉദാഹരണങ്ങളുള്ള കുറച്ച് ലേഖനങ്ങൾ Habré-യിലുണ്ട്, എന്നാൽ ഒരു ഡാഷ്‌ബോർഡ് സൃഷ്‌ടിക്കുന്നതിന് പ്രസക്തമായ മെറ്റീരിയലുകളൊന്നുമില്ല. അതിനാൽ, കിബാനയിലെ ഇൻകമിംഗ് ലോഗുകളെ അടിസ്ഥാനമാക്കി ഡാറ്റയുടെ വിഷ്വൽ പ്രാതിനിധ്യം എങ്ങനെ സൃഷ്ടിക്കാമെന്ന് കാണിക്കാൻ ഞാൻ ആഗ്രഹിക്കുന്നു.

കമപ്പെടുത്തല്

ഇത് കൂടുതൽ വ്യക്തമാക്കുന്നതിന്, ELK, Filebeat എന്നിവ ഉപയോഗിച്ച് ഞാൻ ഒരു ഡോക്കർ ഇമേജ് സൃഷ്ടിച്ചു. ഒപ്പം ഒരു ചെറിയ പാത്രത്തിൽ വെച്ചു പ്രോഗ്രാം Go-യിൽ, ഇത് ഞങ്ങളുടെ ഉദാഹരണത്തിനായി ടെസ്റ്റ് ലോഗുകൾ സൃഷ്ടിക്കും. ELK യുടെ കോൺഫിഗറേഷൻ ഞാൻ വിശദമായി വിവരിക്കുന്നില്ല, ഹബ്രെയിൽ ഇതിനെക്കുറിച്ച് മതിയായ എഴുതിയിട്ടുണ്ട്.

കോൺഫിഗറേഷൻ ഉപയോഗിച്ച് റിപ്പോസിറ്ററി ക്ലോൺ ചെയ്യുന്നു docker-compose കൂടാതെ ELK ക്രമീകരണങ്ങൾ, കമാൻഡ് ഉപയോഗിച്ച് അത് സമാരംഭിക്കുക docker-compose up. ഞാൻ മനഃപൂർവം ഒരു കീ ചേർക്കുന്നില്ല. -dELK സ്റ്റാക്കിന്റെ പ്രക്രിയ കാണുന്നതിന്.

git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up

എല്ലാം ശരിയായി ക്രമീകരിച്ചിട്ടുണ്ടെങ്കിൽ, ലോഗുകളിൽ ഞങ്ങൾ ഒരു എൻട്രി കാണും (ഒരുപക്ഷേ ഉടനടി അല്ല, മുഴുവൻ സ്റ്റാക്കും ഉള്ള ഒരു കണ്ടെയ്നർ സമാരംഭിക്കുന്ന പ്രക്രിയയ്ക്ക് കുറച്ച് മിനിറ്റ് എടുത്തേക്കാം):

{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}

വിലാസം വഴി localhost:5061 കിബാന തുറക്കണം.

എന്ത് ഡാറ്റയാണ് പ്രദർശിപ്പിക്കേണ്ടത് എന്നതിനെക്കുറിച്ചുള്ള വിവരങ്ങളുള്ള കിബാനയ്‌ക്കായി ഒരു സൂചിക പാറ്റേൺ സൃഷ്‌ടിക്കുക എന്നതാണ് ഞങ്ങൾ കോൺഫിഗർ ചെയ്യേണ്ടത്. ഇത് ചെയ്യുന്നതിന്, നമുക്ക് ഒരു ചുരുളൻ അഭ്യർത്ഥന നടപ്പിലാക്കാം അല്ലെങ്കിൽ ഗ്രാഫിക്കൽ ഇന്റർഫേസിൽ പ്രവർത്തനങ്ങളുടെ ഒരു പരമ്പര നടത്താം.

$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
    -H 'Content-Type: application/json'
    -H 'kbn-xsrf: true'
    -d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'

GUI വഴി ഇൻഡെക്സ് പാറ്റേൺ സൃഷ്ടിക്കുന്നു
കോൺഫിഗർ ചെയ്യുന്നതിന്, ഇടത് മെനുവിലെ ഡിസ്കവർ വിഭാഗം തിരഞ്ഞെടുത്ത് ഇൻഡെക്സ് പാറ്റേൺ സൃഷ്ടിക്കൽ പേജിലേക്ക് പോകുക.

"ഇൻഡക്സ് പാറ്റേൺ സൃഷ്ടിക്കുക" ബട്ടണിൽ ക്ലിക്കുചെയ്യുന്നതിലൂടെ, ഞങ്ങൾ സൂചിക സൃഷ്ടിക്കൽ പേജിലേക്ക് കൊണ്ടുപോകും. "ഇൻഡക്സ് പാറ്റേൺ നാമം" ഫീൽഡിൽ, "logstash-*" നൽകുക. എല്ലാം ശരിയായി ക്രമീകരിച്ചിട്ടുണ്ടെങ്കിൽ, കിബാനയ്ക്ക് താഴെയുള്ള റൂളിന്റെ കീഴിൽ വരുന്ന സൂചികകൾ കാണിക്കും.

അടുത്ത പേജിൽ, ടൈംസ്റ്റാമ്പ് ഉള്ള കീ ഫീൽഡ് തിരഞ്ഞെടുക്കുക, ഞങ്ങളുടെ കാര്യത്തിൽ അത് അങ്ങനെയാണ് @timestamp.

ഇത് സൂചിക ക്രമീകരണ പേജ് കൊണ്ടുവരും, എന്നാൽ ഇപ്പോൾ ഞങ്ങളിൽ നിന്ന് കൂടുതൽ നടപടികളൊന്നും ആവശ്യമില്ല.

ഇപ്പോൾ നമുക്ക് ഡിസ്കവർ വിഭാഗത്തിലേക്ക് മടങ്ങാം, അവിടെ ലോഗ് എൻട്രികൾ കാണാം.

ഡാഷ്ബോർഡ്

ഇടത് മെനുവിൽ, ഡാഷ്‌ബോർഡ് സൃഷ്‌ടി വിഭാഗത്തിൽ ക്ലിക്കുചെയ്‌ത് അനുബന്ധ പേജിലേക്ക് പോകുക.

“പുതിയ ഡാഷ്‌ബോർഡ് സൃഷ്‌ടിക്കുക” എന്നതിൽ ക്ലിക്കുചെയ്‌ത് ഡാഷ്‌ബോർഡിലേക്ക് ഒബ്‌ജക്റ്റുകൾ ചേർക്കുന്നതിനുള്ള പേജിലേക്ക് പോകുക.

"പുതിയ സൃഷ്ടിക്കുക" ബട്ടണിൽ ക്ലിക്ക് ചെയ്യുക, ഡാറ്റ ഡിസ്പ്ലേയുടെ തരം തിരഞ്ഞെടുക്കാൻ സിസ്റ്റം നിങ്ങളോട് ആവശ്യപ്പെടും. കിബാനയ്ക്ക് അവയിൽ ധാരാളം ഉണ്ട്, എന്നാൽ "വെർട്ടിക്കൽ ബാറിന്റെ" ഒരു ഗ്രാഫിക്കൽ പ്രാതിനിധ്യവും ഒരു ടാബ്ലർ "ഡാറ്റ ടേബിളും" സൃഷ്ടിക്കുന്നത് ഞങ്ങൾ നോക്കും. മറ്റ് തരത്തിലുള്ള അവതരണങ്ങളും സമാനമായ രീതിയിൽ ക്രമീകരിച്ചിരിക്കുന്നു. 

ലഭ്യമായ ചില ഒബ്‌ജക്റ്റുകൾ ബി, ഇ എന്ന് ലേബൽ ചെയ്‌തിരിക്കുന്നു, അതായത് ഫോർമാറ്റ് പരീക്ഷണാത്മകമോ ബീറ്റാ പരിശോധനയിലോ ആണ്. കാലക്രമേണ, കിബാനയിൽ നിന്ന് ഫോർമാറ്റ് മാറുകയോ പൂർണ്ണമായും അപ്രത്യക്ഷമാകുകയോ ചെയ്യാം.

ലംബ ബാർ

"വെർട്ടിക്കൽ ബാർ" ഉദാഹരണത്തിനായി, ഞങ്ങളുടെ സേവനത്തിന്റെ വിജയകരവും പരാജയപ്പെട്ടതുമായ പ്രതികരണ നിലകളുടെ അനുപാതത്തിന്റെ ഒരു ഹിസ്റ്റോഗ്രാം സൃഷ്ടിക്കാം. ക്രമീകരണങ്ങൾ പൂർത്തിയാക്കിയ ശേഷം, നമുക്ക് ഇനിപ്പറയുന്ന ഗ്രാഫ് ലഭിക്കും:

ഒരു പ്രതികരണ നില < 400 ഉള്ള എല്ലാ അഭ്യർത്ഥനകളും ഞങ്ങൾ വിജയകരമാണെന്നും പ്രശ്നമുള്ളത് - >= 400 എന്നും വർഗ്ഗീകരിക്കും.

ഒരു "ലംബ ബാർ" ചാർട്ട് സൃഷ്ടിക്കാൻ, ഞങ്ങൾ ഒരു ഡാറ്റ ഉറവിടം തിരഞ്ഞെടുക്കേണ്ടതുണ്ട്. ഞങ്ങൾ നേരത്തെ സൃഷ്ടിച്ച സൂചിക പാറ്റേൺ തിരഞ്ഞെടുക്കുക.

സ്ഥിരസ്ഥിതിയായി, നിങ്ങൾ ഒരു ഡാറ്റ ഉറവിടം തിരഞ്ഞെടുത്തുകഴിഞ്ഞാൽ, തുടർച്ചയായ ഒരു ഗ്രാഫ് ദൃശ്യമാകും. നമുക്ക് അത് സജ്ജമാക്കാം.

"ബക്കറ്റുകൾ" ബ്ലോക്കിൽ, "ചേർക്കുക" ബട്ടണിൽ ക്ലിക്ക് ചെയ്യുക, "എക്സ്-അസിസ്" തിരഞ്ഞെടുത്ത് എക്സ്-ആക്സിസ് കോൺഫിഗർ ചെയ്യുക. ലോഗിൽ പ്രവേശിക്കുന്ന റെക്കോർഡുകളുടെ ടൈംസ്റ്റാമ്പുകൾ നമുക്ക് പ്ലോട്ട് ചെയ്യാം. "അഗ്രിഗേഷൻ" ഫീൽഡിൽ, "തീയതി ഹിസ്റ്റോഗ്രാം" തിരഞ്ഞെടുക്കുക, "ഫീൽഡ്" എന്നതിൽ "@ടൈംസ്റ്റാമ്പ്" തിരഞ്ഞെടുക്കുക, ഒരു താൽക്കാലിക ഫീൽഡ് സൂചിപ്പിക്കുന്നു. നമുക്ക് "മിനിമം ഇടവേള" "ഓട്ടോ" അവസ്ഥയിൽ വിടാം, അത് ഞങ്ങളുടെ ഡിസ്പ്ലേയിലേക്ക് സ്വയമേവ ക്രമീകരിക്കും. 

“അപ്‌ഡേറ്റ്” ബട്ടണിൽ ക്ലിക്കുചെയ്യുന്നതിലൂടെ, ഓരോ 30 സെക്കൻഡിലും അഭ്യർത്ഥനകളുടെ എണ്ണമുള്ള ഒരു ഗ്രാഫ് ഞങ്ങൾ കാണും.

ഇനി നമുക്ക് Y അക്ഷത്തിൽ നിരകൾ സജ്ജീകരിക്കാം. തിരഞ്ഞെടുത്ത സമയ ഇടവേളയിൽ ഞങ്ങൾ മൊത്തം അഭ്യർത്ഥനകളുടെ എണ്ണം പ്രദർശിപ്പിക്കുന്നു.

നമുക്ക് "അഗ്രിഗേഷൻ" മൂല്യം "സം ബക്കറ്റ്" എന്നാക്കി മാറ്റാം, ഇത് വിജയകരവും വിജയിക്കാത്തതുമായ അഭ്യർത്ഥനകൾക്കായി ഡാറ്റ സംയോജിപ്പിക്കാൻ ഞങ്ങളെ അനുവദിക്കും. ബക്കറ്റ് -> അഗ്രഗേഷൻ ബ്ലോക്കിൽ, "ഫിൽട്ടറുകൾ" മുഖേനയുള്ള അഗ്രഗേഷൻ തിരഞ്ഞെടുത്ത് "statusCode >= 400" പ്രകാരം ഫിൽട്ടറിംഗ് സജ്ജമാക്കുക. "ഇഷ്‌ടാനുസൃത ലേബൽ" ഫീൽഡിൽ, ചാർട്ടിലെ ലെജൻഡിലും പൊതുവായ ലിസ്റ്റിലും കൂടുതൽ മനസ്സിലാക്കാവുന്ന ഡിസ്‌പ്ലേയ്‌ക്കായി സൂചകത്തിന്റെ പേര് ഞങ്ങൾ സൂചിപ്പിക്കുന്നു.

ക്രമീകരണ ബ്ലോക്കിന് കീഴിലുള്ള "അപ്‌ഡേറ്റ്" ബട്ടൺ ക്ലിക്കുചെയ്യുന്നതിലൂടെ, പ്രശ്‌നമുള്ള അഭ്യർത്ഥനകളുള്ള ഒരു ഗ്രാഫ് ഞങ്ങൾക്ക് ലഭിക്കും.

ലെജൻഡിന് അടുത്തുള്ള സർക്കിളിൽ നിങ്ങൾ ക്ലിക്കുചെയ്യുകയാണെങ്കിൽ, നിരകളുടെ നിറം മാറ്റാൻ കഴിയുന്ന ഒരു വിൻഡോ ദൃശ്യമാകും.

ഇപ്പോൾ വിജയകരമായ അഭ്യർത്ഥനകളുടെ ഡാറ്റ ചാർട്ടിലേക്ക് ചേർക്കാം. "മെട്രിക്സ്" വിഭാഗത്തിൽ, "ചേർക്കുക" ബട്ടൺ ക്ലിക്ക് ചെയ്ത് "Y- ആക്സിസ്" തിരഞ്ഞെടുക്കുക.

സൃഷ്ടിച്ച മെട്രിക്കിൽ, തെറ്റായ അഭ്യർത്ഥനകൾക്കുള്ള അതേ ക്രമീകരണങ്ങൾ ഞങ്ങൾ ചെയ്യുന്നു. ഫിൽട്ടറിൽ മാത്രം നമ്മൾ "statusCode < 400" എന്ന് സൂചിപ്പിക്കുന്നു.

പുതിയ നിരയുടെ നിറം മാറ്റുന്നതിലൂടെ, പ്രശ്നകരവും വിജയകരവുമായ അഭ്യർത്ഥനകളുടെ അനുപാതത്തിന്റെ ഒരു ഡിസ്പ്ലേ ഞങ്ങൾക്ക് ലഭിക്കും.

സ്ക്രീനിന്റെ മുകളിലുള്ള "സംരക്ഷിക്കുക" ബട്ടണിൽ ക്ലിക്കുചെയ്ത് ഒരു പേര് വ്യക്തമാക്കുന്നതിലൂടെ, ഡാഷ്ബോർഡിലെ ആദ്യ ഗ്രാഫ് ഞങ്ങൾ കാണും.

ഡാറ്റ പട്ടിക

ഇനി നമുക്ക് “ഡാറ്റ ടേബിൾ” ടേബിൾ വ്യൂ നോക്കാം. അഭ്യർത്ഥനകൾ ഉണ്ടായിരുന്ന എല്ലാ URL-കളുടെ ലിസ്റ്റും ഈ അഭ്യർത്ഥനകളുടെ എണ്ണവും ഉള്ള ഒരു പട്ടിക നമുക്ക് സൃഷ്ടിക്കാം. വെർട്ടിക്കൽ ബാർ ഉദാഹരണത്തിലെന്നപോലെ, ഞങ്ങൾ ആദ്യം ഒരു ഡാറ്റ ഉറവിടം തിരഞ്ഞെടുക്കുന്നു.

അതിനുശേഷം, ഒരു നിരയുള്ള ഒരു പട്ടിക സ്ക്രീനിൽ പ്രദർശിപ്പിക്കും, അത് തിരഞ്ഞെടുത്ത സമയ ഇടവേളയ്ക്കുള്ള അഭ്യർത്ഥനകളുടെ ആകെ എണ്ണം കാണിക്കുന്നു.

ഞങ്ങൾ "ബക്കറ്റുകൾ" ബ്ലോക്ക് മാത്രം മാറ്റും. "ചേർക്കുക" ബട്ടണിൽ ക്ലിക്ക് ചെയ്ത് "വരികൾ വിഭജിക്കുക" തിരഞ്ഞെടുക്കുക.

"അഗ്രഗേഷൻ" ഫീൽഡിൽ, "നിബന്ധനകൾ" തിരഞ്ഞെടുക്കുക. ദൃശ്യമാകുന്ന "ഫീൽഡ്" ഫീൽഡിൽ, "url.keyword" തിരഞ്ഞെടുക്കുക.

"ഇഷ്‌ടാനുസൃത ലേബൽ" ഫീൽഡിൽ "Url" എന്ന മൂല്യം വ്യക്തമാക്കുകയും "അപ്‌ഡേറ്റ്" ക്ലിക്കുചെയ്യുകയും ചെയ്യുന്നതിലൂടെ, തിരഞ്ഞെടുത്ത കാലയളവിലേക്ക് ഓരോ URL-നും വേണ്ടിയുള്ള അഭ്യർത്ഥനകളുടെ എണ്ണത്തോടുകൂടിയ ആവശ്യമുള്ള പട്ടിക ഞങ്ങൾക്ക് ലഭിക്കും.

സ്ക്രീനിന്റെ മുകളിൽ, "സംരക്ഷിക്കുക" ബട്ടൺ വീണ്ടും ക്ലിക്ക് ചെയ്ത് പട്ടികയുടെ പേര് വ്യക്തമാക്കുക, ഉദാഹരണത്തിന് Url. നമുക്ക് ഡാഷ്‌ബോർഡിലേക്ക് തിരികെ പോകാം, രണ്ട് കാഴ്ചകളും സൃഷ്‌ടിച്ചതായി കാണാം.

ഡാഷ്ബോർഡിൽ പ്രവർത്തിക്കുന്നു

ഡാഷ്‌ബോർഡ് സൃഷ്‌ടിക്കുമ്പോൾ, ഡിസ്‌പ്ലേ ഒബ്‌ജക്റ്റ് ക്രമീകരണങ്ങളിൽ ഞങ്ങൾ അടിസ്ഥാന വ്യൂ പാരാമീറ്ററുകൾ മാത്രം സജ്ജമാക്കുന്നു. ഒബ്‌ജക്‌റ്റുകളിലെ ഫിൽട്ടറുകൾക്കായി ഡാറ്റ വ്യക്തമാക്കുന്നതിൽ അർത്ഥമില്ല, ഉദാഹരണത്തിന്, “തീയതി ശ്രേണി”, “ഉപയോക്താവ് മുഖേന ഫിൽട്ടറിംഗ്”, “അഭ്യർത്ഥന രാജ്യം അനുസരിച്ച് ഫിൽട്ടറിംഗ്” മുതലായവ. ഒബ്‌ജക്‌റ്റുകൾക്ക് മുകളിൽ സ്ഥിതിചെയ്യുന്ന അന്വേഷണ പാനലിൽ ആവശ്യമുള്ള സമയ കാലയളവ് വ്യക്തമാക്കുന്നതിനോ ആവശ്യമായ ഫിൽട്ടറിംഗ് സജ്ജമാക്കുന്നതിനോ ഇത് കൂടുതൽ സൗകര്യപ്രദമാണ്.

ഈ പാനലിൽ ചേർത്ത ഫിൽട്ടറുകൾ മുഴുവൻ ഡാഷ്‌ബോർഡിലേക്കും പ്രയോഗിക്കും, കൂടാതെ എല്ലാ ഡിസ്‌പ്ലേ ഒബ്‌ജക്‌റ്റുകളും നിലവിലെ ഫിൽട്ടർ ചെയ്‌ത ഡാറ്റ അനുസരിച്ച് പുനഃക്രമീകരിക്കും.

തീരുമാനം

ഏത് ഡാറ്റയും സൗകര്യപ്രദമായ രീതിയിൽ ദൃശ്യവൽക്കരിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്ന ശക്തമായ ഉപകരണമാണ് കിബാന. രണ്ട് പ്രധാന തരം ഡിസ്പ്ലേകളുടെ സജ്ജീകരണം ഞാൻ കാണിക്കാൻ ശ്രമിച്ചു. എന്നാൽ മറ്റ് തരങ്ങളും സമാനമായ രീതിയിൽ ക്രമീകരിച്ചിരിക്കുന്നു. ഞാൻ തിരശ്ശീലയ്ക്ക് പിന്നിൽ അവശേഷിപ്പിച്ച ക്രമീകരണങ്ങളുടെ സമൃദ്ധി നിങ്ങളുടെ ആവശ്യങ്ങൾക്ക് അനുയോജ്യമായ ചാർട്ടുകൾ വളരെ അയവുള്ള രീതിയിൽ ക്രമീകരിക്കാൻ നിങ്ങളെ അനുവദിക്കും.

അവലംബം: www.habr.com