မှတ်တမ်းများကို စောင့်ကြည့်ရန် Kibana တွင် Dashboard တစ်ခုကို ဖန်တီးခြင်း။

မင်္ဂလာပါ၊ ကျွန်ုပ်၏အမည်မှာ ယူဂျင်းဖြစ်ပြီး၊ ကျွန်ုပ်သည် Citymobil တွင် B2B အဖွဲ့ခေါင်းဆောင်ဖြစ်သည်။ ကျွန်ုပ်တို့၏အဖွဲ့၏တာဝန်များထဲမှတစ်ခုမှာ ပါတနာများထံမှ တက္ကစီတစ်စီးကို မှာယူခြင်းအတွက် ပေါင်းစည်းမှုကို ပံ့ပိုးပေးရန်ဖြစ်ပြီး တည်ငြိမ်သောဝန်ဆောင်မှုကိုသေချာစေရန်အတွက်၊ ကျွန်ုပ်တို့၏ microservices တွင်ဖြစ်ပျက်နေသည်များကို အမြဲနားလည်ထားရမည်ဖြစ်သည်။ ဤအရာအတွက် သင်သည် မှတ်တမ်းများကို အဆက်မပြတ် စောင့်ကြည့်နေရန် လိုအပ်သည်။

Citymobil တွင်၊ ကျွန်ုပ်တို့သည် မှတ်တမ်းများနှင့်အလုပ်လုပ်ရန် ELK stack (ElasticSearch၊ Logstash၊ Kibana) ကိုအသုံးပြုပြီး ရောက်ရှိလာသောဒေတာပမာဏသည် ကြီးမားပါသည်။ ကုဒ်အသစ်ကို ဖြန့်ကျက်ပြီးနောက် ပေါ်လာနိုင်သည့် ဤတောင်းဆိုမှုအစုအဝေးတွင် ပြဿနာများကို ရှာဖွေရန်မှာ အလွန်ခက်ခဲသည်။ ၎င်းတို့၏ အမြင်အာရုံကို ဖော်ထုတ်ရန်အတွက် Kibana တွင် Dashboard အပိုင်းတစ်ခု ရှိသည်။

Habré တွင် ဒေတာလက်ခံရန်နှင့် သိမ်းဆည်းရန် ELK stack ကို သတ်မှတ်ပုံဥပမာများနှင့် ဆောင်းပါးအနည်းငယ်ရှိသော်လည်း Dashboard တစ်ခုဖန်တီးရာတွင် သက်ဆိုင်ရာ ပစ္စည်းများ မရှိပါ။ ထို့ကြောင့်၊ Kibana ရှိ ဝင်လာသော မှတ်တမ်းများကို အခြေခံ၍ ဒေတာများ၏ အမြင်အာရုံကို ကိုယ်စားပြုပုံ ဖန်တီးနည်းကို ပြသလိုပါသည်။

သင့်အောင်လုပ်ခြင်း

ပိုမိုရှင်းလင်းစေရန်၊ ကျွန်ုပ်သည် ELK နှင့် Filebeat ဖြင့် Docker ပုံတစ်ခုကို ဖန်တီးခဲ့သည်။ သေးငယ်တဲ့ ကွန်တိန်နာတစ်ခုထဲမှာ ထည့်ထားပါ။ အစီအစဉ် ကျွန်ုပ်တို့၏ဥပမာအတွက် စမ်းသပ်မှတ်တမ်းများထုတ်ပေးမည့် Go တွင်။ ELK ၏ဖွဲ့စည်းပုံကိုအသေးစိတ်ဖော်ပြမည်မဟုတ်ပါ၊ ၎င်းအကြောင်းကို Habre တွင်လုံလောက်စွာရေးထားသည်။

config repository ကို Clone လုပ်ပါ။ docker-compose နှင့် ELK ဆက်တင်များ ၊ အမိန့်ဖြင့် ၎င်းကို စတင်ပါ။ docker-compose up. သော့ကို ရည်ရွယ်ချက်ရှိရှိ မထည့်ဘူး။ -dELK stack ၏တိုးတက်မှုကိုကြည့်ရှုရန်။

git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up

အရာအားလုံးကို မှန်ကန်စွာ ပြင်ဆင်သတ်မှတ်ထားပါက၊ မှတ်တမ်းများတွင် ထည့်သွင်းမှုတစ်ခုကို ကျွန်ုပ်တို့တွေ့မြင်ရလိမ့်မည် (ချက်ခြင်းမဟုတ်ပါ၊ အစုအစည်းတစ်ခုလုံးဖြင့် ကွန်တိန်နာကို စတင်ခြင်းလုပ်ငန်းစဉ်သည် မိနစ်အနည်းငယ်ကြာနိုင်သည်)။

{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}

လိပ်စာအတိုင်း localhost:5061 Kibana ဖွင့်သင့်တယ်။

ကျွန်ုပ်တို့ configure လုပ်ရန်လိုအပ်သည်မှာ တစ်ခုတည်းသောအချက်မှာ Kibana အတွက် Index Pattern တစ်ခုဖန်တီးရန်ဖြစ်ပြီး မည်သည့်ဒေတာကို ပြသရမည်ဆိုသည့်အချက်ဖြစ်သည်။ ၎င်းကိုလုပ်ဆောင်ရန်၊ ကျွန်ုပ်တို့သည် curl တောင်းဆိုမှုကို လုပ်ဆောင်မည် သို့မဟုတ် graphical interface တွင် လုပ်ဆောင်မှုများ ဆက်တိုက်လုပ်ဆောင်မည်ဖြစ်သည်။

$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
    -H 'Content-Type: application/json'
    -H 'kbn-xsrf: true'
    -d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'

GUI မှတစ်ဆင့် Index Pattern ဖန်တီးခြင်း။
ပြင်ဆင်သတ်မှတ်ရန်အတွက် ဘယ်ဘက်မီနူးရှိ Discover ကဏ္ဍကို ရွေးချယ်ပြီး အညွှန်းပုံစံဖန်တီးမှု စာမျက်နှာသို့ သွားပါ။

"အညွှန်းပုံစံဖန်တီးရန်" ခလုတ်ကို နှိပ်ခြင်းဖြင့်၊ ကျွန်ုပ်တို့သည် အညွှန်းဖန်တီးခြင်းစာမျက်နှာသို့ ရောက်ပါသည်။ "အညွှန်းပုံစံအမည်" အကွက်တွင်၊ "logstash-*" ကိုရိုက်ထည့်ပါ။ အရာအားလုံးကို မှန်ကန်စွာ ပြင်ဆင်သတ်မှတ်ထားပါက၊ Kibana အောက်တွင် စည်းကမ်းချက်အောက်ရှိ အညွှန်းများကို ပြသပါမည်။

နောက်စာမျက်နှာတွင်၊ ကျွန်ုပ်တို့၏အခြေအနေတွင်၊ အချိန်တံဆိပ်တစ်ခုပါသော သော့အကွက်ကို ရွေးပါ။ @timestamp.

၎င်းသည် အညွှန်းဆက်တင်များ စာမျက်နှာကို ပေါ်လာလိမ့်မည်၊ သို့သော် ယခုအချိန်တွင် ကျွန်ုပ်တို့ထံမှ နောက်ထပ်လုပ်ဆောင်စရာ မလိုအပ်ပါ။

ယခု ကျွန်ုပ်တို့သည် Discover ကဏ္ဍသို့ ထပ်မံသွားနိုင်ပြီး၊ မှတ်တမ်းထည့်သွင်းမှုများကို မြင်တွေ့ရမည်ဖြစ်သည်။

Dashboard

ဘယ်ဘက် မီနူးတွင်၊ Dashboard ဖန်တီးမှုအပိုင်းကို နှိပ်ပြီး သက်ဆိုင်ရာ စာမျက်နှာသို့ သွားပါ။

"ဒက်ရှ်ဘုတ်အသစ်ဖန်တီးပါ" ကိုနှိပ်ပြီး ဒက်ရှ်ဘုတ်သို့ အရာဝတ္ထုများထည့်ရန်အတွက် စာမျက်နှာသို့သွားပါ။

"အသစ်ဖန်တီးရန်" ခလုတ်ကိုနှိပ်ပါ၊ နှင့်စနစ်သည်ဒေတာပြသမှုအမျိုးအစားကိုရွေးချယ်ရန်သင့်အားတောင်းဆိုလိမ့်မည်။ Kibana တွင် ၎င်းတို့အမြောက်အမြားရှိသော်လည်း "Vertical Bar" နှင့် tabular "Data Table" တို့၏ ဂရပ်ဖစ်ကိုယ်စားပြု ဖန်တီးမှုကို ကြည့်ရှုပါမည်။ အခြားတင်ဆက်မှုအမျိုးအစားများကို အလားတူပုံစံဖြင့် စီစဉ်သတ်မှတ်ထားသည်။ 

ရရှိနိုင်သော အရာဝတ္ထုအချို့ကို B နှင့် E ဟု အညွှန်းတပ်ထားပြီး၊ ဆိုလိုသည်မှာ ဖော်မတ်သည် စမ်းသပ်ဆဲ သို့မဟုတ် ဘီတာစမ်းသပ်မှုတွင်ဖြစ်သည်။ အချိန်ကြာလာသည်နှင့်အမျှ၊ ဖော်မတ်သည် Kibana မှ ပြောင်းလဲခြင်း သို့မဟုတ် လုံးဝပျောက်ကွယ်သွားနိုင်သည်။

ဒေါင်လိုက်ဘား

“ဒေါင်လိုက်ဘား” ဥပမာအတွက်၊ ကျွန်ုပ်တို့၏ဝန်ဆောင်မှု၏ အောင်မြင်မှုနှင့် မအောင်မြင်သည့်တုံ့ပြန်မှုအခြေအနေများ၏ အချိုး၏ ဟီစတိုဂရမ်တစ်ခုကို ဖန်တီးကြပါစို့။ ဆက်တင်များအဆုံးတွင်၊ ကျွန်ုပ်တို့သည် အောက်ပါဂရပ်ကို ရရှိသည်-

ကျွန်ုပ်တို့သည် တောင်းဆိုချက်အားလုံးကို တုံ့ပြန်မှုအခြေအနေ < 400 အောင်မြင်သည်ဟု နှင့် >= 400 ပြဿနာဖြစ်သဖြင့် အမျိုးအစားခွဲပါမည်။

"ဒေါင်လိုက်ဘား" ဇယားကို ဖန်တီးရန်၊ ကျွန်ုပ်တို့သည် ဒေတာရင်းမြစ်ကို ရွေးချယ်ရန် လိုအပ်သည်။ အစောပိုင်းက ကျွန်ုပ်တို့ဖန်တီးခဲ့သော အညွှန်းပုံစံကို ရွေးပါ။

မူရင်းအားဖြင့်၊ ဒေတာရင်းမြစ်ကိုရွေးချယ်ပြီးနောက် အစိုင်အခဲဂရပ်တစ်ခုပေါ်လာပါမည်။ သတ်မှတ်ကြပါစို့။

"ပုံးများ" ဘလောက်တွင်၊ "ထည့်ရန်" ခလုတ်ကို နှိပ်ပါ၊ "X-asis" ကိုရွေးချယ်ပြီး X ဝင်ရိုးကို စနစ်ထည့်သွင်းပါ။ မှတ်တမ်းရှိ ထည့်သွင်းမှုလက်ခံရရှိမှုအတွက် အချိန်တံဆိပ်များကို ဘေးဖယ်ထားကြပါစို့။ "Aggregation" အကွက်တွင်၊ "Date Histogram" ကိုရွေးချယ်ပြီး "Field" တွင် အချိန်အကွက်ကိုညွှန်ပြသော "@timestamp" ကိုရွေးချယ်ပါ။ "Auto" အခြေအနေတွင် "အနည်းဆုံး ကြားကာလ" ကို ထားခဲ့လိုက်ရအောင်၊ ၎င်းသည် ကျွန်ုပ်တို့၏ မျက်နှာပြင်ကို အလိုအလျောက် ချိန်ညှိပေးပါမည်။ 

"အပ်ဒိတ်လုပ်ရန်" ခလုတ်ကိုနှိပ်ခြင်းဖြင့်၊ စက္ကန့် 30 တိုင်း တောင်းဆိုမှုအရေအတွက်ပါသော ဂရပ်တစ်ခုကို ကျွန်ုပ်တို့တွေ့ရပါမည်။

ယခု Y-ဝင်ရိုးတစ်လျှောက် ကော်လံများကို စတင်သတ်မှတ်ကြပါစို့။ ယခု ကျွန်ုပ်တို့သည် ရွေးချယ်ထားသော အချိန်ကြားကာလတွင် တောင်းဆိုမှုစုစုပေါင်းကို ပြသနေပါသည်။

အောင်မြင်ပြီး မအောင်မြင်သော တောင်းဆိုမှုများအတွက် ဒေတာကို ပေါင်းစည်းနိုင်စေမည့် "Aggregation" တန်ဖိုးကို "Sum Bucket" သို့ ပြောင်းလဲကြပါစို့။ Bucket -> Aggregation block တွင်၊ "Filters" ဖြင့် စုစည်းမှုကို ရွေးချယ်ပြီး "statusCode >= 400" ဖြင့် စစ်ထုတ်ခြင်းကို သတ်မှတ်ပါ။ နှင့် "စိတ်ကြိုက်တံဆိပ်" အကွက်တွင်၊ ကျွန်ုပ်တို့သည် ဇယားနှင့် အထွေထွေစာရင်းတွင် ဒဏ္ဍာရီတွင် ပိုမိုနားလည်နိုင်သောပြသမှုအတွက် ကျွန်ုပ်တို့၏အမည်ကိုညွှန်ပြပါသည်။

ဆက်တင်များပိတ်ဆို့ခြင်းအောက်ရှိ “အပ်ဒိတ်လုပ်ရန်” ခလုတ်ကို နှိပ်ခြင်းဖြင့်၊ ပြဿနာတောင်းဆိုမှုများပါရှိသည့် ဂရပ်ကို ကျွန်ုပ်တို့ ရရှိမည်ဖြစ်သည်။

ဒဏ္ဍာရီဘေးရှိ စက်ဝိုင်းကို နှိပ်ပါက၊ ကော်လံများ၏အရောင်ကို သင်ပြောင်းလဲနိုင်သည့် ဝင်းဒိုးတစ်ခု ပေါ်လာလိမ့်မည်။

ယခုဇယားတွင် အောင်မြင်သောတောင်းဆိုမှုများတွင် ဒေတာကို ထည့်လိုက်ကြပါစို့။ "မက်ထရစ်များ" ကဏ္ဍတွင်၊ "ထည့်ရန်" ခလုတ်ကိုနှိပ်ပြီး "Y-ဝင်ရိုး" ကိုရွေးချယ်ပါ။

ဖန်တီးထားသောမက်ထရစ်တွင်၊ ကျွန်ုပ်တို့သည် မှားယွင်းသောတောင်းဆိုမှုများအတွက် အလားတူဆက်တင်များကို ပြုလုပ်ပါသည်။ ကျွန်ုပ်တို့သည် စစ်ထုတ်မှုတွင်သာ "statusCode < 400" ကို သတ်မှတ်သည်။

ကော်လံအသစ်၏အရောင်ကို ပြောင်းလဲခြင်းဖြင့် ပြဿနာရှိသော နှင့် အောင်မြင်သောတောင်းဆိုမှုများ၏ အချိုးအစားကို ကျွန်ုပ်တို့ရရှိမည်ဖြစ်သည်။

မျက်နှာပြင်၏ထိပ်ရှိ "Save" ခလုတ်ကိုနှိပ်ပြီး အမည်သတ်မှတ်ခြင်းဖြင့်၊ Dashboard တွင် ပထမဆုံးဇယားကို ကျွန်ုပ်တို့တွေ့ရပါမည်။

ဒေတာဇယား

ယခုဇယားမြင်ကွင်း "ဒေတာဇယား" ကိုစဉ်းစားပါ။ တောင်းဆိုထားသော URL များအားလုံး၏စာရင်းနှင့် ထိုတောင်းဆိုမှုများ၏ အရေအတွက်နှင့်အတူ ဇယားတစ်ခုကို ဖန်တီးကြပါစို့။ ဒေါင်လိုက်ဘားနမူနာကဲ့သို့၊ ကျွန်ုပ်တို့သည် ပထမဦးစွာ ဒေတာရင်းမြစ်ကို ရွေးချယ်ပါ။

ထို့နောက်၊ ကော်လံတစ်ခုပါသော ဇယားတစ်ခုကို မျက်နှာပြင်ပေါ်တွင် ပြသမည်ဖြစ်ပြီး၊ ရွေးချယ်ထားသည့်အချိန်ကြားကာလအတွက် တောင်းဆိုချက်စုစုပေါင်းအရေအတွက်ကို ပြသမည်ဖြစ်သည်။

ကျွန်ုပ်တို့သည် "Buckets" ဘလောက်ကိုသာ ပြောင်းလဲပါမည်။ "Add" ခလုတ်ကိုနှိပ်ပြီး "Split rows" ကိုရွေးချယ်ပါ။

"Aggregation" အကွက်တွင် "စည်းမျဥ်းစည်းကမ်းများ" ကိုရွေးချယ်ပါ။ ပေါ်လာသောအကွက်တွင် "Field" တွင် "url.keyword" ကိုရွေးချယ်ပါ။

"စိတ်ကြိုက်တံဆိပ်" အကွက်တွင် "Url" တန်ဖိုးကို သတ်မှတ်ပြီး "အပ်ဒိတ်" ကို နှိပ်ခြင်းဖြင့် ရွေးချယ်ထားသော အချိန်ကာလအတွက် URL တစ်ခုစီအတွက် တောင်းဆိုမှုအရေအတွက်နှင့်အတူ လိုချင်သောဇယားကို ရရှိပါမည်။

စခရင်၏ထိပ်တွင်၊ "သိမ်းဆည်းရန်" ခလုတ်ကို ထပ်မံနှိပ်ပြီး ဇယားအမည် ဥပမာ Urls ကို သတ်မှတ်ပါ။ ဒက်ရှ်ဘုတ်ကို ပြန်သွားပြီး ဖန်တီးထားတဲ့ အမြင်နှစ်ခုလုံးကို ကြည့်ရအောင်။

Dashboard နှင့်အလုပ်လုပ်သည်။

Dashboard ကိုဖန်တီးသောအခါ၊ ကျွန်ုပ်တို့သည် display object ဆက်တင်များတွင် main view parameters များကိုသာ သတ်မှတ်ပေးပါသည်။ အရာဝတ္ထုများရှိ စစ်ထုတ်မှုများအတွက် ဒေတာကို သတ်မှတ်ရန် အဓိပ္ပါယ်မရှိပါ ၊ ဥပမာ၊ "ရက်စွဲအပိုင်းအခြား"၊ "အသုံးပြုသူမှ စစ်ထုတ်ခြင်း"၊ "တောင်းဆိုမှုနိုင်ငံအလိုက် စစ်ထုတ်ခြင်း" စသည်ဖြင့်၊ အရာဝတ္ထုများအထက်တွင်ရှိသော query panel တွင် လိုအပ်သောအချိန်ကာလကိုသတ်မှတ်ရန် သို့မဟုတ် လိုအပ်သော filtering ကိုသတ်မှတ်ရန် ပို၍အဆင်ပြေသည်။

ဤအကန့်တွင် ထည့်သွင်းထားသော စစ်ထုတ်မှုများသည် Dashboard တစ်ခုလုံးတွင် သက်ရောက်မည်ဖြစ်ပြီး၊ ပြသသည့်အရာအားလုံးကို အမှန်တကယ် စစ်ထုတ်ထားသည့်ဒေတာနှင့်အညီ ပြန်လည်တည်ဆောက်မည်ဖြစ်သည်။

ကောက်ချက်

Kibana သည် မည်သည့်ဒေတာကိုမဆို အဆင်ပြေပြေမြင်ယောင်နိုင်စေမည့် အစွမ်းထက်သောကိရိယာတစ်ခုဖြစ်သည်။ အဓိက display အမျိုးအစားနှစ်ခု၏ ဆက်တင်ကို ပြသရန် ကြိုးစားခဲ့သည်။ သို့သော် အခြားအမျိုးအစားများကို အလားတူပုံစံဖြင့် ပြုပြင်ထားသည်။ “နောက်ကွယ်မှာ” ထားခဲ့သော ဆက်တင်များစွာသည် သင့်လိုအပ်ချက်များနှင့်ကိုက်ညီသည့် ဇယားများကို လိုက်လျောညီထွေဖြစ်အောင် ချိန်ညှိနိုင်စေမည်ဖြစ်သည်။

source: www.habr.com