1.Elastic stack- လုံခြုံရေးမှတ်တမ်းများကို ခွဲခြမ်းစိတ်ဖြာခြင်း။ နိဒါန်း

ရုရှားတွင် Splunk သစ်ခုတ်ခြင်းနှင့် ခွဲခြမ်းစိတ်ဖြာမှုစနစ်၏ ရောင်းချမှုအဆုံးသတ်ခြင်းနှင့်ပတ်သက်၍ မေးခွန်းပေါ်လာသည်- ဤဖြေရှင်းချက်ကို အဘယ်အရာဖြင့် အစားထိုးနိုင်မည်နည်း။ မတူညီတဲ့ ဖြေရှင်းနည်းတွေနဲ့ ရင်းနှီးအောင် အချိန်ဖြုန်းပြီးနောက်မှာ တကယ့်လူတစ်ယောက်အတွက် အဖြေတစ်ခုကို ဆုံးဖြတ်ခဲ့တယ် "ELK stack". ဤစနစ်ကို စတင်သတ်မှတ်ရန် အချိန်ယူရသော်လည်း ရလဒ်အနေဖြင့် အခြေအနေကို ပိုင်းခြားစိတ်ဖြာပြီး အဖွဲ့အစည်းအတွင်းရှိ သတင်းအချက်အလက် လုံခြုံရေးဆိုင်ရာ အဖြစ်အပျက်များကို ချက်ခြင်း တုံ့ပြန်ရန်အတွက် အလွန်အားကောင်းသော စနစ်တစ်ခုကို သင်ရရှိနိုင်ပါသည်။ ဤဆောင်းပါးအတွဲလိုက်တွင်၊ ELK stack ၏ အခြေခံ (သို့မဟုတ် ဖြစ်နိုင်မည်မဟုတ်) စွမ်းရည်များကို ကြည့်ရှုမည်ဖြစ်ပြီး၊ မှတ်တမ်းများကို ခွဲခြမ်းစိပ်ဖြာနိုင်ပုံ၊ ဂရပ်များနှင့် ဒက်ရှ်ဘုတ်များကို တည်ဆောက်ပုံနှင့် မည်သည့်စိတ်ဝင်စားဖွယ်လုပ်ဆောင်ချက်များကို လုပ်ဆောင်နိုင်သည်ကို သုံးသပ်ပါလိမ့်မည်၊ Check Point firewall သို့မဟုတ် OpenVas လုံခြုံရေးစကင်နာ။ စတင်ရန်၊ ၎င်းသည် ELK stack နှင့် မည်သည့်အစိတ်အပိုင်းများ ပါဝင်သည်ကို ကြည့်ကြပါစို့။

"ELK stack" open source ပရောဂျက်သုံးခုအတွက် အတိုကောက်ဖြစ်သည် Elasticsearch, logstash и ကီဘာနာ. ဆက်စပ်ပရောဂျက်အားလုံးနှင့်အတူ Elastic မှတီထွင်ခဲ့သည်။ Elasticsearch သည် ဒေတာဘေ့စ်၊ ရှာဖွေမှုနှင့် ခွဲခြမ်းစိတ်ဖြာမှုစနစ်၏ လုပ်ဆောင်ချက်များကို ပေါင်းစပ်ပေးသည့် စနစ်တစ်ခုလုံး၏ အဓိကဖြစ်သည်။ Logstash သည် ရင်းမြစ်များစွာမှ ဒေတာများကို တစ်ပြိုင်နက် လက်ခံရရှိကာ မှတ်တမ်းကို ခွဲခြမ်းစိပ်ဖြာကာ Elasticsearch ဒေတာဘေ့စ်သို့ ပေးပို့ပေးသည့် ဆာဗာဘက်ခြမ်းဒေတာ စီမံဆောင်ရွက်ပေးသည့် ပိုက်လိုင်းတစ်ခုဖြစ်သည်။ Kibana သည် အသုံးပြုသူများအား Elasticsearch တွင် ဇယားများနှင့် ဂရပ်များကို အသုံးပြု၍ ဒေတာကို မြင်ယောင်နိုင်စေပါသည်။ Kibana မှတဆင့် ဒေတာဘေ့စ်ကို စီမံခန့်ခွဲနိုင်သည်။ ဆက်လက်၍ အသေးစိတ်စနစ်တစ်ခုစီကို သီးခြားစီသုံးသပ်ပါမည်။

logstash

Logstash သည် အမျိုးမျိုးသော ရင်းမြစ်များမှ မှတ်တမ်းဖြစ်ရပ်များကို လုပ်ဆောင်ရန်အတွက် အသုံးဝင်မှုတစ်ခုဖြစ်ပြီး မက်ဆေ့ချ်တစ်ခုတွင် အကွက်များနှင့် ၎င်းတို့၏တန်ဖိုးများကို သင်ရွေးချယ်နိုင်ပြီး ဒေတာစစ်ထုတ်ခြင်းနှင့် တည်းဖြတ်ခြင်းတို့ကိုလည်း စီစဉ်သတ်မှတ်နိုင်သည်။ စီမံမှုအားလုံးပြီးနောက်၊ Logstash သည် အဖြစ်အပျက်များကို နောက်ဆုံးဒေတာစတိုးသို့ ပြန်ညွှန်းသည်။ utility ကို configuration ဖိုင်များမှတဆင့်သာ configure လုပ်ထားသည်။
ပုံမှန် logstash ဖွဲ့စည်းမှုပုံစံသည် သတင်းအချက်အလက်အဝင်လမ်းကြောင်း (input)၊ ဤအချက်အလက်အတွက် စစ်ထုတ်မှုအများအပြား (filter) နှင့် အထွက်လမ်းကြောင်း (output) အများအပြားပါဝင်သော ဖိုင်(များ)။ အရိုးရှင်းဆုံးဗားရှင်းတွင် (လုံးဝဘာမှမလုပ်ဘဲ) တစ်ခု သို့မဟုတ် တစ်ခုထက်ပိုသော ဖွဲ့စည်းမှုပုံစံဖိုင်များပုံရသည်-

input {
}

filter {
}

output {
}

INPUT တွင် ကျွန်ုပ်တို့သည် မည်သည့် port ကို မည်သည့် protocol သို့ပေးပို့မည်၊ သို့မဟုတ် အသစ်သော သို့မဟုတ် အဆက်မပြတ် မွမ်းမံထားသော ဖိုင်များကို ဖတ်ရန် မည်သည့်ဖိုင်တွဲမှ ပေးပို့မည်ကို သတ်မှတ်ပေးပါသည်။ FILTER တွင် ကျွန်ုပ်တို့သည် log parser ကို configure လုပ်သည်- အကွက်များကို ခွဲခြမ်းစိတ်ဖြာခြင်း၊ တန်ဖိုးများကို တည်းဖြတ်ခြင်း၊ ဘောင်အသစ်များထည့်ခြင်း သို့မဟုတ် ၎င်းတို့ကို ဖျက်ခြင်း တို့ဖြစ်သည်။ FILTER သည် တည်းဖြတ်ရွေးချယ်စရာများစွာဖြင့် Logstash သို့ရောက်လာသော မက်ဆေ့ချ်ကို စီမံခန့်ခွဲရန်အတွက် အကွက်တစ်ခုဖြစ်သည်။ အထွက်တွင် ကျွန်ုပ်တို့သည် ခွဲခြမ်းစိတ်ဖြာပြီးသောမှတ်တမ်းကို ပေးပို့သည့်နေရာတွင် စီစဥ်သတ်မှတ်ပေးသည်၊ ၎င်းသည် elasticsearch ဖြစ်ပါက တန်ဖိုးများပါသည့်အကွက်များပေးပို့သည့် JSON တောင်းဆိုချက်ကို ပေးပို့သည်၊ သို့မဟုတ် အမှားရှာပြင်၏တစ်စိတ်တစ်ပိုင်းအနေဖြင့် ၎င်းသည် stdout သို့မဟုတ် ဖိုင်တစ်ခုသို့ စာရေး၍ထွက်နိုင်သည်။

Elasticsearch

အစပိုင်းတွင်၊ Elasticsearch သည် စာသားအပြည့်အစုံရှာဖွေမှုအတွက် ဖြေရှင်းချက်တစ်ခုဖြစ်သော်လည်း၊ လွယ်ကူသောအတိုင်းအတာ၊ ပုံတူပွားခြင်းနှင့် အခြားအရာများကဲ့သို့သော အပိုဆောင်းအဆင်ပြေမှုများဖြင့် ထုတ်ကုန်ကို အလွန်အဆင်ပြေစေကာ ဒေတာအများအပြားပါရှိသော high-load ပရောဂျက်များအတွက် ကောင်းမွန်သောဖြေရှင်းချက်တစ်ခုဖြစ်သည်။ Elasticsearch သည် Lucene စာသားအပြည့်အစုံရှာဖွေမှုကို အခြေခံ၍ ဆက်စပ်မှုမရှိသော (NoSQL) JSON စာရွက်စာတမ်းစတိုးနှင့် ရှာဖွေရေးအင်ဂျင်တစ်ခုဖြစ်သည်။ ဟာ့ဒ်ဝဲပလပ်ဖောင်းသည် Java Virtual Machine ဖြစ်သောကြောင့် စနစ်လည်ပတ်ရန်အတွက် ပရိုဆက်ဆာနှင့် RAM အရင်းအမြစ်များစွာ လိုအပ်ပါသည်။
Logstash ဖြင့်ဖြစ်စေ သို့မဟုတ် query API ကိုအသုံးပြု၍ ဝင်လာသောမက်ဆေ့ဂျ်တစ်ခုစီကို "document" တစ်ခုအဖြစ် ညွှန်းထားသည် - ဆက်စပ် SQL ရှိ ဇယားတစ်ခုနှင့် ဆင်တူသည်။ စာရွက်စာတမ်းအားလုံးကို SQL ရှိ database တစ်ခု၏ analogue တစ်ခုဖြစ်သော အညွှန်းတစ်ခုတွင် သိမ်းဆည်းထားသည်။

ဒေတာဘေ့စ်ရှိ စာရွက်စာတမ်း၏ ဥပမာ-

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

ဒေတာဘေ့စ်နှင့် လုပ်ဆောင်မှုအားလုံးသည် REST API ကို အသုံးပြု၍ JSON တောင်းဆိုမှုများအပေါ် အခြေခံပြီး စာရွက်စာတမ်းများကို အညွှန်း သို့မဟုတ် ကိန်းဂဏန်းအချို့ကို ဖော်မတ်ဖြင့် ထုတ်လုပ်သည်- မေးခွန်း - အဖြေ။ တောင်းဆိုချက်များအတွက် တုံ့ပြန်မှုအားလုံးကို မြင်သာစေရန်အတွက်၊ ဝဘ်ဝန်ဆောင်မှုဖြစ်သည့် Kibana ကို ရေးသားခဲ့သည်။

ကီဘာနာ

Kibana သည် သင့်အား elasticsearch database မှ ဒေတာများကို ရှာဖွေခြင်း၊ ထုတ်ယူခြင်းနှင့် စုံစမ်းမေးမြန်းခြင်းဆိုင်ရာ စာရင်းအင်းများကို ခွင့်ပြုနိုင်သော်လည်း လှပသောဂရပ်များနှင့် ဒက်ရှ်ဘုတ်များစွာကို အဖြေများအပေါ်အခြေခံ၍ တည်ဆောက်ထားသည်။ စနစ်တွင် elasticsearch ဒေတာဘေ့စ်စီမံခန့်ခွဲမှုလုပ်ဆောင်ချက်လည်းပါရှိသည်; နောက်ဆောင်းပါးများတွင်ဤဝန်ဆောင်မှုကိုပိုမိုအသေးစိတ်ကြည့်ရှုပါမည်။ ယခု Check Point firewall နှင့် OpenVas vulnerability scanner အတွက် ဒက်ရှ်ဘုတ်များကို နမူနာပြကြည့်ရအောင်။

Check Point အတွက် ဒက်ရှ်ဘုတ်တစ်ခု၏ ဥပမာ၊ ပုံသည် ကလစ်နှိပ်နိုင်သည်-

OpenVas အတွက် ဒက်ရှ်ဘုတ်တစ်ခု၏ ဥပမာတစ်ခု၊ ပုံသည် ကလစ်နှိပ်နိုင်သည်-

ကောက်ချက်

ပါ၀င်သည်များကို ကျွန်ုပ်တို့ ကြည့်ရှုခဲ့သည်။ ELK stackကျွန်ုပ်တို့သည် အဓိကထုတ်ကုန်များနှင့် အနည်းငယ်ရင်းနှီးကြပြီး၊ သင်တန်းနောက်ပိုင်းတွင် Logstash ဖွဲ့စည်းမှုပုံစံဖိုင်တစ်ခုရေးခြင်း၊ Kibana တွင် ဒက်ရှ်ဘုတ်များထည့်သွင်းခြင်း၊ API တောင်းဆိုမှုများ၊ အလိုအလျောက်လုပ်ဆောင်ခြင်းနှင့် အခြားအရာများစွာကို သီးခြားစီစဉ်းစားပါမည်။

ဒါကြောင့် စောင့်ကြည့်ပါ (ကွေးနနျးစာ, Facebook က, VK, TS Solution Blog), Yandex Zen.

source: www.habr.com