ကျွန်ုပ်တို့သည် ELK နှင့် Exchange နှင့် သူငယ်ချင်းများဖြစ်သည်။ အပိုင်း 1

Exchange နှင့် ELK ချိတ်ဆက်ခြင်းအတွေ့အကြုံကို မျှဝေလိုသည့် ဆောင်းပါးအတွဲလိုက်ကို စတင်နေပါသည်။ ဤအစုအဝေးသည် ကျွန်ုပ်တို့အား ကူညီပေးရန် ငြင်းဆန်သည့် ပမာဏကြီးမားသော မှတ်တမ်းများကို လုပ်ဆောင်ရန် ကူညီပေးမည်ဖြစ်ပြီး၊ ပုံမှန် သစ်ခုတ်ကိရိယာများသည် ကျွန်ုပ်တို့ကို ကူညီရန် ငြင်းဆန်မည့် အရွယ်အစားကို တွေးတောနေရန် မလိုအပ်ပါ။ သစ်လုံးတိုက်လေယာဉ်နဲ့ ရင်းနှီးရအောင်။

အိတ်ချိန်းတွင် ကျယ်ပြောလှသော သစ်ထုတ်သည့်စနစ် ရှိသည်။ လူကြိုက်အများဆုံး မှတ်တမ်းများမှာ စာတိုက်အဖွဲ့အစည်းအတွင်း သတ်သတ်မှတ်မှတ်စာတစ်စောင်၏ အဆင့်ဆင့်ဖြတ်သန်းမှုကို ခြေရာခံသည့် မှတ်တမ်းများဖြစ်သည်။ စနစ်ရှိ သုံးစွဲသူအသစ်တစ်ခုစီကို ခြေရာခံသည့် ဝဘ်ဆာဗာမှတ်တမ်းများ၊ အပိုင်းအသေးစိတ်ကွဲပြားသည့် ဒီဂရီအမျိုးမျိုးရှိသည့် သီးခြားဝဘ်အက်ပ်လီကေးရှင်းများ၏ မှတ်တမ်းများ။ Exchange သည် smtp၊ imap နှင့် pop3 ပရိုတိုကောများ၏ ကုန်ကြမ်းမှတ်တမ်းများကို သိမ်းဆည်းနိုင်သည်။

မှတ်တမ်းများနှင့် အလုပ်လုပ်ရန် ကျွန်ုပ်တို့ အဘယ်ကိရိယာများကို သုံးနိုင်သနည်း။

• ပုံမှန် cmdlet Get-MessageTrackingLog- ခြေရာခံခြင်းမှတ်တမ်းများကို အဆင်ပြေစွာ လုပ်ဆောင်ပါ။
• logparser utility- မှတ်တမ်းအတွက်၊ pseudo-SQL ရှာဖွေရေးဘာသာစကားကို အသုံးပြုပြီး လျှင်မြန်စွာ အလုပ်လုပ်ပါသည်။
• ပြင်ပ SQL ဆာဗာ- အလွန်တိကျသော ကိစ္စများအတွက် (ဥပမာ၊ အချိန်ကြာမြင့်စွာ ဒေတာကို ပိုင်းခြားစိတ်ဖြာခြင်း)။

ကျွန်ုပ်တို့တွင် ဆာဗာ နှစ်ခုရှိပြီး လုပ်ဆောင်ပြီးသော မှတ်တမ်းများ၏ ပမာဏကို ဆယ်ဂဏန်း သို့မဟုတ် ရာနှင့်ချီသော ဂစ်ဂါဘိုက်ဖြင့် တိုင်းတာသောအခါ ဤအရာအားလုံး ကောင်းစွာ အလုပ်လုပ်ပါသည်။ ဒါပေမယ့် ဆာဗာအရေအတွက်ဟာ ဒါဇင်နဲ့ချီပြီး မှတ်တမ်းတွေရဲ့ အရွယ်အစားဟာ terabyte ထက် ကျော်လွန်သွားရင်ကော။ ဤအစီအစဥ်သည် ပြိုပျက်သွားဖွယ်ရှိသည်။

ဤသည်မှာ အဘယ်အရာဖြစ်သနည်း- Get-MessageTrackingLog သည် အချိန်ကုန်သွားသည်၊ logparser သည် 32-bit ဗိသုကာ၏မျက်နှာကျက်ကိုထိသွားပြီး ဝန်ဆောင်မှုမှ လိုင်းပေါင်းစုံခြွင်းချက်အား ချေဖျက်ခြင်းမပြုဘဲ SQL server သို့ အပ်လုဒ်တင်ခြင်းသည် အခန့်မသင့်ဆုံးအချိန်တွင် ပျက်သွားပါသည်။

ဤတွင် ကစားသမားသစ်တစ်ဦးသည် အခင်းအကျင်းထဲသို့ ဝင်ရောက်လာသည် - ပမာဏကြီးမားသော မှတ်တမ်းများကို ကျိုးကြောင်းဆီလျော်စွာ အချိန်အတိုင်းအတာတစ်ခုအတွင်းနှင့် သည်းခံနိုင်လောက်သော အရင်းအမြစ်သုံးစွဲမှုနှင့်အတူ အထူးဒီဇိုင်းပြုလုပ်ထားသည့် ELK stack။

ပထမပိုင်း မှာ အသေးစိတ်ပြောပြမယ် ELK stack ၏တစ်စိတ်တစ်ပိုင်းဖြစ်သော filebeat ချိတ်ဆက်နည်း — မတူညီသော အပလီကေးရှင်းများက ၎င်းတို့၏ မှတ်တမ်းများကို ရေးသားသည့် ရိုးရှင်းသော စာသားဖိုင်များကို ဖတ်ခြင်းနှင့် ပေးပို့ခြင်းအတွက် တာဝန်ရှိသည်။ အောက်ပါဆောင်းပါးများတွင် ကျွန်ုပ်တို့သည် Logstash နှင့် Kibana အစိတ်အပိုင်းများကို အနီးကပ်ကြည့်ရှုပါမည်။

ustanovka

ဒီတော့ filebeat အေးဂျင့် archive ဖိုင် ဤဆိုဒ်မှဒေါင်းလုဒ်လုပ်နိုင်ပါသည်။.

ဇစ်ဖိုင်ပါရှိသော အကြောင်းအရာများကို ဖြည်ရုံဖြင့် တပ်ဆင်မှုကို အပြီးသတ်ပါမည်။ ဥပမာအားဖြင့်၊ c:Program Filesfilebeat. ထို့နောက် သင်သည် PowerShell script ကို run ရန်လိုအပ်သည်။ install-service-filebeat.ps1filebeat ဝန်ဆောင်မှုကိုထည့်သွင်းရန် kit နှင့်ပါရှိသည်။

ယခု ကျွန်ုပ်တို့သည် ဖွဲ့စည်းမှုပုံစံဖိုင်ကို စတင်သတ်မှတ်ရန် အဆင်သင့်ဖြစ်နေပါပြီ။

အမှားခံနိုင်ရည်

Filebeat သည် မှတ်တမ်းစုဆောင်းခြင်းစနစ်သို့ မှတ်တမ်းများပေးပို့ခြင်းအား အာမခံပါသည်။ မှတ်တမ်းဖိုင်များတွင် ထည့်သွင်းမှုစာရင်းကို ထိန်းသိမ်းထားခြင်းဖြင့် ၎င်းကို အောင်မြင်သည်။ မှတ်တမ်းဖိုင်များမှ ဖတ်ရှုခဲ့သော အဆိုပါမှတ်တမ်းများအကြောင်း အချက်အလက်များကို သိမ်းဆည်းထားပြီး ဦးတည်ရာသို့ ပို့ဆောင်နိုင်သည့် သီးခြားမှတ်တမ်းများကို အမှတ်အသားပေးသည်။

မှတ်တမ်းတစ်ခု မပေးပို့နိုင်ပါက၊ လက်ခံစနစ်မှ ပေးပို့မှုအတည်ပြုချက်ကို မရရှိမချင်း၊ သို့မဟုတ် လည်ပတ်မှုလုပ်ငန်းစဉ်အတွင်း မူရင်းမှတ်တမ်းဖိုင်ကို ဖျက်ပစ်သည်အထိ filebeat က ၎င်းကို ပြန်လည်ပေးပို့ရန် ကြိုးစားပါမည်။

ဝန်ဆောင်မှုကို ပြန်လည်စတင်သည့်အခါ၊ filebeat သည် နောက်ဆုံးမှတ်တမ်းများ ဖတ်ရှုပြီး ပေးပို့ခြင်းဆိုင်ရာ မှတ်ပုံတင်ခြင်းမှ အချက်အလက်များကို ဖတ်မည်ဖြစ်ပြီး၊ မှတ်တမ်းဖိုင်များတွင် မှတ်တမ်းများကို ဖတ်ပေးမည်ဖြစ်သည်။

၎င်းသည် သင့်အား မမျှော်လင့်ထားသော ချို့ယွင်းချက်များနှင့် ဆာဗာပြုပြင်ထိန်းသိမ်းမှု လုပ်ဆောင်မှုများအတွင်း elasticlogstash ဆာဗာများသို့ ပေးပို့ရန်လိုအပ်သည့် မှတ်တမ်းအချက်အလက်များ ဆုံးရှုံးနိုင်ခြေကို လျှော့ချနိုင်စေပါသည်။

ဤအကြောင်းကို သင်ပိုမိုလေ့လာနိုင်ပါသည်။ စာပိုဒ်များတွင် စာရွက်စာတမ်းကို ဖတ်ပါ။: Filebeat သည် ဖိုင်များ၏အခြေအနေကို မည်သို့ထိန်းသိမ်းထားသနည်း နှင့် Filebeat သည် အနည်းဆုံးတစ်ကြိမ် ပေးပို့ခြင်းအား မည်သို့သေချာစေသနည်း။

သင့်အောင်လုပ်ခြင်း

ဖွဲ့စည်းမှုအားလုံးကို ဖော်မတ်ဖွဲ့စည်းမှုဖိုင်တွင် လုပ်ဆောင်သည်။ ymlအပိုင်းများစွာခွဲထားသည်။ Exchange ဆာဗာများမှ မှတ်တမ်းများ စုဆောင်းခြင်း လုပ်ငန်းစဉ်တွင် ပါဝင်နေသည့် ၎င်းတို့ထဲမှ အချို့ကို ကြည့်ကြပါစို့။

မှတ်တမ်းလုပ်ဆောင်ခြင်း ပိတ်ဆို့ခြင်း။

မှတ်တမ်းလုပ်ဆောင်ခြင်း ဘလောက်သည် အကွက်ဖြင့် စတင်သည်-

filebeat.inputs:

ကျွန်ုပ်တို့သည် ဘုံမှတ်တမ်းစုဆောင်းခြင်းကိရိယာကို အသုံးပြုပါမည်-

- type: log

ထို့နောက်၊ မှတ်တမ်းများပါရှိသော ဖိုင်တွဲသို့ အခြေအနေကို (ဖွင့်ထားသည်) နှင့် လမ်းကြောင်းကို ညွှန်ပြပါ။ ဥပမာအားဖြင့်၊ IIS မှတ်တမ်းများတွင်၊ ဆက်တင်များသည် အောက်ပါအတိုင်း ဖြစ်နိုင်သည်-

    enabled: true
    paths:
	- C:inetpublogsLogFilesW3SVC1*.log
	- C:inetpublogsLogFilesW3SVC2*.log

နောက်ထပ်အရေးကြီးသောဆက်တင်မှာ filebeat သည် လိုင်းပေါင်းစုံမှတ်တမ်းများကိုမည်ကဲ့သို့ဖတ်သင့်သည် ။ မူရင်းအားဖြင့်၊ filebeat သည် မှတ်တမ်းဖိုင်တစ်ခု၏ စာကြောင်းတစ်ကြောင်းကို တစ်ခုတည်းအဖြစ် ထည့်သွင်းစဉ်းစားသည်။ ဝန်ဆောင်မှု၏ မှားယွင်းလုပ်ဆောင်မှုနှင့် ပတ်သက်သည့် ကျွန်ုပ်တို့၏မှတ်တမ်းတွင် ခြွင်းချက်များကို စတင်လက်ခံသည်အထိ ၎င်းသည် ကောင်းမွန်စွာအလုပ်လုပ်ပါသည်။ ဤကိစ္စတွင်၊ ခြွင်းချက်များသည် စာကြောင်းများစွာ ပါဝင်နိုင်သည်။ ထို့ကြောင့် filebeat သည် နောက်လိုင်းတစ်ခုရက်စွဲဖြင့် အစပြုပါက လိုင်းပေါင်းစုံထည့်သွင်းမှုကို တစ်ခုအဖြစ် ရေတွက်ရပါမည်။ Exchange တွင် မှတ်တမ်းများ မှတ်တမ်းတင်ခြင်း ဖော်မတ်သည် အောက်ပါအတိုင်းဖြစ်သည်- မှတ်တမ်းဖိုင်ရှိ အသစ်တစ်ခုစီသည် နေ့စွဲဖြင့် စတင်သည်။ ဖွဲ့စည်းမှုတွင်၊ ဤအခြေအနေသည် ဤကဲ့သို့ဖြစ်သည်-

multiline:
	pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
	negate: true
	match: after

သင်ပို့နေသောပို့စ်တွင် တဂ်များထည့်ခြင်းသည် အဓိပ္ပါယ်ရှိပါသည်၊ ဥပမာ-

  tags: ['IIS', 'ex-srv1']

ထို့အပြင် hash စာလုံးဖြင့် စတင်လုပ်ဆောင်နေသည့် လိုင်းများမှ ဖယ်ထုတ်ရန် မမေ့ပါနှင့်။

  exclude_lines: ['^#']

ထို့ကြောင့်၊ မှတ်တမ်းဖတ်ခြင်းဘလောက်သည် ဤကဲ့သို့ဖြစ်နေလိမ့်မည်-

filebeat.inputs:
- type: log
  enabled: true
  paths:
	- C:inetpublogsLogFilesW3SVC1*.log
	- C:inetpublogsLogFilesW3SVC2*.log
  multiline:
	pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
	negate: true
	match: after
  tags: ['IIS', 'ex-srv1']
  exclude_lines: ['^#']

မှတ်တမ်းပေးပို့ခြင်းပိတ်ဆို့

Filebeat သည် မှတ်တမ်းဖိုင်တွင် တစ်ခုချင်းစီကို json အရာဝတ္ထုအဖြစ် ပေးပို့သည်၊ ၎င်းတွင် မှတ်တမ်းမှ သီးခြားထည့်သွင်းမှုတစ်ခုကို မက်ဆေ့ခ်ျအကွက်တစ်ခုတွင် ပါရှိသည်။ ကျွန်ုပ်တို့သည် ဤအချက်အလက်နှင့် တစ်နည်းနည်းဖြင့် လုပ်ဆောင်လိုပါက၊ ဤအကွက်ကို သီးခြားနယ်ပယ်များသို့ ဦးစွာ ပိုင်းခြားရန် လိုအပ်ပါသည်။ ဥပမာအားဖြင့်၊ logstash တွင်၎င်းကိုလုပ်ဆောင်နိုင်သည်။ သူသည် filebeat မှမှတ်တမ်းများကိုလက်ခံသူဖြစ်လိမ့်မည်။ ဤသည်မှာ filebeat configuration file တွင် မည်သို့မည်ပုံရှိနိုင်သည်-

output.logstash:
  hosts: ["logstash1.domain.com:5044"]

ဆာဗာများစွာရှိလျှင် ၎င်းတို့အတွက် ဟန်ချက်ညီမှုကို သင်ဖွင့်နိုင်သည်- ထို့နောက် filebeat သည် စာရင်းထဲမှ ပထမဆုံးရရှိနိုင်သည့်ဆာဗာထံသို့ မှတ်တမ်းများကို ပေးပို့မည်မဟုတ်သော်လည်း ဆာဗာအများအပြားကြားတွင် ပေးပို့ထားသောမှတ်တမ်းများကို ဖြန့်ဝေပေးလိမ့်မည်-

hosts: ["logstash1.domain.com:5044", "logstash2.domain.com:5044"]
  loadbalance: true 

Filebeat၊ ပေးပို့ထားသော json ထဲသို့ မှတ်တမ်းများကို လုပ်ဆောင်သောအခါ၊ မက်ဆေ့ချ်အကွက်တွင်ပါရှိသော မှတ်တမ်းထည့်သွင်းမှုအပြင်၊ elastic ဖြင့်အဆုံးသတ်သော စာရွက်စာတမ်း၏အရွယ်အစားအပေါ်သက်ရောက်သည့် မက်တာဒေတာပမာဏအချို့ကို ပေါင်းထည့်သည်။ ဤမက်တာဒေတာကို တင်ပြမှုမှ ရွေးချယ်ဖယ်ရှားနိုင်သည်။ ၎င်းကို ပရိုဆက်ဆာကို အသုံးပြု၍ ပရိုဆက်ဆာပိတ်ဆို့ခြင်းတွင် လုပ်ဆောင်သည်။ drop_fields. ဥပမာအားဖြင့်၊ သင်သည် အောက်ပါအကွက်များကို ဖယ်ထုတ်နိုင်သည်-

processors:
- drop_fields:
	fields: ["agent.ephemeral_id", "agent.hostname", "agent.id", "agent.type", "agent.version", "agent", "ecs.version", "ecs", "input.type", "input", "log.offset", "version"]

အညွှန်းများတည်ဆောက်ရန်အတွက် အချို့သော elastic ဘက်ခြမ်းတွင် အသုံးပြုနိုင်ပြီး ဖယ်ထုတ်ထားသောအကွက်များရွေးချယ်ခြင်းကို ဂရုတစိုက်ချဉ်းကပ်သင့်သည်။

ထို့ကြောင့်၊ မှတ်တမ်းပေးပို့ခြင်းဘလောက်သည် ဤကဲ့သို့ဖြစ်နေလိမ့်မည်-

output.logstash:
  hosts: ["logstash1.domain.com:5044", "logstash2.domain.com:5044"]
  loadbalance: true
 
processors:
- drop_fields:
	fields: ["agent.ephemeral_id", "agent.hostname", "agent.id", "agent.type", "agent.version", "agent", "ecs.version", "ecs", "input.type", "input", "log.offset", "version"]

filebeat မှတ်တမ်းဆက်တင်များ

အောက်ပါ မှတ်တမ်းဆက်တင်များကို သတ်မှတ်ခြင်းသည် အဓိပ္ပာယ်ရှိပါသည်-

• မှတ်တမ်းအဆင့် အချက်အလက်၊
• ကျွန်ုပ်တို့သည် default အနေဖြင့်တည်ရှိသောဖိုင်များသို့မှတ်တမ်းများရေးသည် (မှတ်တမ်းများလမ်းညွှန်၊ filebeat တပ်ဆင်မှုလမ်းညွှန်တွင်)
• မှတ်တမ်းဖိုင်အမည် - filebeat;
• နောက်ဆုံးမှတ်တမ်းဖိုင် ၁၀ ခုကို သိမ်းဆည်းပါ။
• အရွယ်အစား 1MB ရောက်သွားသောအခါ စတင်လည်ပတ်ပါ။

နောက်ဆုံး loggging configuration block သည် ဤကဲ့သို့ဖြစ်နေလိမ့်မည်-

logging.level: info
logging.to_files: true
logging.files:
  name: filebeat
  keepfiles: 10
  rotateeverybytes: 1048576

နောက်ဆုံးဖွဲ့စည်းမှု

ကျွန်ုပ်တို့သည် ဖွဲ့စည်းမှုပုံစံကို စုစည်းထားပြီး ယခုပုံစံအတိုင်းဖြစ်သည်-

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - C:inetpublogsLogFilesW3SVC1*.log
    - C:inetpublogsLogFilesW3SVC2*.log
  multiline:
    pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
    negate: true
    match: after
  tags: ['IIS', 'ex-srv1']
  exclude_lines: ['^#']
 
output.logstash:
  hosts: ["logstash1.domain.com:5044", "logstash2.domain.com:5044"]
  loadbalance: true
 
processors:
- drop_fields:
    fields: ["agent.ephemeral_id", "agent.hostname", "agent.id", "agent.type", "agent.version", "agent", "ecs.version", "ecs", "input.type", "input", "log.offset", "version"]
 
logging.level: info
logging.to_files: true
logging.files:
  name: filebeat
  keepfiles: 10
  rotateeverybytes: 1048576

configuration file format သည် yml ဖြစ်ကြောင်း နားလည်ရန် အရေးကြီးပါသည်။ ထို့ကြောင့် နေရာလွတ်များနှင့် အနုတ်လက္ခဏာများကို မှန်ကန်စွာထားရှိရန် အရေးကြီးပါသည်။

Filebeat သည် configuration ဖိုင်ကိုစစ်ဆေးနိုင်ပြီး၊ syntax တွင် error များပါနေပါက၊ ၎င်းသည် မည်သည့်လိုင်းနှင့် line မှ syntax မှားယွင်းနေကြောင်း ညွှန်ပြမည်ဖြစ်ပါသည်။ စစ်ဆေးမှုအား အောက်ပါအတိုင်း လုပ်ဆောင်ပါသည်။

.filebeat.exe test config

Filebeat သည် log receiver ၏ကွန်ရက်ရရှိနိုင်မှုကိုလည်း စစ်ဆေးနိုင်သည်။ စစ်ဆေးမှုသည် ဤကဲ့သို့ စတင်သည်-

.filebeat.exe test output

အောက်ဖော်ပြပါ အပိုင်းများတွင် Logstash နှင့် Kibana အစိတ်အပိုင်းများနှင့် Exchange ၏ ချိတ်ဆက်မှုနှင့် ချစ်ကြည်ရင်းနှီးမှုအကြောင်း ဆွေးနွေးပါမည်။

အသုံးဝင်သောလင့်များ

• Filebeat အလုပ်လုပ်ပုံ
• မှတ်တမ်းထည့်သွင်းခြင်း။
• လိုင်းပေါင်းစုံ မက်ဆေ့ချ်များကို စီမံပါ။
• Logstash အထွက်ကို ပြင်ဆင်ပါ။
• အဖြစ်အပျက်များမှ အကွက်များကို ချလိုက်ပါ။
• မှတ်တမ်းကို စီစဉ်သတ်မှတ်ပါ။

source: www.habr.com