🥇He hoa matou ki a ELK me Exchange. Wāhanga 1

Kei te timata ahau i te raupapa o nga tuhinga e hiahia ana ahau ki te whakapuaki i taku wheako ki te hono i a Exchange me ELK. Ma tenei puranga ka awhina i a maatau ki te tukatuka i nga pukapuka maha, me te kore e miharo he aha te rahi o nga taputapu takiuru ka kore e pai ki te awhina i a maatau. Kia mohio tatou ki te toa rakau hou.

He tino whanui te punaha takiuru a Exchange. Ko nga raarangi tino rongonui ko nga raarangi aroturuki, e whai ana i nga waahanga o te reta motuhake i roto i te whakahaere poutapeta; rangitaki tūmau tukutuku, e whai ana i ia huihuinga kaiwhakamahi hou i roto i te punaha, me nga raarangi o nga tono tukutuku motuhake me nga tohu rereke o nga korero mo te huihuinga. Ka taea hoki e Exchange te penapena i nga raarangi mata o nga tikanga smtp, imap me pop3.

He aha nga taputapu ka taea e taatau ki te mahi me nga raarangi:

cmdlet Paerewa Tiki-KarereTrackingLog: he pai te mahi i nga raarangi aroturuki;
Ko te whaipainga logparser: mo te takiuru, ka whakamahi i te reo rapu pseudo-SQL me te mahi tere;
Tūmau SQL waho: mo nga keehi tino motuhake (hei tauira, te tātari raraunga mo nga wa roa).

He pai te mahi o enei katoa ina he tokorua nga kaimau me te ine i te rahi o nga poro poroporo i roto i nga tekau, rau kikipaita ranei. Engari me pehea te maha o nga kaitoro kei roto i nga tatini, a ka nui ake te rahi o nga raarangi ki te terabyte? Ko tenei kaupapa ka timata ki te pakaru.

A koinei te mea ka tupu: Ka timata a Get-MessageTrackingLog ki te wa, ka pa te logparser ki te tuanui o te hoahoanga moka-32, a ka pakaru te tukunga ki te tūmau SQL i te wa tino kore e tika, me te kore e keri i te wehenga maha-raina mai i te ratonga.

I konei ka uru mai tetahi kaitakaro hou ki te waahi - ko te puranga ELK, he mea hanga motuhake mo te tarai i nga pukapuka nui i roto i te waa tika me te whakamahi rauemi pai.

I te wahanga tuatahi ka korero au ki a koe, me pehea te hono i te filebeat no tetahi waahanga o te puranga ELK — Ko te kawenga mo te panui me te tuku i nga konae tuhinga ngawari ki roto i nga tono rereke ka tuhi i o raatau raarangi. I roto i nga tuhinga e whai ake nei ka ata titiro tatou ki nga waahanga Logstash me Kibana.

tāutanga

Na, filebeat kaihoko kōnae pūranga ka taea te tango mai i tenei pae.

Ka whakaotihia e matou te whakaurunga ma te tango noa i nga ihirangi o te konae zip. Hei tauira, in c:Program Filesfilebeat. Na ka hiahia koe ki te whakahaere i te tuhinga PowerShell install-service-filebeat.ps1, ka tae mai me te kete, hei whakauru i te ratonga filebeat.

Inaianei kua rite taatau ki te timata ki te whakarite i te konae whirihoranga.

te manawanui ki te he

Ka whakamanahia e Filebeat te tuku pororaka ki te punaha kohinga rangitaki. Ka tutuki tenei ma te pupuri i te rehita o nga whakaurunga ki nga konae raarangi. Ka penapenahia e te rehita nga korero mo aua rekoata i panuitia mai i nga konae raarangi, ka tohu i nga rekoata motuhake ka taea te tuku ki te haerenga.

Ki te kore e taea te tuku he rekoata, ka ngana te filebeat ki te tuku ano kia tae ra ano ki te whiwhi i te whakapumautanga tuku mai i te punaha whiwhi, ka mukua ranei te konae rangitaki taketake i te wa o te huringa hurihuri.

Ka timata ano te ratonga, ka panuihia e te filebeat nga korero mai i te rehita mo nga rekoata whakamutunga i panuitia me te tuku, ka panuihia nga rekoata i roto i nga konae raarangi i runga i nga korero kei roto i te rehita.

Ma tenei ka taea e koe te whakaiti i te tupono o te ngaro o nga korero raarangi ka tukuna atu ki nga kaiwhakarato elasticlogstash i nga rahunga ohorere me nga mahi tiaki tūmau.

Ka taea e koe te ako atu mo tenei panuihia nga tuhinga ki nga kowae: Me pehea a Filebeat ki te pupuri i te ahua o nga konae me te pehea e whakarite ai a Filebeat ki te tuku i te wa kotahi?

whakatikatikanga

Ko nga whirihoranga katoa ka mahia i roto i te konae whirihoranga hōputu yml, ka wehewehea ki etahi waahanga. Kia titiro tatou ki etahi o ratou e whai waahi ana ki te kohi pororakau mai i nga tūmau Exchange.

Paraka tukatuka rangitaki

Ka timata te poraka tukatuka rangitaki ki te mara:

filebeat.inputs:

Ka whakamahia e matou he taputapu kohikohi rangitaki noa:

- type: log

Muri iho, tohuhia te mana (kua whakahoahia) me te ara ki te kōpaki me nga raarangi. Hei tauira, mo nga raarangi IIS, ka penei pea nga tautuhinga:

    enabled: true
    paths:
	- C:inetpublogsLogFilesW3SVC1*.log
	- C:inetpublogsLogFilesW3SVC2*.log

Ko tetahi atu tautuhinga nui ko te pehea e panui ai te filebeat i nga rekoata raina-maha. Ma te taunoa, ka whakaarohia e te filebeat tetahi rarangi o te konae rangitaki he urunga kotahi. Ka pai tenei mahi tae noa ki te wa ka timata tatou ki te tango i nga tuunga i roto i ta maatau rangitaki e pa ana ki te mahi he o te ratonga. I tenei take, he maha nga rarangi ka uru atu ki etahi atu. No reira me tatau te filebeat he urunga raina-maha hei kotahi mena ka timata te rarangi e whai ake nei ki te ra. Ko te whakatakotoranga mo te tuhi i nga raarangi i Exchange e whai ake nei: ko ia urunga hou ki te konae rangitaki ka tiimata me te ra. I roto i te whirihoranga, penei te ahua o tenei ahuatanga:

multiline:
	pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
	negate: true
	match: after

He mea tika ki te taapiri i nga tohu ki te panui e tukuna ana e koe, hei tauira:

  tags: ['IIS', 'ex-srv1']

A kaua e wareware ki te aukati mai i nga raina tukatuka ka tiimata me te ahua hash:

  exclude_lines: ['^#']

Na, ka penei te ahua o te paraka panui rangitaki:

filebeat.inputs:
- type: log
  enabled: true
  paths:
	- C:inetpublogsLogFilesW3SVC1*.log
	- C:inetpublogsLogFilesW3SVC2*.log
  multiline:
	pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
	negate: true
	match: after
  tags: ['IIS', 'ex-srv1']
  exclude_lines: ['^#']

Paraka tuku rangitaki

Ka tukuna e te Filebeat nga whakaurunga takitahi i roto i te konae rangitaki hei ahanoa json, kei roto he urunga motuhake mai i te raarangi kei roto i te mara karere kotahi. Mena kei te pirangi tatou ki te mahi me enei korero, me wehe tuatahi tenei mara ki nga mara motuhake. Ka taea tenei, hei tauira, i roto i te logstash. Ko ia te kaiwhiwhi o nga rekoata mai i te filebeat. Anei te ahua o te konae whirihoranga filebeat:

output.logstash:
  hosts: ["logstash1.domain.com:5044"]

Mēnā he maha ngā tūmau, kātahi ka taea e koe te whakaōrite mō rātou: kātahi ka kore te filebeat e tuku rākau ki te tūmau tuatahi e wātea ana mai i te rārangi, engari ka tohatoha i ngā rākau i tukuna ki waenga i ngā tūmau maha:

hosts: ["logstash1.domain.com:5044", "logstash2.domain.com:5044"]
  loadbalance: true

Ko te Filebeat, i te wa e tukatuka ana i nga raarangi ki te json kua tukuna, i tua atu i te urunga takiuru kei roto i te mara karere, ka taapirihia etahi momo metadata, e pa ana ki te rahi o te tuhinga ka mutu i roto i te rapa. Ka taea te tango i tenei metadata mai i te tukunga. Ka mahia tenei i roto i te poraka tukatuka ma te whakamahi i te tukatuka drop_fields. Hei tauira, ka taea e koe te whakakore i nga mara e whai ake nei:

processors:
- drop_fields:
	fields: ["agent.ephemeral_id", "agent.hostname", "agent.id", "agent.type", "agent.version", "agent", "ecs.version", "ecs", "input.type", "input", "log.offset", "version"]

Me ata whakatata atu koe ki te kowhiringa o nga mara kua whakakorehia, na te mea ka taea te whakamahi i etahi o aua waahi ki te taha rapa hei hanga tohu.

Na, ka penei te ahua o te paraka tuku rangitaki:

output.logstash:
  hosts: ["logstash1.domain.com:5044", "logstash2.domain.com:5044"]
  loadbalance: true
 
processors:
- drop_fields:
	fields: ["agent.ephemeral_id", "agent.hostname", "agent.id", "agent.type", "agent.version", "agent", "ecs.version", "ecs", "input.type", "input", "log.offset", "version"]

tautuhinga takiuru filebeat

He mea tika ki te whakarite i nga tautuhinga takiuru e whai ake nei:

Nga korero mo te reanga;
Ka tuhi matou i nga raarangi ki nga konae kei te taunoa (whaiaronga raarangi, kei te raarangi whakaurunga filebeat);
ingoa kōnae rangitaki - filebeat;
Whakaorangia nga konae rangitaki 10 whakamutunga;
Tīmatahia te hurihanga ina tae te rahi ki te 1MB.

Ko te paraka whirihoranga takiuru whakamutunga ka penei te ahua:

logging.level: info
logging.to_files: true
logging.files:
  name: filebeat
  keepfiles: 10
  rotateeverybytes: 1048576

whirihoranga whakamutunga

Kua whakaemihia e matou te whirihoranga a inaianei ko te ahua penei:

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - C:inetpublogsLogFilesW3SVC1*.log
    - C:inetpublogsLogFilesW3SVC2*.log
  multiline:
    pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
    negate: true
    match: after
  tags: ['IIS', 'ex-srv1']
  exclude_lines: ['^#']
 
output.logstash:
  hosts: ["logstash1.domain.com:5044", "logstash2.domain.com:5044"]
  loadbalance: true
 
processors:
- drop_fields:
    fields: ["agent.ephemeral_id", "agent.hostname", "agent.id", "agent.type", "agent.version", "agent", "ecs.version", "ecs", "input.type", "input", "log.offset", "version"]
 
logging.level: info
logging.to_files: true
logging.files:
  name: filebeat
  keepfiles: 10
  rotateeverybytes: 1048576

He mea nui kia maarama ko te whakatakotoranga konae whirihoranga he yml. Na reira, he mea nui kia tika te whakanoho i nga waahi me nga tohu whakaheke.

Ka taea e Filebeat te tirotiro i te konae whirihoranga, a, mena he hapa kei te wetereo, ka tohu ko tehea raina me te waahi kei roto i te raina kei te he te wetereo. Ka mahia te haki e whai ake nei: