🥇 Tha sinn nar caraidean le ELK agus Exchange. Pàirt 1

Tha mi a’ tòiseachadh sreath de artaigilean far a bheil mi airson m’ eòlas a roinn a’ ceangal Exchange agus ELK. Cuidichidh a’ chruach seo sinn le bhith a’ làimhseachadh meudan mòra de logaichean agus gun a bhith a’ smaoineachadh dè am meud a dhiùltas na h-innealan logaidh àbhaisteach ar cuideachadh. Nach cuir sinn eòlas air an trodaiche log ùr.

Tha siostam logaidh meadhanach farsaing aig Exchange. Is e na logaichean as mòr-chòrdte a bhith a’ cumail sùil air logaichean, a bhios a’ cumail sùil air slighe ceum air cheum litir shònraichte taobh a-staigh buidheann puist; logaichean frithealaiche lìn, a bhios a’ cumail sùil air gach seisean cleachdaiche ùr san t-siostam, agus logaichean de thagraidhean lìn sònraichte le diofar ìrean de mhion-fhiosrachadh seisean. Faodaidh iomlaid cuideachd logaichean amh de na protocolaidhean smtp, imap agus pop3 a stòradh.

Dè na h-innealan as urrainn dhuinn a chleachdadh airson obrachadh le logaichean:

Standard cmdlet Get-MessageTrackingLog: pròiseas logaichean tracadh gu h-iomchaidh;
An goireas logparser: airson logadh, a’ cleachdadh cànan sgrùdaidh pseudo-SQL agus ag obair gu math luath;
Frithealaiche SQL taobh a-muigh: airson cùisean fìor shònraichte (mar eisimpleir, a’ mion-sgrùdadh dàta thar ùine fhada).

Bidh seo uile ag obair gu math nuair a tha frithealaiche no dhà againn agus tha an àireamh de logaichean giullachd air a thomhas ann an deichean no ceudan de gigabytes. Ach dè ma tha an àireamh de luchd-frithealaidh anns na dusanan, agus meud nan logaichean nas àirde na terabyte? Tha e coltach gu bheil an sgeama seo a’ tòiseachadh a’ crìonadh.

Agus is e seo a thachras: Bidh Get-MessageTrackingLog a’ tòiseachadh a ’dol a-mach, bidh logparser a’ bualadh air mullach na h-ailtireachd 32-bit, agus bidh luchdachadh suas gu frithealaiche SQL a ’briseadh sìos aig an àm as neo-iomchaidh, gun a bhith a’ cnàmh an eisgeachd ioma-loidhne bhon t-seirbheis.

An seo tha cluicheadair ùr a’ tighinn a-steach don t-sealladh - an stac ELK, a tha air a dhealbhadh gu sònraichte airson a bhith a’ suathadh meud mòr de logaichean ann an ùine reusanta agus le caitheamh stòrais a ghabhas fhulang.

Anns a’ chiad earrainn innsidh mi dhut gu mionaideach, mar a cheanglas tu faidhle faidhle a bhuineas do phàirt de chruach ELK - le uallach airson faidhlichean teacsa sìmplidh a leughadh agus a chuir a-steach anns am bi diofar thagraidhean a’ sgrìobhadh na logaichean aca. Anns na h-artaigilean a leanas bheir sinn sùil nas mionaidiche air na pàirtean Logstash agus Kibana.

suidheachadh

Mar sin, faidhle tasglann àidseant filebeat faodar a luchdachadh sìos bhon làrach seo.

Cuiridh sinn crìoch air an stàladh le bhith dìreach a’ toirt a-mach susbaint an fhaidhle zip. Mar eisimpleir, ann an c:Program Filesfilebeat. An uairsin feumaidh tu an sgriobt PowerShell a ruith install-service-filebeat.ps1, a thig leis a’ phiseag, gus an t-seirbheis filebeat a stàladh.

A-nis tha sinn deiseil airson tòiseachadh air am faidhle rèiteachaidh a stèidheachadh.

fulangas lochd

Tha Filebeat a’ gealltainn lìbhrigeadh logaichean don t-siostam cruinneachadh logaichean. Tha seo air a choileanadh le bhith a’ cumail clàr de chlàran ann am faidhlichean log. Bidh an clàr a 'stòradh fiosrachadh mu na clàran sin a chaidh a leughadh bho fhaidhlichean log, agus a' comharrachadh chlàran sònraichte a bha comasach air an lìbhrigeadh chun cheann-uidhe.

Mura h-urrainnear clàr a lìbhrigeadh, feuchaidh filebeat ri ath-chuir air ais gus am faigh e dearbhadh lìbhrigidh bhon t-siostam faighinn no gus an tèid am faidhle log tùsail a dhubhadh às tron phròiseas cuairteachaidh.

Nuair a thèid an t-seirbheis ath-thòiseachadh, leughaidh filebeat fiosrachadh bhon chlàr mu na clàran mu dheireadh a chaidh a leughadh agus a lìbhrigeadh, agus leughaidh e clàran anns na faidhlichean log stèidhichte air an fhiosrachadh sa chlàr.

Leigidh seo leat an cunnart bho bhith a’ call fiosrachadh log a dh’ fheumar a chuir gu frithealaichean elasticlogstash aig àm fàilligidhean ris nach robh dùil agus obair cumail suas frithealaichean a lughdachadh.

Faodaidh tu barrachd ionnsachadh mu dheidhinn seo leugh na sgrìobhainnean anns na paragrafan: Ciamar a chumas Filebeat staid fhaidhlichean agus Ciamar a tha Filebeat a’ dèanamh cinnteach à lìbhrigeadh co-dhiù aon uair?

adjustment

Tha a h-uile rèiteachadh air a dhèanamh anns an fhaidhle rèiteachaidh cruth yml, a tha air a roinn ann an grunn earrannan. Bheir sinn sùil air cuid dhiubh a tha an sàs anns a 'phròiseas a' cruinneachadh logaichean bho Exchange frithealaichean.

Bloc giollachd logaichean

Bidh am bloc giollachd log a’ tòiseachadh leis an raon:

filebeat.inputs:

Cleachdaidh sinn inneal cruinneachaidh logaichean cumanta:

- type: log

An ath rud, comharraich an inbhe (comas) agus an t-slighe chun phasgan le logaichean. Mar eisimpleir, a thaobh logaichean IIS, dh'fhaodadh na roghainnean a bhith mar a leanas:

    enabled: true
    paths:
	- C:inetpublogsLogFilesW3SVC1*.log
	- C:inetpublogsLogFilesW3SVC2*.log

Is e suidheachadh cudromach eile mar a bu chòir filebeat clàran ioma-loidhne a leughadh. Gu gnàthach, bidh filebeat a’ beachdachadh air aon loidhne de fhaidhle log mar aon inntrigeadh. Bidh seo ag obair gu math gus an tòisich sinn a’ faighinn eisgeachdan nar log co-cheangailte ri obrachadh ceàrr na seirbheis. Anns a 'chùis seo, faodaidh grunn loidhnichean a bhith ann an eisgeachdan. Mar sin feumaidh filebeat inntrigeadh ioma-loidhne a chunntadh mar aon ma thòisicheas an ath loidhne le ceann-latha. Tha an cruth airson clàradh logaichean ann an Exchange mar a leanas: gach inntrigeadh ùr anns an loga faidhle a 'tòiseachadh le ceann-latha. Anns an rèiteachadh, tha an suidheachadh seo a 'coimhead mar seo:

multiline:
	pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
	negate: true
	match: after

Tha e ciallach tagaichean a chur ris a’ phost a tha thu a’ cur, mar eisimpleir:

  tags: ['IIS', 'ex-srv1']

Agus na dì-chuimhnich gun cuir thu a-mach à loidhnichean giullachd a’ tòiseachadh le caractar hash:

  exclude_lines: ['^#']

Mar sin, seallaidh am bloc leughaidh log mar seo:

filebeat.inputs:
- type: log
  enabled: true
  paths:
	- C:inetpublogsLogFilesW3SVC1*.log
	- C:inetpublogsLogFilesW3SVC2*.log
  multiline:
	pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
	negate: true
	match: after
  tags: ['IIS', 'ex-srv1']
  exclude_lines: ['^#']

Bloc cur logaichean

Bidh Filebeat a’ cur inntrigidhean fa-leth san fhaidhle log mar nì json, anns a bheil inntrigeadh sònraichte bhon loga ann an raon teachdaireachd singilte. Ma tha sinn airson dòigh air choireigin obrachadh leis an fhiosrachadh seo, feumaidh sinn an raon seo a pharsadh an toiseach ann an raointean fa leth. Faodar seo a dhèanamh, mar eisimpleir, ann an logstash. Gheibh e clàran bho filebeat. Seo cò ris a bhiodh e coltach ann am faidhle rèiteachaidh filebeat:

output.logstash:
  hosts: ["logstash1.domain.com:5044"]

Ma tha grunn fhrithealaichean ann, faodaidh tu cothromachadh a dhèanamh dhaibh: an uairsin cha chuir filebeat logaichean chun chiad fhrithealaiche a tha ri fhaighinn bhon liosta, ach sgaoilidh e na logaichean a chaidh a chuir am measg grunn luchd-frithealaidh:

hosts: ["logstash1.domain.com:5044", "logstash2.domain.com:5044"]
  loadbalance: true

Bidh Filebeat, nuair a bhios tu a ’giullachd logaichean a-steach don json a chaidh a chuir, a bharrachd air an inntrigeadh log a tha san raon teachdaireachd, a’ cur beagan meata-dàta ris, a bheir buaidh air meud na sgrìobhainn a thig gu crìch ann an elastagach. Faodar am meata-dàta seo a thoirt air falbh gu roghnach bhon tagradh. Tha seo air a dhèanamh anns a’ bhloc pròiseasar a’ cleachdadh a’ phròiseasar drop_fields. Mar eisimpleir, faodaidh tu na raointean a leanas a thoirmeasg:

processors:
- drop_fields:
	fields: ["agent.ephemeral_id", "agent.hostname", "agent.id", "agent.type", "agent.version", "agent", "ecs.version", "ecs", "input.type", "input", "log.offset", "version"]

Bu chòir dhut a dhol faisg air taghadh raointean dùinte gu faiceallach, oir faodar cuid dhiubh a chleachdadh air an taobh elastagach gus clàran-amais a thogail.

Mar sin, seallaidh am bloc cur loga mar seo:

output.logstash:
  hosts: ["logstash1.domain.com:5044", "logstash2.domain.com:5044"]
  loadbalance: true
 
processors:
- drop_fields:
	fields: ["agent.ephemeral_id", "agent.hostname", "agent.id", "agent.type", "agent.version", "agent", "ecs.version", "ecs", "input.type", "input", "log.offset", "version"]

roghainnean logadh faidhlebeat

Tha e ciallach na roghainnean logaidh a leanas a shuidheachadh:

Fiosrachadh ìre logaidh;
Bidh sinn a’ sgrìobhadh logaichean gu faidhlichean a tha stèidhichte gu bunaiteach (eòlaire logaichean, anns an eòlaire stàlaidh filebeat);
Ainm faidhle log - filebeat;
Glèidh na 10 faidhlichean log mu dheireadh;
Tòisich cuairteachadh nuair a ruigeas am meud 1MB.

Bidh am bloc rèiteachaidh logaidh mu dheireadh a’ coimhead mar seo:

logging.level: info
logging.to_files: true
logging.files:
  name: filebeat
  keepfiles: 10
  rotateeverybytes: 1048576

An rèiteachadh deireannach

Tha sinn air an rèiteachadh a chuir ri chèile agus a-nis tha e a’ coimhead mar seo:

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - C:inetpublogsLogFilesW3SVC1*.log
    - C:inetpublogsLogFilesW3SVC2*.log
  multiline:
    pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
    negate: true
    match: after
  tags: ['IIS', 'ex-srv1']
  exclude_lines: ['^#']
 
output.logstash:
  hosts: ["logstash1.domain.com:5044", "logstash2.domain.com:5044"]
  loadbalance: true
 
processors:
- drop_fields:
    fields: ["agent.ephemeral_id", "agent.hostname", "agent.id", "agent.type", "agent.version", "agent", "ecs.version", "ecs", "input.type", "input", "log.offset", "version"]
 
logging.level: info
logging.to_files: true
logging.files:
  name: filebeat
  keepfiles: 10
  rotateeverybytes: 1048576

Tha e cudromach tuigsinn gur e yml. Mar sin, tha e cudromach beàrnan agus soidhnichean a chuir gu ceart.

Faodaidh Filebeat am faidhle rèiteachaidh a sgrùdadh agus, ma tha mearachdan anns a’ cho-chòrdadh, seallaidh e dè an loidhne agus càite anns an loidhne a tha an co-chòrdadh ceàrr. Tha an sgrùdadh air a dhèanamh mar a leanas: