🥇Sõprust ELK ja Exchange. Osa 1

Alustan artiklite seeriat, kus soovin jagada oma kogemusi Exchange'i ja ELK-i ühendamisel. See sihtkiri aitab töötleda suuri logimahtusid ja ei pea küsima, millises suuruses tavalised logimise tööriistad lakkuvad meid aitamast. Tutvume uue võitlejaga logide alal.

Exchange'il on üsna keeruline logimise süsteem. Kõige nõutavamad logid on jälgimislogid, mis jälgivad konkreetse kirja edasiviimist postitusorganisatsioonis; veebiserveri logid, mis jälgivad iga uue kasutaja sessiooni süsteemis, ja konkreetsete veebirakenduste logid erineva detailitasemega sessioonide kohta. Samuti suudab Exchange hoida tooreid logisid protokollide smtp, imap ja pop3 kohta.

Milliseid tööriistu saame logide töötlemiseks kasutada:

Kohalik käsurida Get-MessageTrackingLog: mugav jälgimislogide töötlemiseks;
Logparseri tööriist: logimise jaoks kasutab see pseudo-SQL keelt otsimiseks ja töötab üsna kiiresti;
Väline SQL-server: eriti spetsiifiliste juhtumite jaoks (näiteks andmete analüüs pikkade ajavahemike jooksul).

Kogu see skeem töötab hästi, kui meil on paar serverit ja logide töötlemise maht on kümnetes-sajades gigabaitides. Aga mis juhtub siis, kui serverite arv läheb kümnetesse ja logide suurus ületab terabaidi? See skeem hakkab tõenäoliselt kokku kukkuma.

Ja siin juhtub see: Get-MessageTrackingLog hakkab ajutuks katkestama, logparser jääb kinni 32-bitise arhitektuuri piiridesse ja SQL-serverisse laadimise protsess puruneb kõige ebamugavamal hetkel, jättes töötlemata mitmerealise erandi teenusest.

Siinkohal astub mängu uus tegija – ELK stek, mis on spetsiaalselt loodud hiiglaslike logimahu haldamiseks mõistlikus ajas ja talutava ressursikasutusega.

Esimeses osas selgitan üksikasjalikult, kuidas ühendada filebeat, mis kuulub ELK steki osasse — vastutab lihttekstifailide lugemise ja edastamise eest, kuhu erinevad rakendused kirjutavad oma logid. Järgmistes artiklites peatume Logstashi ja Kibana komponentidel.

Paigaldamine

Nii et filebeati agenti sisaldava arhivi fail saab alla laadida sellest veebilehelt.

Installime selle lihtsa zip-faili sisu väljavõttega. Näiteks aadressile c:Program Filesfilebeat. Seejärel tuleb käivitada PowerShelli skript install-service-filebeat.ps1, mis tuleb komplektiga, et installida filebeati teenus.

Nüüd oleme valmis seadistama konfiguratsioonifaili.

Talitluskatkestustunne

Filebeat tagab logide kohaletoimetamise logide kogumisse süsteemi. See saavutatakse logifailides registreerimise kaudu. Registris hoitakse teavet nende kirje kohta, mis on logifailidest loetud, ning märgitakse kindlad kirjed, mis on sihtpunkti toimetatud.

Kui mõnda kirjet ei õnnestu toimetada, proovib filebeat seda uuesti saata seni, kuni see saab sihtsüsteemilt kohaletoimetamise kinnituse või algne logifail kustutatakse rotatsiooni käigus.

Teenuse filebeat taaskäivitamisel loeb see registrist viimati loetud ja kohaletoimetatud kirjeid ning loeb logifailide kirjeid registris olevate andmete põhjal.

See aitab minimeerida riski kaotada teavet logide kohta, mis tuleb saata elasticlogstash serveritesse, ootamatute tõrgete ja serverite hooldustööde käigus.

Lisainfot selle kohta võib lugeda dokumentatsioonist peatükkides: Kuidas Filebeat säilitab failide olekut ja Kuidas Filebeat tagab vähemalt kord kohaletoimetamise?

Seadistamine

Kogu seadistus toimub konfiguratsioonifailis formaadis yml, mis on jagatud mitmeks osaks. Vaadakem mõningaid neist, mis osalevad logide kogumise protsessis Exchange'i serveritest.

Logide töötlemise plokk

Logide töötlemise plokk algab järgmistest väljadest:

filebeat.inputs:

Kasutame üldist logide kogumise tööriista:

- type: log

Seejärel määrame staatuse (lubatud) ja teed logifailide kaustani. Näiteks IIS logide puhul võivad seaded olla järgmised:

    enabled: true
    paths:
	- C:inetpublogsLogFilesW3SVC1*.log
	- C:inetpublogsLogFilesW3SVC2*.log

Veel üks oluline seadistus: kuidas filebeat peaks lugema mitmerealisi kirjeid. Vaikimisi loeb filebeat logifaili ühe rea üheks kirje. See töötab hästi, kuni meie logidesse ei hakata tulema erandeid, mis on seotud teenuse vale tööga. Sel juhul võivad erandid koosneda mitmest reast. Seetõttu peab filebeat lugema mitmerealise kirje üheks, kui järgmine rida algab kuupäevaga. Exchange'i logide kirje formaat on selline: iga uus kirje logifailis algab kuupäevaga. Konfiguratsioonis näeb see tingimus välja järgmine:

multiline:
	pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
	negate: true
	match: after

Täpsem on lisada sildid edastatavasse logisse, näiteks:

  tags: ['IIS', 'ex-srv1']

Ja ära unusta eemaldada töötlemisest ridu, mis algavad kraanakahelaga:

  exclude_lines: ['^#']

Nii et logide lugemise plokk näeb välja järgnev:

filebeat.inputs:
- type: log
  enabled: true
  paths:
	- C:\inetpub\logs\LogFiles\W3SVC1\*.log
	- C:\inetpub\logs\LogFiles\W3SVC2\*.log
  multiline:
	pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
	negate: true
	match: after
  tags: ['IIS', 'ex-srv1']
  exclude_lines: ['^#']

Logide saatmise plokk

Iga kirje filebeat'i logifailis edastatakse kui json objekt, milles konkreetne logikirje sisaldub ainukeses field message. Kui soovime selle teabega mingil viisil töötada, peame me selle väljundi eelnevalt eraldama eraldi väljadeks. Seda saab teha näiteks logstashis. Ta ongi filebeat‘i saadetavate kirjade vastuvõtja. Nii võiks see välja näha filebeat'i konfiguratsioonifailis:

output.logstash:
  hosts: ["logstash1.domain.com:5044"]

Kui servereid on mitu, siis nende jaoks saab sisse lülitada koormuse jaotamise: sel juhul saadab filebeat logid mitte ainult loendis esimesse kergesti kätte saadavasse serverisse, vaid jaotab saadetavad logid mitme serveri vahel:

hosts: ["logstash1.domain.com:5044", "logstash2.domain.com:5044"]
  loadbalance: true

Filebeat lisab logide töötlemisel edastatavasse json'i välja message hulka teatud metadatasid, mis mõjutavad dokumenti, mis jõuab elastic'usse. Neid metadatasid saab valikuliselt eemaldada. See toimub processor plokis drop_fields protsessori abil. drop_fields. Saame eemaldada näiteks järgmised väljad:

processors:
- drop_fields:
	fields: ["agent.ephemeral_id", "agent.hostname", "agent.id", "agent.type", "agent.version", "agent", "ecs.version", "ecs", "input.type", "input", "log.offset", "version"]

Valik vabanemiseks väljadest tuleks teha ettevaatlikult, sest osa neist võib olla elastic'e poolt indekseerimise jaoks kasutusel.

Nii et logide saatmise plokk näeb järgnev välja:

output.logstash:
  hosts: ["logstash1.domain.com:5044", "logstash2.domain.com:5044"]
  loadbalance: true
 
processors:
- drop_fields:
	fields: ["agent.ephemeral_id", "agent.hostname", "agent.id", "agent.type", "agent.version", "agent", "ecs.version", "ecs", "input.type", "input", "log.offset", "version"]

Filebeat'i logimise seadistused

Täpsem on seadistada järgmised logimise seaded:

Logimise tase on info;
Salvestame logid vaikimisi failidesse (logs kataloog, filebeat'i installatsioonikaust);
Logifaili nimetus on filebeat;
Hoia viimaseid 10 logifaili;
Käivita pöörlemine 1 MB suuruse saavutamisel.

Lõppkokkuvõttes näeb logimise seadistuse plokk välja selline:

logging.level: info
logging.to_files: true
logging.files:
  name: filebeat
  keepfiles: 10
  rotateeverybytes: 1048576

Lõplik konfiguratsioon

Oleme kokku pannud konfigureerimise ja nüüd näeb see välja järgmiselt:

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - C:inetpublogsLogFilesW3SVC1*.log
    - C:inetpublogsLogFilesW3SVC2*.log
  multiline:
    pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
    negate: true
    match: after
  tags: ['IIS', 'ex-srv1']
  exclude_lines: ['^#']
 
output.logstash:
  hosts: ["logstash1.domain.com:5044", "logstash2.domain.com:5044"]
  loadbalance: true
 
processors:
- drop_fields:
    fields: ["agent.ephemeral_id", "agent.hostname", "agent.id", "agent.type", "agent.version", "agent", "ecs.version", "ecs", "input.type", "input", "log.offset", "version"]
 
logging.level: info
logging.to_files: true
logging.files:
  name: filebeat
  keepfiles: 10
  rotateeverybytes: 1048576

Oluline on mõista, et konfiguratsioonifaili formaat on yml. Seetõttu on oluline õigesti paigutada tühikud ja miinusmärgid.

Filebeat suudab kontrollida konfiguratsioonifaili ja kui süntaks sisaldab vigu, näitab see, millises reas ja millises kohas on süntaks vale. Kontrollimist toimub järgmiselt: