🥇Samarbeider ELK og Exchange. Del 1

Eg begynner ein serie artiklar der eg vil dele mine erfaringar med å koble til Exchange og ELK. Denne stakken vil hjelpe med å håndtere store mengder loggar utan å lure på når dei vanlege loggingverktøya vil slutte å hjelpe oss. La oss bli kjent med den nye kjempen i loggane.

Exchange har eit ganske omfattande logging system. Dei mest etterspurde loggane er tracking-loggar, som sporer steg-for-steg prosessen til eit spesifikt brev innanfor postorganisasjonen; webserverloggar, som sporer kvar nye brukarsesjon i systemet, og loggar frå spesifikke webapplikasjonar med ulik detaljnivå for sesjonar. I tillegg kan Exchange lagre råloggar for SMTP, IMAP og POP3 protokolla.

Kva verktøy kan vi bruke for å arbeide med loggar:

Standard cmdlet Get-MessageTrackingLog: praktisk for å behandle tracking-loggar;
Verktøyet logparser: bruker ein pseudo-SQL-språk for logging og fungerer ganske raskt;
Ekstern SQL-server: for spesielt spesifikke tilfelle (for eksempel, analyse av data over lange tidsperiodar).

Alt dette fungerer greitt når vi har eit par serverar og mengda av behandlede loggar måles i titalls til hundrevis av gigabyte. Men kva om talet på serverar går opp til titalls og storleiken på loggane har overskrid terekabyte? Denne ordninga vil mest sannsynleg begynne å svikte.

Og kva skjer då: Get-MessageTrackingLog begynner å feile på grunn av timeout, logparser møter taket på 32-bits arkitekturen, og eksport til SQL-serveren krasjar på det absolutt dårlegaste tidspunktet, utan å klare å håndtere eit flerlina exception frå tenesta.

Her kjem ein ny deltakar på bana – ELK stakken, som er spesialdesignet for å jonglere store loggmengder på fornuftig tid med akseptabel ressursbruk.

I den første delen vil eg grundig forklare, korleis ein koblar til filebeat, som er ein del av ELK stakken, og som ansvarar for å lese og sende enkle tekstfiler der ulike applikasjonar skriv loggane sine. I dei komande artiklane vil vi sjå nærmare på komponentane Logstash og Kibana.

Installasjon

Så, fil-arkivet til filebeat-agenten kan lastast ned frå denne nettsida..

Vi vil installere ved å pakke ut innhaldet i zip-fila. For eksempel, i c:Program Filesfilebeat. Deretter må vi kjøre PowerShell-skriptet install-service-filebeat.ps1, som følger med, for å installere filebeat-tenesta.

No er vi klare til å begynne å konfigurere konfigurasjonsfilen.

Feiltoleranse

Filebeat sikrer levering av logger til loggsamlingssystemet. Dette oppnås ved å føre et register over postene i loggfilene. I registeret lagres informasjon om de postene som har blitt lest fra loggfilene, og spesifikke poster merkes som vellykket levert til bestemmelsesstedet.

Hvis en post ikke kan leveres, vil Filebeat prøve å sende den på nytt til den mottakende systemet bekrefter leveransen, eller til den opprinnelige loggfilen blir slettet under rotasjonen.

Ved omstart av Filebeat vil det lese registerinformasjonen om de siste leste og leverte postene, og lese poster i loggfilene basert på informasjonen i registeret.

Dette bidrar til å minimere risikoen for tap av informasjon om logger som må sendes til Elasticlogstash-serverne under uforutsette nedbrudd og ved vedlikeholdsoperasjoner på serverne.

Mer om dette kan leses i dokumentasjonen i paragrafene: Hvordan Filebeat opprettholder tilstanden til filer og Hvordan Filebeat sikrer minst én levering?

Konfigurasjon

All konfigurasjon gjøres i en konfigurasjonsfil i formatet yml, som er delt opp i flere seksjoner. La oss se på noen av dem som er involvert i prosessen med å samle logger fra Exchange-servere.

Blokken for loggbehandling

Blokken for loggbehandling starter med feltet:

filebeat.inputs:

Vi skal bruke et felles verktøy for loggsamling:

- type: log

Deretter spesifiserer vi status (aktivert) og stiene til mappen med logger. For eksempel, i tilfellet med IIS-logger kan innstillingene være som følger:

    enabled: true
    paths:
	- C:inetpublogsLogFilesW3SVC1*.log
	- C:inetpublogsLogFilesW3SVC2*.log

En annen viktig innstilling: hvordan Filebeat skal lese flerlinjeposter. Som standard regner Filebeat en linje i loggfilen som en post. Dette fungerer bra så lenge vi ikke begynner å motta unntak relatert til feil i tjenesten. I så fall kan unntakene bestå av flere linjer. Derfor må Filebeat regne en flerlinjepost som en, hvis neste linje begynner med dato. Formatet for logger i Exchange er som følger: hver ny post i loggfilen begynner med en dato. I konfigurasjonen ser dette betingelsen slik ut:

multiline:
	pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
	negate: true
	match: after

Det gir mening å legge til tags i den sendte posten, for eksempel:

  tags: ['IIS', 'ex-srv1']

Og ikke glem å ekskludere linjer som begynner med hash-tegnet:

  exclude_lines: ['^#']

Så leseblokken for logger vil se slik ut:

filebeat.inputs:
- type: log
  enabled: true
  paths:
	- C:inetpublogsLogFilesW3SVC1*.log
	- C:inetpublogsLogFilesW3SVC2*.log
  multiline:
	pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
	negate: true
	match: after
  tags: ['IIS', 'ex-srv1']
  exclude_lines: ['^#']

Loggsendingsblokk

Hver post i loggfilen sendes av filebeat som et JSON-objekt, hvor den spesifikke loggposten er i feltet message. Hvis vi ønsker å jobbe med denne informasjonen, må vi først analysere dette feltet til separate felt. Dette kan gjøres, for eksempel, i logstash. Den vil være mottakeren av postene fra filebeat. Slik kan det se ut i konfigurasjonsfilen for filebeat:

output.logstash:
  hosts: ["logstash1.domain.com:5044"]

Hvis det er flere servere, kan vi aktivere lastbalansering: da vil filebeat sende logger ikke til den første tilgjengelige serveren fra listen, men fordele de sendte loggene mellom flere servere:

hosts: ["logstash1.domain.com:5044", "logstash2.domain.com:5044"]
  loadbalance: true

Filebeat legger til en del metadata når det behandler logger i den sendte JSON-en, i tillegg til loggposten som finnes i feltet message, noe som påvirker størrelsen på dokumentet som sendes til elastic. Dette metadata kan selektivt utelates fra sendingen. Dette gjøres i prosessorblokken med hjelp av prosessoren drop_fields. For eksempel kan følgende felt utelukkes:

processors:
- drop_fields:
	fields: ["agent.ephemeral_id", "agent.hostname", "agent.id", "agent.type", "agent.version", "agent", "ecs.version", "ecs", "input.type", "input", "log.offset", "version"]

Det er viktig å være forsiktig med valget av utelukkede felt, da noen av dem kan brukes på elastic-siden for indeksering.

Så sendingsblokken for logger vil se slik ut:

output.logstash:
  hosts: ["logstash1.domain.com:5044", "logstash2.domain.com:5044"]
  loadbalance: true
 
processors:
- drop_fields:
	fields: ["agent.ephemeral_id", "agent.hostname", "agent.id", "agent.type", "agent.version", "agent", "ecs.version", "ecs", "input.type", "input", "log.offset", "version"]

Innstillinger for loggføring av filebeat

Det gir mening å sette følgende loggføringsinnstillinger:

Loggføringsnivå info;
Lagre logger i filer, som ligger i standard (mappen logs, i installasjonsmappen for filebeat);
Loggfilsnavnet er filebeat;
Lagre de 10 nyeste loggfilene;
Utføre rotering når størrelsen når 1 MB.

Den endelige loggningsinnstillingen vil se slik ut:

logging.level: info
logging.to_files: true
logging.files:
  name: filebeat
  keepfiles: 10
  rotateeverybytes: 1048576

Den endelige konfigurasjonen

Vi har samlet konfigurasjonen, og nå ser den slik ut:

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - C:inetpublogsLogFilesW3SVC1*.log
    - C:inetpublogsLogFilesW3SVC2*.log
  multiline:
    pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
    negate: true
    match: after
  tags: ['IIS', 'ex-srv1']
  exclude_lines: ['^#']
 
output.logstash:
  hosts: ["logstash1.domain.com:5044", "logstash2.domain.com:5044"]
  loadbalance: true
 
processors:
- drop_fields:
    fields: ["agent.ephemeral_id", "agent.hostname", "agent.id", "agent.type", "agent.version", "agent", "ecs.version", "ecs", "input.type", "input", "log.offset", "version"]
 
logging.level: info
logging.to_files: true
logging.files:
  name: filebeat
  keepfiles: 10
  rotateeverybytes: 1048576

Det er viktig å forstå at filformatet for konfigurasjonen er yml. Derfor er det viktig å plassere mellomrom og minustegn korrekt.

Filebeat kan sjekke konfigurasjonsfilen, og hvis syntaksen inneholder feil, vil den indikere hvilken linje og hvilket sted i linjen som er feil. Sjekken utføres på følgende måte: