1. Elastic stack: analyse av sikkerhetslogger. Innledning

Med avslutningen av salget av logging- og analyssystemet Splunk i Russland, har spørsmålet om hva dette løsningen kan erstattes med oppstått. Etter å ha brukt tid på å bli kjent med forskjellige løsninger, har jeg landet på løsningen for den ekte mannen — «ELK stack». Dette systemet krever tid for oppsett, men resultatet kan være et veldig kraftig system for analyse av tilstand og hurtig respons på hendelser innen informasjonssikkerhet i organisasjonen. I denne artikkelserien vil vi se på de grunnleggende (eller kanskje ikke så grunnleggende) funksjonene til ELK-stacken, hvordan man kan analysere logger, bygge diagrammer og dashbord, samt hvilke interessante funksjoner man kan lage med logger fra brannmuren Check Point eller sikkerhetsscanneren OpenVas. La oss først se på hva ELK-stacken er og hvilke komponenter den består av.

«ELK stack» — er en forkortelse fra tre prosjekter med åpen kildekode: Elasticsearch, Logstash og Kibana. Den utvikles av selskapet Elastic sammen med alle relaterte prosjekter. Elasticsearch er kjernen i hele systemet, som kombinerer funksjoner for database, søke- og analyssystem. Logstash er en databehandlingspipeline på serversiden, som får data fra flere kilder samtidig, parser loggene og deretter sender dem til Elasticsearch-databasen. Kibana lar brukere visualisere data ved hjelp av diagrammer og grafer i Elasticsearch. Gjennom Kibana kan man også administrere databasen. Vi vil deretter se nærmere på hvert enkelt system.

Logstash

Logstash er et verktøy for behandling av logghendelser fra ulike kilder, som lar deg trekke ut felter og deres verdier i meldinger. Det er også mulig å sette opp filtrering og redigering av data. Etter alle manipulasjoner sender Logstash hendelsene til det endelige datalageret. Verktøyet konfigureres kun gjennom konfigurasjonsfiler.
En typisk Logstash-konfigurasjon består av én eller flere filer som inneholder flere innkommende informasjonsstrømmer (input), flere filtre for denne informasjonen (filter) og flere utgående strømmer (output). Dette vises som én eller flere konfigurasjonsfiler, som i det enkleste tilfellet (som ikke gjør noe som helst) ser slik ut:

input {
}

filter {
}

output {
}

I INPUT konfigurerer vi hvilken port loggene skal komme til og hvilket protokoll som skal brukes, eller fra hvilken mappe vi skal lese nye eller kontinuerlig skrivende filer. I FILTER konfigurerer vi loggparseren: analyse av felt, redigering av verdier, legge til nye parametere eller fjerne. FILTER er et område for å administrere meldingen som kommer til Logstash med mange redigeringsmuligheter. I output konfigurerer vi hvor vi sender den allerede analyserte loggen; hvis det er Elasticsearch, sendes en JSON-forespørsel som sender feltene med verdiene, eller i debugging kan vi skrive ut til stdout eller lagre i en fil.

ElasticSearch

Opprinnelig er Elasticsearch en løsning for fulltekstsøk, men med tilleggsmuligheter som enkelt skalering, replikering og annet som har gjort produktet svært praktisk og en god løsning for høybelastede prosjekter med store datamengder. Elasticsearch er et ikke-relasjonelt (NoSQL) dokumentlagringssystem i JSON-format, samt en søkemotor basert på fulltekstsøk med Lucene. Den tekniske plattformen er Java Virtual Machine, så systemet krever en stor mengde prosessorkraft og RAM for å fungere.
Hver innkommende melding, enten fra Logstash eller ved hjelp av API-forespørsel, indekseres som et "dokument" – tilsvarende en tabell i relasjons-SQL. Alle dokumenter lagres i indeksen – tilsvarende en database i SQL.

Eksempel på et dokument i databasen:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

Alt arbeid med databasen er bygget på JSON-forespørsel ved hjelp av REST API, som enten gir dokumenter etter indeks eller en type statistikk i formatet: spørsmål – svar. For å visualisere alle svarene på forespørslene ble Kibana utviklet, som representerer seg selv som en webtjeneste.

Kibana

Kibana gjør det mulig å søke etter og forespørre data fra Elasticsearch-databasen, basert på svarene bygges mange vakre grafer og dashbord. Systemet har også funksjonalitet for administrasjon av Elasticsearch-databasen, i kommende artikler vil vi se nærmere på denne tjenesten. Nå vil vi vise et eksempel på dashbordene for brannmuren Check Point og sårbarhetsskanneren OpenVas, som kan bygges.

Eksempel på dashbord for Check Point, bildet er klikkbart:

Eksempel på dashbord for OpenVas, bildet er klikkbart:

Konklusjon

Vi har sett på hva som består av ELK-stakken, og blitt litt kjent med hovedproduktene; videre vil vi i kurset se nærmere på skriving av Logstash-konfigurasjonsfil, oppsett av dashbord i Kibana, bli kjent med API-forespørslene, automatisering og mye mer!

Så følg med på oppdateringene (Telegram, Facebook, VK, TS Solution Blog), Yandex.Zen.

Kilde: habr.com