1. Elastic stack: analys av säkerhetsloggar. Introduktion

I samband med att försäljningen av logg- och analysystemet Splunk upphörde i Ryssland, uppstod frågan om vilket alternativ som kan användas istället. Efter att ha spenderat tid på att bekanta mig med olika lösningar, bestämde jag mig för en lösning för den verkliga mannen — «ELK stack». Detta system kräver tid för konfiguration, men slutresultatet kan ge ett mycket kraftfullt verktyg för att analysera tillståndet och snabbt reagera på incidenter inom informationssäkerheten i organisationen. I denna artikelserie kommer vi att titta på grundläggande (eller kanske inte) funktioner hos ELK-stacken, hur man kan parsa loggar, bygga diagram och dashboards, samt vilka intressanta funktioner man kan skapa med exempel på loggar från brandväggen Check Point eller säkerhetsskannern OpenVas. Vi börjar med att utforska vad ELK-stacken är och vilka komponenter den består av.

«ELK stack» — är en förkortning av tre projekt med öppen källkod: Elasticsearch, Logstash och Kibana. Utvecklas av företaget Elastic tillsammans med alla relaterade projekt. Elasticsearch är kärnan i hela systemet, som kombinerar funktioner av databas, sök- och analysystem. Logstash är en databehandlingspipeline på serverns sida som tar emot data från flera källor samtidigt, parserar loggen och skickar den sedan till Elasticsearch-databasen. Kibana gör det möjligt för användare att visualisera data med hjälp av diagram och grafer i Elasticsearch. Genom Kibana kan man även administrera databasen. Låt oss sedan titta noggrant på varje system separat.

Logstash

Logstash – är ett verktyg för behandling av logghändelser från olika källor, som gör det möjligt att extrahera fält och deras värden från meddelandet, samt att ställa in filtrering och redigering av data. Efter alla manipulationer omdirigerar Logstash händelserna till det slutliga datalagringsutrymmet. Verktyget konfigureras endast via konfigurationsfiler.
En typisk konfiguration av logstash består av en eller flera filer som innehåller flera inkommande informationsflöden (input), flera filter för denna information (filter) och flera utgående flöden (output). Det ser ut som en eller flera konfigurationsfiler, som i det enklaste fallet (som inte gör någonting) ser ut så här:

input {
}

filter {
}

output {
}

I INPUT konfigurerar vi vilken port loggarna ska komma till och vilket protokoll som ska användas, eller från vilken mapp nya eller kontinuerligt skrivande filer ska läsas. I FILTER konfigurerar vi loggparseraren: analys av fält, redigering av värden, tillägg av nya parametrar eller borttagning. FILTER är ett fält för att hantera meddelandet som kommer till Logstash med en mängd redigeringsalternativ. I output konfigurerar vi vart vi skickar den redan analyserade loggen, om det handlar om Elasticsearch skickas en JSON-förfrågan, där fälten med värden skickas, eller så kan vi under felsökning skriva ut i stdout eller spara i en fil.

ElasticSearch

Ursprungligen är Elasticsearch en lösning för fulltextsökning, men med ytterligare bekvämligheter, såsom enklare skalning, replikering och mer, vilket har gjort produkten mycket praktisk och en bra lösning för högbelastade projekt med stora datavolymer. Elasticsearch är en icke-relationell (NoSQL) databas för dokument format i JSON, och en sökmotor baserad på fulltextsökning med Lucene. Den hårdvaruplattform som används är Java Virtual Machine, så systemet kräver en stor mängd CPU- och minnesresurser för att fungera.
Varje meddelande som kommer, antingen från Logstash eller via en API-förfrågan, indexeras som ett "dokument" – motsvarigheten till en tabell i relationell SQL. Alla dokument lagras i ett index – motsvarigheten till en databas i SQL.

Exempel på ett dokument i databasen:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

Allt arbete med databasen bygger på JSON-förfrågningar via REST API, som antingen returnerar dokument efter index eller någon form av statistik i formatet: fråga — svar. För att visualisera alla svar på förfrågningar har Kibana skrivits, som är en webbtjänst.

Kibana

Kibana gör det möjligt att söka, hämta data och begära statistik från elasticsearch-databasen, och baserat på svaren skapas många vackra diagram och dashboards. Systemet har också funktionalitet för administration av elasticsearch-databasen. I kommande artiklar kommer vi att titta närmare på denna tjänst. Nu visar vi ett exempel på dashboards för brandväggen Check Point och sårbarhetsskannern OpenVas som kan skapas.

Exempel på dashboard för Check Point, bilden är klickbar:

Exempel på dashboard för OpenVas, bilden är klickbar:

Slutsats

Vi har granskat beståndsdelen av ELK stack, fått en liten introduktion till de grundläggande produkterna, och i kursen kommer vi att titta närmare på att skriva konfigurationsfilen för Logstash, konfigurera dashboards i Kibana, bekanta oss med API-anrop, automation och mycket mer!

Så håll utkik efter uppdateringar (Telegram, Facebook, VK, TS Solution Blog), Yandex.Dzen.

Källa: habr.com