2. Elastic Stack: analyse af sikkerhedslogs. Logstash

I den forrige artikel introducerede vi ELK-stacken, hvilke softwareprodukter den består af. Den første opgave, som en ingeniør står overfor, når man arbejder med ELK-stacken, er at sende logs til opbevaring i Elasticsearch til efterfølgende analyse. Men det er nemt kun at sige, Elasticsearch opbevarer logs som dokumenter med bestemte felter og værdier, hvilket betyder, at ingeniøren skal bruge forskellige værktøjer til at parse meddelelsen, der sendes fra de endelige systemer. Dette kan gøres på flere måder - enten ved selv at skrive et program, der via API'et tilføjer dokumenter til databasen, eller ved at bruge allerede eksisterende løsninger. I løbet af dette kursus vil vi se på løsningen Logstash, som er en del af ELK-stacken. Vi vil se, hvordan man kan sende logs fra de endelige systemer til Logstash, og derefter vil vi konfigurere konfigurationsfilen til parsing og omdirigering til Elasticsearch-databasen. Til dette formål tager vi logs fra Check Point firewall som indgangssystem.

Kurset omhandler ikke installationen af ELK-stacken, da der findes et væld af artikler om emnet. Vi vil fokusere på konfigurationselementet.

Vi laver en handlingsplan for konfiguration af Logstash:

1. Kontroller, at Elasticsearch vil modtage logs (tjek funktionalitet og portens åbenhed).
2. Vi overvejer, hvordan vi kan sende begivenheder til Logstash, vælger metode og implementerer den.
3. Vi konfigurerer input i Logstash-konfigurationsfilen.
4. Vi konfigurerer output i Logstash-konfigurationsfilen i debug-tilstand for at forstå, hvordan logmeddelelsen ser ud.
5. Vi konfigurerer filteret.
6. Vi konfigurerer korrekt output til Elasticsearch.
7. Vi starter Logstash.
8. Vi tjekker logs i Kibana.

Vi ser nærmere på hvert punkt:

Kontroller, at Elasticsearch vil modtage logs.

For dette kan du kontrollere adgang til Elasticsearch fra systemet, hvor Logstash er installeret, ved hjælp af curl-kommandoen. Hvis du har indstillet godkendelse, sender du også brugernavn/adgangskode via curl og angiver port 9200, hvis du ikke har ændret den. Hvis du får et svar, der ligner det angivne nedenfor, så er alt i orden.

[elastic@elasticsearch ~]$ curl -u <>:<> -sS -XGET "<>:9200"
{
  "name": "elastic-1",
  "cluster_name": "project",
  "cluster_uuid": "sQzjTTuCR8q4ZO6DrEis0A",
  "version": {
    "number": "7.4.1",
    "build_flavor": "default",
    "build_type": "rpm",
    "build_hash": "fc0eeb6e2c25915d63d871d344e3d0b45ea0ea1e",
    "build_date": "2019-10-22T17:16:35.176724Z",
    "build_snapshot": false,
    "lucene_version": "8.2.0",
    "minimum_wire_compatibility_version": "6.8.0",
    "minimum_index_compatibility_version": "6.0.0-beta1"
  },
  "tagline": "You Know, for Search"
}
[elastic@elasticsearch ~]$

Hvis svaret ikke kom, kan der være flere typer fejl: elasticsearch-processen fungerer ikke, porten er forkert, eller porten er blokeret af firewall på serveren, hvor elasticsearch er installeret.

Lad os se på, hvordan man kan sende logfiler til Logstash via en firewall fra Check Point.

Fra Check Point management server kan logfiler sendes til Logstash via syslog ved at bruge værktøjet log_exporter, som du kan læse mere om her. artikel, her efterlader vi kun kommandoen, der opretter strømmen:

cp_log_export add name check_point_syslog target-server <> target-port 5555 protocol tcp format generic read-mode semi-unified

<> — adressen på serveren, hvor Logstash kører, target-port 5555 — den port, hvor vi vil sende logfilerne, at sende logfiler via tcp kan belaste serveren, derfor er det i nogle tilfælde mere korrekt at anvende udp.

Vi konfigurerer INPUT i Logstash konfigurationsfilen.

Som standard ligger konfigurationsfilen i mappen /etc/logstash/conf.d/. Konfigurationsfilen består af 3 meningsfulde dele: INPUT, FILTER, OUTPUT. INPUT her angiver vi, hvor systemet skal hente logfiler fra, i FILTER parser vi loggen — vi indstiller, hvordan meddelelsen opdeles i felter og værdier, i OUTPUT konfigurerer vi den udgående strøm — hvor de parsede logfiler skal sendes.

Lad os først konfigurere INPUT; lad os se på nogle typer, der kan være — file, tcp og exe.

Tcp:

input {
tcp {
    port => 5555
    host => "10.10.1.205"
    type => "checkpoint"
    mode => "server"
}
}

mode => "server"
angiver, at Logstash accepterer forbindelser.

port => 5555
host => "10.10.1.205"
Vi modtager forbindelser på IP-adressen 10.10.1.205 (Logstash), port 5555 — porten skal være tilladt af firewall-politikken.

type => "checkpoint"
Vi mærker dokumentet, hvilket er meget praktisk, hvis du har flere indgående forbindelser. Senere kan man skrive sin egen filterkonstruktion for hver forbindelse ved hjælp af en logisk if-konstruktion.

File:

input {
  file {
    path => "/var/log/openvas_report/*"
    type => "openvas"
    start_position => "beginning"
    }
}

Beskrivelse af indstillinger:
path => "/var/log/openvas_report/*"
Angiv den mappe, hvor filerne skal læses fra.

type => "openvas"
Begivenhedstype.

start_position => "beginning"
Når filen ændres, læser den filen i sin helhed; hvis "end" er valgt, venter systemet på, at der kommer nye indlæg til slutningen af filen.

Exec:

input {
  exec {
    command => "ls -alh"
    interval => 30
  }
}

Med denne input køres (kun!) shell-kommandoen, og dens output indkapsles i et logbesked.

command => "ls -alh"
Den kommando, hvis output interessérer os.

interval => 30
Intervallet for at kalde kommandoen i sekunder.

For at modtage logs fra firewall'en definerer vi filteret tcp eller udp, afhængig af hvordan logs sendes til Logstash.

Indstil Output i Logstash-konfigurationsfilen i debug-tilstand for at forstå, hvordan logbeskeden ser ud.

Når vi har konfigureret INPUT, skal vi forstå, hvordan logbeskeden vil se ud, og hvilke metoder vi skal bruge til at indstille filtre (parserne) til logs.

Til dette vil vi bruge et filter, der giver et resultat i stdout, så vi kan se den oprindelige besked; den komplette konfigurationsfil vil på nuværende tidspunkt se sådan ud:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => "10.10.1.205"
   	 }
}

output 
{
	if [type] == "checkpoint" 
       {
		stdout { codec => json }
	}
}

Kør kommandoen for at kontrollere:
sudo /usr/share/logstash/bin//logstash -f /etc/logstash/conf.d/checkpoint.conf
Vi ser resultatet, billedet er klikbart:

Hvis vi kopierer dette, vil det se sådan ud:

action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,0x5,0xfe0a0a0a,0xc0000000}" origin="10.10.10.254" originsicname="CN=ts-spb-cpgw-01,O=cp-spb-mgmt-01.tssolution.local.kncafb" sequencenum="8" time="1576766483" version="5" context_num="1" dst="10.10.10.10" dst_machine_name="ts-spb-dc-01@tssolution.local" layer_name="TSS-Standard Security" layer_name="TSS-Standard Application" layer_uuid="dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0" layer_uuid="dbee3718-cf2f-4de0-8681-529cb75be9a6" match_id="8" match_id="33554431" parent_rule="0" parent_rule="0" rule_action="Accept" rule_action="Accept" rule_name="Implicit Cleanup" rule_uid="6dc2396f-9644-4546-8f32-95d98a3344e6" product="VPN-1 & FireWall-1" proto="17" s_port="37317" service="53" service_id="domain-udp" src="10.10.1.180" ","type":"qqqqq","host":"10.10.10.250","@version":"1","port":50620}{"@timestamp":"2019-12-19T14:50:12.153Z","message":"time="1576766483" action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,

Når vi ser på disse meddelelser, forstår vi, at loggene har formen: felt = værdi eller key = value, hvilket betyder, at filteret kaldet kv passer. For at vælge det rigtige filter til hver enkelt situation ville det være en god idé at gøre sig bekendt med dem i den tekniske dokumentation eller spørge en ven.

Konfigurerer Filter

I det forrige trin valgte vi kv, her er konfigurationen af dette filter:

filter {
if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
}
}

Vi vælger det symbol, som vi vil dele felt og værdi med — “=”. Hvis vi har ens poster i loggen, gemmer vi kun én instans i databasen, ellers ender vi med et array af ens værdier; det vil sige, hvis vi har meddelelsen “foo = some foo=some”, gemmer vi kun foo = some.

Konfigurerer korrekt Output i ElasticSearch

Når Filteret er konfigureret, kan loggene eksporteres til databasen. elasticsearch:

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

Hvis dokumentet er underskrevet med typen checkpoint, gemmer vi begivenheden i elasticsearch-databasen, der modtager forbindelser på 10.10.1.200 på port 9200 som standard. Hvert dokument gemmes i et bestemt indeks, i dette tilfælde gemmer vi i indeks «checkpoint-» + den aktuelle tidsdato. Hvert indeks kan have et bestemt sæt felter eller oprettes automatisk ved fremkomsten af et nyt felt i meddelelsen, felternes indstillinger og deres type kan ses i mappings.

Hvis du har konfigureret godkendelse (som vi ser senere), skal du nødvendigvis angive credentials til at skrive i et specifikt indeks, i dette eksempel er det «tssolution» med adgangskoden «cool». Det er muligt at adskille brugernes rettigheder for skrivning af logs kun i et bestemt indeks og ikke flere.

Vi starter Logstash.

Logstash konfigurationsfil:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

filter {
        if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
        }
}

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

Vi kontrollerer konfigurationsfilen for korrekt opbygning:
/usr/share/logstash/bin//logstash -f checkpoint.conf


Vi starter Logstash-processen:
sudo systemctl start logstash

Vi kontrollerer, om processen er startet:
sudo systemctl status logstash

Vi kontrollerer, om socketen er oppe:
netstat -nat |grep 5555

Vi tjekker logs i Kibana.

Når alt er startet, går vi ind i Kibana — Discover og sikrer os, at alt er indstillet korrekt, billedet er klikbart!

Alle logs er på plads, og vi kan se alle felter og deres værdier!

Konklusion

Vi har gennemgået, hvordan man skriver en Logstash konfigurationsfil, og resultatet er en parser for alle felter og værdier. Nu kan vi arbejde med søgning og oprettelse af grafer baseret på specifikke felter. I de kommende kurser vil vi se på visualisering i Kibana og oprette et simpelt dashboard. Det er værd at nævne, at Logstash konfigurationsfilen skal opdateres under bestemte omstændigheder, for eksempel når vi vil ændre værdien af et felt fra tal til ord. I de næste artikler vil vi konstant gøre dette.

Så hold øje med opdateringer (Telegram, Facebook, VK, TS Solution Blog), Yandex.Zen.

Kilde: habr.com