2. Elastic stack: analiza security logova. Logstash

2. Elastic stack: analiza security logova. Logstash

Prethodno članku Upoznali smo se sa ELK stakom, od kojih se sastoji. Prvi izazov sa kojim se inženjer suočava prilikom rada sa ELK stakom je slanje logova na čuvanje u Elasticsearch za kasniju analizu. Međutim, to je samo na rečima; Elasticsearch čuva logove u obliku dokumenata sa određenim poljima i vrednostima, što znači da inženjer mora koristiti različite alate da parsira poruke koje se šalju iz krajnjih sistema. To se može uraditi na nekoliko načina – napisati sopstveni program koji će putem API-ja dodavati dokumente u bazu ili koristiti već gotova rešenja. U okviru ovog kursa razmatraćemo rešenje Logstash, koje je deo ELK staka. Pogledaćemo kako možemo slati logove iz krajnjih sistema u Logstash, a zatim ćemo konfigurirati konfiguracijski fajl za parsiranje i preusmeravanje u Elasticsearch bazu podataka. U ovom slučaju, kao ulazni sistem koristićemo logove iz vatrozida Check Point.

U okviru kursa ne razmatra se instalacija ELK staka, budući da postoji ogroman broj članaka na ovu temu, fokusiraćemo se na konfiguracioni deo.

Sastavićemo plan akcije za konfiguraciju Logstasha:

  1. Proveravamo da li će Elasticsearch primati logove (proveravamo funkcionalnost i otvorenost porta).
  2. Razmatramo na koji način možemo slati događaje u Logstash, biramo način i implementiramo.
  3. Konfigurišemo Input u konfiguracijskoj datoteci Logstasha.
  4. Konfigurišemo Output u konfiguracijskoj datoteci Logstasha u režimu debagovanja, kako bismo shvatili kako izgleda log poruka.
  5. Konfigurišemo Filter.
  6. Konfigurišemo ispravan Output u Elasticsearch.
  7. Pokrećemo Logstash.
  8. Proveravamo logove u Kibani.

Razmotrićemo detaljnije svaku tačku:

Proveravamo da li će Elasticsearch primati logove

Za to možemo proveriti dostupnost u Elasticsearch iz sistema na kojem je pokrenut Logstash pomoću komande curl. Ako imate podešenu autentifikaciju, takođe preko curl-a prosledite korisničko ime/lozinku, navodeći port 9200 ako ga niste menjali. Ako dobijete odgovor sličan onome što je prikazano u nastavku, znači da je sve u redu.

[elastic@elasticsearch ~]$ curl -u <> : <> -sS -XGET "<>:9200"
{
  "name" : "elastic-1",
  "cluster_name" : "project",
  "cluster_uuid" : "sQzjTTuCR8q4ZO6DrEis0A",
  "version" : {
    "number" : "7.4.1",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "fc0eeb6e2c25915d63d871d344e3d0b45ea0ea1e",
    "build_date" : "2019-10-22T17:16:35.176724Z",
    "build_snapshot" : false,
    "lucene_version" : "8.2.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "Znate, za pretragu"
}
[elastic@elasticsearch ~]$

Ako odgovor nije stigao, može biti nekoliko vrsta grešaka: elasticsearch proces ne radi, port nije ispravan ili je port blokiran vatrozidom na serveru gdje je postavljen elasticsearch.

Razmatramo kako poslati logove u Logstash kroz vatrozid Check Point.

Sa Check Point management serverom možemo poslati logove u Logstash putem syslog-a, koristeći alat log_exporter, detaljnije se može upoznati s njom ovdje. članku, ovdje ćemo ostaviti samo komandu koja stvara tok:

cp_log_export add name check_point_syslog target-server <> target-port 5555 protocol tcp format generic read-mode semi-unified

<> — adresa servera na kojem radi Logstash, target-port 5555 — port na koji ćemo slati logove, slanje logova putem tcp može opteretiti server, zato je u nekim slučajevima ispravnije koristiti udp.

Postavljamo INPUT u konfiguracijskom fajlu Logstash.

2. Elastic stack: analiza security logova. Logstash

Zadani konfiguracijski fajl se nalazi u direktoriju /etc/logstash/conf.d/. Konfiguracijski fajl se sastoji od 3 smislenih dijelova: INPUT, FILTER, OUTPUT. U INPUT navodimo odakle sustav uzima logove, u FILTER parsiram log — konfiguriramo kako podijeliti poruku na polja i vrijednosti, u OUTPUT konfiguriramo izlazni tok — gdje će parsirani logovi biti slani.

Prvo ćemo postaviti INPUT, razmotrićemo neke tipove koji mogu biti — file, tcp i exe.

Tcp:

input {
tcp {
    port => 5555
    host => “10.10.1.205”
    type => "checkpoint"
    mode => "server"
}
}

mode => «server»
Označava da Logstash prihvaća konekcije.

port => 5555
host => “10.10.1.205”
Prihvatamo konekcije preko IP adrese 10.10.1.205 (Logstash), port 5555 — port bi trebao biti dozvoljen politikom vatrozida.

type => «checkpoint»
Označavamo dokument, vrlo korisno u slučaju kada imate više ulaznih konekcija. Kasnije se za svaku konekciju može napisati vlastiti filter koristeći logičku konstrukciju if.

File:

input {
  file {
    path => "\/var\/log\/openvas_report\/*"
    type => "openvas"
    start_position => "beginning"
    }
}

Opis postavki:
path => «\/var\/log\/openvas_report\/*»
Navodimo direktorij u kojem je potrebno čitati datoteke.

type => «openvas»
Tip događaja.

start_position => «beginning»
Pri promjeni datoteke čita cijelu datoteku, ako se postavi «end», sistem čeka pojavu novih zapisa na kraju datoteke.

Exec:

input {
  exec {
    command => "ls -alh"
    interval => 30
  }
}

Na osnovu ovog unosa pokreće se (samo!) shell komanda i njen izgovor se obavija u logskoj poruci.

command => «ls -alh»
Komanda čiji izlaz nas zanima.

interval => 30
Interval pozivanja komande u sekundama.

Da bismo primali logove sa vatrozida, postavljamo filter tcp ili udp, zavisno od toga kako se šalju logovi u Logstash.

Podešavamo Output u konfiguracionom fajlu Logstash u režimu debagovanja, kako bismo razumeli kako izgleda log poruka.

Nakon što smo konfigurisali INPUT, potrebno je razumeti kako će izgledati log poruka, koje metode treba koristiti za podešavanje filtera (parsera) logova.

Za to ćemo koristiti filter koji daje rezultat u stdout kako bismo pregledali izvorne poruke, kompletan konfiguracioni fajl u ovom trenutku izgleda ovako:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

output 
{
	if [type] == "checkpoint" 
       {
		stdout { codec=> json }
	}
}

Pokrećemo komandu za proveru:
sudo /usr/share/logstash/bin//logstash -f /etc/logstash/conf.d/checkpoint.conf
Vidimo rezultat, slika je klikabilna:

2. Elastic stack: analiza security logova. Logstash

Ako se ovo kopira, izgledaće ovako:

action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,0x5,0xfe0a0a0a,0xc0000000}" origin="10.10.10.254" originsicname="CN=ts-spb-cpgw-01,O=cp-spb-mgmt-01.tssolution.local.kncafb" sequencenum="8" time="1576766483" version="5" context_num="1" dst="10.10.10.10" dst_machine_name="ts-spb-dc-01@tssolution.local" layer_name="TSS-Standard Security" layer_name="TSS-Standard Application" layer_uuid="dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0" layer_uuid="dbee3718-cf2f-4de0-8681-529cb75be9a6" match_id="8" match_id="33554431" parent_rule="0" parent_rule="0" rule_action="Accept" rule_action="Accept" rule_name="Implicit Cleanup" rule_uid="6dc2396f-9644-4546-8f32-95d98a3344e6" product="VPN-1 & FireWall-1" proto="17" s_port="37317" service="53" service_id="domain-udp" src="10.10.1.180" ","type":"qqqqq","host":"10.10.10.250","@version":"1","port":50620}{"@timestamp":"2019-12-19T14:50:12.153Z","message":"time="1576766483" action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,

Gledajući na ove poruke, shvatamo da logovi imaju oblik: polje = vrednost ili ključ = vrednost, što znači da odgovara filtru koji se zove kv. Da bismo ispravno izabrali filter za svaku konkretnu situaciju, bilo bi dobro upoznati se s njima u tehničkoj dokumentaciji ili pitati prijatelja.

Podešavanje Filtera

U prethodnoj fazi smo izabrali kv, a dalje je predstavljena konfiguracija ovog filtera:

filter {
if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
}
}

Biramo simbol po kojem ćemo razdvojiti polje i vrednost – “=”. Ako imamo iste zapise u logu, čuvamo samo jedan primerak u bazi, inače će to postati niz istih vrednosti, tj. ako imamo poruku “foo = some foo=some” zapisujemo samo foo = some.

Podešavanje ispravnog Output-a u ElasticSearch

Nakon što je Filter podešen, logove možemo učitati u bazu elasticsearch:

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

Ako je dokument potpisan tipom checkpoint, čuvamo događaj u bazi elasticsearch, koja prima konekcije na 10.10.1.200 na portu 9200 po defaultu. Svaki dokument se čuva u određenom indeksu, u ovom slučaju čuvamo u indeks „checkpoint-” + trenutni datum. Svaki indeks može imati određeni skup polja, ili se automatski kreira prilikom pojave novog polja u poruci, podešavanja polja i njihovih tipova mogu se videti u mappings.

Ako je postavljena autentifikacija (o čemu ćemo kasnije), obavezno moraju biti navedeni kredencijali za upis u određeni indeks, u ovom primeru to je „tssolution” sa šifrom „cool”. Može se ograničiti pravo korisnika da upisuju logove samo u određeni indeks i nijedan drugi.

Pokrećemo Logstash.

Konfiguracioni fajl Logstash-a:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => "10.10.1.205"
   	 }
}

filter {
        if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
        }
}

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

Proveravamo konfiguracioni fajl na ispravnost sastavljanja:
/usr/share/logstash/bin//logstash -f checkpoint.conf
2. Elastic stack: analiza security logova. Logstash

Pokrećemo proces Logstash:
sudo systemctl start logstash

Proveravamo da li je proces pokrenut:
sudo systemctl status logstash

2. Elastic stack: analiza security logova. Logstash

Proveravamo da li je socket podignut:
netstat -nat |grep 5555

2. Elastic stack: analiza security logova. Logstash

Proveravamo logove u Kibani.

Nakon što je sve pokrenuto, idemo u Kibanu — Discover, i uvjeravamo se da je sve pravilno postavljeno, slika je klikabilna!

2. Elastic stack: analiza security logova. Logstash

Svi logovi su tu i možemo vidjeti sva polja i njihove vrijednosti!

Zaključak

Razmotrili smo kako napisati konfiguracijski fajl Logstasha, i kao rezultat dobili parser svih polja i vrijednosti. Sada možemo raditi s pretraživanjem i izradom grafikona na temelju određenih polja. U nastavku kursa razmotrićemo vizualizaciju u Kibani, te ćemo kreirati jednostavni dashboard. Vrijedi spomenuti da se konfiguracijski fajl Logstasha mora stalno dopisivati u određenim situacijama, na primjer, kada želimo promijeniti vrijednost polja sa broja na riječ. U narednim člancima ćemo to stalno raditi.

Tako da pratite ažuriranja (Telegram, Facebook, VK, TS Solution Blog), Yandex.Dzen.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster