U vezi s završetkom prodaje u Rusiji sustava za evidenciju i analitiku Splunk, postavilo se pitanje: čime se ovo rješenje može zamijeniti? Nakon što sam proveo vrijeme upoznavajući se s različitim rješenjima, odlučio sam se za rješenje za pravog muškarca - "ELK stog". Ovaj sustav zahtijeva vrijeme za postavljanje, ali kao rezultat možete dobiti vrlo moćan sustav za analizu statusa i promptno reagiranje na incidente informacijske sigurnosti u organizaciji. U ovoj seriji članaka pogledat ćemo osnovne (ili možda ne) mogućnosti ELK stoga, razmotriti kako možete raščlaniti zapise, kako izgraditi grafikone i nadzorne ploče i koje se zanimljive funkcije mogu raditi pomoću primjera zapisa iz vatrozid Check Point ili sigurnosni skener OpenVas. Za početak, pogledajmo što je to - ELK stack i od kojih se komponenti sastoji.
"ELK stog" je akronim za tri projekta otvorenog koda: Elasticsearch, logstash и kibana. Razvio Elastic zajedno sa svim srodnim projektima. Elasticsearch je jezgra cijelog sustava koji objedinjuje funkcije baze podataka, pretraživanja i analitičkog sustava. Logstash je cjevovod za obradu podataka na strani poslužitelja koji prima podatke iz više izvora istovremeno, analizira zapisnik i zatim ga šalje u bazu podataka Elasticsearch. Kibana omogućuje korisnicima vizualizaciju podataka pomoću grafikona i grafikona u Elasticsearchu. Također možete administrirati bazu podataka putem Kibane. Zatim ćemo detaljnije razmotriti svaki sustav zasebno.
logstash
Logstash je uslužni program za obradu događaja dnevnika iz različitih izvora, s kojim možete odabrati polja i njihove vrijednosti u poruci, a također možete konfigurirati filtriranje i uređivanje podataka. Nakon svih manipulacija, Logstash preusmjerava događaje u konačnu pohranu podataka. Uslužni program se konfigurira samo putem konfiguracijskih datoteka.
Tipična logstash konfiguracija je datoteka(e) koja se sastoji od nekoliko dolaznih tokova informacija (ulaz), nekoliko filtara za te informacije (filtar) i nekoliko odlaznih tokova (izlaz). Izgleda kao jedna ili više konfiguracijskih datoteka, koje u najjednostavnijoj verziji (koja ne radi baš ništa) izgledaju ovako:
input {
}
filter {
}
output {
}
U INPUT-u konfiguriramo na koji će se port dnevnici slati i kroz koji protokol ili iz koje mape čitati nove ili stalno ažurirane datoteke. U FILTER konfiguriramo parser dnevnika: analiziramo polja, uređujemo vrijednosti, dodajemo nove parametre ili ih brišemo. FILTER je polje za upravljanje porukom koja dolazi u Logstash s puno opcija za uređivanje. U izlazu konfiguriramo gdje šaljemo već raščlanjeni zapisnik, u slučaju da se radi o elastičnom pretraživanju, šalje se JSON zahtjev u kojem se šalju polja s vrijednostima, ili se kao dio debug-a može izvesti u stdout ili zapisati u datoteku.
Elasticsearch
U početku, Elasticsearch je rješenje za pretraživanje cijelog teksta, ali s dodatnim pogodnostima poput jednostavnog skaliranja, replikacije i drugih stvari, što je proizvod učinilo vrlo praktičnim i dobrim rješenjem za visokoopterećene projekte s velikim količinama podataka. Elasticsearch je nerelacijska (NoSQL) JSON pohrana dokumenata i tražilica temeljena na Lucene pretrazi cijelog teksta. Hardverska platforma je Java Virtual Machine, tako da sustav zahtijeva veliku količinu procesora i RAM resursa za rad.
Svaka dolazna poruka, bilo s Logstashom ili korištenjem API-ja upita, indeksirana je kao "dokument" - analogno tablici u relacijskom SQL-u. Svi dokumenti su pohranjeni u indeksu - analogu baze podataka u SQL-u.
Primjer dokumenta u bazi podataka:
{
"_index": "checkpoint-2019.10.10",
"_type": "_doc",
"_id": "yvNZcWwBygXz5W1aycBy",
"_version": 1,
"_score": null,
"_source": {
"layer_uuid": [
"dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
"dbee3718-cf2f-4de0-8681-529cb75be9a6"
],
"outzone": "External",
"layer_name": [
"TSS-Standard Security",
"TSS-Standard Application"
],
"time": "1565269565",
"dst": "103.5.198.210",
"parent_rule": "0",
"host": "10.10.10.250",
"ifname": "eth6",
]
}
Sav rad s bazom podataka temelji se na JSON zahtjevima koji koriste REST API, koji ili proizvode dokumente po indeksu ili neke statistike u formatu: pitanje - odgovor. Za vizualizaciju svih odgovora na zahtjeve napisana je Kibana, web servis.
kibana
Kibana vam omogućuje pretraživanje, dohvaćanje podataka i statistiku upita iz baze podataka elasticsearch, ali mnogi prekrasni grafikoni i nadzorne ploče izgrađeni su na temelju odgovora. Sustav također ima funkcionalnost administracije baze podataka elasticsearch; u narednim člancima ćemo detaljnije pogledati ovu uslugu. Sada pokažimo primjer nadzornih ploča za vatrozid Check Point i skener ranjivosti OpenVas koji se mogu izgraditi.
Primjer nadzorne ploče za Check Point, slika se može kliknuti:
Primjer nadzorne ploče za OpenVas, slika se može kliknuti:
Zaključak
Pogledali smo od čega se sastoji ELK stog, malo smo se upoznali s glavnim proizvodima, kasnije u tečaju ćemo zasebno razmotriti pisanje Logstash konfiguracijske datoteke, postavljanje nadzornih ploča na Kibani, upoznavanje s API zahtjevima, automatizaciju i još mnogo toga!
Zato ostanite s nama, , , ), .
Izvor: www.habr.com