🥇2. Elastic stack: turvalisuslogide analüüs. Logstash

2. Elastic stack: turvalogide analüüs. Logstash

Eelmises osas artiklis me tutvusime ELK stekiga, millest see koosneb. Esimene ülesanne, millega insener ELK steki kasutamisel silmitsi seisab, on logide edastamine nende salvestamiseks Elasticsearchi hilisemaks analüüsimiseks. Kuid see kõlab lihtsalt, Elasticsearch salvestab logid dokumentide kujul kindlate väljade ja väärtustega, seega peab insener kasutama erinevaid tööriistu, et sõnum, mis saadetakse lõpp-süsteemidelt, õigesti töödelda. Seda saab teha mitmel viisil — kirjutades ise programmi, mis API kaudu lisab dokumente andmebaasi, või kasutades juba olemasolevaid lahendusi. Käesoleva kursuse raames vaatleme lahendust Logstash, mis on osa ELK stegist. Vaatame, kuidas saata logisid lõpp-süsteemidelt Logstashi ning seejärel seadistame konfiguratsioonifaili parsimiseks ja edastamiseks Elasticsearchi andmebaasi. Selleks võtame sisendsüsteemina Check Pointi tulemüürilt saadud logid.

Kursuse raames ELK steki installatsiooni ei käsitleta, kuna selle kohta on tohutult artikleid, keskendume konfiguratsiooni komponendile.

Koostame tegevuskava Logstashi konfigureerimiseks:

Kontrollime, kas Elasticsearch aktsepteerib logisid (kontrollimaks töökindlust ja pordi avatus).
Uurime, kuidas saame sündmusi Logstash'isse saata, valime meetodi ja rakendame selle.
Seame sisse Input Logstashi konfiguratsioonifailis.
Seame sisse Output Logstashi konfiguratsioonifailis debugeerimisrežiimis, et mõista, milline log sõnum välja näeb.
Seame sisse Filter.
Seame korrektse Output Elasticsearchis.
Käivitame Logstashi.
Kontrollime logisid Kibana's.

Uurime iga punkti lähemalt:

Kontrollime, kas Elasticsearch aktsepteerib logisid

Selleks saab kasutada käsku curl, et kontrollida Elasticsearch'i ligipääsu süsteemilt, kuhu Logstash on installitud. Kui teil on autentimine seadistatud, edastame samuti curl kaudu kasutaja/parooli, määrame pordi 9200, kui te pole seda muutnud. Kui vastus sarnaneb allpool toodud näidisele, siis on kõik korras.

[elastic@elasticsearch ~]$ curl -u <> : <> -sS -XGET "<>:9200"
{
  "name" : "elastic-1",
  "cluster_name" : "project",
  "cluster_uuid" : "sQzjTTuCR8q4ZO6DrEis0A",
  "version" : {
    "number" : "7.4.1",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "fc0eeb6e2c25915d63d871d344e3d0b45ea0ea1e",
    "build_date" : "2019-10-22T17:16:35.176724Z",
    "build_snapshot" : false,
    "lucene_version" : "8.2.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}
[elastic@elasticsearch ~]$

Kui vastust ei tulnud, võib olla mitu erinevat viga: elasticsearchi protsess ei tööta, port on vale või port on serveris, kus elasticsearch on, tulemüüriga blokeeritud.

Kaaluge, kuidas saata logisid Logstashi kaudu Check Point'i tulemüüri.

Check Point'i juhtimistarkvarast on võimalik saata logisid Logstashi kaudu syslog'i, kasutades utiliiti log_exporter, millega saab põhjalikumalt tutvuda selle. artiklis, siin jätame ainult käsu, mis loob voogu:

cp_log_export add name check_point_syslog target-server <> target-port 5555 protocol tcp format generic read-mode semi-unified

<> — Logstashi serveri aadress, target-port 5555 — port, kuhu logid saadame. Logide saatmine tcp protokolliga võib serverit koormata, seetõttu on mõnel juhul õigem kasutada udp-d.

Seame sisse INPUT Logstashi konfiguratsioonifailis

2. Elastic stack: turvalogide analüüs. Logstash

Vaikimisi asub konfiguratsioonifail kataloogis /etc/logstash/conf.d/. Konfiguratsioonifail koosneb kolmest mõistetavast osast: INPUT, FILTER, OUTPUT. Sisse INPUT märgime, kust süsteem logisid võtab, sisse FILTER parsing logs — seadistame, kuidas jagada sõnumid välja ja väärtustes, sisse OUTPUT seadistame väljundvoo — kuhu töödeldud logid saadetakse.

Alustame INPUT seadmisega, vaatame mõningaid tüüpe, mis võivad olla — file, tcp ja exe.

Tcp:

input {
tcp {
    port => 5555
    host => “10.10.1.205”
    type => "checkpoint"
    mode => "server"
}
}

mode => «server»
Ütleb, et Logstash aktsepteerib ühendusi.

port => 5555
host => “10.10.1.205”
Aktsepteerime ühendusi IP-aadressil 10.10.1.205 (Logstash), port 5555 — port peab olema avatud tulemüüri poliitikaga.

type => «checkpoint»
Dokumendi märkimine on väga mugav, kui teil on mitu sissetulevat ühendust. Edasi saab iga ühenduse jaoks oma filtri kirjutada loogilise konstruktsiooni if abil.

Fail:

input {
  file {
    path => "/var/log/openvas_report/*"
    type => "openvas"
    start_position => "beginning"
    }
}

Seadete kirjeldus:
path => "/var/log/openvas_report/*"
Määrame kausta, milles faile lugeda.

type => "openvas"
Sündmuse tüüp.

start_position => "beginning"
Faili muutumisel loeb süsteem faili täielikult, kui seate "end", siis ootab süsteem uusi kirjeid faili lõpus.

Exec:

input {
  exec {
    command => "ls -alh"
    interval => 30
  }
}

Antud sisendi puhul käivitatakse (ainult!) shell-käsk ja selle väljund ümbritsetakse logiteatega.

command => "ls -alh"
Käsk, mille väljund meid huvitab.

interval => 30
Käsku kutsutakse üles iga 30 sekundi järel.

Kuna soovime vastu võtta tulemüürist logisid, määrame filtri tcp või udp, sõltuvalt sellest, kuidas logisid Logstashi saadetakse.

Seame Logstashi konfiguratsioonifailis väljundi debug-režiimi, et mõista, kuidas logiteade välja näeb.

Pärast INPUT-i konfigureerimist peame aru saama, milline on logi sõnum, milliseid meetodeid on vaja logide filtrite (parserite) seadistamiseks kasutada.

Sel eesmärgil kasutame filtrit, mis annab tulemuse stdout-s, et näha algset sõnumit. Täielik konfigureerimisfail näeb hetkel välja järgmine:

input 
{
         tcp 
         {
                port => 5555
                type => "checkpoint"
                mode => "server"
                host => "10.10.1.205"
         }
}

output 
{
	if [type] == "checkpoint" 
       {
		stdout { codec => json }
	}
}

Käivitame kontrollimise käsu:
sudo /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/checkpoint.conf
Näeme tulemust, pilt on klikkitav:

Kui kopeerida, näeb see välja nii:

action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,0x5,0xfe0a0a0a,0xc0000000}" origin="10.10.10.254" originsicname="CN=ts-spb-cpgw-01,O=cp-spb-mgmt-01.tssolution.local.kncafb" sequencenum="8" time="1576766483" version="5" context_num="1" dst="10.10.10.10" dst_machine_name="ts-spb-dc-01@tssolution.local" layer_name="TSS-Standard Security" layer_name="TSS-Standard Application" layer_uuid="dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0" layer_uuid="dbee3718-cf2f-4de0-8681-529cb75be9a6" match_id="8" match_id="33554431" parent_rule="0" parent_rule="0" rule_action="Accept" rule_action="Accept" rule_name="Implicit Cleanup" rule_uid="6dc2396f-9644-4546-8f32-95d98a3344e6" product="VPN-1 & FireWall-1" proto="17" s_port="37317" service="53" service_id="domain-udp" src="10.10.1.180" ","type":"qqqqq","host":"10.10.10.250","@version":"1","port":50620

Vaadates neid andmeid, mõistame, et logid on kujul: väli = väärtus või key = value, mis tähendab, et sobib filter nimega kv. Et õigesti valida filter iga konkreetse juhtumi jaoks, oleks hea neist tutvuda tehnilises dokumentatsioonis või küsida sõbralt.

Seame Filterit

Eelmisel etapil valisime kv, edaspidi on toodud selle filtri konfiguratsioon:

filter {
if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
}
}

Valime sümboli, mille järgi jagame välja ja väärtust — “=”. Kui logis on sama kirje mitu korda, salvestame andmebaasi ainult ühe eksemplari, muidu tekib teil sama väärtusega massiiv, st kui meil on sõnum “foo = some foo=some”, salvestame ainult foo = some.

Seame korraliku väljundi ElasticSearch'is

Pärast Filtri seadistamist saab logisid andmebaasi eksportida elasticsearch:

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

Kui dokument on allkirjastatud tüübi checkpoint, salvestame sündmuse andmebaasi elasticsearch, mis vaikimisi võtab ühendusi aadressilt 10.10.1.200 porti 9200. Iga dokument salvestatakse kindlasse indeksisse, antud juhul salvestame indeksi „checkpoint-” + praegune kuupäev. Igal indeksil võivad olla teatud väljade komplektid või luuakse need automaatselt, kui sõnumis ilmub uus väli, väljade seadeid ja nende tüüpe saab vaadata mappings.'

Kui teil on seadistatud autentimine (millest räägime hiljem), peavad olema kindlasti määratud andmed konkreetse indeksi kirjutamiseks, antud näites on see "tssolution" parooliga "cool". Kasutajate õigusi logide kirjutamiseks saab piiritleda ainult kindlatesse indeksitesse, mitte rohkem.

Käivitame Logstashi.

Logstashi konfiguratsioonifail:

input 
{
         tcp 
         {
                port => 5555
                type => "checkpoint"
                mode => "server"
                host => "10.10.1.205"
         }
}

filter {
        if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
        }
}

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

Kontrollime konfiguratsioonifaili õigesti koostatud.
/usr/share/logstash/bin//logstash -f checkpoint.conf
2. Elastic stack: turvalogide analüüs. Logstash

Käivitame Logstashi protsessi:
sudo systemctl start logstash

Kontrollime, kas protsess käivitati:
sudo systemctl status logstash

2. Elastic stack: turvalogide analüüs. Logstash

Kontrollime, kas pistik on üles tõusnud:
netstat -nat | grep 5555

Kontrollime logisid Kibana's.

Pärast kõike, kui kõik on käivitatud, siseneme Kibana - Discover, veendume, et kõik on õigesti seadistatud, pilt on klikitav!

Kõik logid on kohal ja me näeme kõiki välju ja nende väärtusi!

Kokkuvõte

Me oleme käsitlenud, kuidas kirjutada Logstashi konfigureerimisfaili, mille tulemusena saime parseri kõigile väljadele ja väärtustele. Nüüd saame töötada otsingute ja graafikute koostamisega teatud väljade suhtes. Edasi kursuses käsitleme visualiseerimist Kibanas ning loome lihtsa armatuurlaua. Tasub mainida, et Logstashi konfigureerimisfaili tuleb teatud olukordades pidevalt täiendada, näiteks kui soovime muuta välja väärtust numbrist sõnaks. Järgmistes artiklites teeme seda pidevalt.

Nii et jälgige uuendusi (Telegram, Facebook, VK, TS Solution Blog), Yandex.Dzen.

Allikas: habr.com