1.Tumpukan elastis: analisis log keamanan. Pambuka

Ing sambungan karo mburi dodolan ing Rusia saka sistem logging lan analytics Splunk, pitakonan muncul: apa sing bisa ngganti solusi iki? Sawise mbuwang wektu akrab karo solusi sing beda-beda, aku mutusake solusi kanggo wong lanang sejati - "Tumpukan ELK". Sistem iki butuh wektu kanggo nyiyapake, nanging minangka asil sampeyan bisa entuk sistem sing kuat banget kanggo nganalisa status lan kanthi cepet nanggapi kedadeyan keamanan informasi ing organisasi. Ing seri artikel iki, kita bakal ndeleng kemampuan dhasar (utawa mungkin ora) saka tumpukan ELK, nimbang carane sampeyan bisa ngurai log, carane nggawe grafik lan dashboard, lan fungsi menarik apa sing bisa ditindakake nggunakake conto log saka firewall Check Point utawa pemindai keamanan OpenVas. Kanggo miwiti, ayo goleki apa iku - tumpukan ELK, lan komponen apa wae.

"Tumpukan ELK" minangka akronim kanggo telung proyek open source: Elasticsearch, Logstash и kibana. Dikembangake dening Elastic bebarengan karo kabeh proyek sing gegandhengan. Elasticsearch minangka inti saka kabeh sistem, sing nggabungake fungsi database, telusuran lan sistem analitis. Logstash minangka pipa pangolahan data sisih server sing nampa data saka macem-macem sumber bebarengan, ngurai log, banjur dikirim menyang database Elasticsearch. Kibana ngidini pangguna nggambarake data nggunakake grafik lan grafik ing Elasticsearch. Sampeyan uga bisa ngatur database liwat Kibana. Sabanjure, kita bakal nimbang saben sistem kanthi luwih rinci.

Logstash

Logstash minangka sarana kanggo ngolah acara log saka macem-macem sumber, sing sampeyan bisa milih kolom lan nilai ing pesen, lan sampeyan uga bisa ngatur nyaring lan nyunting data. Sawise kabeh manipulasi, Logstash ngarahake acara menyang nyimpen data pungkasan. Utilitas dikonfigurasi mung liwat file konfigurasi.
Konfigurasi logstash khas yaiku file (s) sing kasusun saka sawetara aliran informasi (input), sawetara saringan kanggo informasi kasebut (filter) lan sawetara aliran sing metu (output). Katon kaya siji utawa luwih file konfigurasi, sing ing versi paling gampang (sing ora nindakake apa-apa) katon kaya iki:

input {
}

filter {
}

output {
}

Ing INPUT kita ngatur port sing log bakal dikirim menyang lan liwat protokol, utawa saka folder kanggo maca file anyar utawa terus dianyari. Ing FILTER kita ngatur parser log: kolom parsing, suntingan nilai, nambah paramèter anyar utawa mbusak. FILTER minangka lapangan kanggo ngatur pesen sing teka ing Logstash kanthi akeh pilihan panyuntingan. Ing output, kita ngatur ing ngendi kita ngirim log sing wis diurai, yen elasticsearch, panjaluk JSON dikirim ing lapangan kanthi nilai dikirim, utawa minangka bagéan saka debug, bisa dadi output menyang stdout utawa ditulis menyang file.

Lenggang

Kaping pisanan, Elasticsearch minangka solusi kanggo telusuran teks lengkap, nanging kanthi fasilitas tambahan kayata skala gampang, replikasi lan liya-liyane, sing nggawe produk kasebut trep banget lan solusi sing apik kanggo proyek-proyek muatan dhuwur kanthi volume data sing akeh. Elasticsearch minangka toko dokumen JSON lan mesin telusur non-relasional (NoSQL) adhedhasar panelusuran teks lengkap Lucene. Platform hardware yaiku Java Virtual Machine, mula sistem kasebut mbutuhake prosesor lan sumber daya RAM sing akeh supaya bisa digunakake.
Saben pesen sing mlebu, kanthi Logstash utawa nggunakake API pitakon, diindeks minangka "dokumen" - padha karo tabel ing SQL relasional. Kabeh dokumen disimpen ing indeks - analog saka database ing SQL.

Tuladha dokumen ing basis data:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

Kabeh karya karo database adhedhasar panjalukan JSON nggunakake REST API, kang salah siji gawé dokumen dening indeks utawa sawetara statistik ing format: pitakonan - jawaban. Kanggo nggambarake kabeh tanggapan kanggo panjaluk, Kibana ditulis, yaiku layanan web.

kibana

Kibana ngidini sampeyan nggoleki, njupuk data lan statistik pitakon saka database elasticsearch, nanging akeh grafik lan dashboard sing apik dibangun adhedhasar jawaban kasebut. Sistem kasebut uga nduweni fungsi administrasi database elasticsearch; ing artikel sabanjure kita bakal ndeleng layanan iki kanthi luwih rinci. Saiki ayo nuduhake conto dashboard kanggo firewall Check Point lan pemindai kerentanan OpenVas sing bisa dibangun.

Conto dashboard kanggo Check Point, gambar bisa diklik:

Conto dashboard kanggo OpenVas, gambar bisa diklik:

kesimpulan

We katon ing apa iku kasusun saka tumpukan ELK, kita entuk sethitik kenalan karo produk utama, mengko ing Course kita bakal kapisah nimbang nulis file konfigurasi Logstash, nyetel dashboards ing Kibana, njaluk kenalan karo panjalukan API, automation lan akeh liyane!

Dadi tetep dirungokake (Telegram, Facebook, VK, Blog Solusi TS), Yandex Zen.

Source: www.habr.com