1.Elastik stack: xavfsizlik jurnallarini tahlil qilish. Kirish

Rossiyada Splunk logging va analitik tizimining sotuvi tugashi munosabati bilan savol tug'ildi: bu yechimni nima bilan almashtirish mumkin? Turli xil echimlar bilan tanishish uchun vaqt sarflaganimdan so'ng, men haqiqiy erkak uchun yechimga qaror qildim - "ELK to'plami". Ushbu tizimni o'rnatish uchun vaqt kerak bo'ladi, ammo natijada siz vaziyatni tahlil qilish va tashkilotdagi axborot xavfsizligi hodisalariga tezkor javob berish uchun juda kuchli tizimni olishingiz mumkin. Ushbu maqolalar turkumida biz ELK stekining asosiy (yoki ehtimol yo'q) imkoniyatlarini ko'rib chiqamiz, jurnallarni qanday tahlil qilishni, grafiklar va asboblar panelini qanday yaratishni va jurnallar misolida qanday qiziqarli funktsiyalarni bajarish mumkinligini ko'rib chiqamiz. Check Point xavfsizlik devori yoki OpenVas xavfsizlik skaneri. Boshlash uchun, keling, bu nima ekanligini ko'rib chiqaylik - ELK stekini va u qanday tarkibiy qismlardan iborat.

"ELK to'plami" uchta ochiq manbali loyihaning qisqartmasi: Elasticsearch, logstash и kibana. Barcha tegishli loyihalar bilan birga Elastic tomonidan ishlab chiqilgan. Elasticsearch ma'lumotlar bazasi, qidiruv va analitik tizim funktsiyalarini birlashtirgan butun tizimning yadrosidir. Logstash - bu bir vaqtning o'zida bir nechta manbalardan ma'lumotlarni qabul qiladigan, jurnalni tahlil qiladigan va keyin uni Elasticsearch ma'lumotlar bazasiga yuboradigan server tomonidagi ma'lumotlarni qayta ishlash quvuri. Kibana foydalanuvchilarga Elasticsearch-da diagrammalar va grafiklar yordamida ma'lumotlarni vizualizatsiya qilish imkonini beradi. Ma'lumotlar bazasini Kibana orqali ham boshqarishingiz mumkin. Keyinchalik, har bir tizimni batafsilroq ko'rib chiqamiz.

logstash

Logstash - bu turli manbalardan olingan jurnal hodisalarini qayta ishlash uchun yordamchi dastur bo'lib, uning yordamida siz xabardagi maydonlarni va ularning qiymatlarini tanlashingiz, shuningdek, ma'lumotlarni filtrlash va tahrirlashni sozlashingiz mumkin. Barcha manipulyatsiyalardan so'ng, Logstash voqealarni yakuniy ma'lumotlar omboriga yo'naltiradi. Yordamchi dastur faqat konfiguratsiya fayllari orqali sozlanadi.
Odatiy logstash konfiguratsiyasi bir nechta kiruvchi axborot oqimlaridan (kirish), ushbu ma'lumot uchun bir nechta filtrlardan (filtr) va bir nechta chiquvchi oqimlardan (chiqish) iborat fayl(lar)dir. Bu bir yoki bir nechta konfiguratsiya fayllariga o'xshaydi, ular eng oddiy versiyada (u umuman hech narsa qilmaydi) quyidagicha ko'rinadi:

input {
}

filter {
}

output {
}

INPUT-da biz jurnallar qaysi portga va qaysi protokol orqali yuborilishini yoki yangi yoki doimiy yangilanadigan fayllarni qaysi papkadan o'qishni sozlaymiz. FILTER-da biz jurnalni tahlil qiluvchini sozlaymiz: maydonlarni tahlil qilish, qiymatlarni tahrirlash, yangi parametrlarni qo'shish yoki ularni o'chirish. FILTER - Logstash-ga ko'plab tahrirlash variantlari bilan kelgan xabarni boshqarish uchun maydon. Chiqishda biz allaqachon tahlil qilingan jurnalni qaerga yuborishimizni sozlaymiz, agar u elasticsearch bo'lsa, qiymatlar yuborilgan maydonlarga JSON so'rovi yuborilsa yoki disk raskadrovkaning bir qismi sifatida uni stdout-ga chiqarish yoki faylga yozish mumkin.

ElasticSearch

Dastlab, Elasticsearch to'liq matnli qidiruv uchun yechim bo'lib, lekin oson masshtablash, replikatsiya va boshqa narsalar kabi qo'shimcha qulayliklarga ega bo'lib, bu mahsulotni juda qulay va katta hajmli ma'lumotlarga ega yuqori yuklangan loyihalar uchun yaxshi echim bo'ldi. Elasticsearch - bu aloqador bo'lmagan (NoSQL) JSON hujjatlar do'koni va Lucene to'liq matnli qidiruvga asoslangan qidiruv tizimi. Uskuna platformasi Java Virtual Machine, shuning uchun tizim ishlashi uchun katta hajmdagi protsessor va operativ xotira resurslari talab qilinadi.
Logstash bilan yoki so'rovlar API-dan foydalangan holda har bir kiruvchi xabar "hujjat" sifatida indekslanadi - bu relyatsion SQL jadvaliga o'xshash. Barcha hujjatlar indeksda saqlanadi - SQL ma'lumotlar bazasining analogi.

Ma'lumotlar bazasidagi hujjatga misol:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

Ma'lumotlar bazasi bilan barcha ishlar REST API yordamida JSON so'rovlariga asoslangan bo'lib, ular indeks bo'yicha hujjatlar yoki ba'zi statistik ma'lumotlarni quyidagi formatda ishlab chiqaradi: savol - javob. So'rovlarga barcha javoblarni vizual tarzda ko'rsatish uchun Kibana veb-xizmati yozilgan.

kibana

Kibana sizga elasticsearch ma'lumotlar bazasidan qidirish, ma'lumotlarni olish va statistik ma'lumotlarni so'rash imkonini beradi, ammo javoblar asosida ko'plab chiroyli grafikalar va asboblar paneli yaratilgan. Tizimda elasticsearch ma'lumotlar bazasini boshqarish funksiyasi ham mavjud, keyingi maqolalarda biz ushbu xizmatni batafsil ko'rib chiqamiz. Keling, qurilishi mumkin bo'lgan Check Point xavfsizlik devori va OpenVas zaiflik skaneri uchun asboblar paneli misolini ko'rsatamiz.

Tekshirish nuqtasi uchun asboblar paneliga misol, rasmni bosish mumkin:

OpenVas uchun asboblar paneliga misol, rasmni bosish mumkin:

xulosa

Biz uning nimadan iboratligini ko'rib chiqdik ELK to'plami, biz asosiy mahsulotlar bilan biroz tanishdik, keyinchalik kursda alohida Logstash konfiguratsiya faylini yozish, Kibana-da asboblar panelini o'rnatish, API so'rovlari, avtomatlashtirish va boshqa ko'p narsalarni ko'rib chiqamiz!

Shuning uchun bizni kuzatib boringTelegram, Facebook, VK, TS yechimlari blogi), Yandex Zen.

Manba: www.habr.com