1.Еластичен стек: анализ на регистрационни файлове за сигурност. Въведение

Във връзка с края на продажбите в Русия на системата за регистриране и анализ Splunk възникна въпросът: с какво може да се замени това решение? След като прекарах известно време в запознаване с различни решения, се спрях на решение за истински мъж - "ELK стек". Настройката на тази система отнема време, но в резултат можете да получите много мощна система за анализ на състоянието и своевременно реагиране на инциденти, свързани със сигурността на информацията в организацията. В тази поредица от статии ще разгледаме основните (или може би не) възможности на стека ELK, ще разгледаме как можете да анализирате регистрационни файлове, как да изградите графики и табла за управление и какви интересни функции могат да бъдат направени с помощта на примера на регистрационни файлове от защитната стена на Check Point или скенера за сигурност OpenVas. Като начало, нека да разгледаме какво е това - стекът ELK и от какви компоненти се състои.

"ELK стек" е акроним за три проекта с отворен код: Elasticsearch, Logstash и Kibana. Разработено от Elastic заедно с всички свързани проекти. Elasticsearch е ядрото на цялата система, която съчетава функциите на база данни, търсене и аналитична система. Logstash е тръбопровод за обработка на данни от страната на сървъра, който получава данни от множество източници едновременно, анализира регистрационния файл и след това го изпраща към база данни Elasticsearch. Kibana позволява на потребителите да визуализират данни с помощта на диаграми и графики в Elasticsearch. Можете също така да администрирате базата данни чрез Kibana. След това ще разгледаме всяка система поотделно по-подробно.

Logstash

Logstash е помощна програма за обработка на регистрационни събития от различни източници, с която можете да избирате полета и техните стойности в съобщение, а също така можете да конфигурирате филтриране и редактиране на данни. След всички манипулации Logstash пренасочва събитията към окончателното хранилище на данни. Помощната програма се конфигурира само чрез конфигурационни файлове.
Типична конфигурация на logstash е файл(ове), състоящ се от няколко входящи потока информация (вход), няколко филтъра за тази информация (филтър) и няколко изходящи потока (изход). Изглежда като един или повече конфигурационни файлове, които в най-простата версия (която не прави нищо) изглеждат така:

input {
}

filter {
}

output {
}

Във INPUT ние конфигурираме към кой порт ще се изпращат регистрационните файлове и през кой протокол или от коя папка да се четат нови или постоянно актуализирани файлове. Във FILTER ние конфигурираме анализатора на журнала: анализираме полета, редактираме стойности, добавяме нови параметри или ги изтриваме. FILTER е поле за управление на съобщението, което идва в Logstash с много опции за редактиране. В изхода ние конфигурираме къде изпращаме вече анализирания дневник, в случай че е elasticsearch, се изпраща JSON заявка, в която се изпращат полета със стойности, или като част от отстраняването на грешки може да бъде изведено в stdout или записано във файл.

Elasticsearch

Първоначално Elasticsearch е решение за пълнотекстово търсене, но с допълнителни удобства като лесно мащабиране, репликация и други неща, което направи продукта много удобен и добро решение за високо натоварени проекти с големи обеми от данни. Elasticsearch е нерелационно (NoSQL) JSON хранилище на документи и търсачка, базирано на пълнотекстово търсене на Lucene. Хардуерната платформа е Java Virtual Machine, така че системата изисква голямо количество процесор и RAM ресурси за работа.
Всяко входящо съобщение, или с Logstash, или с помощта на API за заявки, се индексира като „документ“ - аналогично на таблица в релационен SQL. Всички документи се съхраняват в индекс - аналог на база данни в SQL.

Пример за документ в базата данни:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

Цялата работа с базата данни се основава на JSON заявки, използващи REST API, които произвеждат документи по индекс или някои статистики във формат: въпрос - отговор. За да се визуализират всички отговори на заявки, е написана Kibana, която е уеб услуга.

Kibana

Kibana ви позволява да търсите, извличате данни и статистически данни за заявки от базата данни elasticsearch, но много красиви графики и табла за управление са изградени въз основа на отговорите. Системата също така има функционалност за администриране на база данни elasticsearch; в следващите статии ще разгледаме тази услуга по-подробно. Сега нека покажем пример за табла за управление за защитната стена на Check Point и скенера за уязвимости OpenVas, които могат да бъдат изградени.

Пример за табло за управление на Check Point, върху снимката може да се кликне:

Пример за табло за OpenVas, върху снимката може да се кликне:

Заключение

Разгледахме от какво се състои ELK стек, ние се запознахме малко с основните продукти, по-късно в курса отделно ще разгледаме писането на конфигурационен файл на Logstash, настройката на таблата за управление на Kibana, запознаването с API заявките, автоматизацията и много повече!

Така че останете на линияTelegram, Facebook, VK, Блог за TS Solution), Yandex Zen.

Източник: www.habr.com