1.Elastic stack: анализ на security логовете. Въведение

С приключването на продажбите на системата за логиране и анализи Splunk в Русия, възникна въпросът с какво може да бъде заменено това решение. Прекарвайки време с различни решения, аз се спрях на решение за истински мъже — «ELK стека». Тази система изисква време за настройка, но в резултат можете да получите много мощна система за анализ на състоянието и оперативно реагиране на инциденти в информационната сигурност на организацията. В този цикъл статии ще разгледаме основните (а може би и не само) възможности на ELK стека, ще обсъдим как може да се парсват логове, как да се изграждат графики и дашбордове, и какви интересни функции могат да се реализират на примера на логовете от защитната стена Check Point или скенера за сигурност OpenVas. Първо, нека разгледаме какво представлява ELK стекът и от какви компоненти се състои.

«ELK стека» — това е съкращение от три проекта с отворен код: Elasticsearch, Logstash и Kibana. Разработва се от компанията Elastic заедно с всички свързани проекти. Elasticsearch е ядрото на цялата система, която съчетава функции на база данни, търсеща и аналитична система. Logstash е конвейер за обработка на данни на страната на сървъра, който получава данни от няколко източника едновременно, парсва логовете и след това ги изпраща в базата данни Elasticsearch. Kibana позволява на потребителите да визуализират данните чрез диаграми и графики в Elasticsearch. Също така чрез Kibana може да се администрира базата данни. После ще разгледаме всяка система поотделно.

Logstash

Logstash е инструмент за обработка на лог събития от различни източници, с който може да се извлекат полета и техните стойности от съобщения, а също така може да се настрои филтриране и редактиране на данни. След всички манипулации Logstash пренасочва събитията в крайното хранилище на данни. Инструментът се настройва само чрез конфигурационни файлове.
Типичната конфигурация на Logstash представлява файл(и), състоящ се от няколко входящи потока информация (input), няколко филтъра за тази информация (filter) и няколко изходящи потока (output). Изглежда така: един или повече конфигурационни файла, които в най-простия вариант (който не прави нищо) изглеждат по следния начин:

input {
}

filter {
}

output {
}

В INPUT конфигурираме към кой порт ще постъпват логовете и по кой протокол, или от коя папка да се четат новите или постоянно записващите се файлове. В FILTER конфигурираме парсера на логовете: анализ на полета, редактиране на стойности, добавяне на нови параметри или изтриване. FILTER е поле за управление на съобщението, което пристига в Logstash с множество варианти за редактиране. В output конфигурираме къде да изпращаме вече анализирания лог, в случай, че става дума за Elasticsearch, се изпраща JSON заявка, в която се предават полета със стойности, или в рамките на дебъгинг може да се извежда в stdout или да се записва в файл.

ElasticSearch

Първоначално, Elasticsearch е решение за пълен текстов търсене, но с допълнителни удобства, като лесно мащабиране, репликация и други, които направиха продукта много удобен и добро решение за високо натоварени проекти с големи обеми данни. Elasticsearch е нерелационно хранилище (NoSQL) на документи във формат JSON и система за търсене, базирана на пълен текст. Хардуерната платформа е Java Virtual Machine, поради което системата изисква голямо количество ресурс на процесора и оперативна памет за работа.
Всяко входящо съобщение, било то от Logstash или чрез API заявка, се индексира като "документ" – аналог на таблица в релационни SQL. Всички документи се съхраняват в индекс – аналог на база данни в SQL.

Пример за документ в базата:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

Цялата работа с базата данни се изгражда на JSON заявки чрез REST API, които или предават документи по индекс, или предоставят някаква статистика във формат: въпрос — отговор. За да се визуализират всички отговори на запитванията, беше написан Kibana, който представлява уеб услуга.

Kibana

Kibana позволява да търсите и извличате данни и да запитвате статистика от базата данни Elasticsearch, върху основата на отговорите се изграждат множество красиви графики и табла за управление. Също така системата има функционалност за администриране на базата данни Elasticsearch, в последващите статии ще разгледаме по-подробно тази услуга. А сега ще покажем примерни табла за управление по междусетевия екран Check Point и скенера за уязвимости OpenVas, които могат да бъдат изградени.

Примерно табло за управление за Check Point, изображението е кликабелно:

Примерно табло за управление по OpenVas, изображението е кликабелно:

Заключение

Разгледахме от какво се състои ELK stack, малко се запознахме с основните продукти, по-нататък в курса ще разглеждаме отделно написването на конфигурационен файл на Logstash, настройката на таблата за управление в Kibana, ще се запознаем с API запитвания, автоматизация и още много други!

Така че следете обновленията (Телеграм, Facebook, VK, TS Solution Blog), Яндекс.Дзен.

Източник: habr.com