1. Elastic stack: анализ на security логовете. Въведение

С приключването на продажбите на системата за логване и аналитика Splunk в Русия, възникна въпросът с какво можем да я заменим? След като отделих време да се запозная с различни решения, реших да избера решение за истински мъже — «ELK стек». Тази система изисква време за настройка, но в крайна сметка можете да получите много мощна система за анализ на състоянието и бързо реагиране на инциденти в информационната сигурност в организацията. В този цикъл от статии ще разгледаме основните (или не) възможности на ELK стека, ще видим как можем да парсим логове, как да строим графики и табла за управление и какви интересни функции можем да реализираме на примера на логовете от защитната стена Check Point или инструмента за сигурност OpenVas. Първо, нека разгледаме какво е ELK стек и от какви компоненти се състои.

«ELK стек» — това е съкращение от три проекта с отворен код: Elasticsearch, Logstash и Kibana. Развива се от компанията Elastic заедно с всички свързани проекти. Elasticsearch е основата на цялата система, която съчетава функции на база данни, търсачка и аналитична система. Logstash е конвейер за обработка на данни на сървърната страна, който получава данни от няколко източника едновременно, парсва лог файловете и след това ги изпраща в базата данни Elasticsearch. Kibana позволява на потребителите да визуализират данни с помощта на диаграми и графики в Elasticsearch. Чрез Kibana също може да се администрира базата данни. Нека по-подробно разгледаме всяка система поотделно.

Logstash

Logstash е инструмент за обработка на лог събития от различни източници, с помощта на който можете да извлечете полета и техните стойности в съобщението, също така можете да настроите филтриране и редактиране на данни. След всички манипулации Logstash пренасочва събитията в крайното хранилище за данни. Инструментът се настройва само чрез конфигурационни файлове.
Типичната конфигурация на logstash представлява файл(и), съставен от няколко входящи потока информация (input), няколко филтъра за тази информация (filter) и няколко изходящи потока (output). Изглежда това като един или няколко конфигурационни файла, които в най-простия вариант (който изобщо не прави нищо) изглеждат така:

input {
}

filter {
}

output {
}

В INPUT настройваме на кой порт ще постъпват логовете и по какъв протокол, или от коя папка да четем нови или постоянно дописващи се файлове. В FILTER настройваме парсер за логовете: анализ на полета, редактиране на стойности, добавяне на нови параметри или премахване. FILTER е поле за управление на съобщението, което идва на Logstash с множество варианти за редактиране. В output настройваме къде изпращаме вече обработения лог; в случай че това е elasticsearch, се изпраща JSON заявка, в която се предават полета със стойности, или в рамките на дебъг режима можем да извеждаме в stdout или да записваме във файл.

ElasticSearch

Първоначално, Elasticsearch е решение за пълнотекстово търсене, но с допълнителни удобства, като лесно мащабиране, репликация и други, които правят продукта много удобен и добро решение за високо натоварени проекти с големи обеми данни. Elasticsearch е нерелационно хранилище (NoSQL) на документи във формат JSON и търсачка, базирана на пълнотекстово търсене Lucene. Апаратурата е Java Virtual Machine, така че системата изисква голямо количество ресурси от процесора и оперативната памет за работа.
Всяко входящо съобщение, независимо дали от Logstash или чрез API заявка, се индексира като "документ" – аналог на таблица в релационни SQL. Всички документи се съхраняват в индекс – аналог на база данни в SQL.

Пример за документ в базата:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

Цялата работа с базата данни се базира на JSON заявки чрез REST API, които или предоставят документи по индекс, или някаква статистика във формата: въпрос — отговор. За да се визуализират всички отговори на запитванията, е написан Kibana, който представлява уеб услуга.

Kibana

Kibana позволява да се търсят и извикват данни и статистика от базата данни elasticsearch, но на базата на отговорите се изграждат множество красиви графики и табла. Системата също така има функционалност за администриране на базата данни elasticsearch, в следващите статии ще разгледаме по-подробно тази услуга. Сега ще покажем пример за табла по междусетевия екран Check Point и скенера за уязвимости OpenVas, които могат да бъдат създадени.

Пример на табло за Check Point, картината е кликаема:

Пример на табло по OpenVas, картината е кликаема:

Заключение

Разгледахме от какво се състои ELK стек, малко се запознахме с основните продукти, след това в курса ще разгледаме писането на конфигурационен файл за Logstash, настройката на таблата в Kibana, ще се запознаем с API заявките, автоматизацията и много други неща!

Така че следете за обновленията (Telegram, Facebook, VK, TS Solution Blog), Яндекс.Дзен.

Източник: habr.com