У вези са престанком продаје у Русији система за евидентирање и аналитику Сплунк, поставило се питање: чиме се ово решење може заменити? Након што сам провео време упознајући се са различитим решењима, одлучио сам се на решење за правог мушкарца - "ЕЛК стацк". Овом систему је потребно време за постављање, али као резултат можете добити веома моћан систем за анализу статуса и правовремено реаговање на инциденте безбедности информација у организацији. У овој серији чланака, погледаћемо основне (или можда не) могућности ЕЛК стека, размотрићемо како можете да анализирате евиденције, како да направите графиконе и контролне табле и које занимљиве функције се могу урадити на примеру евиденције из заштитни зид Цхецк Поинт или безбедносни скенер ОпенВас. За почетак, хајде да погледамо шта је то - ЕЛК стек и од којих компоненти се састоји.
"ЕЛК стацк" је акроним за три пројекта отвореног кода: Еластицсеарцх, Логстасх и Кибана. Развио Еластиц заједно са свим повезаним пројектима. Еластицсеарцх је срж читавог система, који комбинује функције базе података, претраживачког и аналитичког система. Логстасх је цевовод за обраду података на страни сервера који истовремено прима податке из више извора, анализира дневник, а затим га шаље у Еластицсеарцх базу података. Кибана омогућава корисницима да визуелизују податке користећи графиконе и графиконе у Еластицсеарцх-у. Такође можете администрирати базу података преко Кибане. Затим ћемо детаљније размотрити сваки систем посебно.
Логстасх
Логстасх је услужни програм за обраду догађаја дневника из различитих извора, помоћу којег можете да изаберете поља и њихове вредности у поруци, а такође можете да конфигуришете филтрирање и уређивање података. Након свих манипулација, Логстасх преусмерава догађаје у коначно складиште података. Услужни програм се конфигурише само преко конфигурационих датотека.
Типична логстасх конфигурација је датотека(е) која се састоји од неколико долазних токова информација (улаз), неколико филтера за ове информације (филтер) и неколико одлазних токова (излаз). Изгледа као једна или више конфигурационих датотека, које у најједноставнијој верзији (која не ради ништа) изгледа овако:
input {
}
filter {
}
output {
}
У ИНПУТ конфигуришемо на који порт ће се дневници слати и преко ког протокола, или из ког фолдера да читају нове или стално ажуриране датотеке. У ФИЛТЕР-у конфигуришемо парсер дневника: рашчлањивање поља, уређивање вредности, додавање нових параметара или њихово брисање. ФИЛТЕР је поље за управљање поруком која долази у Логстасх са пуно опција за уређивање. У излазу конфигуришемо где шаљемо већ рашчлањени дневник, у случају да је еластична претрага шаље се ЈСОН захтев у који се шаљу поља са вредностима, или као део дебуг-а може се извести у стдоут или записати у датотеку.
ЕластицСеарцх
У почетку, Еластицсеарцх је решење за претрагу целог текста, али са додатним погодностима као што су једноставно скалирање, репликација и друге ствари, што је производ учинило веома погодним и добрим решењем за пројекте великог оптерећења са великим количинама података. Еластицсеарцх је нерелационо (НоСКЛ) ЈСОН складиште докумената и претраживач заснован на Луцене претраживању пуног текста. Хардверска платформа је Јава виртуелна машина, тако да је систему потребна велика количина процесора и РАМ ресурса за рад.
Свака долазна порука, било са Логстасх-ом или коришћењем АПИ-ја за упите, индексира се као „документ“ – аналогно табели у релационом СКЛ-у. Сви документи се чувају у индексу - аналогу базе података у СКЛ-у.
Пример документа у бази података:
{
"_index": "checkpoint-2019.10.10",
"_type": "_doc",
"_id": "yvNZcWwBygXz5W1aycBy",
"_version": 1,
"_score": null,
"_source": {
"layer_uuid": [
"dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
"dbee3718-cf2f-4de0-8681-529cb75be9a6"
],
"outzone": "External",
"layer_name": [
"TSS-Standard Security",
"TSS-Standard Application"
],
"time": "1565269565",
"dst": "103.5.198.210",
"parent_rule": "0",
"host": "10.10.10.250",
"ifname": "eth6",
]
}
Сав рад са базом података заснива се на ЈСОН захтевима који користе РЕСТ АПИ, који или производе документе по индексу или неке статистике у формату: питање - одговор. Да би се визуелно приказали сви одговори на захтеве, написана је Кибана, која је веб сервис.
Кибана
Кибана вам омогућава да претражујете, преузимате податке и статистику упита из базе података еластицсеарцх, али многи лепи графикони и контролне табле су направљени на основу одговора. Систем такође има функционалност администрације базе података еластицсеарцх; у наредним чланцима ћемо детаљније погледати ову услугу. Хајде сада да покажемо пример контролне табле за заштитни зид Цхецк Поинт и скенер рањивости ОпенВас који се могу направити.
Пример контролне табле за Цхецк Поинт, на слику се може кликнути:
Пример контролне табле за ОпенВас, на слику се може кликнути:
Закључак
Погледали смо од чега се састоји ЕЛК стацк, мало смо се упознали са главним производима, касније у току курса ћемо посебно размотрити писање логстасх конфигурационог фајла, постављање контролних табли на Кибани, упознавање са АПИ захтевима, аутоматизацију и још много тога!
Зато останите са нама, , , ), .
Извор: ввв.хабр.цом