Ресейде Splunk каротаж және аналитика жүйесінің сатылымының аяқталуына байланысты сұрақ туындады: бұл шешімді немен алмастыруға болады? Әртүрлі шешімдермен танысу үшін уақыт өткізгеннен кейін мен нағыз ер адамға арналған шешімге келдім - «ELK стек». Бұл жүйені орнату уақытты қажет етеді, бірақ нәтижесінде ұйымдағы ақпараттық қауіпсіздік инциденттеріне жедел әрекет ету және күйді талдау үшін өте қуатты жүйені алуға болады. Осы мақалалар сериясында біз ELK стекінің негізгі (немесе мүмкін емес) мүмкіндіктерін қарастырамыз, журналдарды қалай талдауға болатынын, графиктер мен бақылау тақталарын қалай құруға болатынын және журналдар мысалын пайдаланып қандай қызықты функцияларды орындауға болатынын қарастырамыз. Check Point брандмауэрі немесе OpenVas қауіпсіздік сканері. Алдымен, оның не екенін - ELK стекін және оның қандай компоненттерден тұратынын қарастырайық.
«ELK стек» үш ашық бастапқы жобаның аббревиатурасы: Elasticearch, Logstash и Кибана. Барлық байланысты жобалармен бірге Elastic әзірлеген. Elasticsearch – мәліметтер қоры, іздеу және аналитикалық жүйе функцияларын біріктіретін бүкіл жүйенің өзегі. Logstash - деректерді бірнеше көздерден бір уақытта қабылдайтын, журналды талдап, одан кейін Elasticsearch дерекқорына жіберетін серверлік деректерді өңдеу құбыры. Kibana пайдаланушыларға Elasticsearch жүйесінде диаграммалар мен графиктер арқылы деректерді визуализациялауға мүмкіндік береді. Сондай-ақ дерекқорды Kibana арқылы басқаруға болады. Әрі қарай, біз әрбір жүйені толығырақ қарастырамыз.
Logstash
Logstash - әртүрлі көздерден алынған журнал оқиғаларын өңдеуге арналған утилита, оның көмегімен хабардағы өрістер мен олардың мәндерін таңдауға болады, сонымен қатар деректерді сүзу мен өңдеуді конфигурациялауға болады. Барлық манипуляциялардан кейін Logstash оқиғаларды соңғы деректер қоймасына қайта бағыттайды. Утилита тек конфигурация файлдары арқылы конфигурацияланады.
Типтік журналдар конфигурациясы бірнеше кіріс ақпарат ағындарынан (енгізу), осы ақпаратқа арналған бірнеше сүзгілерден (сүзгі) және бірнеше шығыс ағындарынан (шығыс) тұратын файл(лар) болып табылады. Бұл бір немесе бірнеше конфигурация файлдарына ұқсайды, олар қарапайым нұсқада (мүлдем ештеңе жасамайды) келесідей көрінеді:
input {
}
filter {
}
output {
}
INPUT параметрінде журналдардың қай портқа және қай протокол арқылы жіберілетінін немесе жаңа немесе үнемі жаңартылатын файлдарды қай қалтадан оқуға болатынын конфигурациялаймыз. FILTER ішінде журнал талдаушысын конфигурациялаймыз: өрістерді талдау, мәндерді өңдеу, жаңа параметрлерді қосу немесе оларды жою. СҮЗГІ – Logstash-қа көптеген өңдеу опциялары бар хабарламаны басқаруға арналған өріс. Шығаруда біз талданған журналды қайда жіберетінімізді конфигурациялаймыз, егер ол мәндері бар өрістер жіберілетін JSON сұрауы жіберілсе, elasticsearch болса немесе оны жөндеудің бір бөлігі ретінде оны stdout файлына шығаруға немесе файлға жазуға болады.
ElasticSearch
Бастапқыда Elasticsearch толық мәтінді іздеуге арналған шешім болып табылады, бірақ оңай масштабтау, репликация және басқа нәрселер сияқты қосымша мүмкіндіктері бар, бұл өнімді өте ыңғайлы етті және деректердің үлкен көлемі бар жоғары жүктеме жобалары үшін жақсы шешім болды. Elasticsearch — реляциялық емес (NoSQL) JSON құжаттар қоймасы және Lucene толық мәтінді іздеуге негізделген іздеу жүйесі. Аппараттық платформа Java Virtual Machine болып табылады, сондықтан жүйе жұмыс істеу үшін процессор мен жедел жад ресурстарының үлкен көлемін қажет етеді.
Әрбір кіріс хабарлама, Logstash арқылы немесе API сұрауын пайдаланып, реляциялық SQL кестеге ұқсас «құжат» ретінде индекстеледі. Барлық құжаттар индексте сақталады - SQL-дегі деректер қорының аналогы.
Мәліметтер қорындағы құжаттың мысалы:
{
"_index": "checkpoint-2019.10.10",
"_type": "_doc",
"_id": "yvNZcWwBygXz5W1aycBy",
"_version": 1,
"_score": null,
"_source": {
"layer_uuid": [
"dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
"dbee3718-cf2f-4de0-8681-529cb75be9a6"
],
"outzone": "External",
"layer_name": [
"TSS-Standard Security",
"TSS-Standard Application"
],
"time": "1565269565",
"dst": "103.5.198.210",
"parent_rule": "0",
"host": "10.10.10.250",
"ifname": "eth6",
]
}
Дерекқормен жұмыс істеу REST API арқылы JSON сұрауларына негізделген, олар индекс бойынша құжаттарды немесе кейбір статистиканы пішімінде шығарады: сұрақ - жауап. Сұраныстардың барлық жауаптарын визуализациялау үшін Kibana жазылды, ол веб-қызмет болып табылады.
Кибана
Kibana сізге elasticsearch дерекқорынан іздеуге, деректерді алуға және статистиканы сұрауға мүмкіндік береді, бірақ көптеген әдемі графиктер мен бақылау тақталары жауаптарға негізделген. Сондай-ақ жүйеде elasticsearch дерекқорды басқару функциясы бар, келесі мақалаларда біз бұл қызметті толығырақ қарастырамыз. Енді құрастыруға болатын Check Point брандмауэріне және OpenVas осалдық сканеріне арналған бақылау тақталарының мысалын көрсетейік.
Check Point бақылау тақтасының мысалы, суретті басуға болады:
OpenVas үшін бақылау тақтасының мысалы, суретті басуға болады:
қорытынды
Біз оның неден тұратынын қарастырдық ELK стек, біз негізгі өнімдермен аздап таныстық, кейінірек курста Logstash конфигурация файлын жазуды, Kibana-да бақылау тақталарын орнатуды, API сұрауларымен, автоматтандырумен және т.б. танысуды бөлек қарастырамыз!
Сондықтан хабардар болыңыз (, , , ), .
Ақпарат көзі: www.habr.com