Rusiyada Splunk logging və analitika sisteminin satışının başa çatması ilə əlaqədar sual yarandı, bu həlli nə ilə əvəz etmək olar? Fərqli həll yolları ilə tanış olmaq üçün vaxt sərf etdikdən sonra əsl kişi üçün bir həll üzərində qərar verdim - "ELK yığını". Bu sistemin qurulması vaxt tələb edir, lakin nəticədə siz dövləti təhlil etmək və təşkilatda informasiya təhlükəsizliyi insidentlərinə tez reaksiya vermək üçün çox güclü sistem əldə edə bilərsiniz. Bu məqalələr silsiləsində biz ELK yığınının əsas (və ya bəlkə də yox) xüsusiyyətlərini nəzərdən keçirəcəyik, qeydləri necə təhlil edə biləcəyinizi, qrafikləri və tablosunu necə quracağınızı və logların nümunəsindən istifadə edərək hansı maraqlı funksiyaları yerinə yetirə biləcəyinizi nəzərdən keçirəcəyik. Check Point firewall və ya OpenVas təhlükəsizlik skaneri. Başlamaq üçün bunun nə olduğunu - ELK yığınını və onun hansı komponentlərdən ibarət olduğunu nəzərdən keçirək.
"ELK yığını" üç açıq mənbə layihəsinin qısaldılmasıdır: Elasticsearch, Logstash и Kibana. Bütün əlaqəli layihələrlə birlikdə Elastic tərəfindən hazırlanmışdır. Elasticsearch verilənlər bazası, axtarış və analitik sistemin funksiyalarını birləşdirən bütün sistemin əsasını təşkil edir. Logstash eyni vaxtda bir neçə mənbədən məlumatları qəbul edən, jurnalı təhlil edən və sonra Elasticsearch verilənlər bazasına göndərən server tərəfi məlumat emal boru kəməridir. Kibana istifadəçilərə Elasticsearch-də qrafiklər və qrafiklərdən istifadə edərək məlumatları vizuallaşdırmağa imkan verir. Siz həmçinin Kibana vasitəsilə verilənlər bazasını idarə edə bilərsiniz. Sonra, hər bir sistemi ayrıca daha ətraflı nəzərdən keçirəcəyik.
Logstash
Logstash müxtəlif mənbələrdən daxil olan hadisələri emal etmək üçün bir yardım proqramıdır, onun köməyi ilə mesajda sahələri və onların dəyərlərini seçə bilərsiniz, həmçinin məlumatları süzgəcdən keçirə və redaktə edə bilərsiniz. Bütün manipulyasiyalardan sonra Logstash hadisələri son məlumat anbarına yönləndirir. Utilit yalnız konfiqurasiya faylları vasitəsilə konfiqurasiya edilir.
Tipik logstash konfiqurasiyası bir neçə daxil olan məlumat axınından (giriş), bu məlumat üçün bir neçə filtrdən (süzgəcdən) və bir neçə çıxan axından (çıxış) ibarət fayl(lar)dır. Bir və ya daha çox konfiqurasiya faylına bənzəyir, ən sadə versiyada (heç bir şey etməyən) belə görünür:
input {
}
filter {
}
output {
}
INPUT-da biz qeydlərin hansı porta və hansı protokol vasitəsilə göndəriləcəyini və ya yeni və ya daim yenilənən faylları hansı qovluqdan oxumaq üçün konfiqurasiya edirik. FILTER-də biz log analizini konfiqurasiya edirik: sahələri təhlil etmək, dəyərləri redaktə etmək, yeni parametrlər əlavə etmək və ya onları silmək. FILTER, bir çox redaktə variantları ilə Logstash-a gələn mesajı idarə etmək üçün bir sahədir. Çıxışda biz artıq təhlil edilmiş jurnalı hara göndərdiyimizi konfiqurasiya edirik, əgər bu, elasticsearch olarsa, JSON sorğusu dəyərlərin göndərildiyi sahələrə göndərilir və ya sazlamanın bir hissəsi kimi stdout-a çıxarıla və ya fayla yazıla bilər.
Elastik Axtarış
Başlanğıcda, Elasticsearch tam mətnli axtarış həllidir, lakin asan miqyaslama, təkrarlama və s. kimi əlavə rahatlıqlara malikdir ki, bu da məhsulu çox rahat etdi və böyük həcmdə məlumatı olan yüksək yük layihələri üçün yaxşı həll yoludur. Elasticsearch qeyri-relational (NoSQL) JSON sənəd saxlama və Lucene tam mətn axtarışına əsaslanan axtarış motorudur. Aparat platforması Java Virtual Maşındır, ona görə də sistem işləmək üçün böyük miqdarda CPU və RAM resursları tələb edir.
İstər Logstash ilə, istərsə də API sorğusundan istifadə edərək hər bir daxil olan mesaj, əlaqəli SQL-dəki cədvəlin analoqu kimi “sənəd” kimi indekslənir. Bütün sənədlər indeksdə saxlanılır - SQL-də verilənlər bazasının analoqu.
Verilənlər bazasında sənəd nümunəsi:
{
"_index": "checkpoint-2019.10.10",
"_type": "_doc",
"_id": "yvNZcWwBygXz5W1aycBy",
"_version": 1,
"_score": null,
"_source": {
"layer_uuid": [
"dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
"dbee3718-cf2f-4de0-8681-529cb75be9a6"
],
"outzone": "External",
"layer_name": [
"TSS-Standard Security",
"TSS-Standard Application"
],
"time": "1565269565",
"dst": "103.5.198.210",
"parent_rule": "0",
"host": "10.10.10.250",
"ifname": "eth6",
]
}
Verilənlər bazası ilə bütün işlər REST API-dən istifadə edərək JSON sorğularına əsaslanır, bu sorğular ya sənədləri indeks üzrə, ya da bəzi statistik məlumatlar formatında hazırlayır: sual-cavab. Sorğulara verilən bütün cavabları vizuallaşdırmaq üçün veb xidməti olan Kibana yazılmışdır.
Kibana
Kibana sizə elasticsearch verilənlər bazasından axtarışa, məlumat əldə etməyə və statistik sorğular aparmağa imkan verir, lakin cavablar əsasında çoxlu gözəl qrafiklər və tablolar qurulur. Sistem həmçinin elasticsearch verilənlər bazası idarəetmə funksiyasına malikdir, sonrakı məqalələrdə bu xidmətə daha ətraflı baxacağıq. İndi Check Point firewall və OpenVas zəiflik skaneri üçün qurula bilən idarə panelləri nümunəsini göstərək.
Check Point üçün idarə paneli nümunəsi, şəkil tıklanabilir:
OpenVas üçün tablosuna bir nümunə, şəkil tıklanabilir:
Nəticə
Nədən ibarət olduğuna baxdıq ELK yığını, əsas məhsullarla bir az tanış olduq, sonra kursda ayrıca Logstash konfiqurasiya faylının yazılmasını, Kibana-da tablosunun qurulmasını, API sorğuları, avtomatlaşdırma və daha çox şeylərlə tanış olacağıq!
Buna görə də izləmədə qalın (, , , ), .
Mənbə: www.habr.com