Në lidhje me përfundimin e shitjeve në Rusi të sistemit të prerjeve dhe analitikës Splunk, u ngrit pyetja: me çfarë mund ta zëvendësojë këtë zgjidhje? Pasi kalova kohë duke u njohur me zgjidhje të ndryshme, u vendosa në një zgjidhje për një burrë të vërtetë - "Stuf ELK". Ky sistem kërkon kohë për t'u ngritur, por si rezultat ju mund të merrni një sistem shumë të fuqishëm për analizimin e statusit dhe reagimin e menjëhershëm ndaj incidenteve të sigurisë së informacionit në organizatë. Në këtë seri artikujsh, ne do të shikojmë aftësitë themelore (ose ndoshta jo) të pirgut ELK, do të shqyrtojmë se si mund të analizoni regjistrat, si të ndërtoni grafikë dhe tabela, dhe cilat funksione interesante mund të bëhen duke përdorur shembullin e regjistrave nga muri i zjarrit Check Point ose skaneri i sigurisë OpenVas. Për të filluar, le të shohim se çfarë është - pirgja ELK dhe nga cilat përbërës përbëhet.
"Stuf ELK" është një akronim për tre projekte me burim të hapur: Elasticsearch, logstash и kibana. Zhvilluar nga Elastic së bashku me të gjitha projektet përkatëse. Elasticsearch është thelbi i të gjithë sistemit, i cili kombinon funksionet e një baze të dhënash, kërkimi dhe sistemi analitik. Logstash është një tubacion përpunimi i të dhënave nga ana e serverit që merr të dhëna nga burime të shumta në të njëjtën kohë, analizon regjistrin dhe më pas e dërgon atë në një bazë të dhënash Elasticsearch. Kibana lejon përdoruesit të vizualizojnë të dhënat duke përdorur grafikët dhe grafikët në Elasticsearch. Ju gjithashtu mund të administroni bazën e të dhënave përmes Kibana. Më tej, ne do të shqyrtojmë secilin sistem veç e veç në më shumë detaje.
logstash
Logstash është një mjet për përpunimin e ngjarjeve të regjistrave nga burime të ndryshme, me të cilin mund të zgjidhni fushat dhe vlerat e tyre në një mesazh, dhe gjithashtu mund të konfiguroni filtrimin dhe modifikimin e të dhënave. Pas të gjitha manipulimeve, Logstash ridrejton ngjarjet në dyqanin përfundimtar të të dhënave. Shërbimi konfigurohet vetëm përmes skedarëve të konfigurimit.
Një konfigurim tipik logstash është një skedar(s) i përbërë nga disa rryma hyrëse informacioni (hyrje), disa filtra për këtë informacion (filtër) dhe disa rrjedha dalëse (dalje). Duket si një ose më shumë skedarë konfigurimi, i cili në versionin më të thjeshtë (i cili nuk bën asgjë) duket kështu:
input {
}
filter {
}
output {
}
Në INPUT ne konfigurojmë se në cilin port do të dërgohen regjistrat dhe përmes cilit protokoll, ose nga cili dosje për të lexuar skedarë të rinj ose të përditësuar vazhdimisht. Në FILTER ne konfigurojmë analizuesin e regjistrave: analizimi i fushave, redaktimi i vlerave, shtimi i parametrave të rinj ose fshirja e tyre. FILTER është një fushë për menaxhimin e mesazhit që vjen në Logstash me shumë opsione redaktimi. Në dalje ne konfigurojmë se ku dërgojmë regjistrin tashmë të analizuar, në rast se është elasticsearch dërgohet një kërkesë JSON në të cilën dërgohen fushat me vlera, ose si pjesë e korrigjimit mund të dalë në stdout ose të shkruhet në një skedar.
Elasticsearch
Fillimisht, Elasticsearch është një zgjidhje për kërkimin e tekstit të plotë, por me pajisje shtesë si shkallëzimi i lehtë, përsëritja dhe gjëra të tjera, gjë që e bëri produktin shumë të përshtatshëm dhe një zgjidhje të mirë për projekte me ngarkesë të lartë me vëllime të mëdha të dhënash. Elasticsearch është një dyqan dhe motor kërkimi i dokumenteve JSON jo-relativ (NoSQL) i bazuar në kërkimin me tekst të plotë Lucene. Platforma e harduerit është Java Virtual Machine, kështu që sistemi kërkon një sasi të madhe të procesorit dhe burimeve RAM për të funksionuar.
Çdo mesazh në hyrje, qoftë me Logstash ose duke përdorur API-në e pyetjes, indeksohet si një "dokument" - analog me një tabelë në SQL relacionale. Të gjitha dokumentet ruhen në një indeks - një analog i një baze të dhënash në SQL.
Shembull i një dokumenti në bazën e të dhënave:
{
"_index": "checkpoint-2019.10.10",
"_type": "_doc",
"_id": "yvNZcWwBygXz5W1aycBy",
"_version": 1,
"_score": null,
"_source": {
"layer_uuid": [
"dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
"dbee3718-cf2f-4de0-8681-529cb75be9a6"
],
"outzone": "External",
"layer_name": [
"TSS-Standard Security",
"TSS-Standard Application"
],
"time": "1565269565",
"dst": "103.5.198.210",
"parent_rule": "0",
"host": "10.10.10.250",
"ifname": "eth6",
]
}
E gjithë puna me bazën e të dhënave bazohet në kërkesat JSON duke përdorur REST API, të cilat prodhojnë dokumente sipas indeksit ose disa statistika në formatin: pyetje - përgjigje. Për të vizualizuar të gjitha përgjigjet ndaj kërkesave, është shkruar Kibana, e cila është një shërbim ueb.
kibana
Kibana ju lejon të kërkoni, të merrni të dhëna dhe të kërkoni statistika nga baza e të dhënave elasticsearch, por shumë grafikë dhe tabela të bukura janë ndërtuar bazuar në përgjigjet. Sistemi gjithashtu ka funksionalitetin e administrimit të bazës së të dhënave elasticsearch; në artikujt vijues do ta shikojmë këtë shërbim më në detaje. Tani le të tregojmë një shembull të paneleve të kontrollit për murin e zjarrit të Check Point dhe skanerin e cenueshmërisë OpenVas që mund të ndërtohet.
Një shembull i një pulti për Check Point, fotografia mund të klikohet:
Një shembull i një pulti për OpenVas, fotografia mund të klikohet:
Përfundim
Ne shikuam se nga çfarë përbëhet pirg ELK, u njohëm pak me produktet kryesore, më vonë gjatë kursit do të shqyrtojmë veçmas shkrimin e një skedari konfigurimi Logstash, vendosjen e tabelave në Kibana, njohjen me kërkesat API, automatizimin dhe shumë më tepër!
Pra, qëndroni të sintonizuar, , , ), .
Burimi: www.habr.com