Me përfundimin e shitjeve në Rusi të sistemit të logimit dhe analizës Splunk, u hap një pyetje se çfarë mund të përdoret si një zëvendësim? Pas një kohe të kaluar duke u njohur me zgjidhje të ndryshme, unë u ndala te zgjidhja e duhur për një burrec - «ELK stack». Ky sistem kërkon kohë për konfigurimin e tij, por si rezultat mund të krijoni një sistem shumë të fuqishëm për analizimin e gjendjes dhe reagimin e shpejtë ndaj incidenteve të sigurisë informatike në organizatë. Në këtë cikël artikujsh do të shqyrtojmë mundësitë bazë (ndoshta edhe më shumë) të stack-ut ELK, do të shohim se si mund të analizojmë logët, si të ndërtojmë grafikë dhe dashboard-e, dhe cilat funksione interesante mund të realizojmë duke përdorur logët nga firewall-i Check Point ose skaneri i sigurisë OpenVas. Së pari, le të shohim se çfarë është stack-u ELK dhe nga cilat komponentë përbëhet.
«ELK stack» â Ă«shtĂ« njĂ« shkurtim pĂ«r tre projekte me kod tĂ« hapur: Elasticsearch, Logstash dhe Kibana. Zhvillohet nga kompania Elastic sĂ« bashku me tĂ« gjithĂ« projektet e tjera tĂ« lidhura. Elasticsearch Ă«shtĂ« pjesa thelbĂ«sore e sistemit, e cila pĂ«rfshin funksione si bazĂ« tĂ« dhĂ«nash, sistem kĂ«rkimor dhe analitik. Logstash Ă«shtĂ« njĂ« pipeline pĂ«r pĂ«rpunimin e tĂ« dhĂ«nave nĂ« anĂ«n e serverit, i cili merr tĂ« dhĂ«na nga disa burime njĂ«herĂ«sh, analizon logun dhe mĂ« pas dĂ«rgon nĂ« bazĂ«n e tĂ« dhĂ«nave Elasticsearch. Kibana u lejon pĂ«rdoruesve tĂ« vizualizojnĂ« tĂ« dhĂ«nat pĂ«rmes diagrameve dhe grafikave nĂ« Elasticsearch. Gjithashtu, nĂ«pĂ«rmjet Kibana mund tĂ« menaxhohet baza e tĂ« dhĂ«nave. MĂ« vonĂ« do tĂ« shqyrtojmĂ« çdo sistem mĂ« nĂ« detaje veç e veç.
Logstash
Logstash â Ă«shtĂ« njĂ« utilitare pĂ«r pĂ«rpunimin e ngjarjeve nga burime tĂ« ndryshme, me tĂ« cilin mund tĂ« nxirren fushat dhe vlerat e tyre nĂ« mesazhe, gjithashtu mund tĂ« konfigurohet filtrimi dhe redaktimi i tĂ« dhĂ«nave. Pas tĂ« gjitha manipulimeve, Logstash ridrejton ngjarjet nĂ« njĂ« depo pĂ«rfundimtare tĂ« dhĂ«nash. Utilitarja konfigurohet vetĂ«m pĂ«rmes skedave tĂ« konfigurimit.
Konfigurimi tipik i logstash përbëhet nga një ose disa skeda që përmbajnë disa rrjedha hyrëse informacioni (input), disa filtrat për këtë informacion (filter), dhe disa rrjedha dalëse (output). Duket kështu si një ose disa skeda konfiguruese, të cilat në variantin më të thjeshtë (që nuk bën asgjë fare) duken kështu:
input {
}
filter {
}
output {
}
Në INPUT ne konfiguroni se në cilin port do të vijnë log-et dhe në cilin protokoll, ose nga cili dosje të lexojmë skedarët që janë të rinj ose që vazhdojnë të shkruhen. Në FILTER ne konfiguroni parserin e log-eve: analizimin e fushave, redaktimin e vlerave, shtimin e parametrave të rinj ose fshirjen e tyre. FILTER është një fushë për menaxhimin e mesazhit që vjen në Logstash me një sërë opsionesh redaktimi. Në output ne konfiguroni se ku dërgojmë log-un e analizuar, në rast se është Elasticsearch dërgohet një kërkesë JSON, e cila dërgon fushat me vlerat, ose në kuadër të debagimit mund të nxirret në stdout ose të shkruhet në skedarin.
ElasticSearch
Fillimisht, Elasticsearch është një zgjidhje për kërkimin e tekstit të plotë, por me përfitime të tjera, si shkallëzimi i lehtë, riprodhimi dhe të tjera, që e bënë produktin shumë të përshtatshëm dhe një zgjidhje të mirë për projekte me ngarkesë të lartë dhe volume të mëdha të dhënash. Elasticsearch është një depo jo-relevante (NoSQL) dokumentesh në formatin JSON dhe një sistem kërkimi bazuar në kërkimin e plotë të tekstit Lucene. Platforma harduerike është Java Virtual Machine, prandaj sistemi ka nevojë për një sasi të madhe burimesh të procesorëve dhe RAM-it për të funksionuar.
Ădo mesazh qĂ« vjen, si nga Logstash ose pĂ«rmes kĂ«rkesĂ«s API, indeksohet si njĂ« "dokument" â ekuivalent i tabelĂ«s nĂ« SQL tĂ« relacionit. TĂ« gjithĂ« dokumentet ruhen nĂ« indeks â ekuivalenti i bazĂ«s sĂ« tĂ« dhĂ«nave nĂ« SQL.
Shembulli i dokumentit në bazë:
{
"_index": "checkpoint-2019.10.10",
"_type": "_doc",
"_id": "yvNZcWwBygXz5W1aycBy",
"_version": 1,
"_score": null,
"_source": {
"layer_uuid": [
"dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
"dbee3718-cf2f-4de0-8681-529cb75be9a6"
],
"outzone": "External",
"layer_name": [
"TSS-Standard Security",
"TSS-Standard Application"
],
"time": "1565269565",
"dst": "103.5.198.210",
"parent_rule": "0",
"host": "10.10.10.250",
"ifname": "eth6",
]
}
E gjithĂ« puna me bazĂ«n e tĂ« dhĂ«nave tĂ« ndĂ«rtuar mbi kĂ«rkesat JSON pĂ«rmes REST API, tĂ« cilat ose japin dokumente sipas indeksit, ose ndonjĂ« statistikĂ« nĂ« formatin: pyetje â pĂ«rgjigje. PĂ«r tĂ« vizualizuar tĂ« gjitha pĂ«rgjigjet ndaj kĂ«rkesave Ă«shtĂ« shkruar Kibana, e cila pĂ«rfaqĂ«son njĂ« shĂ«rbim nĂ« web.
Kibana
Kibana lejon të kërkoni dhe të merrni të dhëna dhe statistika nga baza e të dhënave elasticsearch, ndërsa bazuar në përgjigjet e marra ndodhin shumë grafika të bukura dhe dashboarde. Sistemi gjithashtu ka funksionalitet për administrimin e bazës së të dhënave elasticsearch; në artikujt e ardhshëm do të shqyrtojmë më në detaje këtë shërbim. Tani do të paraqesim një shembuj të dashboardeve për firewall-in Check Point dhe skanerin e dobësive OpenVas, të cilat mund të ndërtohen.
Shembulli i një dashboardi për Check Point, imazhi është klikues:
Shembulli i një dashboardi për OpenVas, imazhi është klikues:
PĂ«rfundim
Ne shqyrtuam se çfarë përbën ELK stack, paksa u njohëm me produktet kryesore, më tej në kurs do të shqyrtojmë të shkruajmë skedarin e konfigurimit të Logstash, konfigurimin e dashboardeve në Kibana, njohjen me kërkesat API, automatizimin dhe shumë gjëra të tjera!
Prandaj, qëndroni të informuar për azhurnimet (, , , ), .
Burimi: habr.com
