B'rabta mat-tmiem tal-bejgħ fir-Russja tas-sistema ta 'qtugħ u analitika ta' Splunk, qamet il-mistoqsija: b'liema tista 'tissostitwixxi din is-soluzzjoni? Wara li qattajt ħin niffamiljarizza ruħi ma 'soluzzjonijiet differenti, għamilt soluzzjoni għal raġel reali - "Munzell ELK". Din is-sistema tieħu ż-żmien biex titwaqqaf, iżda bħala riżultat tista 'tikseb sistema b'saħħitha ħafna biex tanalizza l-istatus u tirrispondi fil-pront għall-inċidenti tas-sigurtà tal-informazzjoni fl-organizzazzjoni. F'din is-serje ta 'artikoli, se nħarsu lejn il-kapaċitajiet bażiċi (jew forsi le) tal-munzell ELK, ikkunsidra kif tista' tparsa zkuk, kif tibni graphs u dashboards, u liema funzjonijiet interessanti jistgħu jsiru billi tuża l-eżempju ta 'zkuk minn il-firewall Check Point jew l-iskaner tas-sigurtà OpenVas. Biex tibda, ejja nħarsu lejn x'inhu - il-munzell ELK, u f'liema komponenti jikkonsisti.
"Munzell ELK" huwa akronimu għal tliet proġetti open source: Elasticsearch, logstash и kibana. Żviluppat minn Elastic flimkien mal-proġetti kollha relatati. Elasticsearch huwa l-qalba tas-sistema kollha, li tgħaqqad il-funzjonijiet ta 'database, tfittxija u sistema analitika. Logstash huwa pipeline tal-ipproċessar tad-dejta fuq in-naħa tas-server li jirċievi data minn sorsi multipli fl-istess ħin, janalizza l-ġurnal, u mbagħad jibgħatha lil database Elasticsearch. Kibana jippermetti lill-utenti jivviżwalizzaw id-dejta billi jużaw mapep u graffs f'Elasticsearch. Tista 'wkoll tamministra d-database permezz ta' Kibana. Sussegwentement, se nikkunsidraw kull sistema separatament f'aktar dettall.
logstash
Logstash huwa utilità għall-ipproċessar ta 'avvenimenti ta' log minn sorsi varji, li biha tista 'tagħżel oqsma u l-valuri tagħhom f'messaġġ, u tista' wkoll tikkonfigura l-iffiltrar u l-editjar tad-dejta. Wara l-manipulazzjonijiet kollha, Logstash jidderieġi mill-ġdid l-avvenimenti lejn il-maħżen tad-dejta finali. L-utilità hija kkonfigurata biss permezz ta 'fajls ta' konfigurazzjoni.
Konfigurazzjoni logstash tipika hija fajl(i) li jikkonsisti f'diversi flussi ta' informazzjoni deħlin (input), diversi filtri għal din l-informazzjoni (filtru) u diversi flussi ħerġin (output). Jidher qisu fajl ta' konfigurazzjoni wieħed jew aktar, li fl-aktar verżjoni sempliċi (li ma tagħmel xejn) tidher bħal din:
input {
}
filter {
}
output {
}
Fl-INPUT aħna kkonfiguraw liema port ir-zkuk se jintbagħtu u permezz ta 'liema protokoll, jew minn liema folder biex taqra fajls ġodda jew aġġornati kontinwament. Fil-FILTER aħna kkonfigurat l-parser tal-log: parsing fields, editjar tal-valuri, inżidu parametri ġodda jew inħassruhom. FILTER huwa qasam għall-ġestjoni tal-messaġġ li jasal għal Logstash b'ħafna għażliet ta 'editjar. Fl-output aħna nikkonfiguraw fejn nibagħtu l-log diġà parsed, f'każ li huwa elasticsearch tintbagħat talba JSON li fiha jintbagħtu oqsma b'valuri, jew bħala parti mid-debug tista 'tiġi output għal stdout jew miktuba f'fajl.
ElasticSearch
Inizjalment, Elasticsearch hija soluzzjoni għal tfittxija full-test, iżda b'kumditajiet addizzjonali bħal skalar faċli, replikazzjoni u affarijiet oħra, li għamlu l-prodott konvenjenti ħafna u soluzzjoni tajba għal proġetti ta 'tagħbija għolja b'volumi kbar ta' dejta. Elasticsearch huwa maħżen ta' dokumenti JSON mhux relazzjonali (NoSQL) u magna tat-tiftix ibbażata fuq tfittxija b'test sħiħ ta' Lucene. Il-pjattaforma tal-ħardwer hija Java Virtual Machine, għalhekk is-sistema teħtieġ ammont kbir ta 'riżorsi ta' proċessur u RAM biex topera.
Kull messaġġ li jidħol, jew b'Logstash jew bl-użu tal-API tal-mistoqsija, huwa indiċjat bħala "dokument" - analogu għal tabella f'SQL relazzjonali. Id-dokumenti kollha huma maħżuna f'indiċi - analogu ta 'database fl-SQL.
Eżempju ta' dokument fid-database:
{
"_index": "checkpoint-2019.10.10",
"_type": "_doc",
"_id": "yvNZcWwBygXz5W1aycBy",
"_version": 1,
"_score": null,
"_source": {
"layer_uuid": [
"dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
"dbee3718-cf2f-4de0-8681-529cb75be9a6"
],
"outzone": "External",
"layer_name": [
"TSS-Standard Security",
"TSS-Standard Application"
],
"time": "1565269565",
"dst": "103.5.198.210",
"parent_rule": "0",
"host": "10.10.10.250",
"ifname": "eth6",
]
}
Ix-xogħol kollu mad-database huwa bbażat fuq talbiet JSON bl-użu tal-API REST, li jew jipproduċu dokumenti bl-indiċi jew xi statistika fil-format: mistoqsija - tweġiba. Sabiex jiġu viżwalizzati t-tweġibiet kollha għat-talbiet, inkiteb Kibana, li huwa servizz tal-web.
kibana
Kibana jippermettilek li tfittex, tirkupra data u statistika ta' mistoqsijiet mid-database elasticsearch, iżda ħafna graffs u dashboards sbieħ huma mibnija bbażati fuq it-tweġibiet. Is-sistema għandha wkoll funzjonalità ta' amministrazzjoni ta' database ta' elasticsearch; f'artikoli sussegwenti se nħarsu lejn dan is-servizz f'aktar dettall. Issa ejja nuru eżempju ta 'dashboards għall-firewall Check Point u l-iskaner tal-vulnerabbiltà OpenVas li jista' jinbena.
Eżempju ta' dashboard għal Check Point, l-istampa tista' tikklikkja:
Eżempju ta' dashboard għal OpenVas, l-istampa tista' tikklikkja:
Konklużjoni
Ħarsa lejn fiex tikkonsisti Munzell ELK, Sirna ftit familjari mal-prodotti ewlenin, aktar tard fil-kors se nikkunsidraw separatament il-kitba ta 'fajl ta' konfigurazzjoni Logstash, inwaqqfu dashboards fuq Kibana, niffamiljarizzaw ruħhom mat-talbiet tal-API, l-awtomazzjoni u ħafna aktar!
Mela ibqa’ sintonizzat, , , ), .
Sors: www.habr.com