Ann an co-cheangal ri deireadh reic anns an Ruis de shiostam clàraidh agus anailis Splunk, dh'èirich a 'cheist: dè as urrainn am fuasgladh seo a chur na àite? Às deidh dhomh ùine a chuir seachad a’ faighinn eòlas air diofar fhuasglaidhean, shocraich mi air fuasgladh airson fìor dhuine - "ELK stack". Bheir an siostam seo ùine airson a chuir air dòigh, ach mar thoradh air an sin gheibh thu siostam fìor chumhachdach airson mion-sgrùdadh a dhèanamh air inbhe agus freagairt gu sgiobalta ri tachartasan tèarainteachd fiosrachaidh sa bhuidheann. Anns an t-sreath artaigilean seo, seallaidh sinn ri comasan bunaiteach (no 's dòcha nach eil) a' chruach ELK, beachdaichidh sinn air mar as urrainn dhut logaichean a pharsadh, mar a thogas tu grafaichean agus clàran-dannsa, agus dè na gnìomhan inntinneach a ghabhas dèanamh a 'cleachdadh an eisimpleir de logaichean bho am balla-teine Seic Point no an sganair tèarainteachd OpenVas. An toiseach, leig dhuinn sùil a thoirt air dè a th’ ann - an cruach ELK, agus dè na pàirtean a th’ ann.
"ELK stack" na acronaim airson trì pròiseactan le còd fosgailte: Elasticsearch, Logstash и Kibana. Air a leasachadh le Elastic còmhla ris a h-uile pròiseact co-cheangailte ris. Tha Elasticsearch aig cridhe an t-siostam gu lèir, a tha a’ cothlamadh gnìomhan siostam stòr-dàta, sgrùdaidh agus anailis. Is e loidhne-phìoban giollachd dàta taobh an fhrithealaiche a th’ ann an Logstash a gheibh dàta bho ghrunn thùsan aig an aon àm, a’ parsadh an loga, agus an uairsin ga chuir gu stòr-dàta Elasticsearch. Leigidh Kibana le luchd-cleachdaidh dàta fhaicinn a’ cleachdadh chlàran agus ghrafaichean ann an Elasticsearch. Faodaidh tu cuideachd an stòr-dàta a rianachd tro Kibana. An ath rud, beachdaichidh sinn ann am barrachd mionaideachd air gach siostam fa leth.
Logstash
Tha Logstash na ghoireas airson tachartasan log a ghiullachd bho dhiofar thùsan, leis an urrainn dhut raointean agus na luachan aca a thaghadh ann an teachdaireachd, agus faodaidh tu cuideachd sìoladh agus deasachadh dàta a rèiteachadh. Às deidh a h-uile làimhseachadh, bidh Logstash ag ath-stiùireadh thachartasan chun stòr dàta mu dheireadh. Tha an goireas air a rèiteachadh a-mhàin tro fhaidhlichean rèiteachaidh.
Is e rèiteachadh logstash àbhaisteach faidhle (ean) anns a bheil grunn shruthan fiosrachaidh a tha a’ tighinn a-steach (cuir a-steach), grunn sìoltachain airson an fhiosrachaidh seo (criathrag) agus grunn shruthan a-mach (toradh). Tha e coltach ri aon fhaidhle rèiteachaidh no barrachd, a tha anns an dreach as sìmplidh (nach dèan dad idir) a’ coimhead mar seo:
input {
}
filter {
}
output {
}
Ann an INPUT bidh sinn a’ rèiteachadh dè am port a thèid na logaichean a chuir gu agus tron phròtacal sin, no às am pasgan far an leugh thu faidhlichean ùra no faidhlichean air an ùrachadh gu cunbhalach. Ann am FILTER bidh sinn a’ rèiteachadh am parser log: parsadh raointean, deasachadh luachan, cuir paramadairean ùra ris no cuir às dhaibh. Tha FILTER na raon airson an teachdaireachd a thig gu Logstash a riaghladh le tòrr roghainnean deasachaidh. Ann an toradh bidh sinn a’ rèiteachadh far an cuir sinn an loga a tha air a pharsadh mar-thà, air eagal ‘s gu bheil e elasticsearch thèid iarrtas JSON a chuir anns na raointean le luachan air an cur, no mar phàirt den deasbaid faodar a chuir a-mach gu stdout no sgrìobhadh gu faidhle.
ElasticSearch
An toiseach, tha Elasticsearch na fhuasgladh airson sgrùdadh làn-theacsa, ach le goireasan a bharrachd leithid sgèileadh furasta, ath-riochdachadh agus rudan eile, a rinn an toradh gu math goireasach agus na fhuasgladh math airson pròiseactan àrd-luchd le tòrr dàta. Tha Elasticsearch na stòr sgrìobhainnean JSON neo-cheangailte (NoSQL) agus einnsean sgrùdaidh stèidhichte air sgrùdadh làn-theacsa Lucene. Is e Java Virtual Machine an àrd-ùrlar bathar-cruaidh, agus mar sin tha feum aig an t-siostam air tòrr ghoireasan pròiseasar agus RAM airson obrachadh.
Tha gach teachdaireachd a thig a-steach, an dàrna cuid le Logstash no a’ cleachdadh an API ceist, air a chlàradh mar “sgrìobhainn” - coltach ri clàr ann an SQL co-cheangailte. Tha a h-uile sgrìobhainn air a stòradh ann an clàr-amais - analogue de stòr-dàta ann an SQL.
Eisimpleir de sgrìobhainn san stòr-dàta:
{
"_index": "checkpoint-2019.10.10",
"_type": "_doc",
"_id": "yvNZcWwBygXz5W1aycBy",
"_version": 1,
"_score": null,
"_source": {
"layer_uuid": [
"dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
"dbee3718-cf2f-4de0-8681-529cb75be9a6"
],
"outzone": "External",
"layer_name": [
"TSS-Standard Security",
"TSS-Standard Application"
],
"time": "1565269565",
"dst": "103.5.198.210",
"parent_rule": "0",
"host": "10.10.10.250",
"ifname": "eth6",
]
}
Tha a h-uile obair leis an stòr-dàta stèidhichte air iarrtasan JSON a’ cleachdadh an REST API, a bhios an dàrna cuid a’ toirt a-mach sgrìobhainnean le clàr-amais no cuid de staitistigean ann an cruth: ceist - freagairt. Gus a h-uile freagairt do dh'iarrtasan fhaicinn, chaidh Kibana a sgrìobhadh, a tha na sheirbheis lìn.
Kibana
Leigidh Kibana leat dàta a rannsachadh, fhaighinn air ais agus staitistearachd a cheasnachadh bhon stòr-dàta elasticsearch, ach tha mòran ghrafaichean agus clàran-dannsa air an togail stèidhichte air na freagairtean. Tha gnìomhachd rianachd stòr-dàta elasticsearch aig an t-siostam cuideachd; ann an artaigilean às deidh sin bheir sinn sùil nas mionaidiche air an t-seirbheis seo. A-nis seallaidh sinn eisimpleir de chlàran-deasachaidh airson balla-teine Seic Point agus an sganair so-leòntachd OpenVas a ghabhas togail.
Mar eisimpleir de bhòrd-stiùiridh airson Check Point, faodar cliogadh air an dealbh:
Mar eisimpleir de chlàr-deasachaidh airson OpenVas, faodar cliogadh air an dealbh:
co-dhùnadh
Thug sinn sùil air na tha ann cruach ELK, fhuair sinn beagan eòlais air na prìomh thoraidhean, nas fhaide air adhart sa chùrsa beachdaichidh sinn air leth a bhith a’ sgrìobhadh faidhle rèiteachaidh Logstash, a’ stèidheachadh deas-bhòrdan air Kibana, a’ faighinn eòlas air iarrtasan API, fèin-ghluasad agus mòran a bharrachd!
Mar sin cùm sùil air, , , ), .
Source: www.habr.com