Stack 1.Elastic: anailís ar logaí slándála. Réamhrá

Maidir le deireadh a chur le díolacháin sa Rúis ar chóras logáil agus anailísíochta Splunk, d'éirigh an cheist: cad is féidir a chur in ionad an réiteach seo? Tar éis dom am a chaitheamh ag cur amach ar réitigh éagsúla, shocraigh mé ar réiteach le haghaidh fear fíor - "ELK stack". Tógann an córas seo am a chur ar bun, ach mar thoradh air sin is féidir leat a fháil córas an-chumhachtach chun anailís a dhéanamh ar an stádas agus go pras freagra a thabhairt ar eachtraí slándála faisnéise san eagraíocht. Sa tsraith alt seo, féachfaimid ar chumais bhunúsacha (nó b'fhéidir nach bhfuil) an chruach ELK, breithneoimid conas is féidir leat logaí a pharsáil, conas graif agus dashboards a thógáil, agus cad iad na feidhmeanna suimiúla is féidir a dhéanamh ag baint úsáide as an sampla de logaí ó an balla dóiteáin Check Point nó an scanóir slándála OpenVas. Chun tús a chur leis, déanaimis féachaint ar cad é - an cruach ELK, agus cad iad na comhpháirteanna atá ann.

"ELK stack" is acrainm é do thrí thionscadal foinse oscailte: Elasticsearch, Logstash и Kibana. Arna fhorbairt ag Elastic mar aon le gach tionscadal gaolmhar. Is é Elasticsearch croí an chórais iomláin, a chomhcheanglaíonn feidhmeanna córais bunachar sonraí, cuardaigh agus anailíse. Is píblíne próiseála sonraí ar thaobh an fhreastalaí é Logstash a fhaigheann sonraí ó fhoinsí iolracha ag an am céanna, a pharsálann an logáil, agus ansin cuireann sé chuig bunachar sonraí Elasticsearch é. Ligeann Kibana d’úsáideoirí sonraí a shamhlú ag baint úsáide as cairteacha agus graif in Elasticsearch. Is féidir leat an bunachar sonraí a riar trí Kibana freisin. Ansin, déanfaimid breithniú níos mine ar gach córas ar leithligh.

Logstash

Is fóntais é Logstash chun imeachtaí logála a phróiseáil ó fhoinsí éagsúla, leis ar féidir leat réimsí agus a luachanna a roghnú i dteachtaireacht, agus is féidir leat scagadh agus eagarthóireacht sonraí a chumrú freisin. Tar éis gach ionramhála, atreoraíonn Logstash imeachtaí chuig an stór sonraí deiridh. Níl an áirgiúlacht cumraithe ach amháin trí chomhaid cumraíochta.
Is éard is cumraíocht logstash tipiciúil ann ná comhad(í) ina bhfuil roinnt sruthanna isteach faisnéise (ionchur), roinnt scagairí don fhaisnéis seo (scagaire) agus roinnt sruthanna amach (aschur). Breathnaíonn sé cosúil le comhad cumraíochta amháin nó níos mó, a bhreathnaíonn mar seo sa leagan is simplí (nach ndéanann faic ar chor ar bith):

input {
}

filter {
}

output {
}

In INPUT déanaimid a chumrú cén port a sheolfar na logaí chuige agus tríd an bprótacal sin, nó cén fillteán chun comhaid nua nó comhaid a nuashonraítear i gcónaí a léamh. In FILTER déanaimid an parsálaí logála a chumrú: réimsí a pharsáil, luachanna a chur in eagar, paraiméadair nua a chur leis nó iad a scriosadh. Is réimse é FILTER chun an teachtaireacht a thagann chuig Logstash a bhainistiú le go leor roghanna eagarthóireachta. In aschur cumraimid an áit a gcuirimid an loga parsáilte cheana féin, ar eagla go bhfuil sé leaisteacha seoltar iarratas JSON ina seoltar réimsí le luachanna, nó mar chuid den dífhabhtú is féidir é a aschur go stdout nó scríobh chuig comhad.

ElasticSearch

Ar dtús, is réiteach é Elasticsearch do chuardach téacs iomlán, ach le taitneamhachtaí breise cosúil le scálú éasca, macasamhlú agus rudaí eile, rud a rinne an táirge an-áisiúil agus réiteach maith do thionscadail ard-ualach le líon mór sonraí. Is stór doiciméad JSON neamhghaolmhar (NoSQL) é Elasticsearch agus inneall cuardaigh bunaithe ar chuardach lántéacs Lucene. Is é Java Virtual Machine an t-ardán crua-earraí, agus mar sin éilíonn an córas go leor acmhainní próiseálaí agus RAM chun oibriú.
Déantar gach teachtaireacht a thagann isteach, le Logstash nó ag baint úsáide as an API iarratais, a innéacsú mar “dhoiciméad” - cosúil le tábla i SQL coibhneasta. Stóráiltear na doiciméid go léir in innéacs - analóg de bhunachar sonraí i SQL.

Sampla de dhoiciméad sa bhunachar sonraí:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

Tá an obair ar fad leis an mbunachar sonraí bunaithe ar iarratais JSON ag baint úsáide as an REST API, a tháirgeann doiciméid de réir innéacs nó roinnt staitisticí san fhormáid: ceist - freagra. D'fhonn gach freagra ar iarratais a shamhlú, scríobhadh Kibana, ar seirbhís gréasáin í.

Kibana

Ligeann Kibana duit cuardach, sonraí a aisghabháil agus staitisticí a fhiosrú ón mbunachar sonraí elasticsearch, ach tógtar go leor graif agus deais áille bunaithe ar na freagraí. Tá feidhmiúlacht riaracháin bunachar sonraí elasticsearch ag an gcóras freisin; Anois taispeánfaimid sampla de dheachláir don bhalla dóiteáin Check Point agus don scanóir leochaileachta OpenVas is féidir a thógáil.

Sampla de phainéal do Sheicphointe, is féidir an pictiúr a chliceáil:

Sampla de phainéal do OpenVas, is féidir cliceáil ar an bpictiúr:

Conclúid

D'fhéachamar ar a bhfuil ann cruach ELK, fuair muid beagán aithne ar na príomhtháirgí, níos déanaí sa chúrsa déanfaimid machnamh ar leithligh ar chomhad cumraíochta Logstash a scríobh, dashboards a bhunú ar Kibana, dul i dtaithí ar iarratais API, uathoibriú agus go leor eile!

Mar sin fanacht tunedTelegram, Facebook, VK, Blag Réiteach TS), Yandex Zen.

Foinse: will.com