An koneksyon avèk fen lavant nan Larisi nan sistèm nan antre ak analiz Splunk, kesyon an leve: ki sa ki ka ranplase solisyon sa a ak? Apre mwen te pase tan familyarize tèt mwen ak diferan solisyon, mwen te deside sou yon solisyon pou yon nonm reyèl - "Pil ELK". Sistèm sa a pran tan pou mete sou pye, men kòm yon rezilta ou ka jwenn yon sistèm trè pwisan pou analize estati a ak san pèdi tan reponn a enfòmasyon sekirite ensidan nan òganizasyon an. Nan seri atik sa a, nou pral gade kapasite debaz yo (oswa petèt pa) nan pil ELK la, konsidere ki jan ou ka analize mòso bwa, ki jan yo bati graf ak tablodbò, ak ki fonksyon enteresan yo ka fè lè l sèvi avèk egzanp mòso bwa ki soti nan pare-feu Check Point la oswa eskanè sekirite OpenVas la. Pou kòmanse, ann gade nan ki sa li ye - pil ELK la, ak ki eleman li konsiste de.
"Pil ELK" se yon akwonim pou twa pwojè sous louvri: Elasticsearch, logstash и kibana. Devlope pa Elastic ansanm ak tout pwojè ki gen rapò. Elasticsearch se nwayo a nan tout sistèm nan, ki konbine fonksyon yo nan yon baz done, rechèch ak sistèm analyse. Logstash se yon tiyo pwosesis done bò sèvè ki resevwa done ki soti nan plizyè sous ansanm, analize boutèy la, epi answit voye li nan yon baz done Elasticsearch. Kibana pèmèt itilizatè yo vizyalize done lè l sèvi avèk tablo ak graf nan Elasticsearch. Ou kapab tou administre baz done a atravè Kibana. Apre sa, nou pral konsidere chak sistèm separeman an plis detay.
logstash
Logstash se yon sèvis piblik pou trete evènman boutèy demi lit ki soti nan divès sous, ak ki ou ka chwazi jaden ak valè yo nan yon mesaj, epi ou ka tou konfigirasyon filtrage done ak koreksyon. Apre tout manipilasyon, Logstash redireksyon evènman yo nan magazen done final la. Se sèvis piblik la configuré sèlman atravè dosye konfigirasyon.
Yon konfigirasyon logstash tipik se yon fichye (yo) ki fòme ak plizyè kouran enfòmasyon k ap fèk ap rantre (antre), plizyè filtè pou enfòmasyon sa a (filtè) ak plizyè kouran sortan (sòti). Li sanble youn oswa plis fichye konfigirasyon, ki nan vèsyon ki pi senp (ki pa fè anyen ditou) sanble sa a:
input {
}
filter {
}
output {
}
Nan INPUT nou konfigirasyon ki pò mòso bwa yo pral voye nan ak nan ki pwotokòl, oswa soti nan ki katab li nouvo oswa toujou mete ajou. Nan FILTER nou konfigirasyon parser la log: analiz jaden, koreksyon valè, ajoute nouvo paramèt oswa efase yo. FILTER se yon jaden pou jere mesaj ki vini nan Logstash ak yon anpil nan opsyon koreksyon. Nan pwodiksyon nou konfigirasyon kote nou voye log la deja analize, nan ka li se elasticsearch yon demann JSON voye nan ki jaden ki gen valè yo voye, oswa kòm yon pati nan debug la li ka pwodiksyon nan stdout oswa ekri nan yon fichye.
ElasticSearch
Okòmansman, Elasticsearch se yon solisyon pou rechèch konplè tèks, men ak ekipman adisyonèl tankou dekale fasil, replikasyon ak lòt bagay, ki te fè pwodwi a trè pratik ak yon solisyon bon pou pwojè gwo chaj ak volim gwo done. Elasticsearch se yon magazen dokiman JSON ki pa relasyon (NoSQL) ak motè rechèch ki baze sou rechèch tèks konplè Lucene. Platfòm pyès ki nan konpitè se Java Virtual Machine, kidonk sistèm lan mande pou yon gwo kantite processeur ak resous RAM pou opere.
Chak mesaj k ap fèk ap rantre, swa avèk Logstash oswa lè l sèvi avèk API rechèch la, endis kòm yon "dokiman" - analogue ak yon tablo nan SQL relasyon. Tout dokiman yo estoke nan yon endèks - yon analogue nan yon baz done nan SQL.
Egzanp yon dokiman nan baz done a:
{
"_index": "checkpoint-2019.10.10",
"_type": "_doc",
"_id": "yvNZcWwBygXz5W1aycBy",
"_version": 1,
"_score": null,
"_source": {
"layer_uuid": [
"dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
"dbee3718-cf2f-4de0-8681-529cb75be9a6"
],
"outzone": "External",
"layer_name": [
"TSS-Standard Security",
"TSS-Standard Application"
],
"time": "1565269565",
"dst": "103.5.198.210",
"parent_rule": "0",
"host": "10.10.10.250",
"ifname": "eth6",
]
}
Tout travay ak baz done a baze sou demann JSON lè l sèvi avèk API REST, ki swa pwodui dokiman pa endèks oswa kèk estatistik nan fòma a: kesyon - repons. Yo nan lòd yo vizyalize tout repons a demann, Kibana te ekri, ki se yon sèvis entènèt.
kibana
Kibana pèmèt ou fè rechèch, rekipere done ak estatistik rechèch nan baz done elasticsearch la, men anpil bèl graf ak tablodbò yo bati baze sou repons yo. Sistèm nan tou gen fonksyonalite administrasyon baz done elastiksearch; nan atik ki vin apre nou pral gade sèvis sa a an plis detay. Koulye a, ann montre yon egzanp tablodbò pou pare-feu Check Point ak eskanè vilnerabilite OpenVas ki ka bati.
Yon egzanp yon tablodbò pou Check Point, foto a se klike sou:
Yon egzanp yon tablodbò pou OpenVas, foto a se klike sou:
Konklizyon
Nou te gade nan ki sa li konsiste ELK pile, Nou te fè yon ti kras konnen ak pwodwi prensipal yo, pita nan kou a nou pral separeman konsidere ekri yon dosye konfigirasyon Logstash, mete kanpe tablodbò sou Kibana, fè konesans ak demann API, automatisation ak plis ankò!
Se konsa, rete branche, , , ), .
Sous: www.habr.com