May kalabotan sa pagtapos sa pagbaligya sa Russia sa Splunk logging ug analytics system, ang pangutana mitungha: unsa ang makapuli niini nga solusyon? Human sa paggahin og panahon sa pag-familiarize sa akong kaugalingon sa lain-laing mga solusyon, nakahukom ko sa usa ka solusyon alang sa usa ka tinuod nga lalaki - "ELK stack". Kini nga sistema nagkinahanglan og panahon sa pag-set up, apan isip usa ka resulta makakuha ka og usa ka gamhanan kaayo nga sistema alang sa pag-analisar sa status ug sa pagtubag dayon sa mga insidente sa seguridad sa impormasyon sa organisasyon. Niini nga serye sa mga artikulo, atong tan-awon ang sukaranan (o tingali dili) nga kapabilidad sa ELK stack, hunahunaa kung giunsa nimo pag-parse ang mga troso, kung giunsa paghimo ang mga graph ug mga dashboard, ug unsa nga makapaikag nga mga gimbuhaton ang mahimo gamit ang panig-ingnan sa mga troso gikan sa ang Check Point firewall o ang OpenVas security scanner. Sa pagsugod, atong tan-awon kung unsa kini - ang ELK stack, ug kung unsang mga sangkap ang gilangkuban niini.
"ELK stack" maoy acronym sa tulo ka open source nga mga proyekto: Elasticsearch, Logstash ΠΈ Kibana. Gipalambo sa Elastic kauban ang tanan nga may kalabutan nga mga proyekto. Ang Elasticsearch mao ang kinauyokan sa tibuok sistema, nga naghiusa sa mga gimbuhaton sa usa ka database, search ug analytical nga sistema. Ang Logstash usa ka server-side nga data processing pipeline nga dungan nga nagdawat sa datos gikan sa daghang tinubdan, nag-parse sa log, ug dayon ipadala kini sa Elasticsearch database. Gitugotan sa Kibana ang mga tiggamit nga mahanduraw ang datos gamit ang mga tsart ug mga graph sa Elasticsearch. Mahimo usab nimo nga ipangalagad ang database pinaagi sa Kibana. Sunod, atong tagdon ang matag sistema nga gilain sa mas detalyado.
Logstash
Ang Logstash usa ka gamit alang sa pagproseso sa mga panghitabo sa log gikan sa lainlaing mga gigikanan, diin mahimo nimo mapili ang mga natad ug ang ilang mga kantidad sa usa ka mensahe, ug mahimo usab nimo i-configure ang pagsala ug pag-edit sa data. Pagkahuman sa tanan nga mga pagmaniobra, ang Logstash nag-redirect sa mga panghitabo sa katapusan nga tindahan sa datos. Ang utility gi-configure lamang pinaagi sa mga file sa pag-configure.
Ang usa ka tipikal nga logstash configuration kay usa ka file(s) nga naglangkob sa pipila ka umaabot nga stream sa impormasyon (input), pipila ka mga filter para niini nga impormasyon (filter) ug pipila ka outgoing streams (output). Morag usa o daghan pa nga mga file sa pag-configure, nga sa pinakasimple nga bersyon (nga walaβy mahimo) ingon niini:
input {
}
filter {
}
output {
}
Sa INPUT among gi-configure kung asa nga port ang mga troso ipadala ug pinaagi sa unsang protocol, o kung asa nga folder magbasa og bag-o o kanunay nga gi-update nga mga file. Sa FILTER among gi-configure ang log parser: pag-parse sa mga field, pag-edit sa mga bili, pagdugang og bag-ong mga parameter o pagtangtang niini. Ang FILTER usa ka natad sa pagdumala sa mensahe nga moabut sa Logstash nga adunay daghang mga kapilian sa pag-edit. Sa output among gi-configure kung asa namo ipadala ang na-parse na nga log, kung kini elasticsearch usa ka hangyo sa JSON gipadala diin ang mga field nga adunay mga value gipadala, o isip bahin sa debug mahimo kini nga output sa stdout o gisulat sa usa ka file.
Panglantaw
Sa sinugdan, ang Elasticsearch usa ka solusyon alang sa pagpangita sa bug-os nga teksto, apan adunay dugang nga mga pasilidad sama sa dali nga pag-scale, pagkopya ug uban pang mga butang, nga naghimo sa produkto nga kombenyente kaayo ug usa ka maayong solusyon alang sa mga proyekto nga adunay taas nga karga nga adunay daghang mga datos. Ang Elasticsearch usa ka non-relational (NoSQL) JSON document store ug search engine base sa Lucene full-text search. Ang plataporma sa hardware mao ang Java Virtual Machine, mao nga ang sistema nanginahanglan usa ka dako nga kantidad sa mga kapanguhaan sa processor ug RAM aron makalihok.
Ang matag umaabot nga mensahe, bisan sa Logstash o gamit ang query API, gi-index isip usa ka "dokumento" - susama sa usa ka lamesa sa relational SQL. Ang tanan nga mga dokumento gitipigan sa usa ka indeks - usa ka analogue sa usa ka database sa SQL.
Pananglitan sa usa ka dokumento sa database:
{
"_index": "checkpoint-2019.10.10",
"_type": "_doc",
"_id": "yvNZcWwBygXz5W1aycBy",
"_version": 1,
"_score": null,
"_source": {
"layer_uuid": [
"dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
"dbee3718-cf2f-4de0-8681-529cb75be9a6"
],
"outzone": "External",
"layer_name": [
"TSS-Standard Security",
"TSS-Standard Application"
],
"time": "1565269565",
"dst": "103.5.198.210",
"parent_rule": "0",
"host": "10.10.10.250",
"ifname": "eth6",
]
}
Ang tanan nga pagtrabaho sa database gibase sa mga hangyo sa JSON gamit ang REST API, nga makahimo og mga dokumento pinaagi sa indeks o pipila ka estadistika sa format: pangutana - tubag. Aron mahanduraw ang tanan nga mga tubag sa mga hangyo, gisulat ang Kibana, nga usa ka serbisyo sa web.
Kibana
Gitugotan ka ni Kibana sa pagpangita, pagkuha sa datos ug mga istatistika sa pangutana gikan sa database sa elasticsearch, apan daghang matahum nga mga graph ug dashboard ang gitukod base sa mga tubag. Ang sistema usab adunay elasticsearch database administration functionality; sa sunod nga mga artikulo atong tan-awon kini nga serbisyo sa mas detalyado. Karon ipakita nato ang usa ka pananglitan sa mga dashboard alang sa Check Point firewall ug ang OpenVas vulnerability scanner nga mahimong matukod.
Usa ka pananglitan sa usa ka dashboard alang sa Check Point, ang hulagway ma-click:
Usa ka pananglitan sa usa ka dashboard alang sa OpenVas, ang hulagway ma-click:
konklusyon
Gitan-aw namon kung unsa ang gilangkuban niini ELK stack, medyo nakaila kami sa mga nag-unang produkto, sa ulahi sa kurso among ikonsiderar ang pagsulat sa usa ka file sa pagsumpo sa Logstash, pag-set up sa mga dashboard sa Kibana, pag-ila sa mga hangyo sa API, automation ug daghan pa!
Busa padayon nga tutok (, , , ), .
Source: www.habr.com