1. Elastic stack: famakafakana ny logs fiarovana. Sava lalana

1. Elastic stack: famakafakana ny logs fiarovana. Sava lalana

Mifandray amin'ny fiafaran'ny varotra ao Rosia ny rafitra fanoratana sy fanadihadiana Splunk, dia nipoitra ny fanontaniana hoe: inona no afaka manolo ity vahaolana ity? Rehefa avy nandany fotoana nahafantarana ny tenako tamin'ny vahaolana samihafa aho, dia nanorim-ponenana tamin'ny vahaolana ho an'ny lehilahy tena izy - "ELK stack". Mitaky fotoana hananganana ity rafitra ity, fa vokatr'izany dia afaka mahazo rafitra tena matanjaka ianao amin'ny famakafakana ny sata sy ny famaliana haingana ireo trangan-javatra momba ny fiarovana ny vaovao ao amin'ny fikambanana. Ao amin'ity andian-dahatsoratra ity dia hijery ny fahaiza-manao fototra (na mety tsy) amin'ny ELK stack isika, diniho ny fomba ahafahanao manara-maso ny logs, ny fomba hananganana grafika sy dashboard, ary inona no asa mahaliana azo atao amin'ny fampiasana ny ohatra amin'ny logs. ny Firewall Check Point na ny scanner fiarovana OpenVas. Hanombohana, andeha hojerentsika hoe inona izany - ny stack ELK, ary inona ny singa misy azy.

"ELK stack" dia fanafohezana ny tetikasa open source telo: Elasticsearch, logstash ΠΈ kibana. Namboarin'ny Elastic miaraka amin'ireo tetikasa mifandraika amin'izany. Elasticsearch no fototry ny rafitra manontolo, izay manambatra ny asan'ny angon-drakitra, fikarohana ary rafitra famakafakana. Logstash dia fantsona fanodinana angon-drakitra amin'ny lafiny server izay mandray angon-drakitra avy amin'ny loharano maro miaraka, manara-maso ny log, ary avy eo mandefa izany any amin'ny tahiry Elasticsearch. Kibana dia ahafahan'ny mpampiasa mijery angon-drakitra amin'ny fampiasana tabilao sy tabilao ao amin'ny Elasticsearch. Azonao atao ihany koa ny mitantana ny angon-drakitra amin'ny alΓ lan'ny Kibana. Manaraka izany dia hodinihintsika misaraka amin'ny antsipiriany bebe kokoa ny rafitra tsirairay.

1. Elastic stack: famakafakana ny logs fiarovana. Sava lalana

logstash

Logstash dia fitaovana amin'ny fanodinana hetsika log avy amin'ny loharano isan-karazany, izay ahafahanao misafidy saha sy ny sandany amin'ny hafatra, ary azonao atao koa ny manitsy sy manitsy ny angona. Aorian'ny fanodinkodinana rehetra, Logstash dia mamindra ny hetsika mankany amin'ny fivarotana data farany. Amin'ny alΓ lan'ny fisie fichier ihany no amboarina ny utility.
Ny fandrindrana logstash mahazatra dia fisie misy onjam-baovao maromaro (fampidirana), sivana maromaro ho an'ity fampahalalana ity (sivana) ary renirano maromaro mivoaka (famoahana). Tahaka ny rakitra fanamafisana iray na maromaro, izay amin'ny dikan-teny tsotra indrindra (izay tsy manao na inona na inona) dia toy izao:

input {
}

filter {
}

output {
}

Ao amin'ny INPUT dia amboary izay seranan-tsambo halefa ny logs ary amin'ny alΓ lan'ny protocol, na avy amin'ny lahatahiry hamakiana rakitra vaovao na havaozina tsy tapaka. Ao amin'ny FILTER dia amboarina ny parser log: fanapariahana saha, fanovana soatoavina, manampy masontsivana vaovao na mamafa azy ireo. FILTER dia sehatra iray hitantanana ny hafatra tonga ao amin'ny Logstash miaraka amin'ny safidy fanitsiana maro. Amin'ny famoahana dia amboarina ny toerana handefasana ny log efa voavaha, raha toa ka elasticsearch dia alefa ny fangatahana JSON izay misy saha misy sanda alefa, na ao anatin'ny debug dia azo avoaka amin'ny stdout na nosoratana amin'ny rakitra.

1. Elastic stack: famakafakana ny logs fiarovana. Sava lalana

Elasticsearch

Tamin'ny voalohany, ny Elasticsearch dia vahaolana ho an'ny fikarohana lahatsoratra feno, saingy miaraka amin'ny fanampim-panampiana fanampiny toy ny fanamafisam-peo mora, replication ary zavatra hafa, izay nahatonga ny vokatra ho tena mety sy vahaolana tsara ho an'ny tetikasa avo lenta miaraka amin'ny angon-drakitra be dia be. Elasticsearch dia fivarotana antontan-taratasy JSON tsy mifandray (NoSQL) ary milina fikarohana mifototra amin'ny fikarohana lahatsoratra feno Lucene. Ny sehatra hardware dia Java Virtual Machine, noho izany dia mitaky be dia be ny processeur sy ny RAM ny rafitra mba hiasa.
Ny hafatra tonga tsirairay, na miaraka amin'ny Logstash na mampiasa ny fangatahana API, dia aseho ho toy ny "tahiry" - mitovy amin'ny latabatra amin'ny SQL relational. Ny antontan-taratasy rehetra dia voatahiry ao anaty index - analogue ny database ao amin'ny SQL.

Ohatra amin'ny antontan-taratasy ao amin'ny tahiry:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

Ny asa rehetra miaraka amin'ny angon-drakitra dia mifototra amin'ny fangatahana JSON mampiasa ny REST API, izay mamokatra antontan-taratasy amin'ny fanondroana na antontan'isa amin'ny endrika: fanontaniana - valiny. Mba hijerena ny valin'ny fangatahana rehetra dia nosoratana i Kibana, izay serivisy tranonkala.

kibana

Kibana dia ahafahanao mikaroka, maka angon-drakitra ary manontany antontan'isa avy amin'ny angon-drakitra elasticsearch, fa ny sary sy ny dashboard tsara tarehy dia miorina amin'ny valiny. Ny rafitra ihany koa dia manana fiasa fitantanana angon-drakitra elasticsearch; amin'ny lahatsoratra manaraka dia hojerentsika amin'ny antsipiriany bebe kokoa ity serivisy ity. Andeha isika hampiseho ohatra amin'ny dashboards ho an'ny firewall Check Point sy ny scanner vulnerability OpenVas izay azo amboarina.

Ohatra iray amin'ny dashboard ho an'ny Check Point, azo kitihina ny sary:

1. Elastic stack: famakafakana ny logs fiarovana. Sava lalana

Ohatra iray amin'ny dashboard ho an'ny OpenVas, azo kitihina ny sary:

1. Elastic stack: famakafakana ny logs fiarovana. Sava lalana

famaranana

Nojerentsika ny ao anatiny Vidin'ny ELK, nifankazatra kely tamin'ny vokatra fototra izahay, any aoriana any amin'ny fianarana dia handinika manokana ny fanoratana ny rakitra fikirakirana Logstash, ny fametrahana dashboard ao amin'ny Kibana, ny fahafantarana ny fangatahana API, ny automation ary ny maro hafa!

Koa araho hatranytelegrama, Facebook, VK, TS Solution Blog), Yandex Zen.

Source: www.habr.com

Add a comment