Marka la eego dhamaadka iibka ee Ruushka ee nidaamka goynta Splunk iyo falanqaynta, su'aashu waxay soo baxday: maxaa ku bedeli kara xalkan? Ka dib markii aan waqti ku qaatay inaan naftayda barano xalal kala duwan, waxaan xalliyey xalka nin dhab ah - "Qalabka ELK". Nidaamkani wuxuu qaadanayaa waqti in la dejiyo, laakiin natiijadu waxay tahay waxaad heli kartaa nidaam aad u awood badan oo lagu falanqeeyo heerka oo isla markiiba uga jawaabo shilalka amniga macluumaadka ee ururka. Maqaalladan taxanaha ah, waxaan eegi doonaa aasaaska (ama laga yaabo inaysan ahayn) awoodaha xirmooyinka ELK, tixgeli sida aad u kala saari karto qoraallada, sida loo dhiso garaafyada iyo dashboards, iyo waxa hawlaha xiisaha leh ee la samayn karo iyadoo la adeegsanayo tusaalaha logs Check Point firewall ama iskaanka amniga OpenVas. Si aan u bilowno, aan eegno waxa ay tahay - xirmada ELK, iyo qaybaha ay ka kooban tahay.
"Qalabka ELK" waa soo gaabinta saddex mashruuc oo il furan: Elasticsearch, Logstash ΠΈ Kibana. Waxaa sameeyay Elastic oo ay weheliyaan dhammaan mashaariicda la xidhiidha. Elasticsearch waa udub dhexaadka nidaamka oo dhan, kaas oo isku daraa hawlaha kaydka xogta, goobidda iyo nidaamka falanqaynta. Logstash waa dhuumaha habaynta xogta ee dhinaca server-ka ah kaas oo ka hela xogta ilo badan isku mar, turjuma log, ka dibna u diraya xogta Elasticsearch. Kibana waxay u ogolaataa isticmaalayaasha inay sawiraan xogta iyagoo isticmaalaya jaantusyada iyo garaafyada Elasticsearch. Waxa kale oo aad ku maamuli kartaa xogta adiga oo isticmaalaya Kibana. Marka xigta, waxaan u tixgelin doonaa nidaam kasta si gaar ah si faahfaahsan.
Logstash
Logstash waa utility loogu talagalay dhacdooyinka log ka ilo kala duwan, kaas oo aad ku dooran karto beeraha iyo qiyamka ay fariin, oo aad sidoo kale u habayn kartaa xogta shaandhaynta iyo tafatirka. Ka dib dhammaan wax-is-daba-marinta, Logstash waxay u jihaysaa dhacdooyinka kaydka xogta kama dambaysta ah. Utility waxaa lagu habeeyey oo kaliya iyada oo loo marayo faylasha qaabeynta.
Qaabeynta logstash-ka caadiga ah waa faylal ka kooban dhowr ilood oo macluumaad ah oo soo galaya ( gelin), dhowr filtarrada macluumaadkan (shaandhaynta) iyo durdurro badan oo baxaya (wax soo saar). Waxay u egtahay hal ama kabadan faylasha qaabeynta, kaas oo ku jira nooca ugu fudud (oo aan waxba qabanin haba yaraatee) sidan u eg:
input {
}
filter {
}
output {
}
INPUT gudaheeda waxa aanu ku habaynaynaa dekeda logu soo diri doono iyo hab-maamuuska, ama galkee lagu akhriyi karo faylal cusub ama joogto ah. FILTER-ka waxaan ku habaynaynaa parser-ka: goobaha kala shaandheynta, qiyamka tafatirka, ku darida xaddiyada cusub ama tirtirida. FILTER waa goob lagu maamulo fariinta u timaada Logstash oo leh xulashooyin tafatir badan. Soo saarista waxaan dejineynaa meesha aan u dirno log-ka horeba la kala soocay, haddii ay lacalla tahay elasticsearch codsi JSON ah ayaa loo soo diraa meelaha qiyamka leh la diro, ama qayb ka mid ah cilladaha waxaa loo soo saari karaa stdout ama loo qori karaa fayl.
ElasticSearch
Markii hore, Elasticsearch waa xalka raadinta qoraal buuxa, laakiin leh adeegyo dheeri ah sida miisaan fudud, ku celcelin iyo waxyaabo kale, taas oo ka dhigtay badeecada mid aad u habboon iyo xal wanaagsan oo loogu talagalay mashaariicda culeyska sare leh oo leh xog badan. Elasticsearch waa dukumeenti dukumeenti ah (NoSQL) JSON aan xidhiidh la lahayn iyo makiinad raadin oo ku salaysan Lucene raadinta qoraal buuxa. Qalabka qalabku waa Java Virtual Machine, markaa nidaamku wuxuu u baahan yahay qadar badan oo processor ah iyo RAM si uu u shaqeeyo.
Farriin kasta oo soo gasha, ha ahaato Logstash ama iyadoo la adeegsanayo API-ga weydiinta, waxaa loo tixgaliyay sidii "document" - oo la mid ah miiska SQL ee xiriirka ah. Dhammaan dukumeentiyadu waxay ku kaydsan yihiin tusmaynta - analooga kaydka xogta ee SQL.
Tusaale dukumeenti ku jira kaydka xogta:
{
"_index": "checkpoint-2019.10.10",
"_type": "_doc",
"_id": "yvNZcWwBygXz5W1aycBy",
"_version": 1,
"_score": null,
"_source": {
"layer_uuid": [
"dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
"dbee3718-cf2f-4de0-8681-529cb75be9a6"
],
"outzone": "External",
"layer_name": [
"TSS-Standard Security",
"TSS-Standard Application"
],
"time": "1565269565",
"dst": "103.5.198.210",
"parent_rule": "0",
"host": "10.10.10.250",
"ifname": "eth6",
]
}
Dhammaan shaqada xog-ururinta waxay ku saleysan tahay codsiyada JSON iyadoo la adeegsanayo REST API, taasoo ama soo saarta dukumentiyada tusmada ama tirokoobyada qaabka: su'aal - jawaab. Si loo sawiro dhammaan jawaabaha codsiyada, Kibana waa la qoray, kaas oo ah adeegga shabakadda.
Kibana
Kibana waxa ay kuu ogolaataa in aad raadiso, soo qaadato xogta iyo inaad waydiiso tirakoobka xogta elasticsearch, laakiin garaafyo badan oo qurux badan iyo dashboards ayaa la dhisay iyadoo lagu salaynayo jawaabaha. Nidaamku waxa kale oo uu leeyahay hawlkarnimo maamulka xogta elasticsearch; maqaallada soo socda waxa aan si faahfaahsan u eegi doonaa adeeggan. Hadda aan tusno tusaale dashboards loogu talagalay Firewall-ka Check Point iyo iskaanka dayacanka OpenVas ee la dhisi karo.
Tusaalaha dashboard-ka ee Check Point, sawirku waa la gujin karaa:
Tusaale dashboardka OpenVas, sawirku waa la gujin karaa:
gunaanad
Waxaan eegnay waxa uu ka kooban yahay kaydka ELK, Waxaan wax yar baranay alaabada ugu muhiimsan, koorsada dambe waxaan si gooni gooni ah u tixgelin doonaa qorista faylka qaabeynta Logstash, sameynta dashboards on Kibana, barato codsiyada API, otomaatigyada iyo wax ka badan!
Hadaba la soco, , , ), .
Source: www.habr.com