Sa cheann deireanach bhuaileamar cruach ELK, cad iad na táirgí bogearraí atá ann. Agus is é an chéad tasc a bhíonn roimh innealtóir agus é ag obair leis an stack ELK ná logaí a sheoladh lena stóráil in elasticsearch le haghaidh anailíse ina dhiaidh sin. Mar sin féin, níl anseo ach seirbhís liopaí, déanann elasticsearch logaí a stóráil i bhfoirm doiciméad le réimsí agus luachanna áirithe, rud a chiallaíonn go gcaithfidh an t-innealtóir uirlisí éagsúla a úsáid chun an teachtaireacht a sheoltar ó na córais deiridh a pharsáil. Is féidir é seo a dhéanamh ar bhealaí éagsúla - scríobh clár tú féin a chuirfidh doiciméid leis an mbunachar sonraí ag baint úsáide as an API, nó bain úsáid as réitigh réamhdhéanta. Sa chúrsa seo déanfaimid breithniú ar an réiteach Logstash, atá mar chuid de chruach ELK. Breathnóimid ar conas is féidir linn logaí a sheoladh ó chórais críochphointí go Logstash, agus ansin cuirfimid comhad cumraíochta ar bun chun iad a pharsáil agus a atreorú chuig an mbunachar sonraí Elasticsearch. Chun seo a dhéanamh, glacann muid logaí ó bhalla dóiteáin Check Point mar an córas isteach.
Ní chlúdaíonn an cúrsa suiteáil ELK stack, ós rud é go bhfuil líon mór ailt ar an ábhar seo; déanfaimid breithniú ar an gcomhpháirt cumraíochta.
Déanaimis plean gníomhaíochta a dhréachtú do chumraíocht Logstash:
- Seiceáil go nglacfaidh elasticsearch le logaí (feidhmiúlacht agus oscailteacht an chalafoirt a sheiceáil).
- Breithnímid conas is féidir linn imeachtaí a sheoladh chuig Logstash, modh a roghnú, agus é a chur i bhfeidhm.
- Cumraigh muid Ionchur sa chomhad cumraíochta Logstash.
- Déanaimid Aschur a chumrú sa chomhad cumraíochta Logstash i mód dífhabhtaithe chun tuiscint a fháil ar an chuma atá ar an teachtaireacht logála.
- Scagaire a Shocrú.
- An tAschur ceart a shocrú in ElasticSearch.
- Seolann Logstash.
- Ag seiceáil na logaí i Kibana.
Breathnaímid ar gach pointe níos mine:
Ag seiceáil go nglacfaidh elasticsearch le logaí
Chun seo a dhéanamh, is féidir leat an t-ordú curl a úsáid chun rochtain ar Elasticsearch a sheiceáil ón gcóras ar a bhfuil Logstash imscaradh. Má tá fíordheimhniú cumraithe agat, aistrímid an t-úsáideoir/focal faire trí curl freisin, ag sonrú port 9200 mura bhfuil sé athraithe agat. Má fhaigheann tú freagra cosúil leis an gceann thíos, ansin tá gach rud in ord.
[elastic@elasticsearch ~]$ curl -u <<user_name>> : <<password>> -sS -XGET "<<ip_address_elasticsearch>>:9200"
{
"name" : "elastic-1",
"cluster_name" : "project",
"cluster_uuid" : "sQzjTTuCR8q4ZO6DrEis0A",
"version" : {
"number" : "7.4.1",
"build_flavor" : "default",
"build_type" : "rpm",
"build_hash" : "fc0eeb6e2c25915d63d871d344e3d0b45ea0ea1e",
"build_date" : "2019-10-22T17:16:35.176724Z",
"build_snapshot" : false,
"lucene_version" : "8.2.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}
[elastic@elasticsearch ~]$
Mura bhfaightear an freagra, d'fhéadfadh go mbeadh roinnt cineálacha earráidí ann: níl an próiseas elasticsearch ag rith, sonraítear an calafort mícheart, nó tá balla dóiteáin bac ar an gcalafort ar an bhfreastalaí ina bhfuil elasticsearch suiteáilte.
Breathnaímid ar conas is féidir leat logs a sheoladh chuig Logstash ó bhalla dóiteáin seicphointe
Ó fhreastalaí bainistíochta Check Point is féidir leat logaí a sheoladh chuig Logstash trí syslog ag baint úsáide as an bhfóntas log_exporter, is féidir leat tuilleadh a léamh faoi anseo , anseo ní fhágfaimid ach an t-ordú a chruthaíonn an sruth:
cp_log_export cuir ainm leis check_point_syslog target-server < > spriocphort 5555 prótacal tcp formáid cineálach léite leath-aontaithe
< > - seoladh an fhreastalaí ar a ritheann Logstash, sprioc-phort 5555 - port a sheolfaimid logaí, is féidir logs a sheoladh trí tcp an freastalaí a luchtú, mar sin i gcásanna áirithe tá sé níos ceart udp a úsáid.
INPUT a shocrú sa chomhad cumraíochta Logstash
De réir réamhshocraithe, tá an comhad cumraíochta suite san eolaire /etc/logstash/conf.d/. Tá 3 chuid brí sa chomhad cumraíochta: IONCHUR, Scagaire, ASCHUR. IN IONCHUR cuirimid in iúl cén áit a dtógfaidh an córas logaí ó, isteach Scagaire pharsáil an logáil - socraigh conas an teachtaireacht a roinnt i réimsí agus luachanna, i ASCHUR déanaimid an sruth aschuir a chumrú - áit a seolfar na logaí parsáilte.
Gcéad dul síos, a ligean ar chumrú INPUT, a mheas roinnt de na cineálacha is féidir a - comhad, tcp agus exe.
TCP:
input {
tcp {
port => 5555
host => “10.10.1.205”
type => "checkpoint"
mode => "server"
}
}
mód => "freastalaí"
Tugann sé le fios go bhfuil Logstash ag glacadh le naisc.
port => 5555
óstach => “10.10.1.205”
Glacaimid naisc trí sheoladh IP 10.10.1.205 (Logstash), calafort 5555 - ní mór an calafort a cheadú leis an mbeartas balla dóiteáin.
cineál => "seicphointe"
Déanaimid an doiciméad a mharcáil, an-áisiúil má tá roinnt nasc isteach agat. Ina dhiaidh sin, do gach nasc is féidir leat do scagaire féin a scríobh ag baint úsáide as an loighciúil más tóg.
Comhad:
input {
file {
path => "/var/log/openvas_report/*"
type => "openvas"
start_position => "beginning"
}
}
Cur síos ar na socruithe:
cosán => "/var/log/openvas_report/*"
Léirímid an t-eolaire inar gá na comhaid a léamh.
cineál => "openvas"
Cineál imeachta.
start_position => "tosú"
Nuair a athraítear comhad, léann sé an comhad iomlán; má shocraíonn tú “deireadh”, fanann an córas go mbeidh taifid nua le feiceáil ag deireadh an chomhaid.
Feidhmeannach:
input {
exec {
command => "ls -alh"
interval => 30
}
}
Ag baint úsáide as an ionchur seo, seoltar ordú blaosc (amháin!) agus déantar a aschur a iompú isteach i teachtaireacht loga.
ordú => "ls -alh"
An t-ordú a bhfuil suim againn i n-aschur.
eatramh => 30
Eatramh agairt ordú i soicindí.
Chun logaí a fháil ón mballa dóiteáin, cláraimid scagaire tcp nó udp, ag brath ar an gcaoi a seoltar na logs chuig Logstash.
Cumraímid Aschur sa chomhad cumraíochta Logstash sa mhód dífhabhtaithe chun cuma an logchomhad a thuiscint
Tar éis dúinn INPUT a chumrú, ní mór dúinn a thuiscint cén chuma a bheidh ar an teachtaireacht logála agus cad iad na modhanna is gá a úsáid chun an scagaire logála (parsálaí) a chumrú.
Chun seo a dhéanamh, úsáidfimid scagaire a aschuireann an toradh go stdout chun an teachtaireacht bhunaidh a fheiceáil; beidh cuma mar seo ar an gcomhad cumraíochta iomlán faoi láthair:
input
{
tcp
{
port => 5555
type => "checkpoint"
mode => "server"
host => “10.10.1.205”
}
}
output
{
if [type] == "checkpoint"
{
stdout { codec=> json }
}
}
Rith an t-ordú chun seiceáil:
sudo /usr/share/logstash/bin//logstash -f /etc/logstash/conf.d/checkpoint.conf
Feicimid an toradh, is féidir an pictiúr a chliceáil:
Má dhéanann tú é a chóipeáil beidh cuma mar seo air:
action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,0x5,0xfe0a0a0a,0xc0000000}" origin="10.10.10.254" originsicname="CN=ts-spb-cpgw-01,O=cp-spb-mgmt-01.tssolution.local.kncafb" sequencenum="8" time="1576766483" version="5" context_num="1" dst="10.10.10.10" dst_machine_name="[email protected]" layer_name="TSS-Standard Security" layer_name="TSS-Standard Application" layer_uuid="dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0" layer_uuid="dbee3718-cf2f-4de0-8681-529cb75be9a6" match_id="8" match_id="33554431" parent_rule="0" parent_rule="0" rule_action="Accept" rule_action="Accept" rule_name="Implicit Cleanup" rule_uid="6dc2396f-9644-4546-8f32-95d98a3344e6" product="VPN-1 & FireWall-1" proto="17" s_port="37317" service="53" service_id="domain-udp" src="10.10.1.180" ","type":"qqqqq","host":"10.10.10.250","@version":"1","port":50620}{"@timestamp":"2019-12-19T14:50:12.153Z","message":"time="1576766483" action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,
Ag féachaint ar na teachtaireachtaí seo, tuigimid go bhfuil cuma ar na logaí: réimse = luach nó eochair = luach, rud a chiallaíonn go bhfuil scagaire ar a dtugtar kv oiriúnach. Chun an scagaire ceart a roghnú do gach cás ar leith, ba mhaith an smaoineamh é eolas a chur orthu sna doiciméid theicniúla, nó fiafraí de chara.
Scagaire a Shocrú
Ag an gcéim dheireanach a roghnaigh muid kv, cuirtear cumraíocht an scagaire seo i láthair thíos:
filter {
if [type] == "checkpoint"{
kv {
value_split => "="
allow_duplicate_values => false
}
}
}
Roghnóimid an tsiombail trína roinnfimid an réimse agus an luach - “=”. Má tá iontrálacha comhionanna againn sa loga, ní shábhálaimid ach cás amháin sa bhunachar sonraí, nó beidh raon de luachanna comhionanna agat, is é sin, má tá an teachtaireacht "foo = foo = some" againn scríobhaimid ach foo = cuid.
An tAschur ceart a shocrú in ElasticSearch
Nuair a bheidh an Scagaire cumraithe, is féidir leat logaí a uaslódáil chuig an mbunachar sonraí leaisteachas:
output
{
if [type] == "checkpoint"
{
elasticsearch
{
hosts => ["10.10.1.200:9200"]
index => "checkpoint-%{+YYYY.MM.dd}"
user => "tssolution"
password => "cool"
}
}
}
Má tá an doiciméad sínithe leis an gcineál seicphointe, sábhálaimid an t-imeacht chuig an mbunachar sonraí elasticsearch, a ghlacann le naisc ar 10.10.1.200 ar phort 9200 de réir réamhshocraithe. Sábháiltear gach doiciméad chuig innéacs sonrach, sa chás seo sábhálaimid chuig an innéacs “seicphointe-” + dáta ama reatha. Is féidir le sraith réimsí ar leith a bheith ag gach innéacs, nó cruthaítear é go huathoibríoch nuair a thagann réimse nua le feiceáil i dteachtaireacht; is féidir socruithe réimse agus a gcineál a fheiceáil i mapálacha.
Má tá fíordheimhniú cumraithe agat (féachfaimid air níos déanaí), ní mór na dintiúir maidir le scríobh chuig innéacs sonrach a shonrú, sa sampla seo is “tssolution” é agus an focal faire “cool”. Is féidir leat idirdhealú a dhéanamh idir cearta úsáideora chun logaí a scríobh ach amháin chuig innéacs sonrach agus nach bhfuil níos mó.
Seoladh Logstash.
Comhad cumraíochta Logstash:
input
{
tcp
{
port => 5555
type => "checkpoint"
mode => "server"
host => “10.10.1.205”
}
}
filter {
if [type] == "checkpoint"{
kv {
value_split => "="
allow_duplicate_values => false
}
}
}
output
{
if [type] == "checkpoint"
{
elasticsearch
{
hosts => ["10.10.1.200:9200"]
index => "checkpoint-%{+YYYY.MM.dd}"
user => "tssolution"
password => "cool"
}
}
}
Seiceálaimid an comhad cumraíochta le haghaidh cruinnis:
/usr/share/logstash/bin//logstash -f checkpoint.conf
Cuir tús leis an bpróiseas Logstash:
sudo systemctl start logstash
Déanaimid seiceáil go bhfuil an próiseas tosaithe:
logstash stádas sudo systemctl
Déanaimis seiceáil an bhfuil an soicéad in airde:
glanstat -nat | grep 5555
Ag seiceáil na logaí i Kibana.
Tar éis gach rud a bheith ag rith, téigh go dtí Kibana - Faigh amach, déan cinnte go bhfuil gach rud cumraithe i gceart, is féidir an pictiúr a chliceáil!
Tá na logaí go léir i bhfeidhm agus is féidir linn na réimsí go léir agus a luachanna a fheiceáil!
Conclúid
D'fhéachamar ar conas comhad cumraíochta Logstash a scríobh, agus mar thoradh air sin fuair muid parsálaí de na réimsí agus na luachanna go léir. Anois is féidir linn oibriú le réimsí sonracha a chuardach agus a bhreacadh. Ar aghaidh sa chúrsa féachfaimid ar léirshamhlú i Kibana agus cruthóimid painéal simplí. Is fiú a lua gur gá an comhad cumraíochta Logstash a nuashonrú i gcónaí i gcásanna áirithe, mar shampla, nuair is mian linn luach réimse a athsholáthar ó uimhir go focal. In ailt ina dhiaidh sin déanfaimid é seo i gcónaí.
Mar sin fanacht tuned, , , ), .
Foinse: will.com