In novissimis conveniremus ACERVUS acervusquis sit amet dolor. Ac primum munus ingeniarius facies cum ELK acervus laborat cum ligna reposita mittit in analysi elasticis investigationis subsequentis. Nihilominus, hoc modo verbotenus, thesauraria elastica in documentorum forma cum quibusdam campis et valoribus, quae machinam significat, variis instrumentis uti debet ad nuntium e fine systematis missum ad parse. Hoc pluribus modis fieri potest - programmata scribe tibi quae documenta datorum API utentibus adde, vel solutionibus paratis utere. In hoc sane solutionem considerabimus Logstashquae est pars ELK BIBLIOTHECA. Videbimus quomodo ligna ab ultimis systematibus ad Logstash mittere possimus, et tunc limam conformationem ponemus ad parse et redirectum ad datorum elasticarum inquisitionum. Ad hoc efficiendum, trabes e reprehendo Point firewall ut ratio advenientis accipimus.
Cursus institutionem ELK acervi non operit, cum in hoc argumento sint articuli ingentes, figurationem componentium considerabimus.
Actionem rationemque Logstash conformationis conficiamus:
- Reperiens elasticam inquisitionem accepturum ligna (reprehendens functionem et apertionem portus).
- Consideramus quomodo eventus ad Logstash mittere possimus, modum eligere et eam efficiendi.
- Input in Logstash configurationis file configuramus.
- Output in Logstash configurationis lima in lusione debug configuramus ut intelligamus quid simile nuntium stipes spectet.
- Erigere Filter.
- Rectam Output in ElasticSearch erigere.
- Logstash immittit.
- Reperiens ligna in Kibana.
Intueamur quodlibet punctum planius;
Reprehendo quod elasticsearch non accipies omnia
Ad hoc utere, iussione Crispi uti potes ad reprimendam accessum ad Elasticationem e systemate quo Logstash explicatur. Si authenticas figuras habes, tum etiam usorem/password per Crispum transfermus, portum 9200 specificans si illud non mutaveris. Si responsionem inferiorem similem recipias, omnia in ordine sunt.
[elastic@elasticsearch ~]$ curl -u <<user_name>> : <<password>> -sS -XGET "<<ip_address_elasticsearch>>:9200"
{
"name" : "elastic-1",
"cluster_name" : "project",
"cluster_uuid" : "sQzjTTuCR8q4ZO6DrEis0A",
"version" : {
"number" : "7.4.1",
"build_flavor" : "default",
"build_type" : "rpm",
"build_hash" : "fc0eeb6e2c25915d63d871d344e3d0b45ea0ea1e",
"build_date" : "2019-10-22T17:16:35.176724Z",
"build_snapshot" : false,
"lucene_version" : "8.2.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}
[elastic@elasticsearch ~]$
Si responsio non recipitur, plura genera errorum esse possunt: ββprocessus elasticae non currit, portus iniuriae specificatur, vel portus praeclusus est a muro in calculo ubi elastica inquisitio inauguratus est.
Intueamur quomodo potes mittere ligna ad Logstash ex perscriptio punctum firewall
Ex Moderare Point administratione server potes ligna mittere ad Logstash per syslog utens log_exporter utilitate, plura de eo hic legere potes. hic tantum praeceps amnemque creat;
cp_log_export nomen addendi check_point_syslog scopum server < > target-portum (VLV)DLV protocol tcp format genus legere-modum semi-unificatum
< > - inscriptio servientis quo Logstash decurrit, scopo-portus 5555 - portum ad quem ligna mittemus, acta per tcp mittens servo onerare potest, sic in quibusdam casibus rectius est uti udp.
Logstash configuratione file eriges in INPUT
Defalta, fasciculus configurationis in /etc/logstash/conf.d/ indicis collocatur. Configuratio fasciculi constat ex 3 partibus significativis: INPUT, COLUM, REFERO. IN' Input indicamus ubi omnia ex systema tollet, in LIQUO parse stipes - constitue quomodo nuntium in agros et valores dividere, in REFERO output stream - ubi parsed ligna mittentur configuramus.
Primum configurare INPUT, considera quaedam genera quae esse possunt - file, tcp et exc.
Tcp:
input {
tcp {
port => 5555
host => β10.10.1.205β
type => "checkpoint"
mode => "server"
}
}
modus => "servo"
Logstash indicat nexus accipere.
portum => 5555
exercitum => "10.10.1.205"
hospites accipimus per IP inscriptionem 10.10.1.205 (Logstash), portus 5555 - portus admitti debet per consilium firemarium.
type => "LAPIS"
Documentum notamus, commodissimum est si plures hospites advenientes habes. Postmodum pro unaquaque connexione scribere potes proprium colum ad usum logicum si construendum.
file:
input {
file {
path => "/var/log/openvas_report/*"
type => "openvas"
start_position => "beginning"
}
}
Descriptio occasus:
iter => "/var/log/openvas_report/*"
Indicem indicamus in quo tabellae legendae sunt.
type => "openvas"
Vicis genus.
start_position => "principium"
Cum fasciculum mutans, fasciculum totum legit: si "finem" ponis, ratio novas tabulas exspectat ut in fine tabellae compareant.
Exec:
input {
exec {
command => "ls -alh"
interval => 30
}
}
Hoc initus utens, putamen mandatum a (tantum?) iactum est et eius output in epistulam epistulam vertitur.
imperium => "ls -alh"
Praeceptum cuius output interest.
intervallum => 30
Invocatio inter- precepti secundis.
Ut trabes ex firemuro accipiamus, filtrum subcriptio TCP aut udpsecundum quomodo acta Logstash mittuntur.
Configuramus output in Logstash configuratione file in lusione lusione ut intelligas quid iniuriarum nuntius similis
Postquam figuravimus INPUT, intellegendum est quid nuntius iniuriarum spectaret et quibus rationibus utendum sit ad configurandum colum (parser).
Ad hoc filtrum utemur, quod eventum emittit ut nuntium primigenium consideret, lima configurationis integra ad momentum hoc spectabit:
input
{
tcp
{
port => 5555
type => "checkpoint"
mode => "server"
host => β10.10.1.205β
}
}
output
{
if [type] == "checkpoint"
{
stdout { codec=> json }
}
}
Curre imperium sisto;
sudo /usr/share/logstash/bin//logstash -f /etc/logstash/conf.d/checkpoint.conf
Eventum videmus, imago strepitant;
Si id transcribere volet, hoc erit:
action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,0x5,0xfe0a0a0a,0xc0000000}" origin="10.10.10.254" originsicname="CN=ts-spb-cpgw-01,O=cp-spb-mgmt-01.tssolution.local.kncafb" sequencenum="8" time="1576766483" version="5" context_num="1" dst="10.10.10.10" dst_machine_name="[email protected]" layer_name="TSS-Standard Security" layer_name="TSS-Standard Application" layer_uuid="dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0" layer_uuid="dbee3718-cf2f-4de0-8681-529cb75be9a6" match_id="8" match_id="33554431" parent_rule="0" parent_rule="0" rule_action="Accept" rule_action="Accept" rule_name="Implicit Cleanup" rule_uid="6dc2396f-9644-4546-8f32-95d98a3344e6" product="VPN-1 & FireWall-1" proto="17" s_port="37317" service="53" service_id="domain-udp" src="10.10.1.180" ","type":"qqqqq","host":"10.10.10.250","@version":"1","port":50620}{"@timestamp":"2019-12-19T14:50:12.153Z","message":"time="1576766483" action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,
Has nuntios intuentes, intellegimus acta spectare sicut: agrum = valorem vel clavis = valorem, quod filtrum appellatur kv idoneum. Ut colum ius eligendi pro singulis casibus, utilem esset cum illis in documentis technicis consuescere aut amicum petere.
Filter in profecta
In ultimo gradu delegimus kv, quae figura huius colum infra proponitur:
filter {
if [type] == "checkpoint"{
kv {
value_split => "="
allow_duplicate_values => false
}
}
}
Symbolum eligimus quo agrum dividemus et valorem - "". Si identitatis introitus in ligno habemus, unum tantum instantia in datorum servamus, alioquin cum ordinata valorum identicorum finem habebis, hoc est, si nuntium "foo = aliquo foo=aliquem" scribimus tantum foo. = aliquo.
In ElasticSearch rectam output eriges
Cum Filter configuratur, potes ligna fasciculata ad database elasticsearch:
output
{
if [type] == "checkpoint"
{
elasticsearch
{
hosts => ["10.10.1.200:9200"]
index => "checkpoint-%{+YYYY.MM.dd}"
user => "tssolution"
password => "cool"
}
}
}
Si documentum cum LAPIS typo signatum est, eventum servamus datorum elasticarum, quae nexus in 10.10.1.200 in portu 9200 per defaltam accipit. Unumquodque documentum certo indice servatum est, hoc in casu servamus indicem "checkpoint-" + temporis hodierni. Unusquisque index certum agrorum habere potest vel sponte creatur cum novus ager in nuntio apparet, occasus campi et eorum genus in mappings considerari possunt.
Si authenticas figuras habes (respiciemus postea), documentorum scripturae ad indicem specificum specificandae sunt, in hoc exemplo "tssolutio" est cum tessera "frigus". Iura usoris differentiare potes ad omnia scribenda solum ad indicem specificum et ultra.
Logstash launch.
Logstash configuration file:
input
{
tcp
{
port => 5555
type => "checkpoint"
mode => "server"
host => β10.10.1.205β
}
}
filter {
if [type] == "checkpoint"{
kv {
value_split => "="
allow_duplicate_values => false
}
}
}
output
{
if [type] == "checkpoint"
{
elasticsearch
{
hosts => ["10.10.1.200:9200"]
index => "checkpoint-%{+YYYY.MM.dd}"
user => "tssolution"
password => "cool"
}
}
}
Nos reprehendo lima pro rectitudine configuratione:
/usr/share/logstash/bin//logstash -f checkpoint.conf
Logstash satus processus:
sudo systemctl satus logstash
Reprehendo processus quod incepit:
sudo systemctl status logstash
Sit scriptor nervum reprehendo si sursum est:
netstat -nat |grep 5555
Reperiens ligna in Kibana.
Postquam omnia currunt, Kibana pete - Discover, fac omnia recte configurari, imago strepita!
Omnes tigna in loco sunt et omnes agros eorumque bona videre possumus!
conclusio,
Inspeximus quomodo file configurationem Logstash scribere, et inde omnium agrorum bonarumque rerum exactorem consecuti sumus. Nunc opus est quaerendo et moliendo certos agros. Proxima in cursu videbimus visualizationem in Kibana et creabimus simplex ashboardday. Memorabile est tabulam configurationis Logstash constanter renovari in quibusdam adiunctis, exempli gratia, cum valorem agri ex numero ad verbum reponere velimus. Hoc constanter in subsequentibus articulis faciemus.
Itaque mane in luctum (, , , ), .
Source: www.habr.com