2. ഇലാസ്റ്റിക് സ്റ്റാക്ക്: സുരക്ഷാ ലോഗുകളുടെ വിശകലനം. ലോഗ്സ്റ്റാഷ്

അവസാനത്തിൽ ലേഖനം നമ്മൾ കണ്ടുമുട്ടി ELK സ്റ്റാക്ക്, ഏത് സോഫ്റ്റ്‌വെയർ ഉൽപ്പന്നങ്ങളാണ് ഇതിൽ അടങ്ങിയിരിക്കുന്നത്. ELK സ്റ്റാക്കിൽ പ്രവർത്തിക്കുമ്പോൾ ഒരു എഞ്ചിനീയർ അഭിമുഖീകരിക്കുന്ന ആദ്യത്തെ ടാസ്‌ക്, തുടർന്നുള്ള വിശകലനത്തിനായി ഇലാസ്റ്റിക് തിരയലിൽ സംഭരണത്തിനായി ലോഗുകൾ അയയ്ക്കുക എന്നതാണ്. എന്നിരുന്നാലും, ഇത് വെറും അധരസേവനമാണ്, ഇലാസ്റ്റിക് സെർച്ച് ചില ഫീൽഡുകളും മൂല്യങ്ങളും ഉള്ള പ്രമാണങ്ങളുടെ രൂപത്തിൽ ലോഗുകൾ സംഭരിക്കുന്നു, അതായത് എൻഡ് സിസ്റ്റങ്ങളിൽ നിന്ന് അയയ്‌ക്കുന്ന സന്ദേശം പാഴ്‌സ് ചെയ്യുന്നതിന് എഞ്ചിനീയർ വിവിധ ഉപകരണങ്ങൾ ഉപയോഗിക്കണം. ഇത് പല തരത്തിൽ ചെയ്യാം - API ഉപയോഗിച്ച് ഡാറ്റാബേസിലേക്ക് പ്രമാണങ്ങൾ ചേർക്കുന്ന ഒരു പ്രോഗ്രാം സ്വയം എഴുതുക, അല്ലെങ്കിൽ റെഡിമെയ്ഡ് സൊല്യൂഷനുകൾ ഉപയോഗിക്കുക. ഈ കോഴ്സിൽ ഞങ്ങൾ പരിഹാരം പരിഗണിക്കും Logstash, ഇത് ELK സ്റ്റാക്കിന്റെ ഭാഗമാണ്. എൻഡ്‌പോയിന്റ് സിസ്റ്റങ്ങളിൽ നിന്ന് ലോഗ്‌സ്റ്റാഷിലേക്ക് ലോഗുകൾ എങ്ങനെ അയയ്‌ക്കാമെന്ന് ഞങ്ങൾ നോക്കും, തുടർന്ന് പാഴ്‌സ് ചെയ്യാനും ഇലാസ്റ്റിക് സെർച്ച് ഡാറ്റാബേസിലേക്ക് റീഡയറക്‌ട് ചെയ്യാനും ഞങ്ങൾ ഒരു കോൺഫിഗറേഷൻ ഫയൽ സജ്ജീകരിക്കും. ഇത് ചെയ്യുന്നതിന്, ചെക്ക് പോയിന്റ് ഫയർവാളിൽ നിന്ന് ഇൻകമിംഗ് സിസ്റ്റമായി ഞങ്ങൾ ലോഗുകൾ എടുക്കുന്നു.

ഈ വിഷയത്തിൽ ധാരാളം ലേഖനങ്ങൾ ഉള്ളതിനാൽ ELK സ്റ്റാക്കിന്റെ ഇൻസ്റ്റാളേഷൻ കോഴ്‌സ് ഉൾക്കൊള്ളുന്നില്ല; ഞങ്ങൾ കോൺഫിഗറേഷൻ ഘടകം പരിഗണിക്കും.

Logstash കോൺഫിഗറേഷനായി നമുക്ക് ഒരു പ്രവർത്തന പദ്ധതി തയ്യാറാക്കാം:

1. ഇലാസ്റ്റിക് സെർച്ച് പരിശോധിക്കുന്നത് ലോഗുകൾ സ്വീകരിക്കും (പോർട്ടിന്റെ പ്രവർത്തനക്ഷമതയും തുറന്നതും പരിശോധിക്കുന്നു).
2. Logstash-ലേക്ക് ഇവന്റുകൾ എങ്ങനെ അയയ്ക്കാമെന്നും ഒരു രീതി തിരഞ്ഞെടുക്കാമെന്നും അത് നടപ്പിലാക്കാമെന്നും ഞങ്ങൾ പരിഗണിക്കുന്നു.
3. ലോഗ്സ്റ്റാഷ് കോൺഫിഗറേഷൻ ഫയലിൽ ഞങ്ങൾ ഇൻപുട്ട് കോൺഫിഗർ ചെയ്യുന്നു.
4. ലോഗ് സന്ദേശം എങ്ങനെയുണ്ടെന്ന് മനസിലാക്കാൻ ഞങ്ങൾ ഡീബഗ് മോഡിൽ Logstash കോൺഫിഗറേഷൻ ഫയലിൽ ഔട്ട്പുട്ട് കോൺഫിഗർ ചെയ്യുന്നു.
5. ഫിൽട്ടർ സജ്ജീകരിക്കുന്നു.
6. ഇലാസ്റ്റിക് സെർച്ചിൽ ശരിയായ ഔട്ട്പുട്ട് സജ്ജീകരിക്കുന്നു.
7. ലോഗ്സ്റ്റാഷ് സമാരംഭിക്കുന്നു.
8. കിബാനയിലെ ലോഗുകൾ പരിശോധിക്കുന്നു.

ഓരോ പോയിന്റും കൂടുതൽ വിശദമായി നോക്കാം:

ഇലാസ്റ്റിക് തിരയൽ ലോഗുകൾ സ്വീകരിക്കുമെന്ന് പരിശോധിക്കുന്നു

ഇത് ചെയ്യുന്നതിന്, ലോഗ്സ്റ്റാഷ് വിന്യസിച്ചിരിക്കുന്ന സിസ്റ്റത്തിൽ നിന്ന് ഇലാസ്റ്റിക് സെർച്ചിലേക്കുള്ള ആക്സസ് പരിശോധിക്കാൻ നിങ്ങൾക്ക് curl കമാൻഡ് ഉപയോഗിക്കാം. നിങ്ങൾ ആധികാരികത കോൺഫിഗർ ചെയ്‌തിട്ടുണ്ടെങ്കിൽ, ഞങ്ങൾ ഉപയോക്താവ്/പാസ്‌വേഡ് curl വഴി കൈമാറുകയും ചെയ്യുന്നു, നിങ്ങൾ അത് മാറ്റിയിട്ടില്ലെങ്കിൽ പോർട്ട് 9200 വ്യക്തമാക്കുന്നു. ചുവടെയുള്ളതിന് സമാനമായ ഒരു പ്രതികരണം നിങ്ങൾക്ക് ലഭിക്കുകയാണെങ്കിൽ, എല്ലാം ക്രമത്തിലാണ്.

[elastic@elasticsearch ~]$ curl -u <<user_name>> : <<password>> -sS -XGET "<<ip_address_elasticsearch>>:9200"
{
  "name" : "elastic-1",
  "cluster_name" : "project",
  "cluster_uuid" : "sQzjTTuCR8q4ZO6DrEis0A",
  "version" : {
    "number" : "7.4.1",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "fc0eeb6e2c25915d63d871d344e3d0b45ea0ea1e",
    "build_date" : "2019-10-22T17:16:35.176724Z",
    "build_snapshot" : false,
    "lucene_version" : "8.2.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}
[elastic@elasticsearch ~]$

പ്രതികരണം ലഭിച്ചില്ലെങ്കിൽ, നിരവധി തരത്തിലുള്ള പിശകുകൾ ഉണ്ടാകാം: ഇലാസ്റ്റിക് തിരയൽ പ്രക്രിയ പ്രവർത്തിക്കുന്നില്ല, തെറ്റായ പോർട്ട് വ്യക്തമാക്കിയിരിക്കുന്നു, അല്ലെങ്കിൽ ഇലാസ്റ്റിക് സെർച്ച് ഇൻസ്റ്റാൾ ചെയ്ത സെർവറിലെ ഒരു ഫയർവാൾ പോർട്ട് തടഞ്ഞു.

ഒരു ചെക്ക് പോയിന്റ് ഫയർവാളിൽ നിന്ന് നിങ്ങൾക്ക് ലോഗ്സ്റ്റാഷിലേക്ക് എങ്ങനെ ലോഗുകൾ അയയ്ക്കാമെന്ന് നോക്കാം

ചെക്ക് പോയിന്റ് മാനേജ്‌മെന്റ് സെർവറിൽ നിന്ന് log_exporter യൂട്ടിലിറ്റി ഉപയോഗിച്ച് നിങ്ങൾക്ക് syslog വഴി Logstash-ലേക്ക് ലോഗുകൾ അയയ്‌ക്കാൻ കഴിയും, അതിനെ കുറിച്ച് നിങ്ങൾക്ക് ഇവിടെ കൂടുതൽ വായിക്കാം ലേഖനം, ഇവിടെ ഞങ്ങൾ സ്ട്രീം സൃഷ്ടിക്കുന്ന കമാൻഡ് മാത്രം വിടും:

cp_log_export പേര് ചേർക്കുക check_point_syslog ടാർഗെറ്റ്-സെർവർ < > ടാർഗെറ്റ്-പോർട്ട് 5555 പ്രോട്ടോക്കോൾ tcp ഫോർമാറ്റ് ജനറിക് റീഡ്-മോഡ് സെമി-യൂണിഫൈഡ്

< > - Logstash പ്രവർത്തിക്കുന്ന സെർവറിന്റെ വിലാസം, target-port 5555 - ഞങ്ങൾ ലോഗുകൾ അയയ്ക്കുന്ന പോർട്ട്, tcp വഴി ലോഗുകൾ അയയ്ക്കുന്നത് സെർവർ ലോഡ് ചെയ്യാൻ കഴിയും, അതിനാൽ ചില സന്ദർഭങ്ങളിൽ udp ഉപയോഗിക്കുന്നത് കൂടുതൽ ശരിയാണ്.

Logstash കോൺഫിഗറേഷൻ ഫയലിൽ INPUT സജ്ജീകരിക്കുന്നു

സ്ഥിരസ്ഥിതിയായി, കോൺഫിഗറേഷൻ ഫയൽ /etc/logstash/conf.d/ ഡയറക്ടറിയിലാണ് സ്ഥിതി ചെയ്യുന്നത്. കോൺഫിഗറേഷൻ ഫയലിൽ 3 അർത്ഥവത്തായ ഭാഗങ്ങൾ അടങ്ങിയിരിക്കുന്നു: INPUT, FILTER, OUTPUT. IN ഇൻപുട്ട് സിസ്റ്റം എവിടെ നിന്നാണ് ലോഗുകൾ എടുക്കുന്നതെന്ന് ഞങ്ങൾ സൂചിപ്പിക്കുന്നു FILTER ലോഗ് പാഴ്‌സ് ചെയ്യുക - സന്ദേശത്തെ ഫീൽഡുകളിലേക്കും മൂല്യങ്ങളിലേക്കും എങ്ങനെ വിഭജിക്കാമെന്ന് സജ്ജീകരിക്കുക ഔട്ട്പ് ഞങ്ങൾ ഔട്ട്‌പുട്ട് സ്ട്രീം കോൺഫിഗർ ചെയ്യുന്നു - അവിടെ പാഴ്‌സ് ചെയ്‌ത ലോഗുകൾ അയയ്‌ക്കും.

ആദ്യം, നമുക്ക് INPUT കോൺഫിഗർ ചെയ്യാം, ഫയൽ, tcp, exe എന്നിങ്ങനെയുള്ള ചില തരങ്ങൾ പരിഗണിക്കുക.

ടിസിപി:

input {
tcp {
    port => 5555
    host => “10.10.1.205”
    type => "checkpoint"
    mode => "server"
}
}

മോഡ് => "സെർവർ"
Logstash കണക്ഷനുകൾ സ്വീകരിക്കുന്നതായി സൂചിപ്പിക്കുന്നു.

പോർട്ട് => 5555
ഹോസ്റ്റ് => “10.10.1.205”
IP വിലാസം 10.10.1.205 (Logstash), പോർട്ട് 5555 വഴി ഞങ്ങൾ കണക്ഷനുകൾ സ്വീകരിക്കുന്നു - ഫയർവാൾ നയം പോർട്ട് അനുവദിക്കണം.

തരം => "ചെക്ക് പോയിന്റ്"
ഞങ്ങൾ പ്രമാണം അടയാളപ്പെടുത്തുന്നു, നിങ്ങൾക്ക് നിരവധി ഇൻകമിംഗ് കണക്ഷനുകൾ ഉണ്ടെങ്കിൽ വളരെ സൗകര്യപ്രദമാണ്. തുടർന്ന്, ഓരോ കണക്ഷനും നിങ്ങൾക്ക് ലോജിക്കൽ ഇഫ് കൺസ്ട്രക്റ്റ് ഉപയോഗിച്ച് നിങ്ങളുടെ സ്വന്തം ഫിൽട്ടർ എഴുതാം.

പ്രമാണം:

input {
  file {
    path => "/var/log/openvas_report/*"
    type => "openvas"
    start_position => "beginning"
    }
}

ക്രമീകരണങ്ങളുടെ വിവരണം:
പാത => "/var/log/openvas_report/*"
ഫയലുകൾ വായിക്കേണ്ട ഡയറക്ടറി ഞങ്ങൾ സൂചിപ്പിക്കുന്നു.

തരം => "ഓപ്പൺവാസ്"
ഇവന്റ് തരം.

start_position => "ആരംഭം"
ഒരു ഫയൽ മാറ്റുമ്പോൾ, അത് മുഴുവൻ ഫയലും വായിക്കുന്നു; നിങ്ങൾ "അവസാനം" സജ്ജമാക്കുകയാണെങ്കിൽ, ഫയലിന്റെ അവസാനം പുതിയ റെക്കോർഡുകൾ ദൃശ്യമാകുന്നതിനായി സിസ്റ്റം കാത്തിരിക്കുന്നു.

എക്സി:

input {
  exec {
    command => "ls -alh"
    interval => 30
  }
}

ഈ ഇൻപുട്ട് ഉപയോഗിച്ച്, ഒരു (മാത്രം!) ഷെൽ കമാൻഡ് സമാരംഭിക്കുകയും അതിന്റെ ഔട്ട്പുട്ട് ഒരു ലോഗ് സന്ദേശമാക്കി മാറ്റുകയും ചെയ്യുന്നു.

കമാൻഡ് => "ls -alh"
ഞങ്ങൾക്ക് താൽപ്പര്യമുള്ള ഔട്ട്‌പുട്ടിന്റെ കമാൻഡ്.

ഇടവേള => 30
നിമിഷങ്ങൾക്കുള്ളിൽ കമാൻഡ് ഇൻവോക്കേഷൻ ഇടവേള.

ഫയർവാളിൽ നിന്ന് ലോഗുകൾ ലഭിക്കുന്നതിന്, ഞങ്ങൾ ഒരു ഫിൽട്ടർ രജിസ്റ്റർ ചെയ്യുന്നു tcp അഥവാ udp, ലോഗ്‌സ്റ്റാഷിലേക്ക് ലോഗുകൾ എങ്ങനെ അയയ്ക്കുന്നു എന്നതിനെ ആശ്രയിച്ചിരിക്കുന്നു.

ലോഗ് സന്ദേശം എങ്ങനെയുണ്ടെന്ന് മനസിലാക്കാൻ ഞങ്ങൾ ഡീബഗ് മോഡിൽ Logstash കോൺഫിഗറേഷൻ ഫയലിൽ ഔട്ട്പുട്ട് കോൺഫിഗർ ചെയ്യുന്നു

ഞങ്ങൾ INPUT കോൺഫിഗർ ചെയ്‌ത ശേഷം, ലോഗ് സന്ദേശം എങ്ങനെയായിരിക്കുമെന്നും ലോഗ് ഫിൽട്ടർ (പാഴ്‌സർ) കോൺഫിഗർ ചെയ്യുന്നതിന് എന്ത് രീതികളാണ് ഉപയോഗിക്കേണ്ടതെന്നും നമ്മൾ മനസ്സിലാക്കേണ്ടതുണ്ട്.

ഇത് ചെയ്യുന്നതിന്, യഥാർത്ഥ സന്ദേശം കാണുന്നതിന് ഫലം stdout-ലേക്ക് ഔട്ട്പുട്ട് ചെയ്യുന്ന ഒരു ഫിൽട്ടർ ഞങ്ങൾ ഉപയോഗിക്കും; സമ്പൂർണ്ണ കോൺഫിഗറേഷൻ ഫയൽ ഇതുപോലെ കാണപ്പെടും:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

output 
{
	if [type] == "checkpoint" 
       {
		stdout { codec=> json }
	}
}

പരിശോധിക്കാൻ കമാൻഡ് പ്രവർത്തിപ്പിക്കുക:
sudo /usr/share/logstash/bin//logstash -f /etc/logstash/conf.d/checkpoint.conf
ഞങ്ങൾ ഫലം കാണുന്നു, ചിത്രം ക്ലിക്കുചെയ്യാനാകും:

നിങ്ങൾ അത് പകർത്തിയാൽ അത് ഇതുപോലെ കാണപ്പെടും:

action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,0x5,0xfe0a0a0a,0xc0000000}" origin="10.10.10.254" originsicname="CN=ts-spb-cpgw-01,O=cp-spb-mgmt-01.tssolution.local.kncafb" sequencenum="8" time="1576766483" version="5" context_num="1" dst="10.10.10.10" dst_machine_name="[email protected]" layer_name="TSS-Standard Security" layer_name="TSS-Standard Application" layer_uuid="dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0" layer_uuid="dbee3718-cf2f-4de0-8681-529cb75be9a6" match_id="8" match_id="33554431" parent_rule="0" parent_rule="0" rule_action="Accept" rule_action="Accept" rule_name="Implicit Cleanup" rule_uid="6dc2396f-9644-4546-8f32-95d98a3344e6" product="VPN-1 & FireWall-1" proto="17" s_port="37317" service="53" service_id="domain-udp" src="10.10.1.180" ","type":"qqqqq","host":"10.10.10.250","@version":"1","port":50620}{"@timestamp":"2019-12-19T14:50:12.153Z","message":"time="1576766483" action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,

ഈ സന്ദേശങ്ങൾ നോക്കുമ്പോൾ, ലോഗുകൾ ഇതുപോലെയാണെന്ന് ഞങ്ങൾ മനസ്സിലാക്കുന്നു: ഫീൽഡ് = മൂല്യം അല്ലെങ്കിൽ കീ = മൂല്യം, അതായത് kv എന്ന ഫിൽട്ടർ അനുയോജ്യമാണ്. ഓരോ നിർദ്ദിഷ്ട കേസിനും ശരിയായ ഫിൽട്ടർ തിരഞ്ഞെടുക്കുന്നതിന്, സാങ്കേതിക ഡോക്യുമെന്റേഷനിൽ അവരുമായി സ്വയം പരിചയപ്പെടുത്തുന്നത് നല്ലതാണ്, അല്ലെങ്കിൽ ഒരു സുഹൃത്തിനോട് ചോദിക്കുക.

ഫിൽട്ടർ സജ്ജീകരിക്കുന്നു

അവസാന ഘട്ടത്തിൽ ഞങ്ങൾ kv തിരഞ്ഞെടുത്തു, ഈ ഫിൽട്ടറിന്റെ കോൺഫിഗറേഷൻ ചുവടെ അവതരിപ്പിച്ചിരിക്കുന്നു:

filter {
if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
}
}

ഫീൽഡും മൂല്യവും വിഭജിക്കുന്ന ചിഹ്നം ഞങ്ങൾ തിരഞ്ഞെടുക്കുന്നു - “=”. ലോഗിൽ ഞങ്ങൾക്ക് സമാനമായ എൻട്രികൾ ഉണ്ടെങ്കിൽ, ഞങ്ങൾ ഡാറ്റാബേസിൽ ഒരു ഉദാഹരണം മാത്രമേ സംരക്ഷിക്കുകയുള്ളൂ, അല്ലാത്തപക്ഷം നിങ്ങൾക്ക് സമാനമായ മൂല്യങ്ങളുടെ ഒരു നിര തന്നെ ലഭിക്കും, അതായത്, "foo = some foo=some" എന്ന സന്ദേശമുണ്ടെങ്കിൽ ഞങ്ങൾ foo മാത്രമേ എഴുതൂ. = ചിലത്.

ഇലാസ്റ്റിക് സെർച്ചിൽ ശരിയായ ഔട്ട്പുട്ട് സജ്ജീകരിക്കുന്നു

ഫിൽട്ടർ ക്രമീകരിച്ചുകഴിഞ്ഞാൽ, നിങ്ങൾക്ക് ഡാറ്റാബേസിലേക്ക് ലോഗുകൾ അപ്‌ലോഡ് ചെയ്യാൻ കഴിയും ഇലാസ്റ്റിക് തിരയൽ:

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

ചെക്ക്‌പോയിന്റ് തരത്തിലാണ് ഡോക്യുമെന്റ് ഒപ്പിട്ടിരിക്കുന്നതെങ്കിൽ, ഞങ്ങൾ ഇവന്റ് ഇലാസ്റ്റിക് സെർച്ച് ഡാറ്റാബേസിലേക്ക് സംരക്ഷിക്കുന്നു, അത് ഡിഫോൾട്ടായി 10.10.1.200 പോർട്ട് 9200-ൽ കണക്ഷനുകൾ സ്വീകരിക്കുന്നു. ഓരോ ഡോക്യുമെന്റും ഒരു നിർദ്ദിഷ്‌ട സൂചികയിലേക്ക് സംരക്ഷിച്ചിരിക്കുന്നു, ഈ സാഹചര്യത്തിൽ ഞങ്ങൾ സൂചിക "ചെക്ക്‌പോയിന്റ്-" + നിലവിലെ സമയ തീയതിയിലേക്ക് സംരക്ഷിക്കുന്നു. ഓരോ സൂചികയ്ക്കും ഒരു പ്രത്യേക ഫീൽഡുകൾ ഉണ്ടായിരിക്കാം, അല്ലെങ്കിൽ ഒരു സന്ദേശത്തിൽ ഒരു പുതിയ ഫീൽഡ് ദൃശ്യമാകുമ്പോൾ യാന്ത്രികമായി സൃഷ്ടിക്കപ്പെടും; ഫീൽഡ് ക്രമീകരണങ്ങളും അവയുടെ തരവും മാപ്പിംഗിൽ കാണാൻ കഴിയും.

നിങ്ങൾക്ക് ആധികാരികത കോൺഫിഗർ ചെയ്‌തിട്ടുണ്ടെങ്കിൽ (ഞങ്ങൾ അത് പിന്നീട് നോക്കാം), ഒരു നിർദ്ദിഷ്ട സൂചികയിലേക്ക് എഴുതുന്നതിനുള്ള ക്രെഡൻഷ്യലുകൾ വ്യക്തമാക്കിയിരിക്കണം, ഈ ഉദാഹരണത്തിൽ ഇത് "കൂൾ" എന്ന പാസ്‌വേഡുള്ള "tssolution" ആണ്. ഒരു നിർദ്ദിഷ്‌ട സൂചികയിലേക്ക് മാത്രം ലോഗുകൾ എഴുതാനുള്ള ഉപയോക്തൃ അവകാശങ്ങൾ നിങ്ങൾക്ക് വേർതിരിക്കാം, അതിൽ കൂടുതലൊന്നുമില്ല.

ലോഗ്സ്റ്റാഷ് സമാരംഭിക്കുക.

Logstash കോൺഫിഗറേഷൻ ഫയൽ:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

filter {
        if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
        }
}

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

കൃത്യതയ്ക്കായി ഞങ്ങൾ കോൺഫിഗറേഷൻ ഫയൽ പരിശോധിക്കുന്നു:
/usr/share/logstash/bin//logstash -f checkpoint.conf


ലോഗ്സ്റ്റാഷ് പ്രക്രിയ ആരംഭിക്കുക:
sudo systemctl start logstash

പ്രക്രിയ ആരംഭിച്ചുവെന്ന് ഞങ്ങൾ പരിശോധിക്കുന്നു:
sudo systemctl സ്റ്റാറ്റസ് ലോഗ്സ്റ്റാഷ്

സോക്കറ്റ് മുകളിലാണോയെന്ന് പരിശോധിക്കാം:
netstat -nat |grep 5555

കിബാനയിലെ ലോഗുകൾ പരിശോധിക്കുന്നു.

എല്ലാം പ്രവർത്തിച്ചതിന് ശേഷം, കിബാനയിലേക്ക് പോകുക - കണ്ടെത്തുക, എല്ലാം ശരിയായി ക്രമീകരിച്ചിട്ടുണ്ടെന്ന് ഉറപ്പാക്കുക, ചിത്രം ക്ലിക്കുചെയ്യാനാകും!

എല്ലാ ലോഗുകളും സ്ഥലത്താണ്, ഞങ്ങൾക്ക് എല്ലാ ഫീൽഡുകളും അവയുടെ മൂല്യങ്ങളും കാണാൻ കഴിയും!

തീരുമാനം

ഒരു Logstash കോൺഫിഗറേഷൻ ഫയൽ എങ്ങനെ എഴുതാമെന്ന് ഞങ്ങൾ നോക്കി, അതിന്റെ ഫലമായി ഞങ്ങൾക്ക് എല്ലാ ഫീൽഡുകളുടെയും മൂല്യങ്ങളുടെയും ഒരു പാഴ്സർ ലഭിച്ചു. ഇപ്പോൾ നമുക്ക് നിർദ്ദിഷ്ട ഫീൽഡുകൾക്കായി തിരയാനും പ്ലോട്ട് ചെയ്യാനും കഴിയും. കോഴ്‌സിൽ അടുത്തതായി ഞങ്ങൾ കിബാനയിലെ വിഷ്വലൈസേഷൻ നോക്കുകയും ലളിതമായ ഒരു ഡാഷ്‌ബോർഡ് സൃഷ്ടിക്കുകയും ചെയ്യും. ചില സാഹചര്യങ്ങളിൽ Logstash കോൺഫിഗറേഷൻ ഫയൽ നിരന്തരം അപ്‌ഡേറ്റ് ചെയ്യേണ്ടത് പ്രധാനമാണ്, ഉദാഹരണത്തിന്, ഒരു ഫീൽഡിന്റെ മൂല്യം ഒരു നമ്പറിൽ നിന്ന് ഒരു വാക്കിലേക്ക് മാറ്റിസ്ഥാപിക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു. തുടർന്നുള്ള ലേഖനങ്ങളിൽ ഞങ്ങൾ ഇത് നിരന്തരം ചെയ്യും.

അതിനാൽ തുടരുകകന്വിസന്ദേശം, ഫേസ്ബുക്ക്, VK, TS സൊല്യൂഷൻ ബ്ലോഗ്), Yandex സെൻ.

അവലംബം: www.habr.com