2. ជង់ Elastic: ការវិភាគនៃកំណត់ហេតុសុវត្ថិភាព។ ឃ្លាំងសម្ងាត់

ក្នុង​អតីតកាល អត្ថបទ យើងបានជួប ជង់ ELKតើផលិតផលសូហ្វវែរអ្វីខ្លះដែលវាមាន។ ហើយកិច្ចការដំបូងដែលវិស្វករប្រឈមមុខនៅពេលធ្វើការជាមួយ ELK stack គឺការផ្ញើកំណត់ហេតុសម្រាប់ការផ្ទុកនៅក្នុង elasticsearch សម្រាប់ការវិភាគជាបន្តបន្ទាប់។ ទោះយ៉ាងណាក៏ដោយ នេះគ្រាន់តែជាសេវាកម្មបបូរមាត់ប៉ុណ្ណោះ គេហទំព័រ elasticsearch រក្សាទុកកំណត់ហេតុជាទម្រង់ឯកសារដែលមានវាល និងតម្លៃជាក់លាក់ ដែលមានន័យថាវិស្វករត្រូវប្រើឧបករណ៍ផ្សេងៗដើម្បីញែកសារដែលត្រូវបានផ្ញើពីប្រព័ន្ធបញ្ចប់។ នេះអាចត្រូវបានធ្វើតាមវិធីជាច្រើន - សរសេរកម្មវិធីដោយខ្លួនឯងដែលនឹងបន្ថែមឯកសារទៅមូលដ្ឋានទិន្នន័យដោយប្រើ API ឬប្រើដំណោះស្រាយដែលត្រៀមរួចជាស្រេច។ នៅក្នុងវគ្គសិក្សានេះយើងនឹងពិចារណាដំណោះស្រាយ ឃ្លាំងសម្ងាត់ដែលជាផ្នែកមួយនៃជង់ ELK ។ យើងនឹងពិនិត្យមើលពីរបៀបដែលយើងអាចផ្ញើកំណត់ហេតុពីប្រព័ន្ធចុងទៅ Logstash ហើយបន្ទាប់មកយើងនឹងរៀបចំឯកសារកំណត់រចនាសម្ព័ន្ធដើម្បីញែក និងបញ្ជូនបន្តទៅមូលដ្ឋានទិន្នន័យ Elasticsearch ។ ដើម្បីធ្វើដូចនេះយើងយកកំណត់ហេតុពីជញ្ជាំងភ្លើង Check Point ជាប្រព័ន្ធចូល។

វគ្គសិក្សាមិនគ្របដណ្តប់លើការដំឡើងជង់ ELK ទេ ដោយសារមានអត្ថបទជាច្រើនលើប្រធានបទនេះ យើងនឹងពិចារណាលើធាតុផ្សំនៃការកំណត់រចនាសម្ព័ន្ធ។

ចូរយើងរៀបចំផែនការសកម្មភាពសម្រាប់ការកំណត់រចនាសម្ព័ន្ធ Logstash៖

1. ការពិនិត្យមើលថា elasticsearch នឹងទទួលយកកំណត់ហេតុ (ពិនិត្យមើលមុខងារ និងការបើកច្រក)។
2. យើងពិចារណាពីរបៀបដែលយើងអាចផ្ញើព្រឹត្តិការណ៍ទៅកាន់ Logstash ជ្រើសរើសវិធីសាស្ត្រ និងអនុវត្តវា។
3. យើងកំណត់រចនាសម្ព័ន្ធបញ្ចូលក្នុងឯកសារកំណត់រចនាសម្ព័ន្ធ Logstash ។
4. យើងកំណត់រចនាសម្ព័ន្ធលទ្ធផលនៅក្នុងឯកសារកំណត់រចនាសម្ព័ន្ធ Logstash ក្នុងរបៀបបំបាត់កំហុស ដើម្បីយល់ពីអ្វីដែលសារកំណត់ហេតុមើលទៅដូច។
5. ការដំឡើងតម្រង។
6. ការដំឡើងលទ្ធផលត្រឹមត្រូវនៅក្នុង ElasticSearch ។
7. បើកដំណើរការ Logstash ។
8. ពិនិត្យមើលកំណត់ហេតុនៅគីបាណា។

សូមក្រឡេកមើលចំណុចនីមួយៗឱ្យកាន់តែលម្អិត៖

ការពិនិត្យមើលថា elasticsearch នឹងទទួលយកកំណត់ហេតុ

ដើម្បីធ្វើដូចនេះអ្នកអាចប្រើពាក្យបញ្ជា curl ដើម្បីពិនិត្យមើលការចូលប្រើ Elasticsearch ពីប្រព័ន្ធដែល Logstash ត្រូវបានដាក់ពង្រាយ។ ប្រសិនបើអ្នកបានកំណត់រចនាសម្ព័ន្ធការផ្ទៀងផ្ទាត់ នោះយើងក៏ផ្ទេរអ្នកប្រើប្រាស់/ពាក្យសម្ងាត់តាមរយៈ curl ដោយបញ្ជាក់ច្រក 9200 ប្រសិនបើអ្នកមិនបានផ្លាស់ប្តូរវា។ ប្រសិនបើអ្នកទទួលបានការឆ្លើយតបស្រដៀងនឹងចំណុចខាងក្រោម នោះអ្វីៗគឺស្ថិតនៅក្នុងលំដាប់។

[elastic@elasticsearch ~]$ curl -u <<user_name>> : <<password>> -sS -XGET "<<ip_address_elasticsearch>>:9200"
{
  "name" : "elastic-1",
  "cluster_name" : "project",
  "cluster_uuid" : "sQzjTTuCR8q4ZO6DrEis0A",
  "version" : {
    "number" : "7.4.1",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "fc0eeb6e2c25915d63d871d344e3d0b45ea0ea1e",
    "build_date" : "2019-10-22T17:16:35.176724Z",
    "build_snapshot" : false,
    "lucene_version" : "8.2.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}
[elastic@elasticsearch ~]$

ប្រសិនបើការឆ្លើយតបមិនត្រូវបានទទួល នោះប្រហែលជាមានកំហុសជាច្រើនប្រភេទ៖ ដំណើរការស្វែងរកយឺតមិនដំណើរការ ច្រកខុសត្រូវបានបញ្ជាក់ ឬច្រកត្រូវបានរារាំងដោយជញ្ជាំងភ្លើងនៅលើម៉ាស៊ីនមេ ដែលការស្វែងរកយឺតត្រូវបានដំឡើង។

សូមក្រឡេកមើលពីរបៀបដែលអ្នកអាចផ្ញើកំណត់ហេតុទៅកាន់ Logstash ពីជញ្ជាំងភ្លើងចំណុចត្រួតពិនិត្យ

ពីម៉ាស៊ីនមេគ្រប់គ្រងចំណុចត្រួតពិនិត្យ អ្នកអាចផ្ញើកំណត់ហេតុទៅ Logstash តាមរយៈ syslog ដោយប្រើឧបករណ៍ប្រើប្រាស់ log_exporter អ្នកអាចអានបន្ថែមអំពីវានៅទីនេះ អត្ថបទនៅទីនេះយើងនឹងទុកតែពាក្យបញ្ជាដែលបង្កើតស្ទ្រីម៖

cp_log_export បន្ថែមឈ្មោះ check_point_syslog target-server < > target-port 5555 protocol tcp format generic read-mode ពាក់កណ្តាលបង្រួបបង្រួម

< > - អាសយដ្ឋានរបស់ម៉ាស៊ីនមេដែល Logstash ដំណើរការ ច្រកគោលដៅ 5555 - ច្រកដែលយើងនឹងផ្ញើកំណត់ហេតុ ការផ្ញើកំណត់ហេតុតាមរយៈ tcp អាចផ្ទុកម៉ាស៊ីនមេ ដូច្នេះក្នុងករណីខ្លះវាកាន់តែត្រឹមត្រូវក្នុងការប្រើប្រាស់ udp ។

ការដំឡើង INPUT នៅក្នុងឯកសារកំណត់រចនាសម្ព័ន្ធ Logstash

តាមលំនាំដើម ឯកសារកំណត់រចនាសម្ព័ន្ធមានទីតាំងនៅក្នុងថត /etc/logstash/conf.d/ ។ ឯកសារកំណត់រចនាសម្ព័ន្ធមាន 3 ផ្នែកដែលមានអត្ថន័យ៖ បញ្ចូល, តម្រង, ចេញ។ IN ការបញ្ចូល យើងចង្អុលបង្ហាញកន្លែងដែលប្រព័ន្ធនឹងយកកំណត់ហេតុពីក្នុង FILTER ញែកកំណត់ហេតុ - រៀបចំរបៀបបែងចែកសារទៅជាវាល និងតម្លៃ OUTPUT យើងកំណត់រចនាសម្ព័ន្ធស្ទ្រីមលទ្ធផល - ដែលជាកន្លែងដែលកំណត់ហេតុដែលបានញែកនឹងត្រូវបានផ្ញើ។

ដំបូងយើងកំណត់រចនាសម្ព័ន្ធ INPUT ពិចារណាប្រភេទមួយចំនួនដែលអាចជា - ឯកសារ tcp និង exe ។

Tcp៖

input {
tcp {
    port => 5555
    host => “10.10.1.205”
    type => "checkpoint"
    mode => "server"
}
}

របៀប => "ម៉ាស៊ីនមេ"
បង្ហាញថា Logstash កំពុងទទួលយកការតភ្ជាប់។

ច្រក => 5555
ម៉ាស៊ីន => "10.10.1.205"
យើងទទួលយកការតភ្ជាប់តាមរយៈអាសយដ្ឋាន IP 10.10.1.205 (Logstash), ច្រក 5555 - ច្រកត្រូវតែអនុញ្ញាតដោយគោលការណ៍ជញ្ជាំងភ្លើង។

ប្រភេទ => "ប៉ុស្តិ៍ត្រួតពិនិត្យ"
យើងសម្គាល់ឯកសារ ងាយស្រួលណាស់ ប្រសិនបើអ្នកមានការតភ្ជាប់ចូលច្រើន។ ក្រោយមកទៀត សម្រាប់ការតភ្ជាប់នីមួយៗ អ្នកអាចសរសេរតម្រងផ្ទាល់ខ្លួនរបស់អ្នកដោយប្រើឡូជីខលប្រសិនបើសាងសង់។

ឯកសារ:

input {
  file {
    path => "/var/log/openvas_report/*"
    type => "openvas"
    start_position => "beginning"
    }
}

ការពិពណ៌នាអំពីការកំណត់៖
ផ្លូវ => "/var/log/openvas_report/*"
យើងចង្អុលបង្ហាញថតឯកសារដែលឯកសារត្រូវអាន។

ប្រភេទ => "openvas"
ប្រភេទព្រឹត្តិការណ៍។

start_position => "ចាប់ផ្តើម"
នៅពេលផ្លាស់ប្តូរឯកសារ វាអានឯកសារទាំងមូល ប្រសិនបើអ្នកកំណត់ "បញ្ចប់" ប្រព័ន្ធនឹងរង់ចាំកំណត់ត្រាថ្មីបង្ហាញនៅចុងបញ្ចប់នៃឯកសារ។

ប្រតិបត្តិ៖

input {
  exec {
    command => "ls -alh"
    interval => 30
  }
}

ដោយប្រើការបញ្ចូលនេះ ពាក្យបញ្ជាសែល (តែប៉ុណ្ណោះ!) ត្រូវបានបើកដំណើរការ ហើយលទ្ធផលរបស់វាត្រូវបានប្រែក្លាយទៅជាសារកំណត់ហេតុ។

ពាក្យបញ្ជា => "ls -alh"
ពាក្យបញ្ជាដែលទិន្នផលដែលយើងចាប់អារម្មណ៍។

ចន្លោះពេល => ៣០
ចន្លោះពេលហៅពាក្យបញ្ជាគិតជាវិនាទី។

ដើម្បីទទួលបានកំណត់ហេតុពីជញ្ជាំងភ្លើង យើងចុះឈ្មោះតម្រង tcp ឬ pudអាស្រ័យលើរបៀបដែលកំណត់ហេតុត្រូវបានផ្ញើទៅ Logstash ។

យើងកំណត់រចនាសម្ព័ន្ធលទ្ធផលនៅក្នុងឯកសារកំណត់រចនាសម្ព័ន្ធ Logstash ក្នុងរបៀបបំបាត់កំហុស ដើម្បីយល់ពីអ្វីដែលសារកំណត់ហេតុមើលទៅដូច

បន្ទាប់​ពី​យើង​បាន​កំណត់​រចនាសម្ព័ន្ធ INPUT យើង​ត្រូវ​យល់​ថា​សារ​កំណត់​ហេតុ​នឹង​មាន​រូបរាង​យ៉ាង​ណា និង​ត្រូវ​ប្រើ​វិធី​សាស្ត្រ​ណា​ខ្លះ​ដើម្បី​កំណត់​រចនាសម្ព័ន្ធ​តម្រង​កំណត់​ហេតុ (ញែក)។

ដើម្បីធ្វើដូច្នេះ យើងនឹងប្រើតម្រងដែលបញ្ចេញលទ្ធផលទៅជា stdout ដើម្បីមើលសារដើម ឯកសារកំណត់រចនាសម្ព័ន្ធពេញលេញនៅពេលនេះនឹងមើលទៅដូចនេះ៖

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

output 
{
	if [type] == "checkpoint" 
       {
		stdout { codec=> json }
	}
}

ដំណើរការពាក្យបញ្ជាដើម្បីពិនិត្យមើល៖
sudo /usr/share/logstash/bin//logstash -f /etc/logstash/conf.d/checkpoint.conf
យើងឃើញលទ្ធផលរូបភាពអាចចុចបាន៖

ប្រសិនបើអ្នកចម្លងវានឹងមើលទៅដូចនេះ៖

action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,0x5,0xfe0a0a0a,0xc0000000}" origin="10.10.10.254" originsicname="CN=ts-spb-cpgw-01,O=cp-spb-mgmt-01.tssolution.local.kncafb" sequencenum="8" time="1576766483" version="5" context_num="1" dst="10.10.10.10" dst_machine_name="[email protected]" layer_name="TSS-Standard Security" layer_name="TSS-Standard Application" layer_uuid="dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0" layer_uuid="dbee3718-cf2f-4de0-8681-529cb75be9a6" match_id="8" match_id="33554431" parent_rule="0" parent_rule="0" rule_action="Accept" rule_action="Accept" rule_name="Implicit Cleanup" rule_uid="6dc2396f-9644-4546-8f32-95d98a3344e6" product="VPN-1 & FireWall-1" proto="17" s_port="37317" service="53" service_id="domain-udp" src="10.10.1.180" ","type":"qqqqq","host":"10.10.10.250","@version":"1","port":50620}{"@timestamp":"2019-12-19T14:50:12.153Z","message":"time="1576766483" action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,

ក្រឡេកមើលសារទាំងនេះ យើងយល់ថាកំណត់ហេតុមើលទៅដូច៖ វាល = តម្លៃ ឬគន្លឹះ = តម្លៃ ដែលមានន័យថាតម្រងដែលហៅថា kv គឺសមរម្យ។ ដើម្បីជ្រើសរើសតម្រងត្រឹមត្រូវសម្រាប់ករណីជាក់លាក់នីមួយៗ វាជាការល្អក្នុងការស្គាល់ខ្លួនអ្នកជាមួយពួកគេនៅក្នុងឯកសារបច្ចេកទេស ឬសួរមិត្តភក្តិ។

ការដំឡើងតម្រង

នៅដំណាក់កាលចុងក្រោយដែលយើងជ្រើសរើស kv ការកំណត់រចនាសម្ព័ន្ធនៃតម្រងនេះត្រូវបានបង្ហាញដូចខាងក្រោម៖

filter {
if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
}
}

យើងជ្រើសរើសនិមិត្តសញ្ញាដែលយើងនឹងបែងចែកវាលនិងតម្លៃ - "=" ។ ប្រសិនបើយើងមានធាតុដូចគ្នាបេះបិទនៅក្នុងកំណត់ហេតុ នោះយើងរក្សាទុកតែវត្ថុមួយក្នុងមូលដ្ឋានទិន្នន័យ បើមិនដូច្នេះទេអ្នកនឹងបញ្ចប់ដោយអារេនៃតម្លៃដូចគ្នា ពោលគឺប្រសិនបើយើងមានសារ “foo = some foo=some” យើងសរសេរតែ foo = ខ្លះ។

ការដំឡើងលទ្ធផលត្រឹមត្រូវនៅក្នុង ElasticSearch

នៅពេលដែល Filter ត្រូវបានកំណត់រចនាសម្ព័ន្ធ អ្នកអាចផ្ទុកឡើងកំណត់ហេតុទៅកាន់មូលដ្ឋានទិន្នន័យ សរសៃពួរ។:

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

ប្រសិនបើឯកសារត្រូវបានចុះហត្ថលេខាជាមួយនឹងប្រភេទ checkpoint នោះយើងរក្សាទុកព្រឹត្តិការណ៍នេះទៅក្នុងឃ្លាំងទិន្នន័យ elasticsearch ដែលទទួលយកការតភ្ជាប់នៅលើ 10.10.1.200 នៅលើច្រក 9200 តាមលំនាំដើម។ ឯកសារនីមួយៗត្រូវបានរក្សាទុកទៅក្នុងលិបិក្រមជាក់លាក់មួយ ក្នុងករណីនេះយើងរក្សាទុកទៅក្នុងលិបិក្រម "checkpoint-" + កាលបរិច្ឆេទពេលវេលាបច្ចុប្បន្ន។ លិបិក្រមនីមួយៗអាចមានសំណុំវាលជាក់លាក់មួយ ឬត្រូវបានបង្កើតដោយស្វ័យប្រវត្តិនៅពេលដែលវាលថ្មីលេចឡើងក្នុងសារ ការកំណត់វាល និងប្រភេទរបស់ពួកគេអាចត្រូវបានមើលនៅក្នុងការគូសវាស។

ប្រសិនបើអ្នកបានកំណត់រចនាសម្ព័ន្ធការផ្ទៀងផ្ទាត់ភាពត្រឹមត្រូវ (យើងនឹងមើលវានៅពេលក្រោយ) លិខិតសម្គាល់សម្រាប់ការសរសេរទៅកាន់លិបិក្រមជាក់លាក់ត្រូវតែបញ្ជាក់ ក្នុងឧទាហរណ៍នេះវាគឺជា "tssolution" ជាមួយពាក្យសម្ងាត់ "ត្រជាក់" ។ អ្នក​អាច​បែងចែក​សិទ្ធិ​អ្នក​ប្រើ​ខុស​គ្នា​ក្នុង​ការ​សរសេរ​កំណត់​ហេតុ​តែ​ក្នុង​លិបិក្រម​ជាក់លាក់​ប៉ុណ្ណោះ ហើយ​មិន​មាន​ទៀត​ទេ។

បើកដំណើរការ Logstash ។

ឯកសារកំណត់រចនាសម្ព័ន្ធ Logstash៖

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

filter {
        if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
        }
}

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

យើងពិនិត្យមើលឯកសារកំណត់រចនាសម្ព័ន្ធសម្រាប់ភាពត្រឹមត្រូវ៖
/usr/share/logstash/bin//logstash -f checkpoint.conf


ចាប់ផ្តើមដំណើរការ Logstash៖
sudo systemctl ចាប់ផ្តើម logstash

យើងពិនិត្យមើលថាដំណើរការបានចាប់ផ្តើម៖
sudo systemctl ស្ថានភាព logstash

តោះ​ពិនិត្យ​មើល​ថា​តើ​រន្ធ​ឡើង​ឬ​អត់៖
netstat -nat | grep 5555

ពិនិត្យមើលកំណត់ហេតុនៅគីបាណា។

បន្ទាប់ពីអ្វីៗដំណើរការហើយ សូមចូលទៅកាន់ Kibana - Discover ត្រូវប្រាកដថាអ្វីៗត្រូវបានតំឡើងយ៉ាងត្រឹមត្រូវ រូបភាពអាចចុចបាន!

កំណត់ហេតុទាំងអស់គឺនៅនឹងកន្លែង ហើយយើងអាចមើលឃើញវាលទាំងអស់ និងតម្លៃរបស់វា!

សេចក្តីសន្និដ្ឋាន

យើងបានមើលពីរបៀបសរសេរឯកសារកំណត់រចនាសម្ព័ន្ធ Logstash ហើយជាលទ្ធផល យើងទទួលបានការវិភាគនៃវាល និងតម្លៃទាំងអស់។ ឥឡូវនេះយើងអាចធ្វើការជាមួយការស្វែងរក និងគ្រោងសម្រាប់វាលជាក់លាក់។ បន្ទាប់នៅក្នុងវគ្គសិក្សា យើងនឹងពិនិត្យមើលការមើលឃើញនៅក្នុង Kibana និងបង្កើតផ្ទាំងគ្រប់គ្រងដ៏សាមញ្ញមួយ។ វាមានតម្លៃក្នុងការនិយាយថាឯកសារកំណត់រចនាសម្ព័ន្ធ Logstash ចាំបាច់ត្រូវធ្វើបច្ចុប្បន្នភាពជានិច្ចក្នុងស្ថានភាពជាក់លាក់ ឧទាហរណ៍នៅពេលយើងចង់ជំនួសតម្លៃនៃវាលពីលេខមួយទៅពាក្យមួយ។ នៅក្នុងអត្ថបទបន្តបន្ទាប់ យើងនឹងធ្វើវាឥតឈប់ឈរ។

ដូច្នេះសូមរង់ចាំ (Telegram, Facebook, VK, ប្លុក TS Solution), Yandex.Zen.

ប្រភព: www.habr.com