2. ელასტიური დასტა: უსაფრთხოების ჟურნალების ანალიზი. ლოგსტაში

Ბოლოს მუხლი ჩვენ შევხვდით ELK დასტარა პროგრამული პროდუქტებისგან შედგება. და პირველი ამოცანა, რომელსაც ინჟინერი აწყდება ELK სტეკთან მუშაობისას, არის ჟურნალების გაგზავნა elasticsearch-ში შესანახად შემდგომი ანალიზისთვის. თუმცა, ეს მხოლოდ ტუჩის სერვისია, elasticsearch ინახავს ჟურნალებს დოკუმენტების სახით გარკვეული ველებით და მნიშვნელობებით, რაც ნიშნავს, რომ ინჟინერმა უნდა გამოიყენოს სხვადასხვა ინსტრუმენტები ბოლო სისტემებიდან გაგზავნილი შეტყობინების გასაანალიზებლად. ეს შეიძლება გაკეთდეს რამდენიმე გზით - თავად დაწერეთ პროგრამა, რომელიც დაამატებს დოკუმენტებს მონაცემთა ბაზაში API-ს გამოყენებით, ან გამოიყენეთ მზა გადაწყვეტილებები. ამ კურსში განვიხილავთ გამოსავალს ლოგსტაში, რომელიც ELK სტეკის ნაწილია. ჩვენ გადავხედავთ, თუ როგორ შეგვიძლია გამოვიგზავნოთ ჟურნალები ბოლო წერტილიდან სისტემებიდან Logstash-ში, შემდეგ კი დავაყენებთ კონფიგურაციის ფაილს, რათა გავაანალიზოთ და გადამისამართდეთ Elasticsearch მონაცემთა ბაზაში. ამისათვის ჩვენ ვიღებთ ჩანაწერებს Check Point firewall-იდან, როგორც შემომავალი სისტემა.

კურსი არ მოიცავს ELK სტეკის ინსტალაციას, რადგან ამ თემაზე სტატიების დიდი რაოდენობაა; ჩვენ განვიხილავთ კონფიგურაციის კომპონენტს.

მოდით შევადგინოთ სამოქმედო გეგმა Logstash-ის კონფიგურაციისთვის:

1. შეამოწმეთ, რომ elasticsearch მიიღებს ჟურნალებს (პორტის ფუნქციონირებისა და გახსნილობის შემოწმება).
2. ჩვენ განვიხილავთ, თუ როგორ შეგვიძლია გავაგზავნოთ მოვლენები Logstash-ში, ავირჩიოთ მეთოდი და განვახორციელოთ იგი.
3. ჩვენ ვაკონფიგურირებთ Input-ს Logstash-ის კონფიგურაციის ფაილში.
4. ჩვენ ვაკონფიგურირებთ Output-ს Logstash-ის კონფიგურაციის ფაილში გამართვის რეჟიმში, რათა გავიგოთ, როგორ გამოიყურება ჟურნალის შეტყობინება.
5. ფილტრის დაყენება.
6. ElasticSearch-ში სწორი გამოსავლის დაყენება.
7. Logstash გაშვება.
8. მორების შემოწმება კიბანაში.

მოდით შევხედოთ თითოეულ პუნქტს უფრო დეტალურად:

შემოწმება, რომ elasticsearch მიიღებს ჟურნალებს

ამისათვის შეგიძლიათ გამოიყენოთ curl ბრძანება, რათა შეამოწმოთ წვდომა Elasticsearch-ზე იმ სისტემიდან, რომელზეც Logstash არის განლაგებული. თუ თქვენ გაქვთ ავტორიზაციის კონფიგურაცია, მაშინ ჩვენ ასევე გადავცემთ მომხმარებელს/პაროლს curl-ის საშუალებით, 9200 პორტის მითითებით, თუ ის არ შეგიცვლიათ. თუ თქვენ მიიღებთ ქვემოთ მოცემულ პასუხს, მაშინ ყველაფერი რიგზეა.

[elastic@elasticsearch ~]$ curl -u <<user_name>> : <<password>> -sS -XGET "<<ip_address_elasticsearch>>:9200"
{
  "name" : "elastic-1",
  "cluster_name" : "project",
  "cluster_uuid" : "sQzjTTuCR8q4ZO6DrEis0A",
  "version" : {
    "number" : "7.4.1",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "fc0eeb6e2c25915d63d871d344e3d0b45ea0ea1e",
    "build_date" : "2019-10-22T17:16:35.176724Z",
    "build_snapshot" : false,
    "lucene_version" : "8.2.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}
[elastic@elasticsearch ~]$

თუ პასუხი არ მიიღება, მაშინ შეიძლება იყოს რამდენიმე სახის შეცდომა: elasticsearch პროცესი არ მუშაობს, მითითებულია არასწორი პორტი, ან პორტი დაბლოკილია ფაირვოლით სერვერზე, სადაც დაყენებულია elasticsearch.

მოდით შევხედოთ, თუ როგორ შეგიძლიათ გააგზავნოთ ჟურნალები Logstash-ში გამშვები პუნქტის firewall-იდან

Check Point-ის მართვის სერვერიდან შეგიძლიათ Logstash-ს გაუგზავნოთ ჟურნალები syslog-ის მეშვეობით log_exporter უტილიტის გამოყენებით, ამის შესახებ მეტი შეგიძლიათ წაიკითხოთ აქ მუხლი, აქ დავტოვებთ მხოლოდ ბრძანებას, რომელიც ქმნის ნაკადს:

cp_log_export დაამატეთ სახელი check_point_syslog target-server < > target-port 5555 პროტოკოლი tcp ფორმატის ზოგადი წაკითხვის რეჟიმი ნახევრად ერთიანი

< > - სერვერის მისამართი, რომელზედაც მუშაობს Logstash, target-port 5555 - პორტი, რომელზედაც გამოგიგზავნით ლოგებს, tcp-ით ლოგების გაგზავნას შეუძლია სერვერის ჩატვირთვა, ამიტომ ზოგიერთ შემთხვევაში უფრო სწორია udp-ის გამოყენება.

INPUT-ის დაყენება Logstash-ის კონფიგურაციის ფაილში

ნაგულისხმევად, კონფიგურაციის ფაილი მდებარეობს დირექტორიაში /etc/logstash/conf.d/. კონფიგურაციის ფაილი შედგება 3 მნიშვნელოვანი ნაწილისგან: INPUT, FILTER, OUTPUT. IN შეტანა ჩვენ მივუთითებთ, საიდან მიიღებს სისტემა ჟურნალებს ფილტრი ჟურნალის გაანალიზება - დააყენეთ, თუ როგორ უნდა დაიყოს შეტყობინება ველებად და მნიშვნელობებად, in OUTPUT ჩვენ ვაკონფიგურირებთ გამომავალი ნაკადს - სადაც გაიგზავნება გაანალიზებული ჟურნალები.

პირველ რიგში, მოდით დავაკონფიგურიროთ INPUT, განვიხილოთ რამდენიმე ტიპი, რომელიც შეიძლება იყოს - ფაილი, tcp და exe.

TCP:

input {
tcp {
    port => 5555
    host => “10.10.1.205”
    type => "checkpoint"
    mode => "server"
}
}

რეჟიმი => "სერვერი"
მიუთითებს, რომ Logstash იღებს კავშირებს.

პორტი => 5555
მასპინძელი => „10.10.1.205“
ჩვენ ვიღებთ კავშირებს IP მისამართით 10.10.1.205 (Logstash), პორტი 5555 - პორტი უნდა იყოს დაშვებული firewall-ის პოლიტიკით.

ტიპი => "გამშვები პუნქტი"
ჩვენ აღვნიშნავთ დოკუმენტს, ძალიან მოსახერხებელია, თუ თქვენ გაქვთ რამდენიმე შემომავალი კავშირი. შემდგომში, თითოეული კავშირისთვის შეგიძლიათ დაწეროთ საკუთარი ფილტრი ლოგიკური if კონსტრუქციის გამოყენებით.

ფაილი:

input {
  file {
    path => "/var/log/openvas_report/*"
    type => "openvas"
    start_position => "beginning"
    }
}

პარამეტრების აღწერა:
გზა => "/var/log/openvas_report/*"
ჩვენ მივუთითებთ დირექტორიას, რომელშიც ფაილები უნდა წაიკითხონ.

ტიპი => "openvas"
ღონისძიების ტიპი.

start_position => "დასაწყისი"
ფაილის შეცვლისას ის კითხულობს მთელ ფაილს; თუ დააყენეთ "end", სისტემა ელოდება ახალი ჩანაწერების გამოჩენას ფაილის ბოლოს.

Exec:

input {
  exec {
    command => "ls -alh"
    interval => 30
  }
}

ამ შეყვანის გამოყენებით, ამოქმედდება (მხოლოდ!) ჭურვის ბრძანება და მისი გამომავალი გადაიქცევა ჟურნალის შეტყობინებად.

ბრძანება => "ls -alh"
ბრძანება, რომლის შედეგიც ჩვენ გვაინტერესებს.

ინტერვალი => 30
ბრძანების გამოძახების ინტერვალი წამებში.

იმისათვის, რომ მივიღოთ ჟურნალები firewall-იდან, ჩვენ ვარეგისტრირებთ ფილტრს tcp ან უდფ, იმის მიხედვით, თუ როგორ იგზავნება ჟურნალები Logstash-ში.

ჩვენ ვაკონფიგურირებთ Output-ს Logstash-ის კონფიგურაციის ფაილში გამართვის რეჟიმში, რათა გავიგოთ, როგორ გამოიყურება ჟურნალის შეტყობინება

მას შემდეგ რაც ჩვენ დავაკონფიგურირებთ INPUT, უნდა გავიგოთ, როგორი იქნება ჟურნალის შეტყობინება და რა მეთოდების გამოყენებაა საჭირო ჟურნალის ფილტრის (პარსერის) კონფიგურაციისთვის.

ამისათვის ჩვენ გამოვიყენებთ ფილტრს, რომელიც გამოსცემს შედეგს stdout-ში, რათა ნახოთ ორიგინალური შეტყობინება; სრული კონფიგურაციის ფაილი ამ მომენტში ასე გამოიყურება:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

output 
{
	if [type] == "checkpoint" 
       {
		stdout { codec=> json }
	}
}

შეასრულეთ ბრძანება შესამოწმებლად:
sudo /usr/share/logstash/bin//logstash -f /etc/logstash/conf.d/checkpoint.conf
ჩვენ ვხედავთ შედეგს, სურათის დაჭერა შესაძლებელია:

თუ დააკოპირებთ, ასე გამოიყურება:

action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,0x5,0xfe0a0a0a,0xc0000000}" origin="10.10.10.254" originsicname="CN=ts-spb-cpgw-01,O=cp-spb-mgmt-01.tssolution.local.kncafb" sequencenum="8" time="1576766483" version="5" context_num="1" dst="10.10.10.10" dst_machine_name="[email protected]" layer_name="TSS-Standard Security" layer_name="TSS-Standard Application" layer_uuid="dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0" layer_uuid="dbee3718-cf2f-4de0-8681-529cb75be9a6" match_id="8" match_id="33554431" parent_rule="0" parent_rule="0" rule_action="Accept" rule_action="Accept" rule_name="Implicit Cleanup" rule_uid="6dc2396f-9644-4546-8f32-95d98a3344e6" product="VPN-1 & FireWall-1" proto="17" s_port="37317" service="53" service_id="domain-udp" src="10.10.1.180" ","type":"qqqqq","host":"10.10.10.250","@version":"1","port":50620}{"@timestamp":"2019-12-19T14:50:12.153Z","message":"time="1576766483" action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,

ამ შეტყობინებების დათვალიერებისას, ჩვენ გვესმის, რომ ჟურნალები ასე გამოიყურება: ველი = მნიშვნელობა ან გასაღები = მნიშვნელობა, რაც ნიშნავს, რომ ფილტრი სახელად kv შესაფერისია. იმისათვის, რომ აირჩიოთ სწორი ფილტრი თითოეული კონკრეტული შემთხვევისთვის, კარგი იქნება, გაეცნოთ მათ ტექნიკურ დოკუმენტაციაში, ან ჰკითხოთ მეგობარს.

ფილტრის დაყენება

ბოლო ეტაპზე ჩვენ შევარჩიეთ kv, ამ ფილტრის კონფიგურაცია წარმოდგენილია ქვემოთ:

filter {
if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
}
}

ვირჩევთ სიმბოლოს, რომლითაც გავყოფთ ველს და მნიშვნელობას - “=”. თუ ჩვენ გვაქვს იდენტური ჩანაწერები ჟურნალში, ჩვენ ვინახავთ მხოლოდ ერთ მაგალითს მონაცემთა ბაზაში, წინააღმდეგ შემთხვევაში თქვენ მიიღებთ იდენტური მნიშვნელობების მასივს, ანუ თუ გვექნება შეტყობინება „foo = some foo=some“ ჩვენ ვწერთ მხოლოდ foo. = ზოგიერთი.

ElasticSearch-ში სწორი გამოსავლის დაყენება

ფილტრის კონფიგურაციის შემდეგ, შეგიძლიათ ატვირთოთ ჟურნალები მონაცემთა ბაზაში ელასტიური:

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

თუ დოკუმენტი ხელმოწერილია საგუშაგოს ტიპის მიხედვით, ჩვენ ვინახავთ მოვლენას elasticsearch მონაცემთა ბაზაში, რომელიც ნაგულისხმევად იღებს კავშირებს 10.10.1.200 პორტზე 9200. თითოეული დოკუმენტი ინახება კონკრეტულ ინდექსში, ამ შემთხვევაში ჩვენ ვინახავთ ინდექსში „გამშვები პუნქტი-“ + მიმდინარე დროის თარიღი. თითოეულ ინდექსს შეიძლება ჰქონდეს ველების კონკრეტული ნაკრები, ან იქმნება ავტომატურად, როდესაც ახალი ველი გამოჩნდება შეტყობინებაში; ველის პარამეტრები და მათი ტიპი შეიძლება ნახოთ რუკებში.

თუ თქვენ გაქვთ ავტორიზაციის კონფიგურაცია (ამას მოგვიანებით განვიხილავთ), უნდა იყოს მითითებული სერთიფიკატები კონკრეტულ ინდექსზე ჩასაწერად, ამ მაგალითში ეს არის "tssolution" პაროლით "cool". თქვენ შეგიძლიათ განასხვავოთ მომხმარებლის უფლებები, რომ ჩაწეროთ ჟურნალი მხოლოდ კონკრეტულ ინდექსზე და არა მეტი.

გაუშვით Logstash.

Logstash კონფიგურაციის ფაილი:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

filter {
        if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
        }
}

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

ჩვენ ვამოწმებთ კონფიგურაციის ფაილს სისწორისთვის:
/usr/share/logstash/bin//logstash -f checkpoint.conf


დაიწყეთ Logstash პროცესი:
sudo systemctl დაიწყე logstash

ჩვენ ვამოწმებთ, რომ პროცესი დაიწყო:
sudo systemctl სტატუსი logstash

მოდით შევამოწმოთ, არის თუ არა სოკეტი:
netstat -nat |grep 5555

მორების შემოწმება კიბანაში.

მას შემდეგ რაც ყველაფერი გაშვებულია, გადადით კიბანაში - აღმოაჩინეთ, დარწმუნდით, რომ ყველაფერი სწორად არის კონფიგურირებული, სურათზე დაწკაპუნებაა!

ყველა ჟურნალი ადგილზეა და ჩვენ ვხედავთ ყველა ველს და მათ მნიშვნელობებს!

დასკვნა

ჩვენ გადავხედეთ, თუ როგორ უნდა დავწეროთ Logstash კონფიგურაციის ფაილი და შედეგად მივიღეთ ყველა ველისა და მნიშვნელობის პარსერი. ახლა ჩვენ შეგვიძლია ვიმუშაოთ კონკრეტული ველების ძიებასა და შედგენაზე. შემდეგ კურსში ჩვენ შევხედავთ ვიზუალიზაციას Kibana-ში და შევქმნით მარტივ დაფას. აღსანიშნავია, რომ Logstash-ის კონფიგურაციის ფაილი მუდმივად უნდა განახლდეს გარკვეულ სიტუაციებში, მაგალითად, როდესაც გვინდა შევცვალოთ ველის მნიშვნელობა რიცხვიდან სიტყვაზე. მომდევნო სტატიებში ჩვენ ამას მუდმივად გავაკეთებთ.

ასე რომ დარჩით (დეპეშა, Facebook, VK, TS Solution ბლოგი), Yandex Zen.

წყარო: www.habr.com