🥇2. लवचिक स्टॅक: सुरक्षा लॉगचे विश्लेषण. लॉगस्टॅश

शेवटी लेख आपण भेटलो ELK स्टॅक, त्यात कोणत्या सॉफ्टवेअर उत्पादनांचा समावेश आहे. आणि ELK स्टॅकसह काम करताना अभियंत्याला सामोरे जावे लागणारे पहिले काम म्हणजे त्यानंतरच्या विश्लेषणासाठी इलॅस्टिकसर्चमध्ये स्टोरेजसाठी लॉग पाठवणे. तथापि, ही केवळ लिप सर्व्हिस आहे, इलास्टिकसर्च विशिष्ट फील्ड आणि मूल्यांसह दस्तऐवजांच्या स्वरूपात लॉग संग्रहित करते, याचा अर्थ अभियंत्याने एंड सिस्टममधून पाठवलेला संदेश विश्लेषित करण्यासाठी विविध साधने वापरणे आवश्यक आहे. हे अनेक प्रकारे केले जाऊ शकते - एपीआय वापरून डेटाबेसमध्ये दस्तऐवज जोडणारा प्रोग्राम स्वतः लिहा किंवा तयार उपाय वापरा. या कोर्समध्ये आपण उपाय विचारात घेणार आहोत लॉगस्टॅश, जो ELK स्टॅकचा भाग आहे. एंडपॉईंट सिस्टीममधून लॉगस्टॅशवर लॉग कसे पाठवता येतील ते आम्ही पाहू आणि नंतर इलास्टिकसर्च डेटाबेसमध्ये विश्लेषण आणि पुनर्निर्देशित करण्यासाठी कॉन्फिगरेशन फाइल सेट करू. हे करण्यासाठी, आम्ही इनकमिंग सिस्टम म्हणून चेक पॉइंट फायरवॉल वरून लॉग घेतो.

कोर्समध्ये ELK स्टॅकची स्थापना समाविष्ट नाही, कारण या विषयावर मोठ्या संख्येने लेख आहेत; आम्ही कॉन्फिगरेशन घटकाचा विचार करू.

चला लॉगस्टॅश कॉन्फिगरेशनसाठी कृती योजना बनवू:

elasticsearch लॉग स्वीकारेल हे तपासणे (पोर्टची कार्यक्षमता आणि मोकळेपणा तपासणे).
आम्ही लॉगस्टॅशवर इव्हेंट कसे पाठवू शकतो, एक पद्धत निवडू शकतो आणि ते कसे अंमलात आणू शकतो यावर आम्ही विचार करतो.
आम्ही लॉगस्टॅश कॉन्फिगरेशन फाइलमध्ये इनपुट कॉन्फिगर करतो.
लॉग मेसेज कसा दिसतो हे समजून घेण्यासाठी आम्ही डीबग मोडमध्ये लॉगस्टॅश कॉन्फिगरेशन फाइलमध्ये आउटपुट कॉन्फिगर करतो.
फिल्टर सेट करत आहे.
ElasticSearch मध्ये योग्य आउटपुट सेट करणे.
लॉगस्टॅश लॉन्च झाला.
किबाना मधील लॉग तपासत आहे.

चला प्रत्येक बिंदूकडे अधिक तपशीलवार पाहू:

elasticsearch लॉग स्वीकारेल हे तपासणे

हे करण्यासाठी, ज्या सिस्टमवर लॉगस्टॅश उपयोजित आहे त्या प्रणालीवरून इलास्टिकसर्चमध्ये प्रवेश तपासण्यासाठी तुम्ही कर्ल कमांड वापरू शकता. जर तुम्ही प्रमाणीकरण कॉन्फिगर केले असेल, तर आम्ही वापरकर्ता/पासवर्ड देखील कर्लद्वारे हस्तांतरित करतो, जर तुम्ही तो बदलला नसेल तर पोर्ट 9200 निर्दिष्ट करतो. जर तुम्हाला खालील प्रतिसादासारखा प्रतिसाद मिळाला तर सर्व काही व्यवस्थित आहे.

[elastic@elasticsearch ~]$ curl -u <<user_name>> : <<password>> -sS -XGET "<<ip_address_elasticsearch>>:9200"
{
  "name" : "elastic-1",
  "cluster_name" : "project",
  "cluster_uuid" : "sQzjTTuCR8q4ZO6DrEis0A",
  "version" : {
    "number" : "7.4.1",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "fc0eeb6e2c25915d63d871d344e3d0b45ea0ea1e",
    "build_date" : "2019-10-22T17:16:35.176724Z",
    "build_snapshot" : false,
    "lucene_version" : "8.2.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}
[elastic@elasticsearch ~]$

प्रतिसाद न मिळाल्यास, अनेक प्रकारच्या त्रुटी असू शकतात: इलास्टिकसर्च प्रक्रिया चालू नाही, चुकीचे पोर्ट निर्दिष्ट केले आहे किंवा इलास्टिकसर्च स्थापित केलेल्या सर्व्हरवर फायरवॉलद्वारे पोर्ट अवरोधित केले आहे.

चेक पॉईंट फायरवॉलवरून तुम्ही लॉगस्टॅशला लॉग कसे पाठवू शकता ते पाहू

चेक पॉइंट मॅनेजमेंट सर्व्हरवरून तुम्ही log_exporter युटिलिटी वापरून syslog द्वारे Logstash ला लॉग पाठवू शकता, तुम्ही त्याबद्दल येथे अधिक वाचू शकता लेख, येथे आपण फक्त कमांड सोडू जी प्रवाह तयार करते:

cp_log_export नाव जोडा check_point_syslog target-server < > लक्ष्य-पोर्ट 5555 प्रोटोकॉल tcp स्वरूप जेनेरिक रीड-मोड अर्ध-युनिफाइड

< > - ज्या सर्व्हरवर लॉगस्टॅश चालतो त्याचा पत्ता, टार्गेट-पोर्ट 5555 - पोर्ट ज्यावर आम्ही लॉग पाठवू, tcp द्वारे लॉग पाठवल्याने सर्व्हर लोड होऊ शकतो, म्हणून काही प्रकरणांमध्ये udp वापरणे अधिक योग्य आहे.

लॉगस्टॅश कॉन्फिगरेशन फाइलमध्ये INPUT सेट करणे

पूर्वनिर्धारितपणे, कॉन्फिगरेशन फाइल /etc/logstash/conf.d/ निर्देशिकेत असते. कॉन्फिगरेशन फाइलमध्ये 3 अर्थपूर्ण भाग असतात: INPUT, FILTER, OUTPUT. IN इनपुट आम्ही सूचित करतो की सिस्टम लॉग कुठून घेईल FILTER लॉग पार्स करा - मेसेजला फील्ड आणि व्हॅल्यूजमध्ये कसे विभाजित करायचे ते सेट करा आउटपुट आम्ही आउटपुट प्रवाह कॉन्फिगर करतो - जिथे पार्स केलेले लॉग पाठवले जातील.

प्रथम, INPUT कॉन्फिगर करूया, काही प्रकारांचा विचार करूया - फाइल, tcp आणि exe.

Tcp:

input {
tcp {
    port => 5555
    host => “10.10.1.205”
    type => "checkpoint"
    mode => "server"
}
}

मोड => "सर्व्हर"
लॉगस्टॅश कनेक्शन स्वीकारत असल्याचे सूचित करते.

पोर्ट => 5555
होस्ट => “१०.१०.१.२०५”
आम्ही IP पत्ता 10.10.1.205 (लॉगस्टॅश), पोर्ट 5555 द्वारे कनेक्शन स्वीकारतो - फायरवॉल धोरणाद्वारे पोर्टला परवानगी असणे आवश्यक आहे.

टाइप => "चेकपॉईंट"
आम्ही दस्तऐवज चिन्हांकित करतो, जर तुमच्याकडे अनेक इनकमिंग कनेक्शन असतील तर ते अतिशय सोयीचे आहे. त्यानंतर, प्रत्येक कनेक्शनसाठी तुम्ही logical if construct वापरून तुमचा स्वतःचा फिल्टर लिहू शकता.

फाइलः

input {
  file {
    path => "/var/log/openvas_report/*"
    type => "openvas"
    start_position => "beginning"
    }
}

सेटिंग्जचे वर्णन:
मार्ग => "/var/log/openvas_report/*"
आम्ही निर्देशिका सूचित करतो ज्यामध्ये फाइल्स वाचण्याची आवश्यकता आहे.

प्रकार => "ओपनव्हास"
कार्यक्रमाचा प्रकार.

start_position => "सुरुवात"
फाइल बदलताना, ती संपूर्ण फाइल वाचते; तुम्ही "एंड" सेट केल्यास, सिस्टम फाइलच्या शेवटी नवीन रेकॉर्ड दिसण्याची प्रतीक्षा करते.

कार्यान्वित:

input {
  exec {
    command => "ls -alh"
    interval => 30
  }
}

या इनपुटचा वापर करून, एक (फक्त!) शेल कमांड लाँच केली जाते आणि त्याचे आउटपुट लॉग संदेशात बदलले जाते.

आदेश => "ls -alh"
कमांड ज्याचे आउटपुट आम्हाला स्वारस्य आहे.

मध्यांतर => ३०
कमांड इनव्होकेशन इंटरव्हल सेकंदात.

फायरवॉल वरून लॉग प्राप्त करण्यासाठी, आम्ही फिल्टरची नोंदणी करतो टीसीपी किंवा udp, लॉगस्टॅशला लॉग कसे पाठवले जातात यावर अवलंबून.

लॉग मेसेज कसा दिसतो हे समजून घेण्यासाठी आम्ही डीबग मोडमध्ये लॉगस्टॅश कॉन्फिगरेशन फाइलमध्ये आउटपुट कॉन्फिगर करतो

आम्ही INPUT कॉन्फिगर केल्यानंतर, आम्हाला लॉग संदेश कसा दिसेल आणि लॉग फिल्टर (पार्सर) कॉन्फिगर करण्यासाठी कोणत्या पद्धती वापरल्या पाहिजेत हे समजून घेणे आवश्यक आहे.

हे करण्यासाठी, आम्ही मूळ संदेश पाहण्यासाठी निकाल stdout मध्ये आउटपुट देणारे फिल्टर वापरू; या क्षणी संपूर्ण कॉन्फिगरेशन फाइल यासारखी दिसेल:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

output 
{
	if [type] == "checkpoint" 
       {
		stdout { codec=> json }
	}
}

तपासण्यासाठी कमांड चालवा:
sudo /usr/share/logstash/bin//logstash -f /etc/logstash/conf.d/checkpoint.conf
आम्ही परिणाम पाहतो, चित्र क्लिक करण्यायोग्य आहे:

तुम्ही ते कॉपी केल्यास ते असे दिसेल:

action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,0x5,0xfe0a0a0a,0xc0000000}" origin="10.10.10.254" originsicname="CN=ts-spb-cpgw-01,O=cp-spb-mgmt-01.tssolution.local.kncafb" sequencenum="8" time="1576766483" version="5" context_num="1" dst="10.10.10.10" dst_machine_name="[email protected]" layer_name="TSS-Standard Security" layer_name="TSS-Standard Application" layer_uuid="dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0" layer_uuid="dbee3718-cf2f-4de0-8681-529cb75be9a6" match_id="8" match_id="33554431" parent_rule="0" parent_rule="0" rule_action="Accept" rule_action="Accept" rule_name="Implicit Cleanup" rule_uid="6dc2396f-9644-4546-8f32-95d98a3344e6" product="VPN-1 & FireWall-1" proto="17" s_port="37317" service="53" service_id="domain-udp" src="10.10.1.180" ","type":"qqqqq","host":"10.10.10.250","@version":"1","port":50620}{"@timestamp":"2019-12-19T14:50:12.153Z","message":"time="1576766483" action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,

हे मेसेज पाहता, आम्हाला समजते की लॉग असे दिसतात: फील्ड = व्हॅल्यू किंवा की = व्हॅल्यू, म्हणजे kv नावाचा फिल्टर योग्य आहे. प्रत्येक विशिष्ट प्रकरणासाठी योग्य फिल्टर निवडण्यासाठी, तांत्रिक दस्तऐवजात त्यांच्याशी परिचित होणे किंवा एखाद्या मित्राला विचारणे ही चांगली कल्पना असेल.

फिल्टर सेट करत आहे

शेवटच्या टप्प्यावर आम्ही kv निवडले, या फिल्टरचे कॉन्फिगरेशन खाली सादर केले आहे:

filter {
if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
}
}

आम्ही चिन्ह निवडतो ज्याद्वारे आम्ही फील्ड आणि मूल्य विभाजित करू - “=”. जर आमच्याकडे लॉगमध्ये एकसारख्या नोंदी असतील, तर आम्ही डेटाबेसमध्ये फक्त एकच उदाहरण जतन करतो, अन्यथा तुमच्याकडे समान मूल्यांचा अॅरे असेल, म्हणजेच आमच्याकडे “foo = some foo=some” असा संदेश असल्यास आम्ही फक्त foo लिहू. = काही.

ElasticSearch मध्ये योग्य आउटपुट सेट करणे

एकदा फिल्टर कॉन्फिगर केल्यावर, तुम्ही डेटाबेसमध्ये लॉग अपलोड करू शकता लवचिक:

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

जर दस्तऐवजावर चेकपॉईंट प्रकारासह स्वाक्षरी केली असेल, तर आम्ही इलास्टिकसर्च डेटाबेसमध्ये इव्हेंट सेव्ह करतो, जे डीफॉल्टनुसार पोर्ट 10.10.1.200 वर 9200 रोजी कनेक्शन स्वीकारते. प्रत्येक दस्तऐवज एका विशिष्ट निर्देशांकात जतन केला जातो, या प्रकरणात आम्ही निर्देशांक "चेकपॉईंट-" + वर्तमान वेळ तारीख जतन करतो. प्रत्येक इंडेक्समध्ये फील्डचा एक विशिष्ट संच असू शकतो किंवा संदेशात नवीन फील्ड दिसल्यावर स्वयंचलितपणे तयार केले जाते; फील्ड सेटिंग्ज आणि त्यांचे प्रकार मॅपिंगमध्ये पाहिले जाऊ शकतात.

जर तुमच्याकडे प्रमाणीकरण कॉन्फिगर केले असेल (आम्ही ते नंतर पाहू), विशिष्ट निर्देशांकावर लिहिण्यासाठी क्रेडेन्शियल्स निर्दिष्ट करणे आवश्यक आहे, या उदाहरणामध्ये ते "cool" पासवर्डसह "tssolution" आहे. तुम्ही केवळ विशिष्ट निर्देशांकावर लॉग लिहिण्यासाठी वापरकर्ता अधिकार वेगळे करू शकता आणि आणखी नाही.

लॉगस्टॅश लाँच करा.

लॉगस्टॅश कॉन्फिगरेशन फाइल:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

filter {
        if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
        }
}

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

आम्ही अचूकतेसाठी कॉन्फिगरेशन फाइल तपासतो:
/usr/share/logstash/bin//logstash -f checkpoint.conf

लॉगस्टॅश प्रक्रिया सुरू करा:
sudo systemctl स्टार्ट लॉगस्टॅश

आम्ही तपासतो की प्रक्रिया सुरू झाली आहे:
sudo systemctl स्थिती लॉगस्टॅश

सॉकेट वर आहे का ते तपासूया:
netstat -nat |grep 5555

किबाना मधील लॉग तपासत आहे.

सर्वकाही चालू झाल्यानंतर, किबाना वर जा - शोधा, सर्वकाही योग्यरित्या कॉन्फिगर केले आहे याची खात्री करा, चित्र क्लिक करण्यायोग्य आहे!

सर्व लॉग ठिकाणी आहेत आणि आम्ही सर्व फील्ड आणि त्यांची मूल्ये पाहू शकतो!

निष्कर्ष

आम्ही लॉगस्टॅश कॉन्फिगरेशन फाइल कशी लिहायची ते पाहिले आणि परिणामी आम्हाला सर्व फील्ड आणि मूल्यांचा पार्सर मिळाला. आता आम्ही विशिष्ट फील्डसाठी शोध आणि प्लॉटिंगसह कार्य करू शकतो. पुढे कोर्समध्ये आपण किबानामधील व्हिज्युअलायझेशन पाहू आणि एक साधा डॅशबोर्ड तयार करू. हे लक्षात घेण्यासारखे आहे की लॉगस्टॅश कॉन्फिगरेशन फाइल विशिष्ट परिस्थितींमध्ये सतत अपडेट करणे आवश्यक आहे, उदाहरणार्थ, जेव्हा आम्हाला फील्डचे मूल्य एका संख्येवरून शब्दात बदलायचे असते. पुढील लेखांमध्ये आपण हे सतत करू.

त्यामुळे ट्यून राहातार, फेसबुक, VK, टीएस सोल्यूशन ब्लॉग), यांडेक्स झेन.

स्त्रोत: www.habr.com

2. लवचिक स्टॅक: सुरक्षा नोंदींचे विश्लेषण. लॉगस्टॅश