2. इलास्टिक स्टैक: सुरक्षा लॉग का विश्लेषण। लॉगस्टैश

पिछले लेख हम मिले ईएलके ढेर, इसमें कौन से सॉफ़्टवेयर उत्पाद शामिल हैं। और ईएलके स्टैक के साथ काम करते समय एक इंजीनियर का पहला काम बाद के विश्लेषण के लिए इलास्टिक्स खोज में भंडारण के लिए लॉग भेजना है। हालाँकि, यह केवल दिखावा है, इलास्टिक्सर्च कुछ फ़ील्ड और मानों के साथ दस्तावेज़ों के रूप में लॉग संग्रहीत करता है, जिसका अर्थ है कि इंजीनियर को अंतिम सिस्टम से भेजे गए संदेश को पार्स करने के लिए विभिन्न उपकरणों का उपयोग करना होगा। यह कई तरीकों से किया जा सकता है - स्वयं एक प्रोग्राम लिखें जो एपीआई का उपयोग करके डेटाबेस में दस्तावेज़ जोड़ देगा, या तैयार किए गए समाधानों का उपयोग करेगा। इस पाठ्यक्रम में हम समाधान पर विचार करेंगे Logstash, जो ईएलके स्टैक का हिस्सा है। हम देखेंगे कि हम एंडपॉइंट सिस्टम से लॉगस्टैश पर लॉग कैसे भेज सकते हैं, और फिर हम Elasticsearch डेटाबेस को पार्स और रीडायरेक्ट करने के लिए एक कॉन्फ़िगरेशन फ़ाइल सेट करेंगे। ऐसा करने के लिए, हम इनकमिंग सिस्टम के रूप में चेक प्वाइंट फ़ायरवॉल से लॉग लेते हैं।

पाठ्यक्रम में ईएलके स्टैक की स्थापना शामिल नहीं है, क्योंकि इस विषय पर बड़ी संख्या में लेख हैं; हम कॉन्फ़िगरेशन घटक पर विचार करेंगे।

आइए लॉगस्टैश कॉन्फ़िगरेशन के लिए एक कार्य योजना बनाएं:

1. जाँच करना कि इलास्टिक्स खोज लॉग स्वीकार करेगा (पोर्ट की कार्यक्षमता और खुलेपन की जाँच करना)।
2. हम विचार करते हैं कि हम लॉगस्टैश पर ईवेंट कैसे भेज सकते हैं, एक विधि चुन सकते हैं और इसे लागू कर सकते हैं।
3. हम लॉगस्टैश कॉन्फ़िगरेशन फ़ाइल में इनपुट कॉन्फ़िगर करते हैं।
4. लॉग संदेश कैसा दिखता है यह समझने के लिए हम डिबग मोड में लॉगस्टैश कॉन्फ़िगरेशन फ़ाइल में आउटपुट कॉन्फ़िगर करते हैं।
5. फ़िल्टर सेट करना.
6. ElasticSearch में सही आउटपुट सेट करना।
7. लॉगस्टैश लॉन्च हुआ.
8. किबाना में लॉग की जाँच कर रहा हूँ।

आइए प्रत्येक बिंदु को अधिक विस्तार से देखें:

जाँच कर रहा हूँ कि इलास्टिक्स खोज लॉग स्वीकार करेगा

ऐसा करने के लिए, आप उस सिस्टम से इलास्टिक्स खोज तक पहुंच की जांच करने के लिए कर्ल कमांड का उपयोग कर सकते हैं जिस पर लॉगस्टैश तैनात है। यदि आपने प्रमाणीकरण कॉन्फ़िगर किया है, तो हम उपयोगकर्ता/पासवर्ड को कर्ल के माध्यम से भी स्थानांतरित करते हैं, यदि आपने इसे नहीं बदला है तो पोर्ट 9200 निर्दिष्ट करते हैं। यदि आपको नीचे दी गई जैसी प्रतिक्रिया मिलती है, तो सब कुछ क्रम में है।

[elastic@elasticsearch ~]$ curl -u <<user_name>> : <<password>> -sS -XGET "<<ip_address_elasticsearch>>:9200"
{
  "name" : "elastic-1",
  "cluster_name" : "project",
  "cluster_uuid" : "sQzjTTuCR8q4ZO6DrEis0A",
  "version" : {
    "number" : "7.4.1",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "fc0eeb6e2c25915d63d871d344e3d0b45ea0ea1e",
    "build_date" : "2019-10-22T17:16:35.176724Z",
    "build_snapshot" : false,
    "lucene_version" : "8.2.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}
[elastic@elasticsearch ~]$

यदि प्रतिक्रिया प्राप्त नहीं होती है, तो कई प्रकार की त्रुटियां हो सकती हैं: इलास्टिक्स खोज प्रक्रिया नहीं चल रही है, गलत पोर्ट निर्दिष्ट है, या पोर्ट उस सर्वर पर फ़ायरवॉल द्वारा अवरुद्ध है जहां इलास्टिक्स खोज स्थापित है।

आइए देखें कि आप चेक प्वाइंट फ़ायरवॉल से लॉगस्टैश पर लॉग कैसे भेज सकते हैं

चेक प्वाइंट प्रबंधन सर्वर से आप log_exporter उपयोगिता का उपयोग करके syslog के माध्यम से लॉगस्टैश पर लॉग भेज सकते हैं, आप इसके बारे में यहां अधिक पढ़ सकते हैं लेख, यहां हम केवल उस कमांड को छोड़ेंगे जो स्ट्रीम बनाता है:

cp_log_export नाम जोड़ें check_point_syslog लक्ष्य-सर्वर < > लक्ष्य-पोर्ट 5555 प्रोटोकॉल टीसीपी प्रारूप जेनेरिक रीड-मोड अर्ध-एकीकृत

< > - सर्वर का पता जिस पर लॉगस्टैश चलता है, लक्ष्य-पोर्ट 5555 - पोर्ट जिस पर हम लॉग भेजेंगे, टीसीपी के माध्यम से लॉग भेजने से सर्वर लोड हो सकता है, इसलिए कुछ मामलों में यूडीपी का उपयोग करना अधिक सही है।

लॉगस्टैश कॉन्फ़िगरेशन फ़ाइल में INPUT सेट करना

डिफ़ॉल्ट रूप से, कॉन्फ़िगरेशन फ़ाइल /etc/logstash/conf.d/ निर्देशिका में स्थित होती है। कॉन्फ़िगरेशन फ़ाइल में 3 सार्थक भाग होते हैं: इनपुट, फ़िल्टर, आउटपुट। में इनपुट हम इंगित करते हैं कि सिस्टम कहां से लॉग लेगा फ़िल्टर लॉग को पार्स करें - संदेश को फ़ील्ड और मानों में विभाजित करने का तरीका सेट करें आउटपुट हम आउटपुट स्ट्रीम को कॉन्फ़िगर करते हैं - जहां पार्स किए गए लॉग भेजे जाएंगे।

सबसे पहले, आइए INPUT को कॉन्फ़िगर करें, कुछ प्रकारों पर विचार करें जो हो सकते हैं - फ़ाइल, tcp और exe।

टीसीपी:

input {
tcp {
    port => 5555
    host => “10.10.1.205”
    type => "checkpoint"
    mode => "server"
}
}

मोड => "सर्वर"
इंगित करता है कि लॉगस्टैश कनेक्शन स्वीकार कर रहा है।

पोर्ट => 5555
होस्ट => "10.10.1.205"
हम आईपी पते 10.10.1.205 (लॉगस्टैश), पोर्ट 5555 के माध्यम से कनेक्शन स्वीकार करते हैं - पोर्ट को फ़ायरवॉल नीति द्वारा अनुमति दी जानी चाहिए।

प्रकार => "चेकपॉइंट"
यदि आपके पास कई आने वाले कनेक्शन हैं तो हम दस्तावेज़ को बहुत सुविधाजनक रूप से चिह्नित करते हैं। इसके बाद, प्रत्येक कनेक्शन के लिए आप तार्किक if निर्माण का उपयोग करके अपना स्वयं का फ़िल्टर लिख सकते हैं।

फ़ाइल:

input {
  file {
    path => "/var/log/openvas_report/*"
    type => "openvas"
    start_position => "beginning"
    }
}

सेटिंग्स का विवरण:
पथ => "/var/log/openvas_report/*"
हम उस निर्देशिका को इंगित करते हैं जिसमें फ़ाइलों को पढ़ने की आवश्यकता है।

प्रकार => "ओपनवास"
घटना प्रकार।

प्रारंभ_स्थिति => "शुरुआत"
किसी फ़ाइल को बदलते समय, यह पूरी फ़ाइल को पढ़ता है; यदि आप "अंत" सेट करते हैं, तो सिस्टम फ़ाइल के अंत में नए रिकॉर्ड के प्रकट होने की प्रतीक्षा करता है।

कार्यकारी:

input {
  exec {
    command => "ls -alh"
    interval => 30
  }
}

इस इनपुट का उपयोग करके, एक (केवल!) शेल कमांड लॉन्च किया जाता है और इसका आउटपुट एक लॉग संदेश में बदल जाता है।

कमांड => "ls -alh"
वह कमांड जिसके आउटपुट में हमारी रुचि है।

अंतराल => 30
कमांड मंगलाचरण अंतराल सेकंड में.

फ़ायरवॉल से लॉग प्राप्त करने के लिए, हम एक फ़िल्टर पंजीकृत करते हैं टी सी पी या यूडीपी, यह इस पर निर्भर करता है कि लॉग को लॉगस्टैश पर कैसे भेजा जाता है।

लॉग संदेश कैसा दिखता है यह समझने के लिए हम डिबग मोड में लॉगस्टैश कॉन्फ़िगरेशन फ़ाइल में आउटपुट कॉन्फ़िगर करते हैं

INPUT को कॉन्फ़िगर करने के बाद, हमें यह समझने की आवश्यकता है कि लॉग संदेश कैसा दिखेगा और लॉग फ़िल्टर (पार्सर) को कॉन्फ़िगर करने के लिए किन तरीकों का उपयोग करने की आवश्यकता है।

ऐसा करने के लिए, हम एक फ़िल्टर का उपयोग करेंगे जो मूल संदेश को देखने के लिए परिणाम को stdout पर आउटपुट करेगा; फिलहाल पूरी कॉन्फ़िगरेशन फ़ाइल इस तरह दिखेगी:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

output 
{
	if [type] == "checkpoint" 
       {
		stdout { codec=> json }
	}
}

जाँच करने के लिए कमांड चलाएँ:
sudo /usr/share/logstash/bin//logstash -f /etc/logstash/conf.d/checkpoint.conf
हम परिणाम देखते हैं, चित्र क्लिक करने योग्य है:

यदि आप इसे कॉपी करेंगे तो यह इस तरह दिखेगा:

action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,0x5,0xfe0a0a0a,0xc0000000}" origin="10.10.10.254" originsicname="CN=ts-spb-cpgw-01,O=cp-spb-mgmt-01.tssolution.local.kncafb" sequencenum="8" time="1576766483" version="5" context_num="1" dst="10.10.10.10" dst_machine_name="[email protected]" layer_name="TSS-Standard Security" layer_name="TSS-Standard Application" layer_uuid="dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0" layer_uuid="dbee3718-cf2f-4de0-8681-529cb75be9a6" match_id="8" match_id="33554431" parent_rule="0" parent_rule="0" rule_action="Accept" rule_action="Accept" rule_name="Implicit Cleanup" rule_uid="6dc2396f-9644-4546-8f32-95d98a3344e6" product="VPN-1 & FireWall-1" proto="17" s_port="37317" service="53" service_id="domain-udp" src="10.10.1.180" ","type":"qqqqq","host":"10.10.10.250","@version":"1","port":50620}{"@timestamp":"2019-12-19T14:50:12.153Z","message":"time="1576766483" action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,

इन संदेशों को देखकर, हम समझते हैं कि लॉग इस तरह दिखते हैं: फ़ील्ड = मान या कुंजी = मान, जिसका अर्थ है कि केवी नामक फ़िल्टर उपयुक्त है। प्रत्येक विशिष्ट मामले के लिए सही फ़िल्टर चुनने के लिए, तकनीकी दस्तावेज में उनके साथ खुद को परिचित करना या किसी मित्र से पूछना एक अच्छा विचार होगा।

फ़िल्टर सेट करना

अंतिम चरण में हमने केवी का चयन किया, इस फ़िल्टर का कॉन्फ़िगरेशन नीचे प्रस्तुत किया गया है:

filter {
if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
}
}

हम उस प्रतीक का चयन करते हैं जिसके द्वारा हम फ़ील्ड और मान को विभाजित करेंगे - "="। यदि हमारे पास लॉग में समान प्रविष्टियाँ हैं, तो हम डेटाबेस में केवल एक उदाहरण सहेजते हैं, अन्यथा आप समान मानों की एक सरणी के साथ समाप्त हो जाएंगे, अर्थात, यदि हमारे पास "foo = some foo=some" संदेश है तो हम केवल foo लिखते हैं = कुछ.

ElasticSearch में सही आउटपुट सेट करना

एक बार फ़िल्टर कॉन्फ़िगर हो जाने पर, आप डेटाबेस में लॉग अपलोड कर सकते हैं Elasticsearch:

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

यदि दस्तावेज़ चेकपॉइंट प्रकार के साथ हस्ताक्षरित है, तो हम ईवेंट को इलास्टिक्स खोज डेटाबेस में सहेजते हैं, जो डिफ़ॉल्ट रूप से पोर्ट 10.10.1.200 पर 9200 पर कनेक्शन स्वीकार करता है। प्रत्येक दस्तावेज़ को एक विशिष्ट अनुक्रमणिका में सहेजा जाता है, इस मामले में हम सूचकांक "चेकपॉइंट-" + वर्तमान समय दिनांक को सहेजते हैं। प्रत्येक इंडेक्स में फ़ील्ड का एक विशिष्ट सेट हो सकता है, या किसी संदेश में कोई नया फ़ील्ड दिखाई देने पर स्वचालित रूप से बनाया जाता है; फ़ील्ड सेटिंग्स और उनके प्रकार को मैपिंग में देखा जा सकता है।

यदि आपने प्रमाणीकरण कॉन्फ़िगर किया है (हम इसे बाद में देखेंगे), एक विशिष्ट सूचकांक पर लिखने के लिए क्रेडेंशियल निर्दिष्ट किया जाना चाहिए, इस उदाहरण में यह पासवर्ड "कूल" के साथ "tssolution" है। आप केवल एक विशिष्ट इंडेक्स पर लॉग लिखने के उपयोगकर्ता अधिकारों को अलग कर सकते हैं और इससे अधिक नहीं।

लॉगस्टैश लॉन्च करें.

लॉगस्टैश कॉन्फ़िगरेशन फ़ाइल:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

filter {
        if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
        }
}

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

हम शुद्धता के लिए कॉन्फ़िगरेशन फ़ाइल की जाँच करते हैं:
/usr/share/logstash/bin//logstash -f checkpoint.conf


लॉगस्टैश प्रक्रिया प्रारंभ करें:
sudo systemctl logstash शुरू करें

हम जांचते हैं कि प्रक्रिया शुरू हो गई है:
sudo systemctl स्टेटस लॉगस्टैश

आइए देखें कि सॉकेट चालू है या नहीं:
नेटस्टैट -नैट |ग्रेप 5555

किबाना में लॉग की जाँच कर रहा हूँ।

सब कुछ चलने के बाद, किबाना - डिस्कवर पर जाएं, सुनिश्चित करें कि सब कुछ सही ढंग से कॉन्फ़िगर किया गया है, चित्र क्लिक करने योग्य है!

सभी लॉग अपनी जगह पर हैं और हम सभी फ़ील्ड और उनके मान देख सकते हैं!

निष्कर्ष

हमने देखा कि लॉगस्टैश कॉन्फ़िगरेशन फ़ाइल कैसे लिखी जाती है, और परिणामस्वरूप हमें सभी फ़ील्ड और मानों का एक पार्सर मिला। अब हम विशिष्ट क्षेत्रों की खोज और योजना बनाने का काम कर सकते हैं। पाठ्यक्रम में आगे हम किबाना में विज़ुअलाइज़ेशन देखेंगे और एक सरल डैशबोर्ड बनाएंगे। उल्लेखनीय है कि लॉगस्टैश कॉन्फ़िगरेशन फ़ाइल को कुछ स्थितियों में लगातार अद्यतन करने की आवश्यकता होती है, उदाहरण के लिए, जब हम किसी फ़ील्ड के मान को किसी संख्या से किसी शब्द में बदलना चाहते हैं। अगले लेखों में हम ऐसा लगातार करेंगे।

तो मिले रहेंTelegram, फेसबुक, VK, टीएस समाधान ब्लॉग), Yandeks.Dzen.

स्रोत: www.habr.com