🥇२। लोचदार स्ट्याक: सुरक्षा लगहरूको विश्लेषण। Logstash

विगतमा लेख हामीले भेट्यौं ELK स्ट्याक, यसमा कुन सफ्टवेयर उत्पादनहरू समावेश छन्। र ELK स्ट्याकसँग काम गर्दा इन्जिनियरले सामना गर्ने पहिलो कार्यले पछिको विश्लेषणको लागि इलास्टिकसर्चमा भण्डारणको लागि लगहरू पठाउनु हो। यद्यपि, यो केवल लिप सेवा हो, इलास्टिकखोजले निश्चित क्षेत्र र मानहरूसँग कागजातहरूको रूपमा लगहरू भण्डार गर्दछ, जसको मतलब इन्जिनियरले अन्त प्रणालीहरूबाट पठाइएको सन्देशलाई पार्स गर्न विभिन्न उपकरणहरू प्रयोग गर्नुपर्छ। यो धेरै तरिकामा गर्न सकिन्छ - एपीआई प्रयोग गरेर डाटाबेसमा कागजातहरू थप्ने, वा तयार समाधानहरू प्रयोग गर्ने प्रोग्राम आफैं लेख्नुहोस्। यस पाठ्यक्रममा हामी समाधान विचार गर्नेछौं लगस्ट्याश, जुन ELK स्ट्याकको अंश हो। हामी कसरी लगस्ट्याशमा एन्डपोइन्ट प्रणालीबाट लगहरू पठाउन सक्छौं भनेर हेर्नेछौं, र त्यसपछि हामी पार्स गर्न र इलास्टिकसर्च डाटाबेसमा रिडिरेक्ट गर्न कन्फिगरेसन फाइल सेट अप गर्नेछौं। यो गर्नको लागि, हामी आगमन प्रणालीको रूपमा चेक पोइन्ट फायरवालबाट लगहरू लिन्छौं।

पाठ्यक्रमले ELK स्ट्याकको स्थापनालाई कभर गर्दैन, किनकि यस विषयमा धेरै लेखहरू छन्; हामी कन्फिगरेसन घटकलाई विचार गर्नेछौं।

Logstash कन्फिगरेसनको लागि कार्य योजना बनाउनुहोस्:

elasticsearch ले लगहरू स्वीकार गर्नेछ भनेर जाँच गर्दै (पोर्टको कार्यक्षमता र खुलापन जाँच गर्दै)।
हामी कसरी Logstash मा घटनाहरू पठाउन सक्छौं, एउटा विधि छनोट गर्न, र यसलाई लागू गर्न सक्छौं भनेर विचार गर्छौं।
हामी Logstash कन्फिगरेसन फाइलमा इनपुट कन्फिगर गर्छौं।
लग सन्देश कस्तो देखिन्छ भनेर बुझ्नको लागि हामीले डिबग मोडमा Logstash कन्फिगरेसन फाइलमा आउटपुट कन्फिगर गर्छौं।
फिल्टर सेट अप गर्दै।
ElasticSearch मा सही आउटपुट सेट अप गर्दै।
Logstash सुरु हुन्छ।
Kibana मा लगहरू जाँच गर्दै।

प्रत्येक बिन्दुलाई थप विवरणमा हेरौं:

elasticsearch ले लगहरू स्वीकार गर्नेछ भनी जाँच गर्दै

यो गर्नको लागि, तपाइँले Logstash तैनात गरिएको प्रणालीबाट Elasticsearch मा पहुँच जाँच गर्न कर्ल आदेश प्रयोग गर्न सक्नुहुन्छ। यदि तपाइँसँग प्रमाणीकरण कन्फिगर गरिएको छ भने, हामीले प्रयोगकर्ता/पासवर्ड पनि कर्ल मार्फत स्थानान्तरण गर्छौं, यदि तपाइँ यसलाई परिवर्तन गर्नुभएको छैन भने पोर्ट 9200 निर्दिष्ट गर्दै। यदि तपाईंले तलको जस्तै प्रतिक्रिया प्राप्त गर्नुभयो भने, त्यसपछि सबै कुरा क्रमबद्ध छ।

[elastic@elasticsearch ~]$ curl -u <<user_name>> : <<password>> -sS -XGET "<<ip_address_elasticsearch>>:9200"
{
  "name" : "elastic-1",
  "cluster_name" : "project",
  "cluster_uuid" : "sQzjTTuCR8q4ZO6DrEis0A",
  "version" : {
    "number" : "7.4.1",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "fc0eeb6e2c25915d63d871d344e3d0b45ea0ea1e",
    "build_date" : "2019-10-22T17:16:35.176724Z",
    "build_snapshot" : false,
    "lucene_version" : "8.2.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}
[elastic@elasticsearch ~]$

यदि प्रतिक्रिया प्राप्त भएन भने, त्यहाँ धेरै प्रकारका त्रुटिहरू हुन सक्छन्: इलास्टिकसर्च प्रक्रिया चलिरहेको छैन, गलत पोर्ट निर्दिष्ट गरिएको छ, वा इलास्टिकसर्च स्थापना भएको सर्भरमा फायरवालद्वारा पोर्ट ब्लक गरिएको छ।

चेक पोइन्ट फायरवालबाट लगस्ट्याशमा लगहरू कसरी पठाउन सकिन्छ भनेर हेरौं

चेक पोइन्ट प्रबन्धन सर्भरबाट तपाईंले log_exporter उपयोगिता प्रयोग गरेर syslog मार्फत Logstash मा लगहरू पठाउन सक्नुहुन्छ, तपाईं यसको बारेमा यहाँ थप पढ्न सक्नुहुन्छ। लेख, यहाँ हामी स्ट्रिम सिर्जना गर्ने आदेश मात्र छोड्नेछौं:

cp_log_export नाम थप्नुहोस् check_point_syslog target-server < > target-port 5555 protocol tcp ढाँचा जेनेरिक रिड-मोड अर्ध-एकीकृत

< > - सर्भरको ठेगाना जसमा Logstash चल्छ, target-port 5555 - पोर्ट जसमा हामीले लगहरू पठाउनेछौं, tcp मार्फत लगहरू पठाउँदा सर्भर लोड हुन सक्छ, त्यसैले कतिपय अवस्थामा udp प्रयोग गर्नु बढी सही हुन्छ।

Logstash कन्फिगरेसन फाइलमा INPUT सेटअप गर्दै

पूर्वनिर्धारित रूपमा, कन्फिगरेसन फाइल /etc/logstash/conf.d/ डाइरेक्टरीमा अवस्थित छ। कन्फिगरेसन फाइलमा 3 अर्थपूर्ण भागहरू हुन्छन्: INPUT, FILTER, OUTPUT। IN इनपुट हामी संकेत गर्छौं कि प्रणालीले कहाँबाट लगहरू लिनेछ FILTER लग पार्स गर्नुहोस् - सन्देशलाई कसरी फाँट र मानहरूमा विभाजन गर्ने सेटअप गर्नुहोस् आउटपुट हामीले आउटपुट स्ट्रिम कन्फिगर गर्छौं - जहाँ पार्स गरिएका लगहरू पठाइनेछ।

पहिले, INPUT कन्फिगर गरौं, केहि प्रकारहरू विचार गर्नुहोस् जुन हुन सक्छ - फाइल, tcp र exe।

Tcp:

input {
tcp {
    port => 5555
    host => “10.10.1.205”
    type => "checkpoint"
    mode => "server"
}
}

मोड => "सर्भर"
Logstash ले जडानहरू स्वीकार गर्दैछ भनेर संकेत गर्छ।

पोर्ट => 5555
होस्ट => "१०.१०.१.२०५"
हामी IP ठेगाना 10.10.1.205 (Logstash), पोर्ट 5555 मार्फत जडानहरू स्वीकार गर्छौं - पोर्टलाई फायरवाल नीतिले अनुमति दिनुपर्छ।

टाइप => "चेकपोइन्ट"
हामी कागजात चिन्ह लगाउँछौं, धेरै सुविधाजनक यदि तपाईंसँग धेरै आगमन जडानहरू छन्। पछि, प्रत्येक जडानको लागि तपाईले तार्किक यदि निर्माण प्रयोग गरेर आफ्नै फिल्टर लेख्न सक्नुहुन्छ।

फाइल:

input {
  file {
    path => "/var/log/openvas_report/*"
    type => "openvas"
    start_position => "beginning"
    }
}

सेटिङहरूको विवरण:
पथ => "/var/log/openvas_report/*"
हामी डाइरेक्टरी संकेत गर्छौं जसमा फाइलहरू पढ्न आवश्यक छ।

टाइप => "ओपनभास"
घटना प्रकार।

start_position => "सुरुवात"
फाइल परिवर्तन गर्दा, यसले सम्पूर्ण फाइल पढ्छ; यदि तपाईंले "अन्त" सेट गर्नुभयो भने, प्रणालीले फाइलको अन्त्यमा नयाँ रेकर्डहरू देखा पर्नको लागि पर्खन्छ।

कार्यान्वयन:

input {
  exec {
    command => "ls -alh"
    interval => 30
  }
}

यो इनपुट प्रयोग गरेर, एक (केवल!) शेल आदेश सुरु हुन्छ र यसको आउटपुट लग सन्देशमा परिणत हुन्छ।

आदेश => "ls -alh"
कमाण्ड जसको आउटपुट हामीलाई रुचि छ।

अन्तराल => ३०
सेकेन्डमा आदेश आह्वान अन्तराल।

फायरवालबाट लगहरू प्राप्त गर्नको लागि, हामी फिल्टर दर्ता गर्छौं tcp वा udp, लगहरू कसरी Logstash मा पठाइन्छ भन्ने आधारमा।

लग सन्देश कस्तो देखिन्छ भनेर बुझ्नको लागि हामीले Logstash कन्फिगरेसन फाइलमा डिबग मोडमा आउटपुट कन्फिगर गर्छौं।

हामीले INPUT कन्फिगर गरिसकेपछि, हामीले लग सन्देश कस्तो देखिनेछ र लग फिल्टर (पार्सर) कन्फिगर गर्नको लागि कुन विधिहरू प्रयोग गर्न आवश्यक छ भनेर बुझ्नुपर्छ।

यो गर्नको लागि, हामी मूल सन्देश हेर्नको लागि परिणामलाई stdout मा आउटपुट गर्ने फिल्टर प्रयोग गर्नेछौं; अहिलेको पूर्ण कन्फिगरेसन फाइल यस्तो देखिन्छ:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

output 
{
	if [type] == "checkpoint" 
       {
		stdout { codec=> json }
	}
}

जाँच गर्न आदेश चलाउनुहोस्:
sudo /usr/share/logstash/bin//logstash -f /etc/logstash/conf.d/checkpoint.conf
हामी परिणाम देख्छौं, तस्विर क्लिक गर्न योग्य छ:

यदि तपाईंले यसलाई प्रतिलिपि गर्नुभयो भने यो यस्तो देखिन्छ:

action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,0x5,0xfe0a0a0a,0xc0000000}" origin="10.10.10.254" originsicname="CN=ts-spb-cpgw-01,O=cp-spb-mgmt-01.tssolution.local.kncafb" sequencenum="8" time="1576766483" version="5" context_num="1" dst="10.10.10.10" dst_machine_name="[email protected]" layer_name="TSS-Standard Security" layer_name="TSS-Standard Application" layer_uuid="dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0" layer_uuid="dbee3718-cf2f-4de0-8681-529cb75be9a6" match_id="8" match_id="33554431" parent_rule="0" parent_rule="0" rule_action="Accept" rule_action="Accept" rule_name="Implicit Cleanup" rule_uid="6dc2396f-9644-4546-8f32-95d98a3344e6" product="VPN-1 & FireWall-1" proto="17" s_port="37317" service="53" service_id="domain-udp" src="10.10.1.180" ","type":"qqqqq","host":"10.10.10.250","@version":"1","port":50620}{"@timestamp":"2019-12-19T14:50:12.153Z","message":"time="1576766483" action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,

यी सन्देशहरू हेर्दै, हामी बुझ्छौं कि लगहरू यस्तो देखिन्छन्: क्षेत्र = मान वा कुञ्जी = मान, जसको अर्थ kv नामक फिल्टर उपयुक्त छ। प्रत्येक विशिष्ट केसको लागि सही फिल्टर छान्नको लागि, प्राविधिक कागजातहरूमा तिनीहरूसँग परिचित हुनु राम्रो विचार हो, वा साथीलाई सोध्नुहोस्।

फिल्टर सेट अप गर्दै

अन्तिम चरणमा हामीले kv चयन गर्यौं, यो फिल्टरको कन्फिगरेसन तल प्रस्तुत गरिएको छ:

filter {
if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
}
}

हामी प्रतीक चयन गर्छौं जसद्वारा हामी फिल्ड र मान विभाजित गर्नेछौं - "="। यदि हामीसँग लगमा समान प्रविष्टिहरू छन् भने, हामी डाटाबेसमा एउटा मात्र उदाहरण बचत गर्छौं, अन्यथा तपाइँ समान मानहरूको एर्रेसँग समाप्त हुनुहुनेछ, त्यो हो, यदि हामीसँग सन्देश छ भने "foo = केहि foo = केहि" हामी foo मात्र लेख्छौं। = केही।

ElasticSearch मा सही आउटपुट सेट अप गर्दै

फिल्टर कन्फिगर भएपछि, तपाइँ डाटाबेसमा लगहरू अपलोड गर्न सक्नुहुन्छ इलास्टिकसेर्च:

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

यदि कागजात चेकपोइन्ट प्रकारसँग साइन इन गरिएको छ भने, हामी घटनालाई elasticsearch डाटाबेसमा बचत गर्छौं, जसले पूर्वनिर्धारित रूपमा पोर्ट 10.10.1.200 मा 9200 मा जडानहरू स्वीकार गर्दछ। प्रत्येक कागजात एक विशिष्ट अनुक्रमणिकामा बचत गरिन्छ, यस अवस्थामा हामी अनुक्रमणिका "चेकपोइन्ट-" + हालको समय मितिमा बचत गर्छौं। प्रत्येक अनुक्रमणिकामा फिल्डहरूको एक निश्चित सेट हुन सक्छ, वा सन्देशमा नयाँ फिल्ड देखा पर्दा स्वचालित रूपमा सिर्जना हुन्छ; क्षेत्र सेटिङहरू र तिनीहरूको प्रकार म्यापिङहरूमा हेर्न सकिन्छ।

यदि तपाइँसँग प्रमाणीकरण कन्फिगर गरिएको छ (हामी यसलाई पछि हेर्नेछौं), निर्दिष्ट अनुक्रमणिकामा लेख्नका लागि प्रमाणहरू निर्दिष्ट गरिनु पर्छ, यो उदाहरणमा यो पासवर्ड "कूल" संग "tssolution" हो। तपाइँ प्रयोगकर्ता अधिकारहरू फरक गर्न सक्नुहुन्छ लगहरू लेख्नको लागि केवल एक विशेष अनुक्रमणिकामा र थप छैन।

Logstash सुरु गर्नुहोस्।

Logstash कन्फिगरेसन फाइल:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

filter {
        if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
        }
}

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

हामी शुद्धताको लागि कन्फिगरेसन फाइल जाँच गर्छौं:
/usr/share/logstash/bin//logstash -f checkpoint.conf

Logstash प्रक्रिया सुरु गर्नुहोस्:
sudo systemctl logstash सुरु गर्नुहोस्

हामी जाँच गर्छौं कि प्रक्रिया सुरु भएको छ:
sudo systemctl स्थिति logstash

सकेट माथि छ कि छैन जाँच गरौं:
netstat -nat |grep 5555

Kibana मा लगहरू जाँच गर्दै।

सबै कुरा चलिसकेपछि, Kibana मा जानुहोस् - पत्ता लगाउनुहोस्, सुनिश्चित गर्नुहोस् कि सबै कुरा ठीकसँग कन्फिगर गरिएको छ, तस्विर क्लिक गर्न योग्य छ!

सबै लगहरू ठाउँमा छन् र हामी सबै क्षेत्रहरू र तिनीहरूका मानहरू देख्न सक्छौं!

निष्कर्षमा

हामीले Logstash कन्फिगरेसन फाइल कसरी लेख्ने भनेर हेर्यौं, र नतिजाको रूपमा हामीले सबै क्षेत्र र मानहरूको पार्सर पायौं। अब हामी विशेष क्षेत्रहरूको लागि खोजी र प्लटिङको साथ काम गर्न सक्छौं। अर्को पाठ्यक्रममा हामी Kibana मा भिजुअलाइजेशन हेर्नेछौं र एक साधारण ड्यासबोर्ड सिर्जना गर्नेछौं। यो उल्लेख गर्न लायक छ कि Logstash कन्फिगरेसन फाइललाई निश्चित परिस्थितिहरूमा निरन्तर अपडेट गर्न आवश्यक छ, उदाहरणका लागि, जब हामी कुनै फिल्डको मानलाई नम्बरबाट शब्दमा बदल्न चाहन्छौं। त्यसपछिका लेखहरूमा हामी यो निरन्तर गर्नेछौं।

त्यसैले सम्पर्कमा रहनुहोस् (तार, फेसबुक, VK, TS समाधान ब्लग), Yandex Zen.

स्रोत: www.habr.com

2. लोचदार स्ट्याक: सुरक्षा लगहरूको विश्लेषण। Logstash