2. ইলাস্টিক স্ট্যাক: নিরাপত্তা লগের বিশ্লেষণ। লগস্ট্যাশ

শেষে প্রবন্ধ আমরা দেখা করেছি ELK স্ট্যাক, কি সফ্টওয়্যার পণ্য এটি গঠিত. এবং ELK স্ট্যাকের সাথে কাজ করার সময় একজন ইঞ্জিনিয়ার প্রথম যে কাজটির মুখোমুখি হন তা হল পরবর্তী বিশ্লেষণের জন্য ইলাস্টিক সার্চে স্টোরেজের জন্য লগ পাঠানো। যাইহোক, এটি শুধুমাত্র ঠোঁট পরিষেবা, ইলাস্টিকসার্চ নির্দিষ্ট ক্ষেত্র এবং মান সহ নথি আকারে লগ সংরক্ষণ করে, যার অর্থ ইঞ্জিনিয়ারকে শেষ সিস্টেম থেকে প্রেরিত বার্তা পার্স করতে বিভিন্ন সরঞ্জাম ব্যবহার করতে হবে। এটি বিভিন্ন উপায়ে করা যেতে পারে - নিজেই একটি প্রোগ্রাম লিখুন যা API ব্যবহার করে ডাটাবেসে ডকুমেন্ট যোগ করবে, বা প্রস্তুত সমাধান ব্যবহার করবে। এই কোর্সে আমরা সমাধান বিবেচনা করব Logstash, যা ELK স্ট্যাকের অংশ। আমরা কীভাবে এন্ডপয়েন্ট সিস্টেম থেকে লগস্ট্যাশে লগ পাঠাতে পারি তা দেখব, এবং তারপরে আমরা ইলাস্টিকসার্চ ডাটাবেসে পার্স এবং রিডাইরেক্ট করার জন্য একটি কনফিগারেশন ফাইল সেট আপ করব। এটি করার জন্য, আমরা ইনকামিং সিস্টেম হিসাবে চেক পয়েন্ট ফায়ারওয়াল থেকে লগ গ্রহণ করি।

কোর্সটি ELK স্ট্যাকের ইনস্টলেশনকে কভার করে না, যেহেতু এই বিষয়ে প্রচুর নিবন্ধ রয়েছে; আমরা কনফিগারেশন উপাদান বিবেচনা করব।

আসুন লগস্ট্যাশ কনফিগারেশনের জন্য একটি কর্ম পরিকল্পনা আঁকুন:

1. ইলাস্টিক সার্চ চেক করা লগ গ্রহণ করবে (পোর্টের কার্যকারিতা এবং উন্মুক্ততা পরীক্ষা করা)।
2. আমরা বিবেচনা করি কিভাবে আমরা Logstash এ ইভেন্ট পাঠাতে পারি, একটি পদ্ধতি বেছে নিতে পারি এবং এটি বাস্তবায়ন করতে পারি।
3. আমরা Logstash কনফিগারেশন ফাইলে ইনপুট কনফিগার করি।
4. লগ বার্তাটি কেমন তা বোঝার জন্য আমরা ডিবাগ মোডে Logstash কনফিগারেশন ফাইলে আউটপুট কনফিগার করি।
5. ফিল্টার সেট আপ করা হচ্ছে।
6. ইলাস্টিক সার্চে সঠিক আউটপুট সেট আপ করা হচ্ছে।
7. লগস্ট্যাশ চালু হয়।
8. কিবানায় লগগুলি পরীক্ষা করা হচ্ছে।

আসুন আরও বিস্তারিতভাবে প্রতিটি পয়েন্ট দেখুন:

ইলাস্টিক সার্চ চেক করা লগ গ্রহণ করবে

এটি করার জন্য, আপনি যে সিস্টেমে Logstash স্থাপন করা হয়েছে সেখান থেকে Elasticsearch-এ অ্যাক্সেস চেক করতে curl কমান্ড ব্যবহার করতে পারেন। আপনার যদি প্রমাণীকরণ কনফিগার করা থাকে, তাহলে আমরা ব্যবহারকারী/পাসওয়ার্ডটি কার্ল-এর মাধ্যমে স্থানান্তর করি, যদি আপনি এটি পরিবর্তন না করে থাকেন তাহলে পোর্ট 9200 উল্লেখ করে। আপনি যদি নীচেরটির মতো একটি প্রতিক্রিয়া পান তবে সবকিছু ঠিক আছে৷

[elastic@elasticsearch ~]$ curl -u <<user_name>> : <<password>> -sS -XGET "<<ip_address_elasticsearch>>:9200"
{
  "name" : "elastic-1",
  "cluster_name" : "project",
  "cluster_uuid" : "sQzjTTuCR8q4ZO6DrEis0A",
  "version" : {
    "number" : "7.4.1",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "fc0eeb6e2c25915d63d871d344e3d0b45ea0ea1e",
    "build_date" : "2019-10-22T17:16:35.176724Z",
    "build_snapshot" : false,
    "lucene_version" : "8.2.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}
[elastic@elasticsearch ~]$

যদি প্রতিক্রিয়া না পাওয়া যায়, তাহলে বিভিন্ন ধরণের ত্রুটি হতে পারে: ইলাস্টিকসার্চ প্রক্রিয়া চলছে না, ভুল পোর্ট নির্দিষ্ট করা হয়েছে, অথবা ইলাস্টিকসার্চ ইনস্টল করা সার্ভারে ফায়ারওয়াল দ্বারা পোর্টটি ব্লক করা হয়েছে।

আসুন দেখুন কিভাবে আপনি একটি চেক পয়েন্ট ফায়ারওয়াল থেকে লগস্ট্যাশে লগ পাঠাতে পারেন

চেক পয়েন্ট ম্যানেজমেন্ট সার্ভার থেকে আপনি log_exporter ইউটিলিটি ব্যবহার করে syslog এর মাধ্যমে Logstash-এ লগ পাঠাতে পারেন, আপনি এখানে এটি সম্পর্কে আরও পড়তে পারেন প্রবন্ধ, এখানে আমরা শুধুমাত্র সেই কমান্ডটি ছেড়ে দেব যা স্ট্রীম তৈরি করে:

cp_log_export নাম যোগ করুন check_point_syslog টার্গেট-সার্ভার < > টার্গেট-পোর্ট 5555 প্রোটোকল tcp ফরম্যাট জেনেরিক রিড-মোড আধা-ইউনিফাইড

< > - যে সার্ভারে Logstash চলে তার ঠিকানা, টার্গেট-পোর্ট 5555 - যে পোর্টে আমরা লগ পাঠাব, tcp এর মাধ্যমে লগ পাঠালে সার্ভার লোড হতে পারে, তাই কিছু ক্ষেত্রে udp ব্যবহার করা আরও সঠিক।

লগস্ট্যাশ কনফিগারেশন ফাইলে INPUT সেট আপ করা হচ্ছে

ডিফল্টরূপে, কনফিগারেশন ফাইলটি /etc/logstash/conf.d/ ডিরেক্টরিতে অবস্থিত। কনফিগারেশন ফাইলটি 3টি অর্থপূর্ণ অংশ নিয়ে গঠিত: INPUT, FILTER, OUTPUT. ভিতরে ইনপুট আমরা নির্দেশ করি যে সিস্টেম কোথায় থেকে লগ নেবে, ইন ছাঁকনি লগ পার্স করুন - কিভাবে বার্তাটিকে ক্ষেত্র এবং মানগুলিতে বিভক্ত করতে হয় তা সেট আপ করুন আউটপুট আমরা আউটপুট স্ট্রীম কনফিগার করি - যেখানে পার্স করা লগ পাঠানো হবে।

প্রথমে, আসুন INPUT কনফিগার করি, কিছু ধরন বিবেচনা করুন যা হতে পারে - ফাইল, tcp এবং exe।

Tcp:

input {
tcp {
    port => 5555
    host => “10.10.1.205”
    type => "checkpoint"
    mode => "server"
}
}

মোড => "সার্ভার"
ইঙ্গিত করে যে Logstash সংযোগগুলি গ্রহণ করছে৷

পোর্ট => 5555
হোস্ট => "10.10.1.205"
আমরা IP ঠিকানা 10.10.1.205 (Logstash), পোর্ট 5555 এর মাধ্যমে সংযোগ গ্রহণ করি - পোর্টটিকে ফায়ারওয়াল নীতি দ্বারা অনুমোদিত হতে হবে।

টাইপ => "চেকপয়েন্ট"
আমরা নথিটি চিহ্নিত করি, আপনার যদি বেশ কয়েকটি ইনকামিং সংযোগ থাকে তবে খুব সুবিধাজনক। পরবর্তীকালে, প্রতিটি সংযোগের জন্য আপনি লজিক্যাল if construct ব্যবহার করে আপনার নিজস্ব ফিল্টার লিখতে পারেন।

ফাইল:

input {
  file {
    path => "/var/log/openvas_report/*"
    type => "openvas"
    start_position => "beginning"
    }
}

সেটিংসের বর্ণনা:
পথ => "/var/log/openvas_report/*"
আমরা সেই ডিরেক্টরি নির্দেশ করি যেখানে ফাইলগুলি পড়তে হবে।

টাইপ => "ওপেনভাস"
ইভেন্টের ধরণ.

start_position => "শুরু"
একটি ফাইল পরিবর্তন করার সময়, এটি সম্পূর্ণ ফাইলটি পড়ে; আপনি যদি "শেষ" সেট করেন, সিস্টেমটি ফাইলের শেষে নতুন রেকর্ডগুলি উপস্থিত হওয়ার জন্য অপেক্ষা করে।

সম্পাদনা:

input {
  exec {
    command => "ls -alh"
    interval => 30
  }
}

এই ইনপুট ব্যবহার করে, একটি (শুধুমাত্র!) শেল কমান্ড চালু হয় এবং এর আউটপুট একটি লগ বার্তায় পরিণত হয়।

কমান্ড => "লস -আলহ"
কমান্ড যার আউটপুট আমরা আগ্রহী.

ব্যবধান => ৩০
সেকেন্ডে আমন্ত্রণ ব্যবধান।

ফায়ারওয়াল থেকে লগ গ্রহণ করার জন্য, আমরা একটি ফিল্টার নিবন্ধন করি TCP বা UDP, কিভাবে লগগুলি Logstash এ পাঠানো হয় তার উপর নির্ভর করে।

লগ বার্তাটি কেমন তা বোঝার জন্য আমরা ডিবাগ মোডে Logstash কনফিগারেশন ফাইলে আউটপুট কনফিগার করি

আমরা INPUT কনফিগার করার পরে, আমাদের বুঝতে হবে লগ বার্তাটি কেমন হবে এবং লগ ফিল্টার (পার্সার) কনফিগার করার জন্য কোন পদ্ধতি ব্যবহার করতে হবে।

এটি করার জন্য, আমরা একটি ফিল্টার ব্যবহার করব যা মূল বার্তাটি দেখার জন্য ফলাফলটিকে stdout-এ আউটপুট করে; এই মুহূর্তে সম্পূর্ণ কনফিগারেশন ফাইলটি দেখতে এইরকম হবে:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

output 
{
	if [type] == "checkpoint" 
       {
		stdout { codec=> json }
	}
}

চেক করতে কমান্ড চালান:
sudo /usr/share/logstash/bin//logstash -f /etc/logstash/conf.d/checkpoint.conf
আমরা ফলাফল দেখতে, ছবিটি ক্লিকযোগ্য:

আপনি যদি এটি অনুলিপি করেন তবে এটি এইরকম দেখাবে:

action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,0x5,0xfe0a0a0a,0xc0000000}" origin="10.10.10.254" originsicname="CN=ts-spb-cpgw-01,O=cp-spb-mgmt-01.tssolution.local.kncafb" sequencenum="8" time="1576766483" version="5" context_num="1" dst="10.10.10.10" dst_machine_name="[email protected]" layer_name="TSS-Standard Security" layer_name="TSS-Standard Application" layer_uuid="dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0" layer_uuid="dbee3718-cf2f-4de0-8681-529cb75be9a6" match_id="8" match_id="33554431" parent_rule="0" parent_rule="0" rule_action="Accept" rule_action="Accept" rule_name="Implicit Cleanup" rule_uid="6dc2396f-9644-4546-8f32-95d98a3344e6" product="VPN-1 & FireWall-1" proto="17" s_port="37317" service="53" service_id="domain-udp" src="10.10.1.180" ","type":"qqqqq","host":"10.10.10.250","@version":"1","port":50620}{"@timestamp":"2019-12-19T14:50:12.153Z","message":"time="1576766483" action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,

এই বার্তাগুলি দেখে, আমরা বুঝতে পারি যে লগগুলি দেখতে এইরকম: ক্ষেত্র = মান বা কী = মান, যার অর্থ kv নামক একটি ফিল্টার উপযুক্ত। প্রতিটি নির্দিষ্ট ক্ষেত্রে সঠিক ফিল্টার চয়ন করার জন্য, প্রযুক্তিগত ডকুমেন্টেশনে তাদের সাথে নিজেকে পরিচিত করা বা বন্ধুকে জিজ্ঞাসা করা একটি ভাল ধারণা।

ফিল্টার সেট আপ করা হচ্ছে

শেষ পর্যায়ে আমরা কেভি নির্বাচন করেছি, এই ফিল্টারের কনফিগারেশন নীচে উপস্থাপন করা হয়েছে:

filter {
if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
}
}

আমরা প্রতীকটি নির্বাচন করি যার দ্বারা আমরা ক্ষেত্র এবং মান ভাগ করব - “=”। যদি আমাদের লগে অভিন্ন এন্ট্রি থাকে, আমরা ডাটাবেসে শুধুমাত্র একটি উদাহরণ সংরক্ষণ করি, অন্যথায় আপনি অভিন্ন মানগুলির একটি অ্যারে দিয়ে শেষ করবেন, অর্থাৎ, যদি আমাদের বার্তা থাকে "foo = some foo=some" আমরা শুধুমাত্র foo লিখি। = কিছু।

ইলাস্টিক সার্চে সঠিক আউটপুট সেট আপ করা হচ্ছে

একবার ফিল্টার কনফিগার হয়ে গেলে, আপনি ডাটাবেসে লগ আপলোড করতে পারেন স্থিতিস্থাপক:

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

যদি নথিটি চেকপয়েন্ট টাইপের সাথে স্বাক্ষরিত হয়, আমরা ইভেন্টটিকে ইলাস্টিক সার্চ ডাটাবেসে সংরক্ষণ করি, যা ডিফল্টরূপে পোর্ট 10.10.1.200-এ 9200-এ সংযোগ গ্রহণ করে। প্রতিটি নথি একটি নির্দিষ্ট সূচকে সংরক্ষিত হয়, এই ক্ষেত্রে আমরা সূচীতে সংরক্ষণ করি "চেকপয়েন্ট-" + বর্তমান সময়ের তারিখ। প্রতিটি সূচকে একটি নির্দিষ্ট ক্ষেত্র থাকতে পারে, অথবা একটি বার্তায় একটি নতুন ক্ষেত্র উপস্থিত হলে স্বয়ংক্রিয়ভাবে তৈরি হয়; ফিল্ড সেটিংস এবং তাদের ধরন ম্যাপিংগুলিতে দেখা যেতে পারে।

আপনার যদি প্রমাণীকরণ কনফিগার করা থাকে (আমরা এটি পরে দেখব), একটি নির্দিষ্ট সূচকে লেখার জন্য শংসাপত্রগুলি অবশ্যই নির্দিষ্ট করা উচিত, এই উদাহরণে এটি পাসওয়ার্ড "কুল" সহ "tssolution"। আপনি শুধুমাত্র একটি নির্দিষ্ট সূচকে লগ লেখার জন্য ব্যবহারকারীর অধিকারগুলিকে আলাদা করতে পারেন এবং আর কিছু নয়৷

Logstash চালু করুন।

লগস্ট্যাশ কনফিগারেশন ফাইল:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

filter {
        if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
        }
}

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

আমরা সঠিকতার জন্য কনফিগারেশন ফাইলটি পরীক্ষা করি:
/usr/share/logstash/bin//logstash -f checkpoint.conf


Logstash প্রক্রিয়া শুরু করুন:
sudo systemctl logstash শুরু

আমরা পরীক্ষা করে দেখেছি যে প্রক্রিয়াটি শুরু হয়েছে:
sudo systemctl অবস্থা লগস্ট্যাশ

সকেট উপরে আছে কিনা তা পরীক্ষা করা যাক:
netstat -nat |grep 5555

কিবানায় লগগুলি পরীক্ষা করা হচ্ছে।

সবকিছু চলমান হওয়ার পরে, কিবানায় যান - আবিষ্কার করুন, নিশ্চিত করুন যে সবকিছু সঠিকভাবে কনফিগার করা হয়েছে, ছবিটি ক্লিকযোগ্য!

সমস্ত লগ জায়গায় আছে এবং আমরা সমস্ত ক্ষেত্র এবং তাদের মান দেখতে পারি!

উপসংহার

আমরা কিভাবে একটি Logstash কনফিগারেশন ফাইল লিখতে হয় তা দেখেছি, এবং ফলস্বরূপ আমরা সমস্ত ক্ষেত্র এবং মানগুলির একটি পার্সার পেয়েছি। এখন আমরা নির্দিষ্ট ক্ষেত্রগুলির জন্য অনুসন্ধান এবং প্লটিংয়ের সাথে কাজ করতে পারি। পরবর্তী কোর্সে আমরা কিবানায় ভিজ্যুয়ালাইজেশন দেখব এবং একটি সাধারণ ড্যাশবোর্ড তৈরি করব। এটি উল্লেখ করার মতো যে Logstash কনফিগারেশন ফাইলটি নির্দিষ্ট পরিস্থিতিতে ক্রমাগত আপডেট করা প্রয়োজন, উদাহরণস্বরূপ, যখন আমরা একটি নম্বর থেকে একটি শব্দে একটি ক্ষেত্রের মান প্রতিস্থাপন করতে চাই। পরবর্তী নিবন্ধগুলিতে আমরা এটি ক্রমাগত করব।

সুতরাং সংগেই থাকুনTelegram, ফেসবুক, VK, টিএস সমাধান ব্লগ), ইয়ানডেক্স জেন.

উত্স: www.habr.com