2. સ્થિતિસ્થાપક સ્ટેક: સુરક્ષા લોગનું વિશ્લેષણ. લોગસ્ટેશ

છેલ્લામાં લેખ અમે મળ્યા ELK સ્ટેક, તેમાં કયા સોફ્ટવેર ઉત્પાદનોનો સમાવેશ થાય છે. અને ELK સ્ટેક સાથે કામ કરતી વખતે એન્જિનિયર જે પ્રથમ કાર્યનો સામનો કરે છે તે અનુગામી વિશ્લેષણ માટે સ્થિતિસ્થાપક શોધમાં સંગ્રહ માટે લોગ મોકલવાનું છે. જો કે, આ માત્ર લિપ સર્વિસ છે, elasticsearch અમુક ફીલ્ડ્સ અને મૂલ્યો સાથે દસ્તાવેજોના રૂપમાં લોગ સ્ટોર કરે છે, જેનો અર્થ છે કે એન્જીનિયરે એન્ડ સિસ્ટમ્સમાંથી મોકલેલા સંદેશને પાર્સ કરવા માટે વિવિધ સાધનોનો ઉપયોગ કરવો આવશ્યક છે. આ ઘણી રીતે કરી શકાય છે - એક પ્રોગ્રામ જાતે લખો જે API નો ઉપયોગ કરીને ડેટાબેઝમાં દસ્તાવેજો ઉમેરશે અથવા તૈયાર ઉકેલોનો ઉપયોગ કરશે. આ કોર્સમાં આપણે ઉકેલ પર વિચાર કરીશું લોગસ્ટેશ, જે ELK સ્ટેકનો ભાગ છે. અમે જોઈશું કે અમે એન્ડપોઇન્ટ સિસ્ટમ્સમાંથી લોગસ્ટેશ પર કેવી રીતે લોગ મોકલી શકીએ છીએ, અને પછી અમે ઇલાસ્ટિકસર્ચ ડેટાબેઝ પર પાર્સ અને રીડાયરેક્ટ કરવા માટે એક રૂપરેખાંકન ફાઇલ સેટ કરીશું. આ કરવા માટે, અમે ઇનકમિંગ સિસ્ટમ તરીકે ચેક પોઇન્ટ ફાયરવોલમાંથી લોગ લઈએ છીએ.

કોર્સમાં ELK સ્ટેકના ઇન્સ્ટોલેશનને આવરી લેવામાં આવતું નથી, કારણ કે આ વિષય પર મોટી સંખ્યામાં લેખો છે; અમે રૂપરેખાંકન ઘટકને ધ્યાનમાં લઈશું.

ચાલો Logstash રૂપરેખાંકન માટે એક એક્શન પ્લાન બનાવીએ:

1. ઇલાસ્ટીક શોધ લોગ સ્વીકારશે તે તપાસવું (પોર્ટની કાર્યક્ષમતા અને નિખાલસતા તપાસી રહ્યું છે).
2. અમે ધ્યાનમાં લઈએ છીએ કે અમે કેવી રીતે Logstash પર ઇવેન્ટ મોકલી શકીએ છીએ, પદ્ધતિ પસંદ કરી શકીએ છીએ અને તેને અમલમાં મૂકી શકીએ છીએ.
3. અમે Logstash રૂપરેખાંકન ફાઇલમાં ઇનપુટને ગોઠવીએ છીએ.
4. લોગ સંદેશ કેવો દેખાય છે તે સમજવા માટે અમે ડીબગ મોડમાં Logstash રૂપરેખાંકન ફાઇલમાં આઉટપુટને ગોઠવીએ છીએ.
5. ફિલ્ટર સેટ કરી રહ્યું છે.
6. ઇલાસ્ટીક સર્ચમાં યોગ્ય આઉટપુટ સેટ કરી રહ્યું છે.
7. લોગસ્ટેશ લોન્ચ થાય છે.
8. કિબાનામાં લૉગ્સ તપાસી રહ્યાં છીએ.

ચાલો દરેક મુદ્દાને વધુ વિગતવાર જોઈએ:

ચકાસવું કે elasticsearch લોગ સ્વીકારશે

આ કરવા માટે, તમે જે સિસ્ટમ પર Logstash જમાવ્યું છે તેમાંથી Elasticsearch ની ઍક્સેસ તપાસવા માટે curl આદેશનો ઉપયોગ કરી શકો છો. જો તમારી પાસે પ્રમાણીકરણ રૂપરેખાંકિત હોય, તો અમે વપરાશકર્તા/પાસવર્ડને curl દ્વારા સ્થાનાંતરિત કરીએ છીએ, જો તમે તેને બદલ્યો ન હોય તો પોર્ટ 9200 નો ઉલ્લેખ કરીને. જો તમને નીચે આપેલા જેવો જ પ્રતિસાદ મળે, તો બધું ક્રમમાં છે.

[elastic@elasticsearch ~]$ curl -u <<user_name>> : <<password>> -sS -XGET "<<ip_address_elasticsearch>>:9200"
{
  "name" : "elastic-1",
  "cluster_name" : "project",
  "cluster_uuid" : "sQzjTTuCR8q4ZO6DrEis0A",
  "version" : {
    "number" : "7.4.1",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "fc0eeb6e2c25915d63d871d344e3d0b45ea0ea1e",
    "build_date" : "2019-10-22T17:16:35.176724Z",
    "build_snapshot" : false,
    "lucene_version" : "8.2.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}
[elastic@elasticsearch ~]$

જો પ્રતિસાદ પ્રાપ્ત થયો નથી, તો ત્યાં ઘણી પ્રકારની ભૂલો હોઈ શકે છે: ઇલાસ્ટિકસર્ચ પ્રક્રિયા ચાલી રહી નથી, ખોટો પોર્ટ ઉલ્લેખિત છે, અથવા પોર્ટ જ્યાં ઇલાસ્ટિકસર્ચ ઇન્સ્ટોલ કરેલ છે તે સર્વર પર ફાયરવોલ દ્વારા અવરોધિત છે.

ચાલો જોઈએ કે તમે ચેક પોઈન્ટ ફાયરવોલથી લોગસ્ટેશને કેવી રીતે લોગ મોકલી શકો છો

ચેક પોઈન્ટ મેનેજમેન્ટ સર્વરથી તમે log_exporter ઉપયોગિતાનો ઉપયોગ કરીને syslog દ્વારા Logstash ને લોગ મોકલી શકો છો, તમે તેના વિશે અહીં વધુ વાંચી શકો છો લેખ, અહીં આપણે ફક્ત તે આદેશ છોડીશું જે સ્ટ્રીમ બનાવે છે:

cp_log_export નામ ઉમેરો check_point_syslog target-server < > લક્ષ્ય-પોર્ટ 5555 પ્રોટોકોલ tcp ફોર્મેટ સામાન્ય રીડ-મોડ અર્ધ-યુનિફાઇડ

< > - સર્વરનું સરનામું કે જેના પર Logstash ચાલે છે, લક્ષ્ય-પોર્ટ 5555 - પોર્ટ કે જેના પર અમે લોગ મોકલીશું, tcp દ્વારા લોગ મોકલવાથી સર્વર લોડ થઈ શકે છે, તેથી કેટલાક કિસ્સાઓમાં udp નો ઉપયોગ કરવો વધુ યોગ્ય છે.

Logstash રૂપરેખાંકન ફાઇલમાં INPUT સેટ કરી રહ્યું છે

મૂળભૂત રીતે, રૂપરેખાંકન ફાઈલ /etc/logstash/conf.d/ ડિરેક્ટરીમાં સ્થિત છે. રૂપરેખાંકન ફાઇલમાં 3 અર્થપૂર્ણ ભાગોનો સમાવેશ થાય છે: INPUT, FILTER, OUTPUT. IN ઇનપુટ અમે સૂચવીએ છીએ કે સિસ્ટમ ક્યાંથી લોગ લેશે FILTER લોગને પાર્સ કરો - સંદેશને ક્ષેત્રો અને મૂલ્યોમાં કેવી રીતે વિભાજીત કરવો તે સેટ કરો, માં OUTPUT અમે આઉટપુટ સ્ટ્રીમને ગોઠવીએ છીએ - જ્યાં વિશ્લેષિત લોગ મોકલવામાં આવશે.

પ્રથમ, ચાલો INPUT ને રૂપરેખાંકિત કરીએ, કેટલાક પ્રકારો ધ્યાનમાં લઈએ જે હોઈ શકે - ફાઇલ, tcp અને exe.

Tcp:

input {
tcp {
    port => 5555
    host => “10.10.1.205”
    type => "checkpoint"
    mode => "server"
}
}

મોડ => "સર્વર"
સૂચવે છે કે Logstash જોડાણો સ્વીકારી રહ્યું છે.

પોર્ટ => 5555
હોસ્ટ => “10.10.1.205”
અમે IP એડ્રેસ 10.10.1.205 (Logstash), પોર્ટ 5555 દ્વારા કનેક્શન સ્વીકારીએ છીએ - ફાયરવોલ નીતિ દ્વારા પોર્ટને મંજૂરી હોવી આવશ્યક છે.

ટાઇપ => "ચેકપોઇન્ટ"
અમે દસ્તાવેજને ચિહ્નિત કરીએ છીએ, જો તમારી પાસે ઘણા ઇનકમિંગ કનેક્શન હોય તો તે ખૂબ અનુકૂળ છે. ત્યારબાદ, દરેક કનેક્શન માટે તમે લોજિકલ જો કન્સ્ટ્રક્ટનો ઉપયોગ કરીને તમારું પોતાનું ફિલ્ટર લખી શકો છો.

ફાઇલ:

input {
  file {
    path => "/var/log/openvas_report/*"
    type => "openvas"
    start_position => "beginning"
    }
}

સેટિંગ્સનું વર્ણન:
પાથ => "/var/log/openvas_report/*"
અમે ડિરેક્ટરી સૂચવીએ છીએ જેમાં ફાઇલોને વાંચવાની જરૂર છે.

પ્રકાર => "ઓપનવાસ"
ઇવેન્ટનો પ્રકાર.

start_position => "શરૂઆત"
ફાઇલ બદલતી વખતે, તે આખી ફાઇલ વાંચે છે; જો તમે "અંત" સેટ કરો છો, તો સિસ્ટમ ફાઇલના અંતે નવા રેકોર્ડ્સ દેખાય તેની રાહ જુએ છે.

અમલ:

input {
  exec {
    command => "ls -alh"
    interval => 30
  }
}

આ ઇનપુટનો ઉપયોગ કરીને, એક (માત્ર!) શેલ આદેશ લોંચ થાય છે અને તેનું આઉટપુટ લોગ સંદેશમાં ફેરવાય છે.

આદેશ => "ls -alh"
આદેશ જેના આઉટપુટમાં અમને રસ છે.

અંતરાલ => 30
સેકન્ડમાં આદેશ આહ્વાન અંતરાલ.

ફાયરવોલમાંથી લોગ મેળવવા માટે, અમે ફિલ્ટર રજીસ્ટર કરીએ છીએ tcp અથવા udp, લોગ્સ કેવી રીતે Logstash પર મોકલવામાં આવે છે તેના આધારે.

લોગ મેસેજ કેવો દેખાય છે તે સમજવા માટે અમે ડીબગ મોડમાં Logstash રૂપરેખાંકન ફાઇલમાં આઉટપુટને ગોઠવીએ છીએ

અમે INPUT ને રૂપરેખાંકિત કર્યા પછી, અમારે એ સમજવાની જરૂર છે કે લોગ સંદેશ કેવો દેખાશે અને લોગ ફિલ્ટર (પાર્સર) ને ગોઠવવા માટે કઈ પદ્ધતિઓનો ઉપયોગ કરવાની જરૂર છે.

આ કરવા માટે, અમે એક ફિલ્ટરનો ઉપયોગ કરીશું જે મૂળ સંદેશને જોવા માટે પરિણામને stdout માં આઉટપુટ કરે છે; અત્યારે સંપૂર્ણ રૂપરેખાંકન ફાઇલ આના જેવી દેખાશે:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

output 
{
	if [type] == "checkpoint" 
       {
		stdout { codec=> json }
	}
}

તપાસવા માટે આદેશ ચલાવો:
sudo /usr/share/logstash/bin//logstash -f /etc/logstash/conf.d/checkpoint.conf
અમે પરિણામ જોઈએ છીએ, ચિત્ર ક્લિક કરી શકાય તેવું છે:

જો તમે તેની નકલ કરો તો તે આના જેવું દેખાશે:

action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,0x5,0xfe0a0a0a,0xc0000000}" origin="10.10.10.254" originsicname="CN=ts-spb-cpgw-01,O=cp-spb-mgmt-01.tssolution.local.kncafb" sequencenum="8" time="1576766483" version="5" context_num="1" dst="10.10.10.10" dst_machine_name="[email protected]" layer_name="TSS-Standard Security" layer_name="TSS-Standard Application" layer_uuid="dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0" layer_uuid="dbee3718-cf2f-4de0-8681-529cb75be9a6" match_id="8" match_id="33554431" parent_rule="0" parent_rule="0" rule_action="Accept" rule_action="Accept" rule_name="Implicit Cleanup" rule_uid="6dc2396f-9644-4546-8f32-95d98a3344e6" product="VPN-1 & FireWall-1" proto="17" s_port="37317" service="53" service_id="domain-udp" src="10.10.1.180" ","type":"qqqqq","host":"10.10.10.250","@version":"1","port":50620}{"@timestamp":"2019-12-19T14:50:12.153Z","message":"time="1576766483" action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,

આ સંદેશાઓને જોતા, અમે સમજીએ છીએ કે લોગ આના જેવા દેખાય છે: ક્ષેત્ર = મૂલ્ય અથવા કી = મૂલ્ય, જેનો અર્થ છે કે kv નામનું ફિલ્ટર યોગ્ય છે. દરેક ચોક્કસ કેસ માટે યોગ્ય ફિલ્ટર પસંદ કરવા માટે, તકનીકી દસ્તાવેજોમાં તેમની સાથે પોતાને પરિચિત કરવા અથવા મિત્રને પૂછવું એ એક સારો વિચાર છે.

ફિલ્ટર સેટ કરી રહ્યું છે

છેલ્લા તબક્કે અમે kv પસંદ કર્યું છે, આ ફિલ્ટરનું રૂપરેખાંકન નીચે પ્રસ્તુત છે:

filter {
if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
}
}

અમે પ્રતીક પસંદ કરીએ છીએ જેના દ્વારા આપણે ક્ષેત્ર અને મૂલ્ય - “=” ને વિભાજીત કરીશું. જો અમારી પાસે લોગમાં સમાન એન્ટ્રીઓ હોય, તો અમે ડેટાબેઝમાં માત્ર એક જ દાખલો સાચવીએ છીએ, અન્યથા તમે સમાન મૂલ્યોની શ્રેણી સાથે સમાપ્ત થશો, એટલે કે, જો અમારી પાસે "foo = some foo=some" સંદેશ હોય તો અમે ફક્ત foo લખીએ છીએ. = અમુક.

ઇલાસ્ટીક સર્ચમાં યોગ્ય આઉટપુટ સેટ કરી રહ્યું છે

એકવાર ફિલ્ટર ગોઠવાઈ જાય, પછી તમે ડેટાબેઝમાં લોગ અપલોડ કરી શકો છો સ્થિતિસ્થાપક:

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

જો દસ્તાવેજ ચેકપોઇન્ટ પ્રકાર સાથે સહી કરેલ હોય, તો અમે ઇવેન્ટને elasticsearch ડેટાબેઝમાં સાચવીએ છીએ, જે ડિફોલ્ટ રૂપે પોર્ટ 10.10.1.200 પર 9200 ના રોજ જોડાણો સ્વીકારે છે. દરેક દસ્તાવેજ ચોક્કસ અનુક્રમણિકામાં સાચવવામાં આવે છે, આ કિસ્સામાં આપણે ઇન્ડેક્સ “ચેકપોઇન્ટ-” + વર્તમાન સમય તારીખમાં સાચવીએ છીએ. દરેક ઇન્ડેક્સમાં ફીલ્ડનો ચોક્કસ સેટ હોઈ શકે છે, અથવા જ્યારે સંદેશમાં નવું ફીલ્ડ દેખાય છે ત્યારે તે આપમેળે બનાવવામાં આવે છે; ફીલ્ડ સેટિંગ્સ અને તેનો પ્રકાર મેપિંગમાં જોઈ શકાય છે.

જો તમારી પાસે પ્રમાણીકરણ રૂપરેખાંકિત છે (અમે તેને પછીથી જોઈશું), તો ચોક્કસ અનુક્રમણિકા પર લખવા માટેના ઓળખપત્રોનો ઉલ્લેખ કરવો આવશ્યક છે, આ ઉદાહરણમાં તે પાસવર્ડ "કૂલ" સાથે "tssolution" છે. તમે ફક્ત ચોક્કસ અનુક્રમણિકા પર લૉગ્સ લખવાના વપરાશકર્તા અધિકારોને અલગ કરી શકો છો અને વધુ નહીં.

લોગસ્ટેશ લોંચ કરો.

લોગસ્ટેશ રૂપરેખાંકન ફાઇલ:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

filter {
        if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
        }
}

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

અમે ચોકસાઈ માટે રૂપરેખાંકન ફાઇલ તપાસીએ છીએ:
/usr/share/logstash/bin//logstash -f checkpoint.conf


લોગસ્ટેશ પ્રક્રિયા શરૂ કરો:
sudo systemctl લોગસ્ટશ શરૂ કરો

અમે તપાસીએ છીએ કે પ્રક્રિયા શરૂ થઈ છે:
sudo systemctl સ્થિતિ લોગસ્ટેશ

ચાલો તપાસ કરીએ કે સોકેટ ઉપર છે કે નહીં:
netstat -nat |grep 5555

કિબાનામાં લૉગ્સ તપાસી રહ્યાં છીએ.

બધું ચાલે તે પછી, કિબાના પર જાઓ - શોધો, ખાતરી કરો કે બધું યોગ્ય રીતે ગોઠવેલું છે, ચિત્ર ક્લિક કરી શકાય તેવું છે!

બધા લોગ સ્થાને છે અને આપણે બધા ક્ષેત્રો અને તેમના મૂલ્યો જોઈ શકીએ છીએ!

નિષ્કર્ષ

અમે Logstash રૂપરેખાંકન ફાઇલ કેવી રીતે લખવી તે જોયું, અને પરિણામે અમને તમામ ક્ષેત્રો અને મૂલ્યોનું પાર્સર મળ્યું. હવે આપણે ચોક્કસ ક્ષેત્રો માટે શોધ અને પ્લોટિંગ સાથે કામ કરી શકીએ છીએ. આગળ કોર્સમાં આપણે કિબાનામાં વિઝ્યુલાઇઝેશન જોઈશું અને એક સરળ ડેશબોર્ડ બનાવીશું. તે ઉલ્લેખનીય છે કે Logstash રૂપરેખાંકન ફાઇલને ચોક્કસ પરિસ્થિતિઓમાં સતત અપડેટ કરવાની જરૂર છે, ઉદાહરણ તરીકે, જ્યારે આપણે ફીલ્ડની કિંમતને નંબરથી શબ્દમાં બદલવા માંગીએ છીએ. હવે પછીના લેખોમાં આપણે આ સતત કરીશું.

તેથી ટ્યુન રહોTelegram, ફેસબુક, VK, ટીએસ સોલ્યુશન બ્લોગ), યાન્ડેક્ષ ઝેન.

સોર્સ: www.habr.com