1.ელასტიური დასტა: უსაფრთხოების ჟურნალების ანალიზი. შესავალი

რუსეთში Splunk ჭრის და ანალიტიკური სისტემის გაყიდვების დასრულებასთან დაკავშირებით გაჩნდა კითხვა: რით შეიძლება ჩაანაცვლოს ეს გამოსავალი? მას შემდეგ, რაც დრო გავატარე სხვადასხვა გადაწყვეტილებების გასაცნობად, გადავწყვიტე გამოსავალი ნამდვილი კაცისთვის - "ELK სტეკი". ამ სისტემის დაყენებას დრო სჭირდება, მაგრამ შედეგად თქვენ შეგიძლიათ მიიღოთ ძალიან ძლიერი სისტემა სტატუსის გასაანალიზებლად და ორგანიზაციაში ინფორმაციული უსაფრთხოების ინციდენტებზე ოპერატიულად რეაგირებისთვის. სტატიების ამ სერიაში ჩვენ განვიხილავთ ELK სტეკის ძირითად (ან შესაძლოა არა) შესაძლებლობებს, განვიხილავთ, თუ როგორ შეგიძლიათ გაანალიზოთ ჟურნალები, როგორ ააწყოთ გრაფიკები და დაფები და რა საინტერესო ფუნქციები შეიძლება შესრულდეს ჟურნალების მაგალითის გამოყენებით. Check Point firewall ან OpenVas უსაფრთხოების სკანერი. დასაწყისისთვის, მოდით შევხედოთ რა არის ეს - ELK სტეკი და რა კომპონენტებისგან შედგება.

"ELK სტეკი" არის სამი ღია კოდის პროექტის აბრევიატურა: ელასტიური ძებნა, ლოგსტაში и კიბანა. შემუშავებულია Elastic-ის მიერ ყველა დაკავშირებულ პროექტთან ერთად. Elasticsearch არის მთელი სისტემის ბირთვი, რომელიც აერთიანებს მონაცემთა ბაზის, საძიებო და ანალიტიკური სისტემის ფუნქციებს. Logstash არის სერვერის მხრიდან მონაცემთა დამუშავების მილსადენი, რომელიც იღებს მონაცემებს რამდენიმე წყაროდან ერთდროულად, აანალიზებს ჟურნალს და შემდეგ აგზავნის მას Elasticsearch მონაცემთა ბაზაში. Kibana მომხმარებლებს საშუალებას აძლევს, ვიზუალიზაცია მოახდინონ სქემებისა და გრაფიკების გამოყენებით Elasticsearch-ში. თქვენ ასევე შეგიძლიათ მონაცემთა ბაზის ადმინისტრირება Kibana-ს მეშვეობით. შემდეგი, ჩვენ განვიხილავთ თითოეულ სისტემას ცალკე უფრო დეტალურად.

ლოგსტაში

Logstash არის პროგრამა სხვადასხვა წყაროდან ჟურნალის მოვლენების დასამუშავებლად, რომლითაც შეგიძლიათ აირჩიოთ ველები და მათი მნიშვნელობები შეტყობინებაში, ასევე შეგიძლიათ დააკონფიგურიროთ მონაცემთა ფილტრაცია და რედაქტირება. ყველა მანიპულაციის შემდეგ, Logstash გადამისამართებს მოვლენებს საბოლოო მონაცემთა მაღაზიაში. პროგრამა კონფიგურირებულია მხოლოდ კონფიგურაციის ფაილების საშუალებით.
ტიპიური logstash კონფიგურაცია არის ფაილ(ებ)ი, რომელიც შედგება ინფორმაციის რამდენიმე შემომავალი ნაკადისგან (შეყვანის), ამ ინფორმაციის რამდენიმე ფილტრისგან (ფილტრი) და რამდენიმე გამავალი ნაკადისგან (გამომავალი). ეს ჰგავს ერთ ან მეტ კონფიგურაციის ფაილს, რომელიც უმარტივეს ვერსიაში (რომელიც საერთოდ არაფერს აკეთებს) ასე გამოიყურება:

input {
}

filter {
}

output {
}

INPUT-ში ჩვენ ვაკონფიგურირებთ, რომელ პორტში გაიგზავნება ჟურნალები და რომელი პროტოკოლით, ან რომელი საქაღალდედან წაიკითხოს ახალი ან მუდმივად განახლებული ფაილები. FILTER-ში ჩვენ ვაკონფიგურირებთ ჟურნალის პარსერს: ველების ანალიზი, მნიშვნელობების რედაქტირება, ახალი პარამეტრების დამატება ან მათი წაშლა. FILTER არის ველი Logstash-ში მოხვედრილი შეტყობინების სამართავად, რედაქტირების უამრავი ვარიანტით. გამომავალში ვაკონფიგურირებთ, სად ვაგზავნით უკვე გაანალიზებულ ჟურნალს, იმ შემთხვევაში, თუ ეს არის elasticsearch, იგზავნება JSON მოთხოვნა, რომელშიც იგზავნება ველები მნიშვნელობებით, ან როგორც გამართვის ნაწილი, ის შეიძლება გამოვიდეს stdout-ში ან ჩაიწეროს ფაილში.

ელასტიური ძებნა

თავდაპირველად, Elasticsearch არის გამოსავალი სრული ტექსტის საძიებლად, მაგრამ დამატებითი კეთილმოწყობით, როგორიცაა მარტივი მასშტაბირება, რეპლიკაცია და სხვა რამ, რამაც პროდუქტი ძალიან მოსახერხებელი და კარგი გადაწყვეტა გახადა მაღალი დატვირთვის პროექტებისთვის დიდი მოცულობის მონაცემებით. Elasticsearch არის არარელაციური (NoSQL) JSON დოკუმენტების შესანახი და საძიებო სისტემა, რომელიც დაფუძნებულია Lucene სრული ტექსტის ძიებაზე. ტექნიკის პლატფორმა არის Java ვირტუალური მანქანა, ამიტომ სისტემა მოითხოვს დიდი რაოდენობით პროცესორისა და ოპერატიული მეხსიერების რესურსებს მუშაობისთვის.
ყოველი შემომავალი შეტყობინება, ან Logstash-ით ან შეკითხვის API-ის გამოყენებით, ინდექსირებულია როგორც „დოკუმენტი“ - ანალოგიური ცხრილისა რელატიური SQL-ში. ყველა დოკუმენტი ინახება ინდექსში - მონაცემთა ბაზის ანალოგი SQL-ში.

დოკუმენტის მაგალითი მონაცემთა ბაზაში:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

მონაცემთა ბაზასთან მთელი მუშაობა ეფუძნება JSON მოთხოვნებს REST API-ის გამოყენებით, რომელიც ან აწარმოებს დოკუმენტებს ინდექსის მიხედვით ან ზოგიერთ სტატისტიკას ფორმატში: კითხვა - პასუხი. თხოვნაზე ყველა პასუხის ვიზუალიზაციის მიზნით დაიწერა Kibana, რომელიც არის ვებ სერვისი.

კიბანა

Kibana საშუალებას გაძლევთ მოძებნოთ, მიიღოთ მონაცემები და მოიძიოთ სტატისტიკა elasticsearch მონაცემთა ბაზიდან, მაგრამ ბევრი ლამაზი გრაფიკი და დაფა აგებულია პასუხების საფუძველზე. სისტემას ასევე აქვს elasticsearch მონაცემთა ბაზის ადმინისტრირების ფუნქცია; შემდგომ სტატიებში ამ სერვისს უფრო დეტალურად განვიხილავთ. ახლა მოდით ვაჩვენოთ დაფების მაგალითი Check Point firewall-ისთვის და OpenVas დაუცველობის სკანერისთვის, რომელიც შეიძლება შეიქმნას.

Check Point-ის დაფის მაგალითი, სურათზე დაწკაპუნება შესაძლებელია:

OpenVas-ის დაფის მაგალითი, სურათზე დაწკაპუნება შესაძლებელია:

დასკვნა

ჩვენ შევხედეთ რისგან შედგება ELK დასტა, ცოტათი გავეცანით ძირითად პროდუქტებს, მოგვიანებით კურსში ცალკე განვიხილავთ Logstash-ის კონფიგურაციის ფაილის დაწერას, Kibana-ზე დაფების დაყენებას, API მოთხოვნებს, ავტომატიზაციას და ბევრ სხვას!

ასე რომ დარჩით (დეპეშა, Facebook, VK, TS Solution ბლოგი), Yandex Zen.

წყარო: www.habr.com