1.लवचिक स्टॅक: सुरक्षा नोंदींचे विश्लेषण. परिचय

रशियामध्ये स्प्लंक लॉगिंग आणि विश्लेषण प्रणालीच्या विक्रीच्या समाप्तीच्या संदर्भात, प्रश्न उद्भवला: हे समाधान कशासह बदलू शकते? वेगवेगळ्या उपायांसह स्वतःला परिचित करण्यात वेळ घालवल्यानंतर, मी एका वास्तविक माणसाच्या समाधानावर सेटल झालो - "ELK स्टॅक". ही प्रणाली सेट होण्यास वेळ लागतो, परंतु परिणामी स्थितीचे विश्लेषण करण्यासाठी आणि संस्थेतील माहिती सुरक्षा घटनांना त्वरित प्रतिसाद देण्यासाठी तुम्हाला एक अतिशय शक्तिशाली प्रणाली मिळू शकते. लेखांच्या या मालिकेत, आम्ही ELK स्टॅकच्या मूलभूत (किंवा कदाचित नाही) क्षमता पाहू, आपण लॉगचे विश्लेषण कसे करू शकता, आलेख आणि डॅशबोर्ड कसे तयार करावे आणि लॉगचे उदाहरण वापरून कोणती मनोरंजक कार्ये करता येतील याचा विचार करू. चेक पॉइंट फायरवॉल किंवा OpenVas सुरक्षा स्कॅनर. सुरुवातीला, ते काय आहे ते पाहू - ELK स्टॅक आणि त्यात कोणते घटक आहेत.

"ELK स्टॅक" तीन ओपन सोर्स प्रोजेक्ट्सचे संक्षिप्त रूप आहे: Elasticsearch, लॉगस्टॅश и किबाना. सर्व संबंधित प्रकल्पांसह इलास्टिकने विकसित केले आहे. इलास्टिकसर्च हा संपूर्ण सिस्टमचा मुख्य भाग आहे, जो डेटाबेस, शोध आणि विश्लेषणात्मक प्रणालीची कार्ये एकत्र करतो. लॉगस्टॅश ही सर्व्हर-साइड डेटा प्रोसेसिंग पाइपलाइन आहे जी एकाच वेळी अनेक स्त्रोतांकडून डेटा प्राप्त करते, लॉगचे विश्लेषण करते आणि नंतर इलास्टिकसर्च डेटाबेसला पाठवते. किबाना वापरकर्त्यांना इलास्टिकसर्च मधील चार्ट आणि आलेख वापरून डेटाची कल्पना करण्याची परवानगी देते. तुम्ही किबाना द्वारे डेटाबेस देखील प्रशासित करू शकता. पुढे, आम्ही प्रत्येक प्रणालीचा अधिक तपशीलवार विचार करू.

लॉगस्टॅश

लॉगस्टॅश ही विविध स्त्रोतांकडून लॉग इव्हेंट्सवर प्रक्रिया करण्यासाठी एक उपयुक्तता आहे, ज्याद्वारे आपण संदेशामध्ये फील्ड आणि त्यांची मूल्ये निवडू शकता आणि आपण डेटा फिल्टरिंग आणि संपादन देखील कॉन्फिगर करू शकता. सर्व हाताळणीनंतर, लॉगस्टॅश इव्हेंट्सना अंतिम डेटा स्टोअरवर पुनर्निर्देशित करते. युटिलिटी फक्त कॉन्फिगरेशन फाइल्सद्वारे कॉन्फिगर केली जाते.
ठराविक लॉगस्टॅश कॉन्फिगरेशन म्हणजे माहितीचे अनेक इनकमिंग स्ट्रीम (इनपुट), या माहितीसाठी अनेक फिल्टर (फिल्टर) आणि अनेक आउटगोइंग स्ट्रीम (आउटपुट) यांचा समावेश असलेली फाइल(स) आहे. हे एक किंवा अधिक कॉन्फिगरेशन फायलींसारखे दिसते, जे सर्वात सोप्या आवृत्तीमध्ये (जे काहीही करत नाही) असे दिसते:

input {
}

filter {
}

output {
}

INPUT मध्ये आम्ही कॉन्फिगर करतो की लॉग कोणत्या पोर्टवर पाठवले जातील आणि कोणत्या प्रोटोकॉलद्वारे किंवा कोणत्या फोल्डरमधून नवीन किंवा सतत अपडेट केलेल्या फाइल्स वाचाव्यात. FILTER मध्ये आम्ही लॉग पार्सर कॉन्फिगर करतो: फील्ड पार्स करणे, मूल्ये संपादित करणे, नवीन पॅरामीटर्स जोडणे किंवा हटवणे. FILTER हे अनेक संपादन पर्यायांसह Logstash वर येणारे संदेश व्यवस्थापित करण्यासाठी फील्ड आहे. आउटपुटमध्ये आम्ही कॉन्फिगर करतो की आम्ही आधीच पार्स केलेला लॉग कुठे पाठवतो, जर तो लवचिक शोध असेल तर JSON विनंती पाठविली जाते ज्यामध्ये मूल्यांसह फील्ड पाठवले जातात किंवा डीबगचा भाग म्हणून ते stdout वर आउटपुट केले जाऊ शकते किंवा फाइलवर लिहिले जाऊ शकते.

लवचिक शोध

सुरुवातीला, Elasticsearch हा पूर्ण-मजकूर शोधासाठी एक उपाय आहे, परंतु अतिरिक्त सुविधांसह जसे की सुलभ स्केलिंग, प्रतिकृती आणि इतर गोष्टी, ज्यामुळे उत्पादन अतिशय सोयीचे झाले आणि मोठ्या प्रमाणात डेटा असलेल्या उच्च-लोड प्रकल्पांसाठी एक चांगला उपाय आहे. Elasticsearch हे एक नॉन-रिलेशनल (NoSQL) JSON दस्तऐवज स्टोअर आणि Lucene पूर्ण-मजकूर शोधावर आधारित शोध इंजिन आहे. हार्डवेअर प्लॅटफॉर्म जावा व्हर्च्युअल मशीन आहे, त्यामुळे सिस्टमला ऑपरेट करण्यासाठी मोठ्या प्रमाणात प्रोसेसर आणि RAM संसाधने आवश्यक आहेत.
प्रत्येक इनकमिंग मेसेज, एकतर लॉगस्टॅशसह किंवा क्वेरी API वापरून, "दस्तऐवज" म्हणून अनुक्रमित केला जातो - रिलेशनल SQL मधील सारणीशी समानता. सर्व दस्तऐवज अनुक्रमणिकेमध्ये संग्रहित केले जातात - SQL मधील डेटाबेसचे अॅनालॉग.

डेटाबेसमधील दस्तऐवजाचे उदाहरण:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

डेटाबेससह सर्व कार्य REST API वापरून JSON विनंत्यांवर आधारित आहे, जे एकतर अनुक्रमणिकेद्वारे दस्तऐवज तयार करतात किंवा काही आकडेवारी: प्रश्न - उत्तर या स्वरूपात. विनंत्यांच्या सर्व प्रतिसादांची कल्पना करण्यासाठी, किबाना लिहिले होते, जी एक वेब सेवा आहे.

किबाना

किबाना तुम्हाला इलास्टिकसर्च डेटाबेसमधून डेटा शोधण्याची, पुनर्प्राप्त करण्याची आणि क्वेरी आकडेवारीची परवानगी देते, परंतु उत्तरांवर आधारित अनेक सुंदर आलेख आणि डॅशबोर्ड तयार केले आहेत. सिस्टममध्ये लवचिक शोध डेटाबेस प्रशासन कार्यक्षमता देखील आहे; त्यानंतरच्या लेखांमध्ये आम्ही या सेवेबद्दल अधिक तपशीलवार पाहू. आता चेक पॉइंट फायरवॉलसाठी डॅशबोर्डचे उदाहरण आणि OpenVas व्हल्नेरेबिलिटी स्कॅनर दाखवू जे तयार केले जाऊ शकते.

चेक पॉइंटसाठी डॅशबोर्डचे उदाहरण, चित्र क्लिक करण्यायोग्य आहे:

OpenVas साठी डॅशबोर्डचे उदाहरण, चित्र क्लिक करण्यायोग्य आहे:

निष्कर्ष

आम्ही त्यात काय समाविष्ट आहे ते पाहिले ELK स्टॅक, आम्हाला मुख्य उत्पादनांशी थोडीशी ओळख झाली, नंतर कोर्समध्ये आम्ही लॉगस्टॅश कॉन्फिगरेशन फाइल लिहिणे, किबाना वर डॅशबोर्ड सेट करणे, API विनंत्या, ऑटोमेशन आणि बरेच काही याबद्दल स्वतंत्रपणे विचार करू!

त्यामुळे ट्यून राहातार, फेसबुक, VK, टीएस सोल्यूशन ब्लॉग), यांडेक्स झेन.

स्त्रोत: www.habr.com