1.इलास्टिक स्टैक: सुरक्षा लॉग का विश्लेषण। परिचय

रूस में स्प्लंक लॉगिंग और एनालिटिक्स सिस्टम की बिक्री की समाप्ति के संबंध में, सवाल उठा: इस समाधान को किससे बदला जा सकता है? विभिन्न समाधानों से खुद को परिचित करने में समय बिताने के बाद, मैंने एक वास्तविक आदमी के लिए एक समाधान तय किया - "ईएलके स्टैक". इस प्रणाली को स्थापित होने में समय लगता है, लेकिन इसके परिणामस्वरूप आप स्थिति का विश्लेषण करने और संगठन में सूचना सुरक्षा घटनाओं पर तुरंत प्रतिक्रिया देने के लिए एक बहुत शक्तिशाली प्रणाली प्राप्त कर सकते हैं। लेखों की इस श्रृंखला में, हम ईएलके स्टैक की बुनियादी (या शायद नहीं) क्षमताओं को देखेंगे, विचार करेंगे कि आप लॉग को कैसे पार्स कर सकते हैं, ग्राफ़ और डैशबोर्ड कैसे बना सकते हैं, और लॉग के उदाहरण का उपयोग करके कौन से दिलचस्प कार्य किए जा सकते हैं चेक प्वाइंट फ़ायरवॉल या ओपनवास सुरक्षा स्कैनर। आरंभ करने के लिए, आइए देखें कि यह क्या है - ईएलके स्टैक, और इसमें कौन से घटक शामिल हैं।

"ईएलके स्टैक" यह तीन ओपन सोर्स प्रोजेक्ट्स का संक्षिप्त रूप है: Elasticsearch, Logstash и Kibana. सभी संबंधित परियोजनाओं के साथ इलास्टिक द्वारा विकसित। इलास्टिक्स खोज पूरे सिस्टम का मूल है, जो डेटाबेस, खोज और विश्लेषणात्मक प्रणाली के कार्यों को जोड़ती है। लॉगस्टैश एक सर्वर-साइड डेटा प्रोसेसिंग पाइपलाइन है जो एक साथ कई स्रोतों से डेटा प्राप्त करता है, लॉग को पार्स करता है, और फिर इसे इलास्टिक्स खोज डेटाबेस में भेजता है। किबाना उपयोगकर्ताओं को इलास्टिक्स खोज में चार्ट और ग्राफ़ का उपयोग करके डेटा की कल्पना करने की अनुमति देता है। आप किबाना के माध्यम से भी डेटाबेस का प्रबंधन कर सकते हैं। आगे, हम प्रत्येक प्रणाली पर अलग से अधिक विस्तार से विचार करेंगे।

Logstash

लॉगस्टैश विभिन्न स्रोतों से लॉग ईवेंट को संसाधित करने के लिए एक उपयोगिता है, जिसके साथ आप एक संदेश में फ़ील्ड और उनके मानों का चयन कर सकते हैं, और आप डेटा फ़िल्टरिंग और संपादन को भी कॉन्फ़िगर कर सकते हैं। सभी जोड़तोड़ के बाद, लॉगस्टैश घटनाओं को अंतिम डेटा स्टोर पर पुनर्निर्देशित करता है। उपयोगिता को केवल कॉन्फ़िगरेशन फ़ाइलों के माध्यम से कॉन्फ़िगर किया गया है।
एक विशिष्ट लॉगस्टैश कॉन्फ़िगरेशन एक फ़ाइल है जिसमें सूचना की कई आने वाली स्ट्रीम (इनपुट), इस जानकारी के लिए कई फ़िल्टर (फ़िल्टर) और कई आउटगोइंग स्ट्रीम (आउटपुट) शामिल हैं। यह एक या अधिक कॉन्फ़िगरेशन फ़ाइलों की तरह दिखता है, जो सबसे सरल संस्करण में (जो कुछ भी नहीं करता है) इस तरह दिखता है:

input {
}

filter {
}

output {
}

INPUT में हम कॉन्फ़िगर करते हैं कि लॉग किस पोर्ट पर और किस प्रोटोकॉल के माध्यम से भेजे जाएंगे, या किस फ़ोल्डर से नई या लगातार अपडेट की गई फ़ाइलों को पढ़ेंगे। फ़िल्टर में हम लॉग पार्सर को कॉन्फ़िगर करते हैं: फ़ील्ड को पार्स करना, मान संपादित करना, नए पैरामीटर जोड़ना या उन्हें हटाना। फ़िल्टर बहुत सारे संपादन विकल्पों के साथ लॉगस्टैश पर आने वाले संदेश को प्रबंधित करने के लिए एक फ़ील्ड है। आउटपुट में हम कॉन्फ़िगर करते हैं जहां हम पहले से पार्स किए गए लॉग को भेजते हैं, यदि यह इलास्टिक्सर्च है तो एक JSON अनुरोध भेजा जाता है जिसमें मान वाले फ़ील्ड भेजे जाते हैं, या डीबग के हिस्से के रूप में इसे stdout पर आउटपुट किया जा सकता है या किसी फ़ाइल में लिखा जा सकता है।

Elasticsearch

प्रारंभ में, इलास्टिक्स खोज पूर्ण-पाठ खोज के लिए एक समाधान है, लेकिन आसान स्केलिंग, प्रतिकृति और अन्य चीजों जैसी अतिरिक्त सुविधाओं के साथ, जिसने उत्पाद को बहुत सुविधाजनक बना दिया और बड़ी मात्रा में डेटा के साथ उच्च-लोड परियोजनाओं के लिए एक अच्छा समाधान है। Elasticsearch एक गैर-रिलेशनल (NoSQL) JSON दस्तावेज़ स्टोर और ल्यूसीन पूर्ण-पाठ खोज पर आधारित खोज इंजन है। हार्डवेयर प्लेटफ़ॉर्म जावा वर्चुअल मशीन है, इसलिए सिस्टम को संचालित करने के लिए बड़ी मात्रा में प्रोसेसर और रैम संसाधनों की आवश्यकता होती है।
प्रत्येक आने वाले संदेश को, या तो लॉगस्टैश के साथ या क्वेरी एपीआई का उपयोग करके, "दस्तावेज़" के रूप में अनुक्रमित किया जाता है - रिलेशनल एसक्यूएल में एक तालिका के अनुरूप। सभी दस्तावेज़ एक इंडेक्स में संग्रहीत होते हैं - SQL में डेटाबेस का एक एनालॉग।

डेटाबेस में दस्तावेज़ का उदाहरण:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

डेटाबेस के साथ सभी कार्य REST API का उपयोग करके JSON अनुरोधों पर आधारित होते हैं, जो या तो इंडेक्स द्वारा दस्तावेज़ तैयार करते हैं या प्रारूप में कुछ आँकड़े: प्रश्न - उत्तर। अनुरोधों पर सभी प्रतिक्रियाओं की कल्पना करने के लिए, किबाना लिखा गया था, जो एक वेब सेवा है।

Kibana

किबाना आपको इलास्टिक्स खोज डेटाबेस से डेटा और क्वेरी आँकड़े खोजने, पुनर्प्राप्त करने की अनुमति देता है, लेकिन उत्तरों के आधार पर कई सुंदर ग्राफ़ और डैशबोर्ड बनाए जाते हैं। सिस्टम में इलास्टिक्स खोज डेटाबेस प्रशासन कार्यक्षमता भी है; बाद के लेखों में हम इस सेवा पर अधिक विस्तार से विचार करेंगे। आइए अब चेक प्वाइंट फ़ायरवॉल और ओपनवास भेद्यता स्कैनर के लिए डैशबोर्ड का एक उदाहरण दिखाएं जिसे बनाया जा सकता है।

चेक प्वाइंट के लिए डैशबोर्ड का एक उदाहरण, चित्र क्लिक करने योग्य है:

OpenVas के लिए डैशबोर्ड का एक उदाहरण, चित्र क्लिक करने योग्य है:

निष्कर्ष

हमने देखा कि इसमें क्या शामिल है ELK स्टैक, हम मुख्य उत्पादों से थोड़ा परिचित हो गए, बाद में पाठ्यक्रम में हम अलग से लॉगस्टैश कॉन्फ़िगरेशन फ़ाइल लिखने, किबाना पर डैशबोर्ड स्थापित करने, एपीआई अनुरोधों, स्वचालन और बहुत कुछ से परिचित होने पर विचार करेंगे!

तो मिले रहेंTelegram, फेसबुक, VK, टीएस समाधान ब्लॉग), Yandeks.Dzen.

स्रोत: www.habr.com