1- المكدس المرنة: تحليل سجلات الأمان. مقدمة

فيما يتعلق بنهاية المبيعات في روسيا لنظام التسجيل والتحليل Splunk ، نشأ السؤال ، بماذا يمكن استبدال هذا الحل؟ بعد قضاء الوقت في التعرف على الحلول المختلفة ، استقررت على حل لرجل حقيقي - "مكدس ELK". يستغرق هذا النظام وقتًا لإعداده ، ولكن نتيجة لذلك ، يمكنك الحصول على نظام قوي جدًا لتحليل الحالة والاستجابة السريعة لحوادث أمن المعلومات في المؤسسة. في هذه السلسلة من المقالات ، سنلقي نظرة على الميزات الأساسية (أو ربما لا) لمكدس ELK ، وننظر في كيفية تحليل السجلات ، وكيفية إنشاء الرسوم البيانية ولوحات المعلومات ، والوظائف الشيقة التي يمكن القيام بها باستخدام مثال السجلات من جدار الحماية Check Point أو الماسح الأمني ​​OpenVas. بادئ ذي بدء ، دعنا نفكر في ما هو - مكدس ELK ، والمكونات التي تتكون منها.

"مكدس ELK" باختصار لثلاثة مشاريع مفتوحة المصدر: Elasticsearch, Logstash и Kibana. تم تطويره بواسطة Elastic جنبًا إلى جنب مع جميع المشاريع ذات الصلة. Elasticsearch هو جوهر النظام بأكمله ، والذي يجمع بين وظائف قاعدة البيانات والبحث والنظام التحليلي. Logstash هو خط أنابيب لمعالجة البيانات من جانب الخادم يتلقى البيانات من مصادر متعددة في نفس الوقت ، ويوزع السجل ، ثم يرسله إلى قاعدة بيانات Elasticsearch. يسمح Kibana للمستخدمين بتصور البيانات باستخدام المخططات والرسوم البيانية في Elasticsearch. يمكنك أيضًا إدارة قاعدة البيانات من خلال Kibana. دعنا نلقي نظرة فاحصة على كل نظام على حدة.

Logstash

Logstash هي أداة مساعدة لمعالجة أحداث السجل من مصادر مختلفة ، والتي يمكنك من خلالها تحديد الحقول وقيمها في رسالة ، كما يمكنك تكوين التصفية وتحرير البيانات. بعد كل التلاعبات ، يقوم Logstash بإعادة توجيه الأحداث إلى مخزن البيانات النهائي. يتم تكوين الأداة المساعدة فقط من خلال ملفات التكوين.
تكوين logstash النموذجي هو ملف (ملفات) يتكون من العديد من تدفقات المعلومات الواردة (الإدخال) ، والعديد من المرشحات لهذه المعلومات (عامل التصفية) والعديد من التدفقات الصادرة (الإخراج). يبدو وكأنه ملف تهيئة واحد أو أكثر ، والذي يبدو في أبسط إصدار (الذي لا يفعل شيئًا على الإطلاق) كما يلي:

input {
}

filter {
}

output {
}

في INPUT ، نقوم بتهيئة المنفذ الذي ستأتي إليه السجلات وبأي بروتوكول ، أو من أي مجلد لقراءة الملفات الجديدة أو التي يتم الكتابة فوقها باستمرار. في FILTER ، قمنا بإعداد محلل السجل: تحليل الحقول أو تعديل القيم أو إضافة معلمات جديدة أو حذفها. FILTER هو حقل للتحكم في الرسائل يأتي إلى Logstash مع الكثير من خيارات التحرير. في الإخراج ، نقوم بتهيئة المكان الذي نرسل فيه السجل الذي تم تحليله بالفعل ، إذا كان elasticsearch هو الذي يرسل طلب JSON حيث يتم إرسال الحقول ذات القيم ، أو كجزء من تصحيح الأخطاء ، يمكنك الإخراج إلى stdout أو الكتابة إلى ملف.

Elasticsearch

في البداية ، يعد Elasticsearch حلاً للبحث عن نص كامل ، ولكن مع وسائل راحة إضافية ، مثل سهولة القياس والنسخ المتماثل وغير ذلك ، مما يجعل المنتج مناسبًا للغاية وحلاً جيدًا للمشاريع عالية التحميل التي تحتوي على كميات كبيرة من البيانات. Elasticsearch هو محرك بحث وتخزين مستندات JSON غير علائقي (NoSQL) يعتمد على البحث في النص الكامل لوسين. النظام الأساسي للأجهزة هو Java Virtual Machine ، لذلك يتطلب النظام قدرًا كبيرًا من موارد وحدة المعالجة المركزية وذاكرة الوصول العشوائي للعمل.
تتم فهرسة كل رسالة واردة ، إما باستخدام Logstash أو باستخدام واجهة برمجة تطبيقات الاستعلام ، على أنها "مستند" - مشابه لجدول في SQL العلائقية. يتم تخزين جميع المستندات في فهرس مماثل لقاعدة بيانات في SQL.

مثال على مستند في قاعدة البيانات:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

يعتمد كل العمل مع قاعدة البيانات على طلبات JSON باستخدام واجهة برمجة تطبيقات REST ، والتي إما تصدر المستندات حسب الفهرس ، أو بعض الإحصائيات بالتنسيق: سؤال - إجابة. من أجل تصور جميع الردود على الطلبات ، تمت كتابة Kibana ، وهي خدمة ويب.

Kibana

يسمح لك Kibana بالبحث عن البيانات وإحصائيات الاستعلام من قاعدة بيانات elasticsearch ، ولكن تم إنشاء العديد من الرسوم البيانية ولوحات المعلومات بناءً على الإجابات. يحتوي النظام أيضًا على وظيفة إدارة قاعدة بيانات elasticsearch ، وفي المقالات اللاحقة سننظر في هذه الخدمة بمزيد من التفصيل. والآن سنعرض مثالاً على لوحات المعلومات على جدار الحماية Check Point وماسح نقاط الضعف OpenVas الذي يمكن بناؤه.

مثال على لوحة القيادة لنقطة التحقق ، الصورة قابلة للنقر:

مثال على لوحة معلومات OpenVas ، الصورة قابلة للنقر:

اختتام

لقد نظرنا إلى ما تتكون منه. كومة الأيائل، تعرفت على المنتجات الرئيسية قليلاً ، ثم في الدورة التدريبية سننظر بشكل منفصل في كتابة ملف تكوين Logstash ، وإعداد لوحات المعلومات على Kibana ، والتعرف على طلبات API ، والأتمتة وغير ذلك الكثير!

ابقي على اتصالتیلیجرام, فيسبوك, VK, مدونة حل TS), ياندكس زين.

المصدر: www.habr.com