1. لچکدار اسٹیک: سیکیورٹی لاگز کا تجزیہ۔ تعارف

روس میں اسپلنک لاگنگ اور تجزیاتی نظام کی فروخت کے اختتام کے سلسلے میں، سوال پیدا ہوا: اس حل کو کیا بدل سکتا ہے؟ اپنے آپ کو مختلف حلوں سے آشنا کرنے میں وقت گزارنے کے بعد، میں نے ایک حقیقی آدمی کے لیے حل تلاش کر لیا۔ "ELK اسٹیک". اس سسٹم کو ترتیب دینے میں وقت لگتا ہے، لیکن اس کے نتیجے میں آپ کو اسٹیٹس کا تجزیہ کرنے اور تنظیم میں معلومات کی حفاظت کے واقعات کا فوری جواب دینے کے لیے ایک بہت طاقتور نظام مل سکتا ہے۔ مضامین کی اس سیریز میں، ہم ELK اسٹیک کی بنیادی (یا شاید نہیں) صلاحیتوں کو دیکھیں گے، اس بات پر غور کریں گے کہ آپ لاگز کو کس طرح پارس کر سکتے ہیں، گراف اور ڈیش بورڈ کیسے بنا سکتے ہیں، اور لاگز کی مثال کا استعمال کرتے ہوئے کون سے دلچسپ کام کیے جا سکتے ہیں۔ چیک پوائنٹ فائر وال یا اوپن واس سیکیورٹی سکینر۔ شروع کرنے کے لیے، آئیے دیکھتے ہیں کہ یہ کیا ہے - ELK اسٹیک، اور یہ کن اجزاء پر مشتمل ہے۔

"ELK اسٹیک" تین اوپن سورس پروجیکٹس کا مخفف ہے: Elasticsearch, لاگسٹ и کبانا. تمام متعلقہ منصوبوں کے ساتھ لچکدار کی طرف سے تیار. Elasticsearch پورے نظام کا مرکز ہے، جو ڈیٹا بیس، تلاش اور تجزیاتی نظام کے افعال کو یکجا کرتا ہے۔ Logstash ایک سرور سائیڈ ڈیٹا پروسیسنگ پائپ لائن ہے جو بیک وقت متعدد ذرائع سے ڈیٹا وصول کرتی ہے، لاگ کو پارس کرتی ہے، اور پھر اسے Elasticsearch ڈیٹا بیس کو بھیجتی ہے۔ Kibana صارفین کو Elasticsearch میں چارٹس اور گرافس کا استعمال کرتے ہوئے ڈیٹا کو دیکھنے کی اجازت دیتا ہے۔ آپ کبانا کے ذریعے ڈیٹا بیس کا انتظام بھی کر سکتے ہیں۔ اگلا، ہم مزید تفصیل سے ہر نظام پر الگ الگ غور کریں گے۔

لاگسٹ

Logstash مختلف ذرائع سے لاگ ایونٹس کی پروسیسنگ کے لیے ایک افادیت ہے، جس کی مدد سے آپ میسج میں فیلڈز اور ان کی اقدار کو منتخب کر سکتے ہیں، اور آپ ڈیٹا فلٹرنگ اور ایڈیٹنگ کو بھی ترتیب دے سکتے ہیں۔ تمام ہیرا پھیری کے بعد، Logstash ایونٹس کو حتمی ڈیٹا اسٹور پر بھیج دیتا ہے۔ افادیت صرف کنفیگریشن فائلوں کے ذریعے ترتیب دی جاتی ہے۔
ایک عام لاگ اسٹیش کنفیگریشن ایک فائل (زبانیں) ہوتی ہے جس میں معلومات کے کئی آنے والے سلسلے (ان پٹ)، اس معلومات کے لیے کئی فلٹرز (فلٹر) اور کئی آؤٹ گوئنگ اسٹریمز (آؤٹ پٹ) ہوتے ہیں۔ یہ ایک یا زیادہ کنفیگریشن فائلوں کی طرح لگتا ہے، جو آسان ترین ورژن میں (جو کچھ بھی نہیں کرتا) اس طرح نظر آتی ہے:

input {
}

filter {
}

output {
}

INPUT میں ہم ترتیب دیتے ہیں کہ لاگز کس پورٹ پر بھیجے جائیں گے اور کس پروٹوکول کے ذریعے، یا کس فولڈر سے نئی یا مسلسل اپ ڈیٹ فائلوں کو پڑھنا ہے۔ فلٹر میں ہم لاگ پارسر کو ترتیب دیتے ہیں: فیلڈز کو پارس کرنا، قدروں میں ترمیم کرنا، نئے پیرامیٹرز شامل کرنا یا انہیں حذف کرنا۔ FILTER پیغام کو منظم کرنے کے لیے ایک فیلڈ ہے جو Logstash میں ترمیم کے بہت سے اختیارات کے ساتھ آتا ہے۔ آؤٹ پٹ میں ہم کنفیگر کرتے ہیں کہ ہم پہلے سے پارس شدہ لاگ کو کہاں بھیجتے ہیں، اگر یہ لچکدار تلاش ہے تو JSON کی درخواست بھیجی جاتی ہے جس میں ویلیوز کے ساتھ فیلڈز بھیجی جاتی ہیں، یا ڈیبگ کے حصے کے طور پر اسے stdout میں آؤٹ پٹ یا فائل میں لکھا جا سکتا ہے۔

لچکدار تلاش

ابتدائی طور پر، Elasticsearch مکمل متن کی تلاش کے لیے ایک حل ہے، لیکن اضافی سہولیات جیسے آسان اسکیلنگ، نقل اور دیگر چیزوں کے ساتھ، جس نے پروڈکٹ کو بہت آسان بنا دیا اور ڈیٹا کی بڑی مقدار کے ساتھ زیادہ بوجھ والے پروجیکٹس کے لیے ایک اچھا حل۔ Elasticsearch ایک غیر متعلقہ (NoSQL) JSON دستاویز اسٹور اور سرچ انجن ہے جو Lucene فل ٹیکسٹ سرچ پر مبنی ہے۔ ہارڈویئر پلیٹ فارم جاوا ورچوئل مشین ہے، اس لیے سسٹم کو چلانے کے لیے بڑی مقدار میں پروسیسر اور RAM کے وسائل درکار ہیں۔
ہر آنے والے پیغام کو، یا تو Logstash کے ساتھ یا استفسار API کا استعمال کرتے ہوئے، ایک "دستاویز" کے طور پر ترتیب دیا جاتا ہے - جو کہ متعلقہ SQL میں ٹیبل کے مشابہ ہے۔ تمام دستاویزات ایک انڈیکس میں محفوظ ہیں - ایس کیو ایل میں ڈیٹا بیس کا ایک اینالاگ۔

ڈیٹا بیس میں دستاویز کی مثال:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

ڈیٹا بیس کے ساتھ تمام کام REST API کا استعمال کرتے ہوئے JSON کی درخواستوں پر مبنی ہے، جو یا تو انڈیکس یا کچھ اعدادوشمار کی شکل میں دستاویزات تیار کرتی ہے: سوال جواب۔ درخواستوں کے تمام جوابات کو دیکھنے کے لیے، Kibana لکھا گیا، جو کہ ایک ویب سروس ہے۔

کبانا

Kibana آپ کو elasticsearch ڈیٹا بیس سے ڈیٹا کو تلاش کرنے، بازیافت کرنے اور استفسار کے اعدادوشمار کی اجازت دیتا ہے، لیکن جوابات کی بنیاد پر بہت سے خوبصورت گراف اور ڈیش بورڈ بنائے گئے ہیں۔ سسٹم میں elasticsearch ڈیٹابیس انتظامیہ کی فعالیت بھی ہے؛ اگلے مضامین میں ہم اس سروس کو مزید تفصیل سے دیکھیں گے۔ اب آئیے چیک پوائنٹ فائر وال اور OpenVas vulnerability سکینر کے لیے ڈیش بورڈز کی ایک مثال دکھائیں جو بنایا جا سکتا ہے۔

چیک پوائنٹ کے لیے ڈیش بورڈ کی ایک مثال، تصویر قابل کلک ہے:

OpenVas کے لیے ڈیش بورڈ کی ایک مثال، تصویر قابل کلک ہے:

حاصل يہ ہوا

ہم نے دیکھا کہ یہ کس چیز پر مشتمل ہے۔ ELK اسٹیک۔، ہم مرکزی مصنوعات سے تھوڑا سا واقف ہوئے، بعد میں کورس میں ہم الگ سے لاگ اسٹاش کنفیگریشن فائل لکھنے، کبانا پر ڈیش بورڈز ترتیب دینے، API کی درخواستوں، آٹومیشن اور بہت کچھ سے واقفیت پر غور کریں گے!

تو دیکھتے رہیںتار, فیس بک, VK, ٹی ایس حل بلاگ), یینڈیکس زین۔.

ماخذ: www.habr.com