1. لچڪدار اسٽيڪ: سيڪيورٽي لاگز جو تجزيو. تعارف

روس ۾ Splunk لاگنگ ۽ تجزياتي نظام جي سيلز جي خاتمي جي سلسلي ۾، سوال پيدا ٿيو: ڇا هن حل کي تبديل ڪري سگهي ٿو؟ پاڻ کي مختلف حلن سان واقف ڪرڻ ۾ وقت گذارڻ کان پوءِ، مون هڪ حقيقي ماڻهوءَ لاءِ هڪ حل تي فيصلو ڪيو. "ELK اسٽيڪ". هن سسٽم کي قائم ٿيڻ ۾ وقت لڳندو آهي، پر نتيجي ۾ توهان اسٽيٽس جو تجزيو ڪرڻ ۽ تنظيم ۾ معلوماتي سيڪيورٽي جي واقعن جو فوري جواب ڏيڻ لاءِ هڪ تمام طاقتور سسٽم حاصل ڪري سگهو ٿا. مضمونن جي هن سلسلي ۾، اسان ELK اسٽيڪ جي بنيادي (يا شايد نه) صلاحيتن کي ڏسنداسين، غور ڪنداسين ته توهان لاگز کي ڪيئن پارس ڪري سگهو ٿا، گرافس ۽ ڊيش بورڊ ڪيئن ٺاهيون، ۽ لاگز جي مثال کي استعمال ڪندي ڪهڙا دلچسپ ڪم ڪري سگهجن ٿا. چيڪ پوائنٽ فائر وال يا OpenVas سيڪيورٽي اسڪينر. شروع ڪرڻ سان، اچو ته ڏسو ته اھو ڇا آھي - ELK اسٽيڪ، ۽ اھو ڪھڙا اجزاء شامل آھن.

"ELK اسٽيڪ" ٽن اوپن سورس منصوبن لاءِ مخفف آهي: ElasticsSearch, Logstash и ڪبيانا. سڀني لاڳاپيل منصوبن سان گڏ لچڪدار طرفان ترقي ڪئي وئي آهي. Elasticsearch سڄي سسٽم جو بنيادي حصو آهي، جيڪو ڊيٽابيس، ڳولا ۽ تجزياتي نظام جي ڪم کي گڏ ڪري ٿو. Logstash هڪ سرور-سائڊ ڊيٽا پروسيسنگ پائپ لائن آهي جيڪا هڪ ئي وقت ڪيترن ئي ذريعن کان ڊيٽا وصول ڪري ٿي، لاگ کي پارس ڪري ٿي، ۽ پوءِ ان کي ايلسٽسٽڪ سرچ ڊيٽابيس ڏانهن موڪلي ٿي. Kibana صارفين کي چارٽ ۽ گرافس استعمال ڪندي ڊيٽا کي ڏسڻ جي اجازت ڏئي ٿو Elasticsearch ۾. توھان پڻ ڪري سگھو ٿا ڊيٽابيس کي ڪبانا ذريعي. اڳيون، اسان هر سسٽم تي الڳ الڳ وڌيڪ تفصيل سان غور ڪنداسين.

Logstash

Logstash مختلف ذريعن کان لاگ ايونٽس جي پروسيسنگ لاءِ هڪ افاديت آهي، جنهن سان توهان پيغام ۾ فيلڊز ۽ انهن جي قيمتن کي چونڊي سگهو ٿا، ۽ توهان پڻ ڊيٽا فلٽرنگ ۽ ايڊيٽنگ کي ترتيب ڏئي سگهو ٿا. سڀني ورهاڱي کان پوء، Logstash واقعن کي حتمي ڊيٽا اسٽور ڏانهن منتقل ڪري ٿو. افاديت صرف ترتيب واري فائلن ذريعي ترتيب ڏني وئي آهي.
هڪ عام logstash configuration هڪ فائل (ز) آهي جنهن ۾ معلومات جي ڪيترن ئي ايندڙ اسٽريمز (انپٽ) تي مشتمل آهي، هن معلومات لاءِ ڪيترائي فلٽر (فلٽر) ۽ ڪيترائي ٻاهر نڪرندڙ اسٽريم (آئوٽ پٽ). اهو هڪ يا وڌيڪ ترتيب واري فائلن وانگر ڏسڻ ۾ اچي ٿو، جيڪو آسان ترين ورزن ۾ (جيڪو ڪجهه به نه آهي) هن طرح نظر اچي ٿو:

input {
}

filter {
}

output {
}

INPUT ۾ اسان ترتيب ڏيون ٿا ته لاگز ڪهڙي بندرگاهن ڏانهن موڪليا ويندا ۽ ڪهڙي پروٽوڪول ذريعي، يا ڪهڙي فولڊر مان نئين يا مسلسل اپڊيٽ ٿيل فائلن کي پڙهڻ لاءِ. FILTER ۾ اسان لاگ پارسر کي ترتيب ڏيون ٿا: فيلڊ پارس ڪرڻ، قدرن کي تبديل ڪرڻ، نوان پيرا ميٽر شامل ڪرڻ يا انهن کي حذف ڪرڻ. FILTER پيغام کي منظم ڪرڻ لاءِ هڪ فيلڊ آهي جيڪو Logstash ۾ اچي ٿو ڪيترن ئي تبديلين جي اختيارن سان. آئوٽ پٽ ۾ اسان ترتيب ڏيون ٿا جتي اسان اڳ ۾ ئي پارس ٿيل لاگ موڪليندا آهيون، ان صورت ۾ لچڪدار ڳولها هڪ JSON درخواست موڪلي ويندي آهي جنهن ۾ ويل ويلز وارا فيلڊ موڪليا ويندا آهن، يا ڊيبگ جي حصي جي طور تي ان کي آئوٽ ڪري سگهجي ٿو stdout ڏانهن يا فائل ڏانهن لکيو وڃي.

لچچدار ڳولها

شروعات ۾، Elasticsearch مڪمل متن جي ڳولا لاءِ هڪ حل آهي، پر اضافي سهولتن جهڙوڪ آسان اسڪيلنگ، نقل ۽ ٻيون شيون، جن پراڊڪٽ کي تمام آسان بڻايو ۽ ڊيٽا جي وڏي مقدار سان اعليٰ لوڊ منصوبن لاءِ سٺو حل. Elasticsearch هڪ غير لاڳاپو (NoSQL) JSON دستاويزن جو اسٽور ۽ سرچ انجڻ آهي جنهن تي ٻڌل آهي Lucene مڪمل متن جي ڳولا. هارڊويئر پليٽ فارم جاوا ورچوئل مشين آهي، تنهنڪري سسٽم کي هلائڻ لاءِ وڏي مقدار ۾ پروسيسر ۽ رام وسيلن جي ضرورت آهي.
هر ايندڙ پيغام، يا ته Logstash سان يا سوال API استعمال ڪندي، هڪ "دستاويز" جي طور تي ترتيب ڏنل آهي - لاڳاپيل SQL ۾ ٽيبل جي برابر. سڀئي دستاويز هڪ انڊيڪس ۾ محفوظ ٿيل آهن - SQL ۾ ڊيٽابيس جو هڪ اينالاگ.

ڊيٽابيس ۾ دستاويز جو مثال:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

ڊيٽابيس سان گڏ سمورو ڪم REST API استعمال ڪندي JSON درخواستن تي مبني آهي، جيڪي يا ته دستاويز تيار ڪن ٿيون انڊيڪس يا فارميٽ ۾ ڪجهه انگ اکر: سوال جواب. درخواستن جي سڀني جوابن کي ڏسڻ لاء، Kibana لکيو ويو، جيڪو هڪ ويب سروس آهي.

ڪبيانا

Kibana توھان کي اجازت ڏئي ٿو ڳولھڻ، ڊيٽا حاصل ڪرڻ ۽ سوالن جا انگ اکر elasticsearch ڊيٽابيس مان، پر جوابن جي بنياد تي ڪيترائي خوبصورت گراف ۽ ڊيش بورڊ ٺاھيا ويا آھن. سسٽم ۾ پڻ elasticsearch ڊيٽابيس انتظامي ڪارڪردگي آهي؛ ايندڙ مضمونن ۾ اسين هن خدمت کي وڌيڪ تفصيل سان ڏسنداسين. ھاڻي اچو ته ڏيکاريون ڊيش بورڊ جو ھڪڙو مثال چيڪ پوائنٽ فائر وال ۽ OpenVas vulnerability scanner لاءِ جيڪو ٺاھي سگھجي ٿو.

چيڪ پوائنٽ لاءِ ڊيش بورڊ جو هڪ مثال، تصوير ڪلڪ ڪري سگهجي ٿي:

OpenVas لاءِ ڊيش بورڊ جو هڪ مثال، تصوير ڪلڪ ڪري سگهجي ٿي:

ٿڪل

اسان ڏٺو ته اهو ڇا تي مشتمل آهي ELK اسٽيڪ، اسان مکيه پراڊڪٽس کان ٿورو واقف ٿياسين، بعد ۾ ڪورس ۾ اسين الڳ الڳ Logstash configuration فائل لکڻ، Kibana تي ڊيش بورڊ قائم ڪرڻ، API جي درخواستن کان واقف ٿيڻ، آٽوميشن ۽ گهڻو ڪجهه تي غور ڪنداسين!

پوء ڏسندا رهو (تار, ڪريو, VK, TS حل بلاگ), Yandex Zen.

جو ذريعو: www.habr.com