ELK सुरक्षा अभियंत्यांना वेबसाइट हल्ल्यांशी लढण्यास आणि शांतपणे झोपण्यास कशी मदत करते

आमचे सायबर संरक्षण केंद्र क्लायंटच्या वेब इन्फ्रास्ट्रक्चरच्या सुरक्षेसाठी जबाबदार आहे आणि क्लायंट साइट्सवरील हल्ले परतवून लावते. हल्ल्यांपासून संरक्षण करण्यासाठी, आम्ही FortiWeb वेब ऍप्लिकेशन फायरवॉल (WAFs) वापरतो. परंतु सर्वात छान WAF देखील रामबाण उपाय नाही आणि लक्ष्यित हल्ल्यांपासून "बॉक्सच्या बाहेर" संरक्षण करत नाही. 

म्हणून, WAF व्यतिरिक्त, आम्ही वापरतो अल्क. हे सर्व घटना एकाच ठिकाणी संकलित करण्यास मदत करते, आकडेवारी जमा करते, त्याचे दृश्यमान करते आणि आम्हाला लक्ष्यित हल्ला वेळेत पाहण्यास अनुमती देते.

आज मी तुम्हाला WAF सह "ख्रिसमस ट्री" कसे ओलांडले आणि त्यातून काय निष्पन्न झाले ते अधिक तपशीलवार सांगेन.

एका हल्ल्याची कथा: ELK वर स्विच करण्यापूर्वी सर्वकाही कसे कार्य करते

ग्राहकाकडे आमच्या क्लाउडमध्ये एक अनुप्रयोग तैनात आहे जो आमच्या WAF च्या मागे आहे. दररोज 10 ते 000 वापरकर्ते साइटशी जोडलेले आहेत, कनेक्शनची संख्या दररोज 100 दशलक्षांपर्यंत पोहोचली आहे. यापैकी 000-20 वापरकर्ते हल्लेखोर होते आणि त्यांनी साइट हॅक करण्याचा प्रयत्न केला. 

FortiWeb ने एका IP पत्त्यावरून नेहमीच्या ब्रूट फोर्स फॉर्मला अगदी सहजपणे ब्लॉक केले. साइटला प्रति मिनिट हिट्सची संख्या कायदेशीर वापरकर्त्यांपेक्षा जास्त होती. आम्ही फक्त एका पत्त्यावरून क्रियाकलाप थ्रेशोल्ड सेट केले आणि हल्ला परतवून लावला.

जेव्हा हल्लेखोर हळूवारपणे वागतात आणि सामान्य क्लायंटच्या रूपात स्वत: ला वेष देतात तेव्हा "स्लो अॅटॅक" ला सामोरे जाणे अधिक कठीण असते. ते अनेक अद्वितीय IP पत्ते वापरतात. अशी क्रिया WAF ला प्रचंड क्रूर फोर्स सारखी दिसत नव्हती, त्याचा स्वयंचलितपणे मागोवा घेणे अधिक कठीण होते. आणि सामान्य वापरकर्त्यांना ब्लॉक करण्याचा धोका देखील होता. आम्ही हल्ल्याची इतर चिन्हे शोधली आणि या चिन्हावर आधारित IP पत्ते स्वयंचलितपणे अवरोधित करण्यासाठी धोरण सेट केले. उदाहरणार्थ, अनेक बेकायदेशीर सत्रांमध्ये http विनंती शीर्षलेखांमध्ये सामान्य फील्ड होते. तुम्हाला अनेकदा FortiWeb इव्हेंट लॉगमध्ये अशा फील्ड्स मॅन्युअली शोधाव्या लागतात. 

ते लांब आणि अस्वस्थ झाले. FortiWeb च्या मानक कार्यक्षमतेमध्ये, घटना 3 भिन्न लॉगमध्ये मजकूरात रेकॉर्ड केल्या जातात: आढळलेले हल्ले, विनंत्यांची माहिती आणि WAF ऑपरेशनबद्दल सिस्टम संदेश. डझनभर किंवा अगदी शेकडो हल्ल्याच्या घटना एका मिनिटात येऊ शकतात.

इतके नाही, परंतु तुम्हाला अनेक लॉगमधून व्यक्तिचलितपणे चढावे लागेल आणि बर्याच ओळींमधून पुनरावृत्ती करावी लागेल: 

आक्रमण लॉगमध्ये आम्ही वापरकर्त्याचे पत्ते आणि क्रियाकलापांचे स्वरूप पाहतो. 
 
फक्त लॉग टेबल स्कॅन करणे पुरेसे नाही. हल्ल्याच्या स्वरूपाविषयी सर्वात मनोरंजक आणि उपयुक्त माहिती शोधण्यासाठी, आपल्याला एका विशिष्ट घटनेच्या आत पाहण्याची आवश्यकता आहे:

हायलाइट केलेले फील्ड "स्लो अॅटॅक" शोधण्यात मदत करतात. स्रोत: कडून स्क्रीनशॉट Fortinet वेबसाइट. 

बरं, सर्वात महत्त्वाची समस्या ही आहे की केवळ फोर्टीवेब तज्ञच हे शोधू शकतात. व्यवसायाच्या वेळेत आम्ही अजूनही संशयास्पद क्रियाकलापांवर वास्तविक वेळेत लक्ष ठेवू शकतो, परंतु रात्रीच्या घटनांच्या तपासात जास्त वेळ लागू शकतो. जेव्हा FortiWeb धोरणे काही कारणास्तव काम करत नाहीत, तेव्हा ड्युटीवर असलेल्या रात्रीच्या शिफ्ट अभियंता WAF मध्ये प्रवेश न करता परिस्थितीचे मूल्यांकन करू शकले नाहीत आणि FortiWeb तज्ञांना जागे केले. आम्ही कित्येक तासांच्या नोंदी पाहिल्या आणि हल्ल्याचा क्षण सापडला. 

माहितीच्या एवढ्या मोठ्या प्रमाणावर, पहिल्या दृष्टीक्षेपात मोठे चित्र समजून घेणे आणि सक्रियपणे कार्य करणे कठीण आहे. मग आम्ही प्रत्येक गोष्टीचे दृश्य स्वरूपात विश्लेषण करण्यासाठी, हल्ल्याची सुरुवात शोधण्यासाठी, त्याची दिशा आणि अवरोधित करण्याची पद्धत ओळखण्यासाठी एकाच ठिकाणी डेटा गोळा करण्याचे ठरवले. 

आपण काय निवडले?

सर्व प्रथम, आम्ही आधीच वापरात असलेल्या उपायांकडे पाहिले जेणेकरुन घटकांचा विनाकारण गुणाकार होऊ नये.

पहिल्या पर्यायांपैकी एक होता Nagiosज्याचा वापर आम्ही निरीक्षण करण्यासाठी करतो अभियांत्रिकी पायाभूत सुविधा, नेटवर्क पायाभूत सुविधा, आणीबाणीच्या परिस्थितीबद्दल सूचना. संशयास्पद रहदारीच्या प्रसंगी कर्तव्य अधिकाऱ्यांना सूचित करण्यासाठी सुरक्षा रक्षक देखील याचा वापर करतात, परंतु विखुरलेल्या नोंदी कशा गोळा करायच्या हे माहित नाही आणि त्यामुळे यापुढे त्याची आवश्यकता नाही. 

वापरून सर्वकाही एकत्रित करण्याचा पर्याय होता MySQL आणि PostgreSQL किंवा इतर रिलेशनल डेटाबेस. परंतु डेटा बाहेर काढण्यासाठी, तुम्हाला तुमचा स्वतःचा अनुप्रयोग तयार करावा लागला. 

आमच्या कंपनीत लॉग कलेक्टर म्हणून ते देखील वापरतात फोर्टी अॅनालायझर Fortinet पासून. पण या प्रकरणात तोही बसला नाही. प्रथम, फायरवॉलसह कार्य करणे अधिक तीक्ष्ण आहे फोर्टीगेट. दुसरे म्हणजे, बर्‍याच सेटिंग्ज गहाळ होत्या आणि त्याच्याशी संवाद साधण्यासाठी SQL क्वेरीचे उत्कृष्ट ज्ञान आवश्यक आहे. आणि तिसरे म्हणजे, त्याचा वापर ग्राहकांसाठी सेवेची किंमत वाढवेल.   

अशाप्रकारे आम्ही ओपन सोर्स तोंडावर आलो अल्क. 

ELK का निवडावे 

ELK हा मुक्त स्रोत प्रोग्रामचा संच आहे:

• Elasticsearch - वेळ मालिकेचा डेटाबेस, जो मोठ्या प्रमाणात मजकूरासह कार्य करण्यासाठी तयार केला गेला आहे;
• लॉगस्टॅश - एक डेटा संकलन यंत्रणा जी लॉगला इच्छित स्वरूपात रूपांतरित करू शकते; 
• किबाना - एक चांगला व्हिज्युअलायझर, तसेच Elasticsearch व्यवस्थापित करण्यासाठी एक अनुकूल इंटरफेस. ड्युटीवर असलेले अभियंते रात्री निरीक्षण करू शकतील असे आलेख तयार करण्यासाठी तुम्ही त्याचा वापर करू शकता. 

ELK मधील प्रवेश थ्रेशोल्ड कमी आहे. सर्व मूलभूत वैशिष्ट्ये विनामूल्य आहेत. आनंदासाठी आणखी काय आवश्यक आहे?

आपण हे सर्व एकाच प्रणालीमध्ये कसे ठेवले?

आम्ही अनुक्रमणिका तयार केली आणि फक्त आवश्यक माहिती सोडली. आम्ही तीनही FortiWEB लॉग ELK मध्ये लोड केले - आउटपुट अनुक्रमणिका होते. या कालावधीसाठी सर्व गोळा केलेल्या नोंदी असलेल्या फायली आहेत, उदाहरणार्थ, एक दिवस. जर आम्ही त्यांची लगेच कल्पना केली तर आम्हाला फक्त हल्ल्यांची गतिशीलता दिसेल. तपशीलांसाठी, तुम्हाला प्रत्येक हल्ल्यात "पडणे" आणि विशिष्ट फील्ड पाहणे आवश्यक आहे.

आम्हाला समजले की प्रथम आम्हाला असंरचित माहितीचे विश्लेषण सेट करणे आवश्यक आहे. आम्ही "संदेश" आणि "URL" सारख्या स्ट्रिंगच्या स्वरूपात लांब फील्ड घेतली आणि निर्णय घेण्यासाठी अधिक माहिती मिळविण्यासाठी त्यांचे विश्लेषण केले. 

उदाहरणार्थ, पार्सिंग वापरून, आम्ही वापरकर्त्याचे स्थान स्वतंत्रपणे ओळखले. यामुळे रशियन वापरकर्त्यांच्या साइटवर परदेशातील हल्ले त्वरित हायलाइट करण्यात मदत झाली. इतर देशांकडील सर्व कनेक्शन अवरोधित करून, आम्ही हल्ल्यांची संख्या निम्म्याने कमी केली आणि रशियामधील हल्ल्यांना शांतपणे सामोरे जाऊ शकलो. 

विश्लेषित केल्यानंतर, त्यांनी कोणती माहिती साठवायची आणि दृश्यमान करायची हे शोधण्यास सुरुवात केली. लॉगमध्ये सर्वकाही सोडणे अयोग्य होते: एका निर्देशांकाचा आकार मोठा होता - 7 जीबी. फाइलवर प्रक्रिया करण्यासाठी ELK ला बराच वेळ लागला. तथापि, सर्व माहिती उपयुक्त नव्हती. काहीतरी डुप्लिकेट केले गेले आणि अतिरिक्त जागा घेतली - ते ऑप्टिमाइझ करणे आवश्यक होते. 

सुरुवातीला, आम्ही फक्त अनुक्रमणिका पाहिली आणि अनावश्यक घटना काढून टाकल्या. हे फोर्टीवेबवरच लॉगसह कार्य करण्यापेक्षा अधिक गैरसोयीचे आणि लांब असल्याचे दिसून आले. या टप्प्यावर "ख्रिसमस ट्री" चे एकमात्र प्लस हे आहे की आम्ही एका स्क्रीनवर मोठ्या कालावधीची कल्पना करू शकलो. 

आम्ही निराश झालो नाही, आम्ही कॅक्टस खात राहिलो आणि ELK चा अभ्यास केला आणि विश्वास ठेवला की आम्ही आवश्यक माहिती काढू शकू. निर्देशांक साफ केल्यानंतर, आम्ही काय आहे ते कल्पना करू लागलो. म्हणून आम्ही मोठ्या डॅशबोर्डवर आलो. आम्ही विजेट्स पोक केले - दृश्यमान आणि सुंदरपणे, एक वास्तविक ЁLKa! 

हल्ल्याचा क्षण टिपला. आता चार्टवर आक्रमणाची सुरुवात कशी दिसते हे समजून घेणे आवश्यक होते. ते शोधण्यासाठी, आम्ही वापरकर्त्याला सर्व्हरचे प्रतिसाद (रिटर्न कोड) पाहिले. आम्हाला अशा कोडसह सर्व्हर प्रतिसादांमध्ये स्वारस्य आहे (rc): 

कोड (आरसी)

शीर्षक

वर्णन

0

थेंब

सर्व्हरला केलेली विनंती ब्लॉक केली आहे

200

Ok

विनंतीवर यशस्वीपणे प्रक्रिया केली

400

वाईट विनंती

अवैध विनंती

403

निषिद्ध

अधिकृतता नाकारली

500

अंतर्गत सर्व्हर त्रुटी

सेवा अनुपलब्ध आहे

जर कोणी साइटवर हल्ला करण्यास सुरुवात केली, तर कोडचे प्रमाण बदलले: 

• जर कोड 400 सह अधिक चुकीच्या विनंत्या असतील, परंतु कोड 200 सह समान विनंत्या राहिल्या असतील, तर याचा अर्थ कोणीतरी साइट हॅक करण्याचा प्रयत्न करत आहे. 
• जर त्याच वेळी कोड 0 सह विनंत्या देखील वाढल्या, तर फोर्टीवेब राजकारण्यांनी देखील हल्ला "पाहिला" आणि त्यावर ब्लॉक्स लागू केले. 
• कोड 500 सह संदेशांची संख्या वाढल्यास, याचा अर्थ साइट या IP पत्त्यांसाठी अनुपलब्ध आहे - एक प्रकारचा अवरोध देखील. 

तिसऱ्या महिन्यापर्यंत, आम्ही अशा क्रियाकलापांचा मागोवा घेण्यासाठी डॅशबोर्ड सेट केला होता.

प्रत्येक गोष्टीचे मॅन्युअली निरीक्षण करू नये म्हणून, आम्ही नागिओससह एकत्रीकरण सेट केले, ज्याने ठराविक अंतराने ELK चे मतदान केले. कोडद्वारे पोहोचलेली थ्रेशोल्ड मूल्ये मला आढळल्यास, मी संशयास्पद क्रियाकलापांबद्दल कर्तव्य अधिकाऱ्यांना सूचना पाठवली. 

मॉनिटरिंग सिस्टममध्ये एकत्रित 4 ग्राफिक्स. आता जेव्हा हल्ला रोखला गेला नाही आणि अभियंत्याच्या हस्तक्षेपाची आवश्यकता होती तेव्हा आलेखांवर पाहणे महत्त्वाचे होते. 4 वेगवेगळ्या चार्टवर आमचे डोळे अस्पष्ट झाले. म्हणून, आम्ही चार्ट एकत्र केले आणि एका स्क्रीनवर सर्वकाही निरीक्षण करण्यास सुरुवात केली.

निरीक्षण करताना, आम्ही वेगवेगळ्या रंगांचे आलेख कसे बदलतात ते पाहिले. लाल रंगाच्या स्फोटाने हल्ला सुरू झाल्याचे सूचित केले, तर केशरी आणि निळ्या आलेखांनी फोर्टीवेबची प्रतिक्रिया दर्शविली:

येथे सर्व काही ठीक आहे: "लाल" क्रियाकलापांची लाट होती, परंतु फोर्टीवेबने सामना केला आणि हल्ल्याचे वेळापत्रक निष्फळ ठरले.

आम्‍ही स्‍वत:साठी एका आलेखाचे उदाहरण तयार केले आहे ज्यासाठी हस्तक्षेप आवश्यक आहे:

येथे आपण पाहतो की FortiWeb ने क्रियाकलाप वाढविला आहे, परंतु लाल हल्ल्याचा आलेख कमी झालेला नाही. तुम्हाला तुमची WAF सेटिंग्ज बदलण्याची आवश्यकता आहे.

रात्रीच्या घटनांचा तपास करणेही सोपे झाले आहे. जेव्हा साइटचे संरक्षण करण्याची वेळ आली तेव्हा आलेख लगेचच क्षण दर्शवतो. 

असे कधी कधी रात्री घडते. लाल आलेख - हल्ला सुरू झाला आहे. निळा - फोर्टीवेब क्रियाकलाप. हल्ला पूर्णपणे रोखला गेला नाही, म्हणून मला हस्तक्षेप करावा लागला.

आम्ही कुठे जात आहोत?

आम्ही सध्या कर्तव्य प्रशासकांना ELK सह काम करण्यासाठी प्रशिक्षण देत आहोत. ड्युटीवर असलेले लोक डॅशबोर्डवर परिस्थितीचे आकलन करून निर्णय घेण्यास शिकतात: FortiWeb तज्ञाकडे जाण्याची वेळ आली आहे किंवा WAF वरील धोरणे आपोआप हल्ला परतवून लावण्यासाठी पुरेशी आहेत. अशा प्रकारे आम्ही माहिती सुरक्षा अभियंत्यांवर रात्रीचा भार कमी करतो आणि सिस्टम स्तरावर समर्थन भूमिका विभाजित करतो. फोर्टीवेबचा प्रवेश केवळ सायबर संरक्षण केंद्राकडेच आहे आणि जेव्हा ते आवश्यक असेल तेव्हाच WAF सेटिंग्जमध्ये बदल करतात.

आम्ही ग्राहकांसाठी अहवाल देण्यावर देखील काम करत आहोत. WAF ऑपरेशनच्या गतिशीलतेवरील डेटा क्लायंटच्या वैयक्तिक खात्यात उपलब्ध असेल अशी आमची योजना आहे. ELK स्वतः WAF शी संपर्क न करता परिस्थिती अधिक पारदर्शक करेल.

ग्राहकाला त्यांच्या संरक्षणाचे रिअल टाइममध्ये निरीक्षण करायचे असल्यास, ELK देखील उपयोगी येईल. आम्ही WAF मध्ये प्रवेश देऊ शकत नाही, कारण कामात ग्राहकांच्या हस्तक्षेपामुळे इतरांवर परिणाम होऊ शकतो. परंतु तुम्ही वेगळे ELK घेऊ शकता आणि ते "खेळण्यासाठी" देऊ शकता. 

आम्ही नुकतेच जमा केलेले “ख्रिसमस ट्री” वापरण्याची ही परिस्थिती आहे. या विषयावर आपल्या कल्पना सामायिक करा आणि विसरू नका सर्वकाही योग्यरित्या कॉन्फिगर कराडेटाबेस लीक टाळण्यासाठी. 

स्त्रोत: www.habr.com