వెబ్‌సైట్ దాడులతో పోరాడటానికి మరియు ప్రశాంతంగా నిద్రించడానికి సెక్యూరిటీ ఇంజనీర్‌లకు ELK ఎలా సహాయపడుతుంది

క్లయింట్ యొక్క వెబ్ ఇన్‌ఫ్రాస్ట్రక్చర్ యొక్క భద్రతకు మా సైబర్ రక్షణ కేంద్రం బాధ్యత వహిస్తుంది మరియు క్లయింట్ సైట్‌లపై దాడులను తిప్పికొడుతుంది. దాడుల నుండి రక్షించడానికి, మేము FortiWeb వెబ్ అప్లికేషన్ ఫైర్‌వాల్స్ (WAFలు)ని ఉపయోగిస్తాము. కానీ చక్కని WAF కూడా వినాశనం కాదు మరియు లక్ష్య దాడుల నుండి "అవుట్ ఆఫ్ ది బాక్స్" ను రక్షించదు. 

అందువలన, WAF పాటు, మేము ఉపయోగిస్తాము ELK. ఇది అన్ని ఈవెంట్‌లను ఒకే చోట సేకరించడానికి, గణాంకాలను సేకరించడానికి, దానిని దృశ్యమానం చేయడానికి మరియు సమయానికి లక్ష్యంగా దాడిని చూడటానికి మాకు సహాయపడుతుంది.

ఈ రోజు మనం WAF తో క్రిస్మస్ చెట్టును ఎలా దాటాము మరియు దాని నుండి ఏమి వచ్చామో మరింత వివరంగా చెబుతాను.

ఒక దాడి కథ: ELKకి మారడానికి ముందు ప్రతిదీ ఎలా పనిచేసింది

మా క్లౌడ్‌లో, కస్టమర్ మా WAF వెనుక అప్లికేషన్‌ను అమర్చారు. రోజుకు 10 నుండి 000 మంది వినియోగదారులు సైట్‌కి కనెక్ట్ చేయబడితే, కనెక్షన్‌ల సంఖ్య రోజుకు 100 మిలియన్లకు చేరుకుంది. వీరిలో 000-20 మంది వినియోగదారులు చొరబాటుదారులు మరియు సైట్‌ను హ్యాక్ చేయడానికి ప్రయత్నించారు. 

ఒక IP చిరునామా నుండి సాధారణ ఫారమ్ బ్రూట్ ఫోర్స్ చాలా సులభంగా FortiWeb ద్వారా నిరోధించబడింది. నిమిషానికి సైట్‌కి వచ్చిన హిట్‌ల సంఖ్య చట్టబద్ధమైన వినియోగదారుల కంటే ఎక్కువగా ఉంది. మేము కేవలం ఒక చిరునామా నుండి కార్యాచరణ థ్రెషోల్డ్‌లను సెటప్ చేసాము మరియు దాడిని తిప్పికొట్టాము.

దాడి చేసేవారు నెమ్మదిగా ప్రవర్తించినప్పుడు మరియు సాధారణ క్లయింట్‌ల వలె మారువేషంలో ఉన్నప్పుడు "నెమ్మది దాడులను" ఎదుర్కోవడం చాలా కష్టం. వారు అనేక ప్రత్యేకమైన IP చిరునామాలను ఉపయోగిస్తారు. ఇటువంటి చర్య WAFకి భారీ బ్రూట్ ఫోర్స్ లాగా కనిపించలేదు, దానిని స్వయంచాలకంగా ట్రాక్ చేయడం చాలా కష్టం. మరియు సాధారణ వినియోగదారులను నిరోధించే ప్రమాదం కూడా ఉంది. మేము దాడికి సంబంధించిన ఇతర సంకేతాల కోసం వెతికాము మరియు ఈ గుర్తు ఆధారంగా IP చిరునామాలను స్వయంచాలకంగా బ్లాక్ చేసే విధానాన్ని సెటప్ చేసాము. ఉదాహరణకు, అనేక చట్టవిరుద్ధమైన సెషన్‌లు http అభ్యర్థన హెడర్‌లలో సాధారణ ఫీల్డ్‌లను కలిగి ఉన్నాయి. మీరు తరచుగా FortiWeb ఈవెంట్ లాగ్‌లలో మాన్యువల్‌గా ఇటువంటి ఫీల్డ్‌ల కోసం వెతకవలసి ఉంటుంది. 

ఇది చాలా పొడవుగా మరియు అసౌకర్యంగా మారింది. FortiWeb యొక్క ప్రామాణిక కార్యాచరణలో, ఈవెంట్‌లు 3 వేర్వేరు లాగ్‌లలో టెక్స్ట్‌లో రికార్డ్ చేయబడతాయి: గుర్తించబడిన దాడులు, అభ్యర్థనల గురించి సమాచారం మరియు WAF ఆపరేషన్ గురించి సిస్టమ్ సందేశాలు. ఒక నిమిషంలో డజన్ల కొద్దీ లేదా వందల సంఖ్యలో దాడి సంఘటనలు రావచ్చు.

అంతగా లేదు, కానీ మీరు అనేక లాగ్‌ల ద్వారా మానవీయంగా ఎక్కి అనేక పంక్తులలో మళ్ళించవలసి ఉంటుంది: 

దాడి లాగ్‌లో, మేము వినియోగదారు చిరునామాలను మరియు కార్యాచరణ యొక్క స్వభావాన్ని చూస్తాము. 
 
లాగ్ టేబుల్‌ని స్కాన్ చేస్తే సరిపోదు. దాడి యొక్క స్వభావం గురించి అత్యంత ఆసక్తికరమైన మరియు ఉపయోగకరమైన వాటిని కనుగొనడానికి, మీరు ఒక నిర్దిష్ట ఈవెంట్ లోపల చూడాలి:

హైలైట్ చేసిన ఫీల్డ్‌లు "నెమ్మది దాడి"ని గుర్తించడంలో సహాయపడతాయి. మూలం: స్క్రీన్‌షాట్ నుండి ఫోర్టినెట్ వెబ్‌సైట్. 

సరే, ప్రధాన సమస్య ఏమిటంటే, ఫోర్టివెబ్ నిపుణుడు మాత్రమే దానిని గుర్తించగలడు. వ్యాపార సమయాల్లో మేము ఇప్పటికీ అనుమానాస్పద కార్యకలాపాన్ని నిజ సమయంలో ట్రాక్ చేయగలిగితే, రాత్రి సంఘటనల దర్యాప్తు ఆలస్యం కావచ్చు. FortiWeb విధానాలు కొన్ని కారణాల వల్ల పని చేయనప్పుడు, డ్యూటీలో ఉన్న నైట్ షిఫ్ట్ ఇంజనీర్లు WAFకి ప్రాప్యత లేకుండా పరిస్థితిని అంచనా వేయలేరు మరియు FortiWeb నిపుణుడిని మేల్కొల్పారు. మేము చాలా గంటలు లాగ్‌ల ద్వారా చూశాము మరియు దాడి జరిగిన క్షణాన్ని కనుగొన్నాము. 

అటువంటి సమాచార వాల్యూమ్‌లతో, పెద్ద చిత్రాన్ని ఒక చూపులో అర్థం చేసుకోవడం మరియు క్రియాశీలంగా వ్యవహరించడం కష్టం. అప్పుడు మేము ప్రతిదాన్ని దృశ్య రూపంలో విశ్లేషించడానికి, దాడి ప్రారంభాన్ని కనుగొనడానికి, దాని దిశను మరియు నిరోధించే పద్ధతిని గుర్తించడానికి ఒకే చోట డేటాను సేకరించాలని నిర్ణయించుకున్నాము. 

మీరు దేని నుండి ఎంచుకున్నారు

అన్నింటిలో మొదటిది, ఎంటిటీలను అనవసరంగా గుణించకూడదని మేము ఇప్పటికే వాడుకలో ఉన్న పరిష్కారాలను చూశాము.

మొదటి ఎంపికలలో ఒకటి Nagiosమేము పర్యవేక్షించడానికి ఉపయోగించే ఇంజనీరింగ్ మౌలిక సదుపాయాలు, నెట్‌వర్క్ మౌలిక సదుపాయాలు, అత్యవసర హెచ్చరికలు. సెక్యూరిటీ గార్డులు కూడా అనుమానాస్పద ట్రాఫిక్ విషయంలో పరిచారకులకు తెలియజేయడానికి దీనిని ఉపయోగిస్తారు, కానీ చెల్లాచెదురుగా ఉన్న లాగ్‌లను ఎలా సేకరించాలో తెలియదు మరియు అందువల్ల అదృశ్యమవుతుంది. 

అన్నింటినీ సమగ్రపరచడానికి ఒక ఎంపిక ఉంది MySQL మరియు PostgreSQL లేదా మరొక రిలేషనల్ డేటాబేస్. కానీ డేటాను బయటకు తీయడానికి, మీ అప్లికేషన్‌ను చెక్కడం అవసరం. 

మా కంపెనీలో లాగ్ కలెక్టర్‌గా వారు కూడా ఉపయోగిస్తారు ఫోర్టిఅనలైజర్ ఫోర్టినెట్ నుండి. అయితే ఈ విషయంలో ఆయన కూడా సరిపోలేదు. మొదట, ఫైర్‌వాల్‌తో పనిచేయడానికి ఇది మరింత పదును పెట్టబడింది ఫోర్టిగేట్. రెండవది, చాలా సెట్టింగ్‌లు లేవు మరియు దానితో పరస్పర చర్యకు SQL ప్రశ్నల గురించి అద్భుతమైన జ్ఞానం అవసరం. మరియు మూడవది, దాని ఉపయోగం కస్టమర్ కోసం సేవ యొక్క ధరను పెంచుతుంది.   

ఈ విధంగా మేము ముఖంలో ఓపెన్ సోర్స్‌కి వచ్చాము ELK. 

ELKని ఎందుకు ఎంచుకోవాలి 

ELK అనేది ఓపెన్ సోర్స్ ప్రోగ్రామ్‌ల సమితి:

• Elasticsearch - సమయ శ్రేణి యొక్క డేటాబేస్, ఇది పెద్ద వాల్యూమ్‌ల టెక్స్ట్‌తో పని చేయడానికి ఇప్పుడే సృష్టించబడింది;
• Logstash - లాగ్‌లను కావలసిన ఆకృతికి మార్చగల డేటా సేకరణ విధానం; 
• Kibana - మంచి విజువలైజర్, అలాగే సాగే శోధనను నిర్వహించడానికి చాలా స్నేహపూర్వక ఇంటర్‌ఫేస్. రాత్రిపూట డ్యూటీ ఇంజనీర్లు పర్యవేక్షించగలిగే షెడ్యూల్‌లను రూపొందించడానికి మీరు దీన్ని ఉపయోగించవచ్చు. 

ELK కోసం ప్రవేశ థ్రెషోల్డ్ తక్కువగా ఉంది. అన్ని ప్రాథమిక లక్షణాలు ఉచితం. ఆనందానికి ఇంకేం కావాలి.

మీరు అన్నింటినీ ఒకే వ్యవస్థలో ఎలా ఉంచారు?

సూచికలను సృష్టించింది మరియు అవసరమైన సమాచారాన్ని మాత్రమే వదిలివేసింది. మేము మూడు FortiWEB లాగ్‌లను ELKలోకి లోడ్ చేసాము - అవుట్‌పుట్ సూచికలు. ఇవి కొంత కాలానికి సేకరించిన అన్ని లాగ్‌లతో కూడిన ఫైల్‌లు, ఉదాహరణకు, ఒక రోజు. మేము వాటిని వెంటనే దృశ్యమానం చేస్తే, మేము దాడుల యొక్క గతిశీలతను మాత్రమే చూస్తాము. వివరాల కోసం, మీరు ప్రతి దాడిలో "పడిపోవాలి" మరియు నిర్దిష్ట ఫీల్డ్‌లను చూడాలి.

ముందుగా మేము నిర్మాణాత్మక సమాచారం యొక్క పార్సింగ్‌ను సెటప్ చేయవలసి ఉందని మేము గ్రహించాము. మేము "సందేశం" మరియు "URL" వంటి పొడవైన ఫీల్డ్‌లను స్ట్రింగ్‌లుగా తీసుకున్నాము మరియు నిర్ణయం తీసుకోవడానికి మరింత సమాచారాన్ని పొందడానికి వాటిని అన్వయించాము. 

ఉదాహరణకు, పార్సింగ్ ఉపయోగించి, మేము వినియోగదారు స్థానాన్ని విడిగా తీసుకున్నాము. రష్యన్ వినియోగదారుల కోసం సైట్లలో విదేశాల నుండి దాడులను వెంటనే హైలైట్ చేయడానికి ఇది సహాయపడింది. ఇతర దేశాల నుండి అన్ని కనెక్షన్‌లను నిరోధించడం ద్వారా, మేము దాడుల సంఖ్యను 2 రెట్లు తగ్గించాము మరియు రష్యా లోపల దాడులను సులభంగా ఎదుర్కోగలము. 

అన్వయించిన తర్వాత, వారు ఏ సమాచారాన్ని నిల్వ చేయాలి మరియు దృశ్యమానం చేయాలి అని చూడటం ప్రారంభించారు. లాగ్‌లో ప్రతిదీ వదిలివేయడం సరికాదు: ఒక సూచిక పరిమాణం పెద్దది - 7 GB. ELK ఫైల్‌ని ప్రాసెస్ చేయడానికి చాలా సమయం పట్టింది. అయితే, అన్ని సమాచారం ఉపయోగకరంగా లేదు. ఏదో డూప్లికేట్ చేయబడింది మరియు అదనపు స్థలాన్ని ఆక్రమించింది - ఆప్టిమైజ్ చేయడం అవసరం. 

మొదట, మేము కేవలం ఇండెక్స్ ద్వారా చూసాము మరియు అనవసరమైన ఈవెంట్‌లను తీసివేసాము. ఫోర్టివెబ్‌లోని లాగ్‌లతో పని చేయడం కంటే ఇది మరింత అసౌకర్యంగా మరియు ఎక్కువసేపు ఉంటుంది. ఈ దశలో "క్రిస్మస్ ట్రీ" నుండి ఉన్న ఏకైక ప్లస్ ఏమిటంటే, మేము ఒక స్క్రీన్‌పై ఎక్కువ సమయాన్ని విజువలైజ్ చేయగలిగాము. 

మేము నిరాశ చెందలేదు, మేము కాక్టస్ తినడం మరియు ELK అధ్యయనం చేయడం కొనసాగించాము మరియు మేము అవసరమైన సమాచారాన్ని సేకరించగలమని నమ్ముతున్నాము. సూచికలను శుభ్రపరిచిన తర్వాత, మేము ఏమిటో ఊహించడం ప్రారంభించాము. కాబట్టి మేము పెద్ద డాష్‌బోర్డ్‌లకు వచ్చాము. మేము విడ్జెట్‌లను పోక్ చేసాము - దృశ్యమానంగా మరియు సొగసైన, నిజమైన ЁLKa! 

దాడి జరిగిన క్షణాన్ని బంధించారు. దాడి ప్రారంభం చార్ట్‌లో ఎలా ఉందో ఇప్పుడు అర్థం చేసుకోవడం అవసరం. దీన్ని గుర్తించడానికి, మేము వినియోగదారుకు సర్వర్ ప్రతిస్పందనలను (రిటర్న్ కోడ్‌లు) చూశాము. అటువంటి కోడ్‌లతో (rc) సర్వర్ ప్రతిస్పందనలపై మాకు ఆసక్తి ఉంది: 

కోడ్ (rc)

పేరు

వివరణ

0

డ్రాప్

సర్వర్‌కి చేసిన అభ్యర్థన బ్లాక్ చేయబడింది

200

Ok

అభ్యర్థన విజయవంతంగా ప్రాసెస్ చేయబడింది

400

తప్పుడు విన్నపం

తప్పుడు విన్నపం

403

ఫర్బిడెన్

అనుమతి నిరాకరించబడింది

500

అంతర్గత సర్వర్ లోపం

సేవ అందుబాటులో లేదు

ఎవరైనా సైట్‌పై దాడి చేయడం ప్రారంభించినట్లయితే, కోడ్‌ల నిష్పత్తి మార్చబడుతుంది: 

• కోడ్ 400తో మరిన్ని తప్పుడు అభ్యర్థనలు మరియు కోడ్ 200తో అదే సంఖ్యలో సాధారణ అభ్యర్థనలు ఉంటే, ఎవరైనా సైట్‌ను హ్యాక్ చేయడానికి ప్రయత్నిస్తున్నారు. 
• అదే సమయంలో, కోడ్ 0తో అభ్యర్థనలు కూడా పెరిగినట్లయితే, ఫోర్టివెబ్ రాజకీయ నాయకులు కూడా దాడిని "చూసి" దానికి బ్లాక్‌లను వర్తింపజేస్తారు. 
• కోడ్ 500తో సందేశాల సంఖ్య పెరిగితే, ఈ IP చిరునామాల కోసం సైట్ అందుబాటులో ఉండదు - ఒక రకమైన నిరోధించడం కూడా. 

మూడవ నెల నాటికి, మేము ఈ కార్యాచరణను ట్రాక్ చేయడానికి డాష్‌బోర్డ్‌ను సెటప్ చేసాము.

ప్రతిదానిని మాన్యువల్‌గా పర్యవేక్షించకుండా ఉండటానికి, మేము నాగియోస్‌తో ఏకీకరణను సెటప్ చేసాము, ఇది నిర్దిష్ట వ్యవధిలో ELKని పోల్ చేసింది. ఇది కోడ్‌ల ద్వారా థ్రెషోల్డ్ విలువల సాధనను నమోదు చేసినట్లయితే, అది అనుమానాస్పద కార్యకలాపాల గురించి డ్యూటీ అధికారులకు నోటిఫికేషన్ పంపింది. 

పర్యవేక్షణ వ్యవస్థలో 4 చార్ట్‌లు కలిపి. దాడి నిరోధించబడనప్పుడు మరియు ఇంజనీర్ జోక్యం అవసరమయ్యే క్షణం గ్రాఫ్‌లలో చూడటం ఇప్పుడు ముఖ్యం. 4 వేర్వేరు గ్రాఫ్‌లలో, మా కన్ను అస్పష్టంగా ఉంది. అందువల్ల, మేము చార్ట్‌లను మిళితం చేసాము మరియు ప్రతిదీ ఒకే స్క్రీన్‌పై గమనించడం ప్రారంభించాము.

పర్యవేక్షణలో, వివిధ రంగుల గ్రాఫ్‌లు ఎలా మారతాయో మేము చూశాము. నారింజ మరియు నీలిరంగు గ్రాఫ్‌లు FortiWeb యొక్క ప్రతిచర్యను చూపించగా, ఎరుపు రంగు పేలడం దాడి ప్రారంభమైందని సూచించింది:

ఇక్కడ అంతా బాగానే ఉంది: "ఎరుపు" కార్యాచరణ పెరిగింది, కానీ ఫోర్టివెబ్ సరిదిద్దబడింది మరియు దాడి షెడ్యూల్ నిష్ఫలమైంది.

మేము జోక్యం అవసరమయ్యే గ్రాఫ్ యొక్క ఉదాహరణను కూడా రూపొందించాము:

FortiWeb కార్యాచరణను పెంచిందని ఇక్కడ మనం చూడవచ్చు, కానీ ఎరుపు దాడి గ్రాఫ్ తగ్గలేదు. మీరు WAF సెట్టింగ్‌లను మార్చాలి.

రాత్రివేళ జరిగిన ఘటనలపై దర్యాప్తు చేయడం కూడా సులువైంది. సైట్ యొక్క రక్షణకు రావడానికి సమయం వచ్చినప్పుడు గ్రాఫ్ వెంటనే క్షణం చూపిస్తుంది. 

కొన్నిసార్లు రాత్రిపూట ఇలాగే జరుగుతుంది. రెడ్ గ్రాఫ్ - దాడి ప్రారంభమైంది. నీలం - FortiWeb కార్యాచరణ. దాడి పూర్తిగా నిరోధించబడలేదు, మేము జోక్యం చేసుకోవలసి వచ్చింది.

మనము ఎక్కడికి వెళ్తున్నాము

ఇప్పుడు మేము ELKతో పని చేయడానికి విధి నిర్వాహకులకు శిక్షణ ఇస్తున్నాము. సహాయకులు డాష్‌బోర్డ్‌లో పరిస్థితిని అంచనా వేసి నిర్ణయం తీసుకోవడం నేర్చుకుంటారు: ఇది FortiWeb నిపుణుడిని సంప్రదించడానికి సమయం ఆసన్నమైంది లేదా దాడిని స్వయంచాలకంగా తిప్పికొట్టడానికి WAFలోని విధానాలు సరిపోతాయి. కాబట్టి మేము రాత్రిపూట సమాచార భద్రతా ఇంజనీర్లపై లోడ్ని తగ్గిస్తాము మరియు సిస్టమ్ స్థాయిలో మద్దతులో పాత్రలను విభజిస్తాము. FortiWebకి యాక్సెస్ సైబర్ డిఫెన్స్ సెంటర్‌తో మాత్రమే ఉంటుంది మరియు అత్యవసరంగా అవసరమైనప్పుడు మాత్రమే వారు WAF సెట్టింగ్‌లలో మార్పులు చేస్తారు.

మేము కస్టమర్ల కోసం నివేదించడానికి కూడా పని చేస్తున్నాము. క్లయింట్ యొక్క వ్యక్తిగత ఖాతాలో WAF పని యొక్క డైనమిక్స్‌పై డేటా అందుబాటులో ఉంటుందని మేము ప్లాన్ చేస్తున్నాము. WAFని సూచించాల్సిన అవసరం లేకుండా ELK పరిస్థితిని మరింత స్పష్టంగా చేస్తుంది.

కస్టమర్ వారి స్వంత రక్షణను నిజ సమయంలో పర్యవేక్షించాలనుకుంటే, ELK కూడా ఉపయోగపడుతుంది. మేము WAFకి యాక్సెస్‌ను ఇవ్వలేము, ఎందుకంటే పనిలో కస్టమర్ జోక్యం మిగిలిన వాటిని ప్రభావితం చేయవచ్చు. కానీ మీరు ఒక ప్రత్యేక ELKని ఎంచుకొని "చుట్టూ ఆడుకోవడానికి" ఇవ్వవచ్చు. 

మేము ఇటీవల సేకరించిన క్రిస్మస్ చెట్టును ఉపయోగించడం కోసం ఇవి దృశ్యాలు. దీని గురించి మీ ఆలోచనలను పంచుకోండి మరియు మర్చిపోకండి ప్రతిదీ సరిగ్గా అమర్చండిడేటాబేస్ లీక్‌లను నివారించడానికి. 

మూలం: www.habr.com