Ինչպես է ELK-ն օգնում անվտանգության ինժեներին պայքարել կայքերի հարձակումների դեմ և հանգիստ քնել

Մեր կիբեր պաշտպանության կենտրոնը պատասխանատու է հաճախորդի վեբ ենթակառուցվածքի անվտանգության համար և ետ է մղում հաճախորդի կայքերի վրա հարձակումները: Հարձակումներից պաշտպանվելու համար մենք օգտագործում ենք FortiWeb Web Application Firewalls (WAFs): Բայց նույնիսկ ամենաթեժ WAF-ը համադարման չէ և չի պաշտպանում «դուրս արկղից» նպատակային հարձակումներից: 

Հետեւաբար, բացի WAF-ից, մենք օգտագործում ենք ELK. Այն օգնում է հավաքել բոլոր իրադարձությունները մեկ վայրում, կուտակում է վիճակագրություն, պատկերացնում է այն և թույլ է տալիս ժամանակին տեսնել նպատակային հարձակումը:

Այսօր ես ձեզ ավելի մանրամասն կպատմեմ, թե ինչպես անցանք տոնածառը WAF-ով և ինչ ստացվեց դրանից:

Մեկ հարձակման պատմություն. ինչպես էր ամեն ինչ աշխատում մինչև ELK-ին անցնելը

Մեր ամպում հաճախորդը տեղադրել է հավելվածը մեր WAF-ի հետևում: Օրական 10-ից մինչև 000 օգտատեր միանում է կայքին, միացումների թիվը հասել է օրական 100 միլիոնի։ Դրանցից 000-20 օգտատեր ներխուժողներ են եղել և փորձել են կոտրել կայքը։ 

Մեկ IP հասցեից ստացված սովորական կոպիտ ուժն արգելափակվել է FortiWeb-ի կողմից բավականին հեշտությամբ: Կայքի այցելությունների թիվը րոպեում ավելի մեծ էր, քան օրինական օգտագործողների թիվը: Մենք պարզապես սահմանեցինք ակտիվության շեմեր մեկ հասցեից և հետ մղեցինք հարձակումը:

Շատ ավելի դժվար է գործ ունենալ «դանդաղ հարձակումների» հետ, երբ հարձակվողները դանդաղ են գործում և քողարկվում են որպես սովորական հաճախորդներ։ Նրանք օգտագործում են բազմաթիվ եզակի IP հասցեներ: Նման գործունեությունը WAF-ի համար նման չէր զանգվածային բիրտ ուժի, ավելի դժվար էր դրան հետևել ավտոմատ կերպով: Եվ կար նաև նորմալ օգտատերերին արգելափակելու վտանգ։ Մենք փնտրեցինք հարձակման այլ նշաններ և ստեղծեցինք IP հասցեների ավտոմատ արգելափակման քաղաքականություն այս նշանի հիման վրա: Օրինակ, շատ անօրինական նիստեր ունեին ընդհանուր դաշտեր http հարցումների վերնագրերում: Հաճախ ստիպված էիք ձեռքով փնտրել նման դաշտեր FortiWeb-ի իրադարձությունների մատյաններում: 

Այն երկարացավ և անհարմարավետ: FortiWeb-ի ստանդարտ ֆունկցիոնալության մեջ իրադարձությունները տեքստով գրանցվում են 3 տարբեր տեղեկամատյաններում՝ հայտնաբերված հարձակումներ, հարցումների մասին տեղեկատվություն և WAF-ի գործողության մասին համակարգի հաղորդագրություններ: Տասնյակ կամ նույնիսկ հարյուրավոր հարձակումներ կարող են տեղի ունենալ մեկ րոպեի ընթացքում:

Ոչ այնքան, բայց դուք պետք է ձեռքով մագլցեք մի քանի տեղեկամատյանների միջով և կրկնեք բազմաթիվ տողեր. 

Հարձակման մատյանում մենք տեսնում ենք օգտատերերի հասցեները և գործունեության բնույթը: 
 
Բավական չէ պարզապես սկանավորել տեղեկամատյանների աղյուսակը: Հարձակման բնույթի վերաբերյալ ամենահետաքրքիրն ու օգտակարը գտնելու համար հարկավոր է նայել կոնկրետ իրադարձության ներսում.

Ընդգծված դաշտերը օգնում են հայտնաբերել «դանդաղ հարձակումը»: Աղբյուրը՝ սքրինշոթ ից Fortinet կայքը. 

Դե, հիմնական խնդիրն այն է, որ միայն FortiWeb-ի մասնագետը կարող է դա պարզել: Եթե ​​աշխատանքային ժամերին մենք դեռ կարողանանք իրական ժամանակում հետևել կասկածելի գործողություններին, ապա գիշերային միջադեպերի հետաքննությունը կարող է հետաձգվել: Երբ FortiWeb-ի քաղաքականությունը ինչ-ինչ պատճառներով չաշխատեց, գիշերային հերթափոխի ինժեներները չկարողացան գնահատել իրավիճակը առանց WAF-ի մուտքի և արթնացրին FortiWeb-ի մասնագետին: Մենք մի քանի ժամ ման ենք եկել գերանների միջով և գտել հարձակման պահը։ 

Նման ծավալի տեղեկատվության դեպքում դժվար է մի հայացքով հասկանալ մեծ պատկերը և գործել ակտիվ: Այնուհետև մենք որոշեցինք հավաքել տվյալներ մեկ վայրում՝ ամեն ինչ տեսողական ձևով վերլուծելու, հարձակման սկիզբը գտնելու, դրա ուղղությունն ու արգելափակման եղանակը բացահայտելու համար։ 

Ինչից ես ընտրել

Առաջին հերթին մենք նայեցինք արդեն իսկ օգտագործվող լուծումներին, որպեսզի անհարկի չբազմապատկենք սուբյեկտները:

Առաջին տարբերակներից մեկն էր Nagiosորը մենք օգտագործում ենք վերահսկելու համար ինժեներական ենթակառուցվածք, ցանցային ենթակառուցվածք, արտակարգ ահազանգեր. Անվտանգության աշխատակիցներն այն օգտագործում են նաև ուղեկցողներին կասկածելի երթևեկության դեպքում ծանուցելու համար, սակայն այն չգիտի, թե ինչպես հավաքել ցրված գերանները և հետևաբար անհետանում է։ 

Տարբերակ կար՝ ամեն ինչ համախմբելու MySQL և PostgreSQL կամ այլ հարաբերական տվյալների բազա: Բայց տվյալները դուրս հանելու համար անհրաժեշտ էր քանդակել ձեր դիմումը։ 

Որպես գերան հավաքող մեր ընկերությունում նրանք նույնպես օգտագործում են FortiAnalyzer Fortinet-ից։ Բայց այս դեպքում նա նույնպես չէր տեղավորվում։ Նախ, ավելի սրված է firewall-ով աշխատելը FortiGate- ը. Երկրորդ, շատ կարգավորումներ բացակայում էին, և դրա հետ փոխազդեցությունը պահանջում էր SQL հարցումների գերազանց իմացություն: Եվ երրորդ՝ դրա օգտագործումը կբարձրացնի ծառայության արժեքը հաճախորդի համար։   

Ահա թե ինչպես մենք հայտնվեցինք բաց կոդով ELK. 

Ինչու ընտրել ELK 

ELK-ը բաց կոդով ծրագրերի մի շարք է.

• Elasticsearch- ը - ժամանակային շարքերի տվյալների բազա, որը պարզապես ստեղծվել է մեծ ծավալի տեքստի հետ աշխատելու համար.
• Լոգստաշը – տվյալների հավաքագրման մեխանիզմ, որը կարող է տեղեկամատյանները փոխարկել ցանկալի ձևաչափին. 
• Կիբանա - լավ վիզուալիզատոր, ինչպես նաև բավականին բարեկամական ինտերֆեյս Elasticsearch-ի կառավարման համար: Դուք կարող եք օգտագործել այն գրաֆիկներ կազմելու համար, որոնք կարող են վերահսկվել գիշերային ժամերին հերթապահ ինժեներների կողմից: 

ELK-ի մուտքի շեմը ցածր է. Բոլոր հիմնական հատկանիշներն անվճար են: Էլ ի՞նչ է պետք երջանկության համար։

Ինչպե՞ս եք այդ ամենը միավորել մեկ համակարգում:

Ստեղծեց ինդեքսներ և թողեց միայն անհրաժեշտ տեղեկատվությունը. Մենք բեռնել ենք FortiWEB-ի բոլոր երեք տեղեկամատյանները ELK-ում. արդյունքը եղել է ինդեքսներ: Սրանք ֆայլեր են բոլոր հավաքագրված տեղեկամատյաններով որոշակի ժամանակահատվածի համար, օրինակ՝ մեկ օրվա համար: Եթե ​​մենք անմիջապես պատկերացնեինք դրանք, ապա կտեսնեինք միայն գրոհների դինամիկան: Մանրամասների համար դուք պետք է «ընկնել» յուրաքանչյուր գրոհի մեջ և նայեք կոնկրետ դաշտերին:

Մենք հասկացանք, որ նախ պետք է կարգավորել չկառուցված տեղեկատվության վերլուծությունը: Մենք վերցրեցինք երկար դաշտերը որպես տողեր, ինչպիսիք են «Message» և «URL», և դրանք վերլուծեցինք որոշումներ կայացնելու համար ավելի շատ տեղեկություններ ստանալու համար: 

Օրինակ, վերլուծելով՝ մենք առանձին հանեցինք օգտատիրոջ գտնվելու վայրը։ Սա օգնեց անմիջապես ընդգծել արտերկրից հարձակումները ռուս օգտատերերի կայքերի վրա: Արգելափակելով բոլոր կապերը այլ երկրներից՝ մենք 2 անգամ կրճատեցինք հարձակումների թիվը և կարողացանք հեշտությամբ հաղթահարել Ռուսաստանի ներսում հարձակումները։ 

Վերլուծելուց հետո նրանք սկսեցին փնտրել, թե ինչ տեղեկատվություն պահել և պատկերացնել: Ամեն ինչ մատյանում թողնելը տեղին չէր. մեկ ինդեքսի չափը մեծ էր՝ 7 ԳԲ։ ELK-ը երկար ժամանակ պահանջեց ֆայլը մշակելու համար: Այնուամենայնիվ, ոչ բոլոր տեղեկությունները օգտակար էին: Ինչ-որ բան կրկնօրինակվեց և լրացուցիչ տեղ գրավեց. անհրաժեշտ էր օպտիմալացնել: 

Սկզբում մենք պարզապես ուսումնասիրեցինք ինդեքսը և հեռացրինք ավելորդ իրադարձությունները: Պարզվեց, որ սա ավելի անհարմար և ավելի երկար է, քան FortiWeb-ում տեղեկամատյանների հետ աշխատելը: «Տոնածառի» միակ պլյուսն այս փուլում այն ​​է, որ մենք կարողացանք մեկ էկրանի վրա պատկերացնել մեծ ժամանակահատված: 

Մենք չհուսահատվեցինք, շարունակեցինք ուտել կակտուսը և ուսումնասիրել ELK-ը և հավատում էինք, որ կկարողանանք կորզել անհրաժեշտ տեղեկատվությունը։ Ցուցանիշները մաքրելուց հետո մենք սկսեցինք պատկերացնել այն, ինչ կա: Այսպիսով, մենք հասանք մեծ վահանակների: Մենք պատրաստեցինք վիջեթներ՝ տեսողական և էլեգանտ, իսկական ЁLKa: 

Նկարել է հարձակման պահը. Այժմ պետք էր հասկանալ, թե ինչպես է նայվում հարձակման սկիզբը աղյուսակում։ Այն հայտնաբերելու համար մենք նայեցինք սերվերի պատասխաններն օգտագործողին (վերադարձի կոդերը): Մեզ հետաքրքրում էր սերվերի պատասխանները այսպիսի կոդերով (rc). 

Կոդ (rc)

Անվանում

Նկարագրություն

0

Իջնել

Սերվերին ուղղված հարցումն արգելափակված է

200

Ok

Հարցումը հաջողությամբ մշակվեց

400

Bad հարցում

Վատ խնդրանք

403

Արգելված

Թույլտվությունը մերժվել է

500

Ներքին Server Error

Ծառայությունն անհասանելի է

Եթե ​​ինչ-որ մեկը սկսեց հարձակվել կայքի վրա, կոդերի հարաբերակցությունը փոխվեց. 

• Եթե ​​400 կոդով ավելի շատ սխալ հարցումներ են եղել, իսկ 200 կոդով նույնքան սովորական հարցումներ, ապա ինչ-որ մեկը փորձում էր կոտրել կայքը։ 
• Եթե ​​միաժամանակ ավելացան նաև 0 կոդով հարցումները, ապա FortiWeb-ի քաղաքական գործիչները նույնպես «տեսան» հարձակումը և բլոկներ կիրառեցին դրա վրա։ 
• Եթե ​​500 կոդով հաղորդագրությունների թիվն ավելացել է, ապա կայքը հասանելի չէ այս IP հասցեների համար՝ նաև մի տեսակ արգելափակում։ 

Երրորդ ամսվա ընթացքում մենք ստեղծել էինք վահանակ՝ այս գործունեությունը հետևելու համար:

Որպեսզի ամեն ինչ ձեռքով չվերահսկվի, մենք ինտեգրեցինք Nagios-ի հետ, որը որոշակի պարբերականությամբ հարցումներ էր անցկացնում ELK-ում: Եթե ​​այն արձանագրել է սահմանային արժեքների ձեռքբերումը կոդերով, ապա ծանուցում է ուղարկել հերթապահներին կասկածելի գործունեության մասին։ 

Մոնիտորինգի համակարգում միավորել է 4 գծապատկեր. Այժմ կարևոր էր գրաֆիկների վրա տեսնել այն պահը, երբ հարձակումը արգելափակված չէ և անհրաժեշտ է ինժեների միջամտությունը։ 4 տարբեր գրաֆիկների վրա մեր աչքը մշուշված էր: Հետևաբար, մենք միավորեցինք գծապատկերները և սկսեցինք ամեն ինչ դիտարկել մեկ էկրանի վրա:

Մոնիտորինգի ժամանակ մենք դիտեցինք, թե ինչպես են փոխվում տարբեր գույների գրաֆիկները: Կարմիրի պոռթկումը ցույց էր տալիս, որ հարձակումը սկսվել է, մինչդեռ նարնջագույն և կապույտ գրաֆիկները ցույց էին տալիս FortiWeb-ի արձագանքը.

Այստեղ ամեն ինչ կարգին է. «կարմիր» ակտիվության ալիք էր նկատվում, բայց FortiWeb-ը գլուխ հանեց, և հարձակման ժամանակացույցը զրոյացավ:

Մենք նաև մեզ համար նկարեցինք գրաֆիկի օրինակ, որը պահանջում է միջամտություն.

Այստեղ մենք կարող ենք տեսնել, որ FortiWeb-ն ավելացրել է ակտիվությունը, բայց կարմիր հարձակման գրաֆիկը չի նվազել։ Դուք պետք է փոխեք WAF-ի կարգավորումները:

Գիշերային միջադեպերի հետաքննությունը նույնպես հեշտացել է։ Գրաֆիկը անմիջապես ցույց է տալիս այն պահը, երբ ժամանակն է անցնել կայքի պաշտպանությանը: 

Այդպես է լինում երբեմն գիշերը։ Կարմիր գրաֆիկ - հարձակումը սկսվել է: Կապույտ - FortiWeb գործունեությունը: Հարձակումն ամբողջությամբ արգելափակված չէր, ստիպված էինք միջամտել։

Ուր ենք գնում

Այժմ մենք վերապատրաստում ենք հերթապահ ադմինիստրատորների՝ ԵԼՔ-ի հետ աշխատելու համար: Ուսուցիչները սովորում են գնահատել իրավիճակը վահանակի վրա և որոշում կայացնել. ժամանակն է անցնել FortiWeb-ի մասնագետին, այլապես WAF-ի քաղաքականությունը բավական կլինի ինքնաբերաբար ետ մղելու հարձակումը: Այսպիսով, մենք նվազեցնում ենք գիշերային ժամերին տեղեկատվական անվտանգության ինժեներների բեռը և համակարգի մակարդակով աջակցության դերերը բաժանում: FortiWeb-ի հասանելիությունը մնում է միայն կիբեր պաշտպանության կենտրոնին, և միայն նրանք են փոփոխություններ կատարում WAF-ի կարգավորումներում, երբ շտապ անհրաժեշտ է:

Մենք նաև աշխատում ենք հաճախորդների համար հաշվետվության վրա: Մենք նախատեսում ենք, որ WAF-ի աշխատանքի դինամիկայի վերաբերյալ տվյալները հասանելի կլինեն հաճախորդի անձնական հաշվում: ELK-ն ավելի պարզ կդարձնի իրավիճակը՝ առանց բուն WAF-ին անդրադառնալու անհրաժեշտության։

Եթե ​​հաճախորդը ցանկանում է իրական ժամանակում վերահսկել սեփական պաշտպանությունը, ELK-ը նույնպես հարմար կլինի: Մենք չենք կարող թույլ տալ մուտք գործել WAF, քանի որ հաճախորդի միջամտությունը աշխատանքին կարող է ազդել մնացածի վրա: Բայց դուք կարող եք վերցնել առանձին ELK և տալ այն «խաղալու»: 

Սրանք են վերջին շրջանում կուտակված տոնածառի օգտագործման սցենարները։ Կիսվեք ձեր մտքերով այս մասին և մի մոռացեք ամեն ինչ ճիշտ կարգավորեքտվյալների բազայի արտահոսքից խուսափելու համար: 

Source: www.habr.com