Како ELK им помага на инженерите за безбедност да се борат против нападите на веб-страниците и да спијат мирно

Нашиот центар за сајбер одбрана е одговорен за безбедноста на веб-инфраструктурата на клиентите и одбива напади на веб-локациите на клиентите. Ние користиме заштитни ѕидови на веб-апликации на FortiWeb (WAF) за заштита од напади. Но, дури и најкул WAF не е лек и не штити надвор од кутијата од насочени напади. 

Затоа, покрај WAF користиме ELK. Помага да се соберат сите настани на едно место, акумулира статистика, ги визуелизира и ни овозможува навреме да видиме насочен напад.

Денес ќе ви кажам подетално како ја преминавме „елката“ со WAF и што излезе од неа.

Приказната за еден напад: како сè функционираше пред транзицијата во ЕЛК

Клиентот има апликација распоредена во нашиот облак што е зад нашиот WAF. Од 10 до 000 корисници поврзани на страницата дневно, бројот на врски достигна 100 милиони дневно. Од нив, 000-20 корисници биле напаѓачи и се обиделе да ја хакираат страницата. 

FortiWeb ја блокираше вообичаената форма за брутална сила од една IP адреса прилично лесно. Бројот на посети во минута на страницата беше поголем од оној на легитимните корисници. Едноставно поставивме прагови за активност од една адреса и го одбивме нападот.

Многу е потешко да се борите против „бавните напади“, кога напаѓачите делуваат бавно и се маскираат како обични клиенти. Тие користат многу уникатни IP адреси. Таквата активност не изгледаше како огромна брутална сила за WAF; беше потешко да се следи автоматски. Постоеше и ризик од блокирање на нормалните корисници. Баравме други знаци за напад и конфигуриравме политика за автоматско блокирање на IP-адресите врз основа на овој знак. На пример, многу нелегитимни сесии имаа заеднички полиња во заглавијата на барањата HTTP. Овие полиња често мораа да се пребаруваат рачно во дневниците на настани на FortiWeb. 

Испадна долго и непријатно. Во стандардната функционалност на FortiWeb, настаните се снимаат во текст во 3 различни дневници: откриени напади, информации за барање и системски пораки за работата на WAF. За една минута може да пристигнат десетици, па дури и стотици настани за напад.

Не толку многу, но мора рачно да се искачите низ неколку дневници и да повторувате низ многу линии: 

Во дневникот за напади ги гледаме корисничките адреси и природата на активноста. 
 
Не е доволно едноставно да ја скенирате табелата за дневници. За да ги најдете најинтересните и најкорисните информации за природата на нападот, треба да погледнете внатре во одреден настан:

Означените полиња помагаат да се открие „бавен напад“. Извор: скриншот од Веб-страница Фортинет. 

Па, најважниот проблем е што само специјалист FortiWeb може да го сфати ова. Додека за време на работното време сè уште можевме да ги следиме сомнителните активности во реално време, истрагата за ноќните инциденти може да потрае подолго. Кога правилата на FortiWeb не функционираа поради некоја причина, дежурните инженери во ноќната смена не можеа да ја проценат ситуацијата без пристап до WAF и го разбудија специјалистот на FortiWeb. Разгледавме неколкучасовни трупци и го најдовме моментот на нападот. 

Со толкав обем на информации, тешко е на прв поглед да се разбере големата слика и да се дејствува проактивно. Потоа решивме да собереме податоци на едно место со цел да анализираме сè во визуелна форма, да го најдеме почетокот на нападот, да ја идентификуваме неговата насока и начинот на блокирање. 

Од што избравте?

Најпрво, ги разгледавме решенијата што веќе се користат за да не се множат ентитетите непотребно.

Една од првите опции беше Nagiosкои ги користиме за следење инженерска инфраструктура, мрежна инфраструктура, предупредувања за итни ситуации. Чуварите го користат и за да ги известат дежурните во случај на сомнителен сообраќај, но не знае како да собира расфрлани трупци и затоа повеќе не е потребен. 

Имаше опција да се собере сè што се користи MySQL и PostgreSQL или друга релациона база на податоци. Но, за да извадите податоци, требаше да креирате сопствена апликација. 

Нашата компанија исто така користи FortiAnalyzer од Фортинет. Но, тоа не одговараше ниту во овој случај. Прво, тој е повеќе приспособен да работи со заштитен ѕид ФортиГејт. Второ, недостасуваа многу поставки, а интеракцијата со него бараше одлично познавање на SQL прашања. И трето, неговата употреба би ја зголемила цената на услугата за клиентот.   

Така дојдовме до отворен код во форма на ELK. 

Зошто да изберете ЕЛК 

ELK е збир на програми со отворен код:

• Еластична пребарување – база на податоци за временски серии, која е специјално креирана за работа со големи количини текст;
• Логсташ – механизам за собирање податоци што може да ги конвертира дневниците во саканиот формат; 
• Кибана – добар визуелизатор, како и прилично пријателски интерфејс за управување со Elasticsearch. Можете да го користите за да изградите графикони што дежурните инженери можат да ги следат ноќе. 

Прагот за влез во ELK е низок. Сите основни функции се бесплатни. Што друго е потребно за среќа?

Како сето тоа го составивме во еден единствен систем?

Создадовме индекси и ги оставивме само потребните информации. Ги вчитавме сите три логови на FortiWEB во ELK и излезот беше индекси. Ова се датотеки со сите собрани дневници за одреден период, на пример, еден ден. Ако веднаш ги визуелизиравме, ќе ја видиме само динамиката на нападите. За детали, треба да „паднете“ во секој напад и да погледнете одредени полиња.

Сфативме дека прво треба да ја поставиме анализата на неструктурирани информации. Зедовме долги полиња во форма на низи, како што се „Порака“ и „URL“, и ги анализиравме за да добиеме повеќе информации за донесување одлуки. 

На пример, користејќи парсирање, одделно ја идентификувавме локацијата на корисникот. Ова помогна веднаш да се истакнат нападите од странство на сајтови за руски корисници. Со блокирање на сите врски од други земји, го намаливме бројот на напади за половина и можевме мирно да се справиме со нападите во Русија. 

По парсирањето, почнавме да бараме какви информации да складираме и визуелизираме. Беше непрактично да се остави сè во списанието: големината на еден индекс беше голема - 7 GB. На ELK му требаше долго време да ја обработи датотеката. Сепак, не сите информации беа корисни. Нешто беше дупликат и зазема дополнителен простор - требаше да се оптимизира. 

На почетокот едноставно го скениравме индексот и ги отстранивме непотребните настани. Се покажа дека ова е уште понезгодно и подолго од работењето со дневници на самиот FortiWeb. Единствената предност на „елката“ во оваа фаза е тоа што можевме да визуелизираме голем временски период на еден екран. 

Не очајувавме, продолживме да јадеме кактус, го проучувавме ЕЛК и верувавме дека ќе успееме да ги извлечеме потребните информации. Откако ги исчистивме индексите, почнавме да визуелизираме што имаме. Вака дојдовме до големи контролни табли. Пробавме некои виџети - визуелно и елегантно, вистинска елка! 

Моментот на нападот е снимен. Сега требаше да разбереме како изгледа почетокот на нападот на графиконот. За да го откриеме, ги разгледавме одговорите на серверот до корисникот (кодови за враќање). Бевме заинтересирани за одговори на серверот со следните кодови (rc): 

Код (rc)

Име

Опис

0

Зависници

Барањето до серверот е блокирано

200

Ok

Барањето е успешно обработено

400

Лошо барање

Неважечко барање

403

Забрането

Овластувањето е одбиено

500

Внатрешна серверска грешка

Услугата е недостапна

Ако некој почнал да ја напаѓа страницата, односот на шифрите се менувал: 

• Ако имало повеќе погрешни барања со шифра 400, но останале исто толку нормални барања со шифра 200, тоа значи дека некој се обидувал да ја хакира страницата. 
• Ако во исто време се зголемија и барањата со код 0, тогаш и политичарите на FortiWeb го „видоа“ нападот и применија блокови на него. 
• Ако бројот на пораки со код 500 се зголеми, тоа значи дека страницата е недостапна за овие IP адреси - исто така еден вид блокирање. 

До третиот месец, поставивме контролна табла за следење на таквата активност.

За да не следиме сè рачно, воспоставивме интеграција со Нагиос, кој го анкетираше ЕЛК во одредени интервали. Ако открив прагови достигнати со шифри, испратив известување до дежурните за сомнителна активност. 

Комбинирани 4 графики во системот за следење. Сега беше важно на графиконите да се види моментот кога нападот не беше блокиран и беше потребна инженерска интервенција. На 4 различни графикони очите ни се заматија. Затоа, ги комбиниравме графиконите и почнавме да следиме сè на еден екран.

За време на мониторингот, гледавме како се менуваат графиконите со различни бои. Прскање црвено покажа дека нападот започнал, додека портокаловите и сините графикони го покажаа одговорот на FortiWeb:

Овде сè е во ред: имаше наплив на „црвена“ активност, но FortiWeb се ​​справи со тоа и распоредот за напади излезе на нула.

Ние, исто така, нацртавме пример за график кој бара интервенција:

Овде гледаме дека FortiWeb има зголемена активност, но графикот на црвениот напад не е намален. Треба да ги промените поставките за WAF.

Истражувањето на ноќните инциденти исто така стана полесно. Графиконот веднаш го покажува моментот кога е време да се дојде да се заштити локацијата. 

Ова е она што понекогаш се случува ноќе. Црвен графикон - нападот започна. Blue – FortiWeb активност. Нападот не беше целосно блокиран, па морав да интервенирам.

Каде се движиме?

Во моментов обучуваме дежурни администратори за работа со ЕЛК. Дежурните учат да ја проценуваат ситуацијата на контролната табла и да донесат одлука: време е да се префрлиме на специјалист FortiWeb или политиките на WAF се доволни за автоматски да се одбие нападот. На овој начин го намалуваме оптоварувањето на инженерите за безбедност на информации ноќе и ги делиме улогите за поддршка на системско ниво. Пристапот до FortiWeb останува само со центарот за сајбер одбрана и само тие прават промени во поставките на WAF кога е апсолутно неопходно.

Работиме и на известување за клиентите. Планираме дека податоците за динамиката на работењето на WAF ќе бидат достапни во личната сметка на клиентот. ELK ќе ја направи ситуацијата потранспарентна без да мора да контактира со самата WAF.

Доколку клиентот сака да ја следи нивната заштита во реално време, добро ќе ни се најде и ELK. Не можеме да дозволиме пристап до WAF, бидејќи мешањето на клиентите во работата може да влијае на другите. Но, можете да земете посебен ELK и да го дадете да „игра“ со него. 

Ова се сценаријата за користење на „елката“ што ги акумулиравме неодамна. Споделете ги вашите идеи за ова прашање и не заборавајте конфигурирајте сè правилноза да се избегне протекување на базата на податоци. 

Извор: www.habr.com