Анализ на шифрован трафик без неговото декодиране

Система за анализ на трафик без неговото декодиране. Този метод се нарича просто – „машинно обучение“. Оказа се, че ако на входа на специален класификатор подадем много голямо количество разнообразен трафик, системата с много висока степен на вероятност може да детектира действия на злонамерен код в шифровия трафик.

Мрежовите заплахи се промениха и станаха „по-умни“. През последното време концепцията за атака и защита се промени. Броят на събитията в мрежата нарасна многократно. Атаките станаха по-изтънчени, а хакерите получиха по-широк обхват на атаките.

Според статистика на Cisco, злонамерителите през последната година увеличават броя на злонамерените програми, които използват за своята дейност, а именно за нейното скриване – шифриране. От теорията е известно, че „правилният“ алгоритъм за шифриране не може да бъде разбит. За да разберем какво се крие в шифрования трафик, е необходимо или да го декодираме, знаейки ключа, или да се опитаме да го дешифрираме чрез различни трикове, или с брутална атака, или като използваме някакви уязвимости в криптографските протоколи.

Картина на мрежовите заплахи от нашето време

Машинно обучение

Познай технологията в лицето! Преди да говорим за това как работи самата технология за декодиране на базата на машинно обучение, е необходимо да разгледаме как работи технологията на невронните мрежи.

Машинното обучение (Machine Learning) е обширен подраздел на изкуствения интелект, който изучава методите за изграждане на алгоритми, способни да се обучават. Тази наука е насочена към създаването на математически модели за „обучение“ на компютри. Целта на обучението е да предсказва нещо. В човешкото разбиране наричаме този процес с думата „мъдрост“. Мъдростта се проявява у хора, които са живял доста години (двугодишно дете не може да бъде мъдро). Когато се обръщаме за съвет към по-възрастни, им даваме информация за събитие (входни данни) и молим за помощ. Те от своя страна припомнят всички ситуации от живота, които по някакъв начин са свързани с вашия проблем (база данни) и на базата на тези знания (данни) ни предлагат своеобразно предсказание (съвет). Този тип съвети са наречени предсказания, защото човекът, който дава съвет, не знае със сигурност какво ще се случи, а само предполага. Животът показва, че човек може да е прав, а може и да сгреши.

Не трябва да сравняваме невронните мрежи с алгоритъм за разклоняване (if-else). Това са различни неща и има ключови разлики между тях. Алгоритъмът за разклоняване има ясно „разбиране“ за това какво да прави. Ще демонстрирам с примери.

Задача. Да определим спирачния път на автомобила по марка и година на производство.

Пример за работа на алгоритъм за разклоняване. Ако автомобилът е марка 1 и е произведен през 2012 година – неговият спирачен път е 10 метра, иначе, ако автомобилът е марка 2 и е произведен през 2011 година и ст. н.

Пример за работа на невронна мрежа. Събираме данни за спирачните пътища на автомобилите през последните 20 години. По марка и година съставяме таблица от типа „марка-година на производство-спирачен път“. Даваме тази таблица на невронната мрежа и започваме да я обучаваме. Обучението се провежда по следния начин: подаваме данни на невронната мрежа, но без спирачния път. Невронната мрежа се опитва да предскаже какъв ще бъде спирачният път, на базата на заредената в нея таблица. Предсказва нещо и задава въпрос на потребителя „Прав ли съм?“. Преди въпроса тя създава четвърти стълб – стълб с предположения. Ако е права – записва 1 в четвъртия стълб, сгрешила – 0. Невронната мрежа преминава към следващото събитие (дори да е сбъркала). Така мрежата учи и когато обучението приключи (достигащ определен критерий на съвпадение), подаваме данни за интересуващия ни автомобил и накрая получаваме отговор.

За да изясня въпроса за критерия за съвпадение, ще поясня, че това е математически извлечена формула за статистика. Ясен пример за две различни формули за съвпадение. Червената – бинарна съвпадение, синята – нормална съвпадение.

Биномни и нормални разпределения на вероятността

За да стане по-ясно, задайте въпроса "Каква е вероятността да срещнете динозавър?". Има два варианта за отговор. Вариант 1 – много малка (синият график). Вариант 2 – или ще го срещнете, или не (червеният график).

Разбира се, компютърът не е човек и той се обучава по различен начин. Има два вида обучение за железния кон - обучение по прецеденти и дедуктивно обучение.

Обучението по прецеденти е начин на обучение чрез математически закони. Математиците събират статистически таблици, правят изводи и зареждат в невронна мрежа резултата - формула за изчисление.

Дедуктивното обучение - обучението се извършва изцяло в невронката (от събиране на данни до тяхното анализиране). Тук се формира таблица без формула, но със статистика.

Широкият преглед на технологията би отнел още няколко десетки статии. Засега това е достатъчно за общо разбиране.

Нейропластичност

В биологията съществува такова понятие - нейропластичност. Нейропластичността е способността на невропрена (мозъчни клетки) да действат "според ситуацията". Например, човек, който е загубил зрение, чува звуците по-добре, чувства миризмите и усеща предметите. Това се случва, защото част от мозъка (част от невропрените), отговорни за зрението, переразпределя своята работа към друга функционалност.

Ясен пример за нейропластичност в живота е сладоледът BrainPort.

През 2009 година Университетът в Уисконсин в Мадисън обяви пускането на ново устройство, развиващо идеите на 'езиковия дисплей' - то получи името BrainPort. BrainPort работи по следния алгоритъм: видеосигналът постъпва от камерата в процесор, който управлява увеличението, яркостта и другите параметри на изображението. Той също така преобразува цифровите сигнали в електрически импулси, всъщност поема функциите на ретината.

Сладолед BrainPort с очила и камера

BrainPort в действие

Същото важи и за компютъра. Ако невронната мрежа усети промяна в процеса, тя се адаптира към него. В това се състои ключовото предимство на невронните мрежи в сравнение с другите алгоритми - автономност. По рода си, човечност.

Encrypted Traffic Analytics

Encrypted Traffic Analytics е част от системата Stealthwatch. Stealthwatch е разработка на компанията Cisco в областта на решенията за мониторинг и аналитика на сигурността, която използва корпоративни данни за телеметрия от съществуващата мрежова инфраструктура.

Основата на Stealthwatch Enterprise се състои от инструментите Flow Rate License, Flow Collector, Management Console и Flow Sensor.

Интерфейс на Cisco Stealthwatch

Проблемът с криптирането стана особено остър, тъй като количеството криптиран трафик нарасна значително. Преди се криптираха само кодове (основно), а сега се криптира целият трафик, което прави отделянето на "чисти" данни от вируси многократно по-трудно. Ясен пример е WannaCry, който използваше Tor, за да скрие присъствието си в мрежата.

Визуализация на растежа на количеството криптиран трафик в мрежата

Криптиране в макроикономиката

Системата Encrypted Traffic Analytics (ETA) е необходима именно за работа с криптиран трафик без необходимост от декриптиране. Престъпниците са умни и използват криптоустойчиви алгоритми за шифроване, а разбиването им е не само проблем, но и изключително големи разходи за организациите.

Системата работи по следния начин. В компанията постъпва някакъв трафик. Той попада в TLS (transport layer security — протокол за защита на транспортния слой). Да предположим, че трафикът е криптиран. Ние се опитваме да отговорим на редица въпроси за това какво съединение е установено.

Принцип на работа на системата Encrypted Traffic Analytics (ETA)

За да отговорим на тези въпроси, използваме машинно обучение в тази система. Използват се изследвания на компанията Cisco и на тяхна база се създава таблица с 2 резултата – злонамерен и "добър" трафик. Разбира се, не знаем определено какъв трафик е попаднал в системата в момента, но можем да проследим историята на трафика както в компанията, така и извън нея, като се опираме на данни от световната арена. В крайна сметка на този етап получаваме огромна таблица с данни.

В резултат на изследването се установяват характерни признаци – определени правила, които могат да бъдат записани в математическа форма. Тези правила ще се различават значително по различни критерии – размер на предавани файлове, тип на свързване, страна, от която идва този трафик и т.н. В резултат на работата, огромната таблица се е превърнала в набор от формули. Станало е по-малко, но това е недостатъчно за комфортна работа.

След това се прилага технология за машинно обучение – сходството на формулата и по резултатите от сходството получаваме тригер – ключ, при който при изход на данни имаме ключ (флаг) в повдигнато или спуснато положение.

Резултатният етап – получаване на набор от тригери, които покриха 99% от трафика.

Етапи на проверка на трафика в ETA

В резултат на работата се решава и още един проблем – атака отвътре. Вече не са нужни хора посредник, които ръчно филтрират трафика (в този момент излагам себе си на риск). На първо място, вече не е нужно да харчим много пари за свестен системен администратор (продължавам да излагам себе си на риск). На второ място, няма опасност от хакване отвътре (поне частично).

Устаряла концепция за Man-in-the-Middle

Сега, нека се запознаем с основите на системата.

Системата работи на 4 комуникационни протокола: TCP/IP – протокол за предаване на данни в интернет, DNS – сървър за домейни, TLS – протокол за защита на транспортния слой, SPLT (SpaceWire Physical Layer Tester) – тестер за физическия слой на свързване.

Протоколи, работещи с ETA

Сравнението се извършва чрез съпоставяне на данни. По протоколите TCP/IP се проверява репутацията на сайтовете (история на посещенията, цел на съществуването на сайта и т.н.), благодарение на DNS протокола, можем да отхвърлим "лоши" адреси на сайтове. Протоколът TLS работи с "отпечатъци" на сайта и проверява сайта по база данни на компютърната група за реагиране при извънредни ситуации (cert). Последният етап на проверка на връзката – проверка на физическото ниво. Детайлите за работата на този етап не се уточняват, но смисълът му е следния: проверка на синусоиди и косинусоиди на кривите за предаване на данни на осцилографски установки, т.е. благодарение на структурата на запитването на физическо ниво, ние определяме целта на връзката.

В резултат на работата на системата можем да извлечем данни от криптиран трафик. Чрез изучаване на пакетите можем да прочетем максимално количество информация от некриптираните полета в самия пакет. Чрез инспекция на пакета на физическо ниво, ние научаваме характеристиките на пакета (частично или напълно). Също така, не трябва да забравяме за репутацията на сайтовете. Ако заявката е дошла от някакъв .onion източник, не трябва да му се доверяваме. За улесняване на работата с подобни данни е създадена карта на рисковете.

Резултат от работата на ETA

И всичко, изглежда, е добре, но да поговорим за разгръщането на мрежата.

Физическа реализация на ETA

Тук възниква редица нюанси и тънкости. На първо място, при създаването на подобен вид
мрежа с висококачествен софтуер, е необходимо събиране на данни. Да се събират данни на ръка е напълно
нереално, а реализирането на система за реагиране е вече по-интересно. На второ място, данните
трябва да бъдат много, а това означава, че инсталираните сензори на мрежата трябва да работят
не само автономно, но и в прецизно настроен режим, което създава редица трудности.

Сензори и система Stealthwatch

Да поставиш сензор е едно, а да го настроиш е съвсем друга задача. За настройка на сензорите има комплекс, работещ по следната топология - ISR = маршрутизатор с интеграция на услуги от Cisco (Cisco Integrated Services Router); ASR = маршрутизатор с агрегация на услуги от Cisco (Cisco Aggregation Services Router); CSR = маршрутизатор за облачни услуги от Cisco (Cisco Cloud Services Router); WLC = контролер за безжични локални мрежи от Cisco (Cisco Wireless LAN Controller); IE = индустриален Ethernet комутатор от Cisco (Cisco Industrial Ethernet); ASA = устройство за адаптивна защита от Cisco (Cisco Adaptive Security Appliance); FTD = решение за защита от заплахи Cisco Firepower Threat Defense; WSA = устройство за защита на уеб трафика (Web Security Appliance); ISE = модул за идентификация на услуги (Identity Services Engine)

Комплексно мониториране с оглед на всякакви телеметрични данни

На мрежовите администратори започва аритмия от количеството на думите „Cisco“ в предишния абзац. Цената на това чудо не е малка, но не за това говорим днес...

Моделирането на поведението на хакера ще протича по следния начин. Stealthwatch внимателно проследява активността на всяко устройство в мрежата и може да създаде шаблон за нормално поведение. Освен това, това решение предоставя дълбочинно разбиране на известното неподходящо поведение. В рамките на това решение се използват около 100 различни алгоритми за анализ или хевристични правила, които касаят различни видове поведение на трафика, като сканиране, предаване на алармени кадри от възел, влизане в системата чрез подбиране на парола, предполагаемо прихващане на данни, предполагаемо изтичане на данни и т.н. Изброените събития за сигурност попадат в категорията на логичната тревога с високо ниво. Някои събития за сигурност също могат да предизвикат аларма сами по себе си. По този начин системата е в състояние да корелира множество изолирани аномални инциденти и да ги събере, за да определи възможния тип атака, а също така да я свърже с конкретно устройство и потребител (фигура 2). В бъдеще инцидентът може да бъде проучен динамично с оглед на свързаните данни от телеметрията. Това съставлява контекстуална информация в нейното най-добро проявление. Докторите, които преглеждат пациента, за да разберат какво се е случило, не разглеждат симптомите отделно. Те изучават общата картина, за да поставят диагноза. По подобен начин, Stealthwatch фиксира всяка аномална активност в мрежата и я проучва в комплекс, за да изпраща сигнали за тревога с оглед на контекста, което помага на специалистите по сигурност да преценят рисковете.

Откриване на аномалии чрез моделиране на поведението

Физическото разгръщане на мрежата изглежда така:

Опция за разгръщане на мрежата на филиал (опростен)

Опция за разгръщане на мрежата на филиал

Мрежата е разгръната, но остава отворен въпрос относно невронната мрежа. Организирахме мрежа за предаване на данни, инсталирахме сензори на праговете и стартирахме система за събиране на информация, но невронната мрежа все още не е участвала. Засега.

Многоуровнева невронна мрежа

Системата анализира поведението на потребителя и устройството, за да открие злонамерени зарази, комуникации с командни сървъри, изтичане на данни, както и потенциално нежелани приложения, работещи в инфраструктурата на организацията. Съществуват няколко нива на обработка на данни, при които комбинацията от методи на изкуствен интелект, машинно обучение и математическа статистика помага на мрежата да се самообучи в своята нормална активност, за да може да идентифицира злонамерена активност.

Конвейерът за анализ на сигурността на мрежата, който събира телеметрични данни от всички части на разширената мрежа, включително криптиран трафик, е уникална черта на Stealthwatch. Той стъпка по стъпка формира разбиране за това какво е "аномално", след което класифицира действителни отдельни елементи на "заплашваща активност" и накрая изнася окончателно решение относно това дали устройството или потребителят наистина са били компрометирани. Способността да се съберат малките части, които заедно формират доказателство за вземане на окончателно решение относно компрометацията на обекта, се осигурява чрез много внимателен анализ и коррелация.

Тази способност е от голямо значение, тъй като стандартното предприятие може ежедневно да получава огромно количество сигнали за тревога и провеждането на разследване по всеки от тях е невъзможно — ресурсите на специалистите по сигурност са ограничени. Модулът за машинно обучение обработва огромно количество информация почти в реално време, за да идентифицира критични инциденти с високо ниво на увереност, а също така е способен да предложи ясна последователност от действия за бързо отстраняване.

Нека по-подробно да разгледаме многобройните методи на машинно обучение, използвани в Stealthwatch. Когато инцидентът постъпи в модула за машинно обучение на Stealthwatch, той преминава през воронката на анализа на сигурността, в рамките на която се използва комбинация от методи на машинно обучение с учител и без учител.

Възможности на многостепенното машинно обучение

1-во ниво. Откриване на аномалии и моделиране на доверие

На този етап 99% от трафика се елиминира с помощта на статистически детектори на аномалии. Избраните сензори заедно формират сложни модели на това, което е нормално, и на това, което, напротив, е аномално. Въпреки това, аномалното не винаги е злонамерено. Много от събитията във вашата мрежа не са свързани с заплаха — те просто са странни. Важно е да се класифицират такива процеси независимо от заплашителното поведение. Поради тази причина резултатите от работата на тези детектори преминават през допълнителен анализ, за да се регистрира странното поведение, което може да бъде обяснено и му се доверява. В крайна сметка само малка част от най-важните потоци и заявки преминават на 2-ро и 3-то ниво. Без прилагане на такива методи за машинно обучение оперативните разходи за отделяне на сигнала от шума биха били твърде големи.

Обнаружаване на аномалии. На първия етап при откриването на аномалии се използват статистически методи на машинно обучение, за да се отдели статистически нормалният трафик от аномалния. Повече от 70 отделни детектора обработват данни от телеметрия, събирани от Stealthwatch, относно трафика, който преминава през периметъра на вашата мрежа, отделяйки вътрешния трафик на системата за домейнни имена (DNS) и данни от прокси сървър, ако такива съществуват. Всяка заявка се обработва от повече от 70 детектора, като всеки детектор използва свой статистически алгоритъм, създавайки оценка на откритите аномалии. Тези оценки се обединяват, и в резултат на приложението на различни статистически методи се получава единна оценка за всяка отделна заявка. След това такава обединена оценка се използва за разделяне на нормалния и аномалния трафик.

Моделиране на доверие. Следващите подобни запитвания се групират, а общата оценка на аномалиите за тези групи се определя като дългосрочно средно значение. С течението на времето анализирането с последващо определяне на дългосрочното средно значение преминава през повече запитвания, което позволява да се намалят фалшивите положителни и фалшивите отрицателни сработвания. Резултатите от моделирането на доверието се използват за избиране на подмножество от трафика, чиято оценка на аномалиите надвишава определено динамично зададено прагово значение, за да бъде преместено на следващото ниво на обработка.

2 ниво. Класификация на събитията и моделиране на обекта

На това ниво става класификация на резултатите, получени на предишните етапи, с отнасяне към конкретни злонамерени събития. Класификацията на събитията се извършва въз основа на стойностите, присвоени от класификаторите на машинно обучение с цел осигуряване на постоянен показател за точност над 90%. Между тях са:

• линейни модели на базата на лемата на Неймън-Пирсън (закон на нормалното разпределение от графиката в началото на статията)
• машини с опорни вектори, използващи многовариантно обучение
• невронни мрежи и алгоритъм „случайна гора“.

След това такива изолирани събития за сигурността с течение на времето се свързват с едно крайно устройство. Именно на този етап се съставя описание на заплахата, на основата на което се изгражда цялостната картина на това как съответният нарушител е успял да постигне определени резултати.

Класификация на събитията. Статистически аномалното подмножество от предходното ниво се разпределя по 100 и повече категории с помощта на класификатори. Повечето класификатори се основават на индивидуално поведение, отношения в групата или поведение в глобален или локален мащаб, докато други могат да бъдат доста конкретни. Например, класификатор може да укаже на трафик на командни сървъри, подозрително разширение или несанкционирано обновление на софтуера. В резултат на тази стъпка се оформя набор от аномални събития в системата за сигурност, отнесени към определени категории.

Моделиране на обекта. Ако количеството доказателства в подкрепа на хипотезата за вредността на определен обект надвишава прага на значимост, се определя заплаха. Свързаните събития, повлияли на определянето на заплахата, се асоциират с нея и стават част от дискретната дългосрочна модел на обекта. С течение на времето, с натрупването на доказателства, системата определя нови заплахи при достигане на прага на значимост. Този праг има динамичен характер и преминава интелектуална корекция на базата на нивото на риск от избухване на заплахата и други фактори. След това заплахата се появява на информационната панели на уеб интерфейса и преминава на следващото ниво.

3 ниво. Моделиране на отношения

Целта на моделирането на отношения е да синтезира резултатите, получени на предишните нива, с глобална перспектива, като се отчита не само локалният, а и глобалният контекст на съответния инцидент. Именно на този етап можете да определите колко организации са се сблъскали с такава атака, за да разберете дали е била насочена конкретно срещу вас или е част от глобална кампания, а вие просто сте попаднали "под раздачата."

Инцидентите се потвърдяват или открития. Потвърденият инцидент предполага 99 до 100 % увереност, тъй като съответните методи и инструменти са били наблюдавани в действие в по-голям (глобален) мащаб. Откритите инциденти са уникални за вас и съставят част от целенасочена кампания. Получените в миналото резултати се предават с указание за известния ред на действие, което позволява да спестите време и ресурси при реагиране. Те се предоставят заедно с инструментите за разследване, които ще ви бъдат необходими, за да разберете кой ви е атакувал и каква е степента на насоченост на кампанията спрямо вашия цифров бизнес. Както можете да си представите, броят на потвърдените инциденти значително надхвърля броя на откритите по простата причина, че потвърдените инциденти не са свързани с големи разходи за злонамерените, докато откритите инциденти генерират
скъпо, тъй като те трябва да бъдат нови и индивидуализирани. Чрез създаването на възможности за идентифициране на потвърдени инциденти, икономиката на играта най-накрая се измести в полза на защитниците, предоставяйки им определено предимство.

Многостепенното обучение на невронни мрежи на базата на ETA

Глобална карта на рисковете

Глобалната карта на рисковете се създава в резултат на анализи, прилагани от алгоритми за машинно обучение върху един от най-големите масиви данни в индустрията. Тя предоставя обширна статистическа информация за поведението на сървърите в Интернет, дори ако са непознати. Тези сървъри са свързани с атаки, могат да бъдат ангажирани или използвани в рамките на атака в бъдеще. Това не е "черен списък", а комплексна картина на разглеждания сървър от гледна точка на сигурността. Таксата за активността на посочените сървъри, подготвена в контекста, позволява на детекторите и класификаторите на машинно обучение Stealthwatch точно да предсказват нивото на риск, свързано с комуникацията с такива сървъри.

Можете да видите наличните карти тук..

Карта на света, показваща 460 милиона IP адреси

Сега мрежата се обучава и защитава Вашата мрежа.

Накрая, намерена ли е панацеята?

За съжаление, недостъпен. От опит с системата мога да кажа, че има 2 глобални проблема.

Проблем 1. Цена. Цялата мрежа е разположена на система Cisco. Това е и добро, и лошо. Добрата страна е, че Вие можете да не се притеснявате и да не инсталирате куп заглушители като D-Link, MikroTik и т.н. Минусът – огромната цена на системата. Имайки предвид икономическото състояние на руския бизнес, в момента само осигурен собственик на голяма фирма или банка може да си позволи това чудо.

Проблем 2. Обучение. Не написах в статията времето за обучение на невронната мрежа, но не заради липсата му, а защото тя все пак непрекъснато се обучава и не можем да предскажем кога точно ще се научи. Разбира се, има инструменти на数学ическа статистика (вземете същата формулировка на критерия за сближаване на Пирсън), но това са полумерки. Получаваме вероятност за филтриране на трафика, да и то при условие че атаката вече е освоена и известна.

Въпреки тези 2 проблема, ние направихме значителен напредък в развитието на информационната сигурност като цяло и защитата на мрежите в частност. Този факт може да бъде вдъхновяващ за изучаване на мрежови технологии и невронни мрежи, които в момента са много перспективна област.

Източник: habr.com