Анализ на криптиран трафик без неговото декодиране

Система за анализ на трафика без неговото разшифроване. Този метод се нарича просто – „машинно обучение“. Оказа се, че ако на входа на специален класификатор подадете много голям обем разнообразен трафик, системата с много висока степен на вероятност може да открие действия на зловреден код вътре в шифрован трафик.

Мрежовите заплахи се промениха и станаха по-„умни“. През последното време самата концепция за атака и защита се промени. Броят на събитията в мрежата нарасна многократно. Атаките станаха по-изкусни, а хакерите получиха по-широк обхват на атаките.

Според статистиката на Cisco, незаконните лица през последната година са увеличили броя на зловредните програми, които използват за своите дейности, а именно за нейното скриване – шифроване. От теорията е известно, че „правилният“ алгоритъм за шифроване не може да бъде компрометиран. За да разберете какво се крие в шифрования трафик, е необходимо или да го разшифровате, знаейки ключа, или да опитате да го дешифровате с различни трикове, или да го хакнете с груба сила, или да използвате някакви уязвимости в криптографските протоколи.

Картина на мрежовите заплахи на нашето време

Машинно обучение

Опознай технологията в лицето! Преди да говорим за това как работи самата технология на декодиране на базата на машинно обучение, е необходимо да разгледаме как работи технологията на невронните мрежи.

Машинното обучение (Machine Learning) е обширен подраздел на изкуствения интелект, който изучава методите за изграждане на алгоритми, способни да се обучават. Тази наука е насочена към създаването на математически модел на "обучение" за компютъра. Целта на обучението е предсказването на нещо. В човешкия контекст наричаме този процес с термина „мъдрост“. Мъдростта се проявява при хора, които са прекарали много години (двугодишно дете не може да бъде мъдро). Когато се обръщаме за съвет към по-опитни колеги, ние им предоставяме определена информация за събитие (входни данни) и молим за помощ. Те от своя страна си спомнят всички ситуации от живота, които по някакъв начин са свързани с вашия проблем (база знания) и на базата на тези знания (данни) ни дават вид предсказание (съвет). Тази форма на съвети се нарича предсказание, защото човекът, който дава съвет, не знае със сигурност какво ще се случи, а само предполага. Животът показва, че човек може да се окаже прав, а може и да сгреши.

Не трябва да сравняваме невронните мрежи с алгоритъма на разклонение (if-else). Това са различни неща и има съществени разлики между тях. Алгоритъмът на разклонение има ясно „разбиране“ какво да прави. Ще демонстрирам с примери.

Задача. Да се определи спирачният път на автомобила по неговата марка и година на производство.

Пример за работа на алгоритъма на разклонение. Ако автомобилът е марка 1 и е произведен през 2012 година – неговият спирачен път е 10 метра, иначе, ако автомобилът е марка 2 и е произведен през 2011 година и т.н.

Пример за работа на невронна мрежа. Събираме данни за спирачните пътища на автомобилите през последните 20 години. По марка и година съставяме таблица с формата „марка-година на производство-спирачен път“. Предоставяме тази таблица на невронната мрежа и започваме нейното обучение. Обучението се провежда по следния начин: подаваме данните в невронната мрежа, но без спирачния път. Невронната мрежа се опитва да предскаже какъв ще бъде спирачният път на базата на заредената таблица. Тя прави прогноза и задава въпрос на потребителя „Прав ли съм?“. Преди въпроса, тя създава четвърта колона – колона на предположението. Ако е права – записва 1 в четвъртата колона, ако е сгрешила – 0. Невронната мрежа преминава към следващото събитие (дори и когато е сгрешила). Така мрежата се учи и, когато обучението приключи (достигнат е определен критерий за сходство), подаваме данни за автомобила, който ни интересува, и накрая получаваме отговор.

За да разясня въпроса за критерия за сходство, ще поясня, че това е математически извлечена формула за статистика. Ясен пример за две различни формули за сходство. Червената линия показва бинарна сходност, а синята – нормална сходност.

Биномно и нормално разпределение на вероятностите

За да е по-разбираемо, задайте въпроса: „Каква е вероятността да срещнете динозавър?“. Има 2 варианта на отговор. Вариант 1 – много малка (синият график). Вариант 2 – или среща, или не (червеният график).

Разбира се, компютърът не е човек и учи по различен начин. Има 2 вида обучение на железният кон: обучение по прецеденти и дедуктивно обучение.

Обучението по прецеденти е метод на обучение по математически закони. Математиците събират таблици със статистика, правят изводи и зареждат в невронната мрежа резултата – формулата за изчисление.

Дедуктивното обучение – обучението става изцяло в невронната мрежа (от събиране на данни до тяхния анализ). Тук се формира таблица без формула, но със статистика.

Широкият преглед на технологията би отнел още няколко десетки статии. За сега това ни е достатъчно за общо разбиране.

Нейропластичност

В биологията съществува понятието невропластичност. Невропластичността е способността на невроните (мозъчните клетки) да действат „в зависимост от ситуацията“. Например, човек, лишен от зрение, чува по-добре звуци, усеща миризми и възприема предмети. Това се случва, защото част от мозъка (част от невроните), която отговаря за зрението, переразпределя своята работа към друга функционалност.

Ярък пример за невропластичност в живота е BrainPort.

През 2009 година Университетът на Уисконсин в Мадисън обяви за въвеждането на ново устройство, развиващо идеите на „езиковия дисплей“, – то получи името BrainPort. BrainPort работи по следния алгоритъм: видео сигналът постъпва от камерата в процесора, който управлява zoom, яркостта и другите параметри на изображението. Той също така преобразува цифровите сигнали в електрически импулси, по същество поема функциите на ретината.

BrainPort с очила и камера

BrainPort в действие

Също и с компютъра. Ако невронната мрежа усеща промяна в процеса, тя се адаптира към него. В това се крие ключовият плюс на невронните мрежи в сравнение с другите алгоритми – автономността. Нещо като човечност.

Анализ на шифрован трафик

Анализът на шифрован трафик е част от системата Stealthwatch. Stealthwatch е разработка на компанията Cisco в сферата на решения за мониторинг и анализ на сигурността, в която се използват корпоративни данни от телеметрията на съществуващата мрежова инфраструктура.

Основата на Stealthwatch Enterprise включва инструменти като Flow Rate License, Flow Collector, Management Console и Flow Sensor.

Интерфейс на Cisco Stealthwatch

Проблемът с шифроването на трафик стана доста сериозен, тъй като обемът на шифриращия трафик нарасна значително. Преди се шифроваше само код (предимно), а сега се шифрова целият трафик и отделянето на 'чисти' данни от вируси стана много по-сложно. Ясен пример е WannaCry, който използваше Tor за скриване на присъствието си в мрежата.

Визуализация на растежа на шифрования трафик в мрежата

Шифроване в макроикономиката

Системата Encrypted Traffic Analytics (ETA) е необходима точно за работа с криптиран трафик, без да го декриптира. Злоумышлениците са умни и използват криптоустойчива алгоритми за шифриране, а да ги пробием е не само проблем, но и изключително скъпо за организациите.

Системата работи по следния начин. В компанията пристига определен трафик. Той попада в TLS (transport layer security — протокол за защита на транспортния слой). Да предположим, че трафикът е криптиран. Опитваме се да отговорим на редица въпроси относно установеното връзка.

Принцип на работа на системата Encrypted Traffic Analytics (ETA)

За да отговорим на тези въпроси, използваме машинно обучение в тази система. Извършват се изследвания от компания Cisco и на базата на тези изследвания се създава таблица с 2 резултата – злонамерен и "добър" трафик. Разбира се, не знаем със сигурност какъв трафик е попаднал в системата в текущия момент, но можем да проследим историята на трафика както в компанията, така и извън нея, използвайки данни от световната сцена. В края на този етап получаваме огромна таблица с данни.

В резултат на проучването се разкриват характерни признаци – определени правила, които могат да бъдат записани в математическа форма. Тези правила ще варират значително в зависимост от различни критерии – размер на предаваните файлове, тип на свързване, страна, от която идва трафикът и т.н. В резултат на работата, огромната таблица се трансформира в набор от формули. Броят им намаля, но това е недостатъчно за комфортна работа.

След това се прилага технология за машинно обучение – съвпадение на формулата и въз основа на резултата от съвпадението получаваме триггер – превключвател, при който при изход на данни получаваме прекъсвач (флаг) в повдигнато или спуснато положение.

Резултатната стъпка – получаване на набор от триггери, които покриват 99% от трафика.

Стъпки за проверка на трафика в ETA

В резултат на работата се решава още един проблем – атака отвътре. Вече не са нужни хора посередине, които да филтрират трафика на ръка (в този момент се спъвам сам). На първо място, вече не е нужно да харчите много пари за квалифициран системен администратор (отново се спъвам). На второ място, отсъства опасността от хакерство отвътре (поне частично).

Устаряла концепция Man-in-the-Middle

Сега нека разгледаме на какво се базира системата.

Системата работи на 4 протокола за свързване: TCP/IP – протокол за данни в интернет, DNS – сървър за домейн имена, TLS – протокол за защита на транспортно ниво, SPLT (SpaceWire Physical Layer Tester) – тестер на физическия слой на свързване.

Протоколи, работещи с ETA

Сравнението се извършва чрез съпоставяне на данни. Чрез протоколите TCP/IP се проверява репутацията на сайтовете (история на посещенията, цел на съществуването на сайта и т.н.), а с помощта на DNS протокола можем да отхвърлим "лошите" адреси на сайтовете. Протоколът TLS работи с "отпечатъци" на сайта (fingerprint) и проверява сайта по базата данни на компютърната група за реакция при извънредни ситуации (cert). Последният етап от проверката на връзката е проверката на физическо ниво. Детайлите на работа на този етап не се обсъждат, но същността е следната: проверка на синусоидите и косинусоидите на кривите на предаване на данни на осцилографски установки, т.е. благодарение на структурата на запитването на физическо ниво, ние определяме целта на връзката.

В резултат на действията на системата, можем да извлечем данни от криптиран трафик. Чрез проучване на пакетите, можем да прочетем максимално количество информация от некриптираните полета в самия пакет. Чрез инспекция на пакета на физическо ниво, ние научаваме характеристиките на пакета (частично или напълно). Също така, не бива да забравяме репутацията на сайтовете. Ако заявката идва от някакъв .onion източник, не бива да му се доверяваме. За улеснение при работа с такъв тип данни, е създадена карта на рисковете.

Резултат от работата на ETA

И всичко изглежда добре, но нека поговорим за разгръщането на мрежата.

Физическа реализация на ETA

Тук се появяват редица нюанси и тънкости. На първо място, при създаването на такъв тип
мрежа с висок клас софтуер, е необходимо събиране на данни. Събирането на данни ръчно е напълно
недопустимо, а реализирането на система за реакция е вече по-интересно. На второ място, данните
трябва да бъдат много, което означава, че инсталираните сензори на мрежата трябва да работят
не само автономно, но и в прецизно настроен режим, което създава редица трудности.

Сензори и система Stealthwatch

Настройката на сензора е една задача, а самото му инсталиране е съвсем друга. За настройка на сензорите, работи комплекс, следващ следната топология – ISR = рутер с интеграция на услуги на Cisco (Cisco Integrated Services Router); ASR = рутер с агрегация на услуги на Cisco (Cisco Aggregation Services Router); CSR = рутер за облачни услуги на Cisco (Cisco Cloud Services Router); WLC = контролер на безжични локални мрежи на Cisco (Cisco Wireless LAN Controller); IE = промишлен Ethernet комутатор на Cisco (Cisco Industrial Ethernet); ASA = устройство за адаптивна защита на Cisco (Cisco Adaptive Security Appliance); FTD = решение за защита от заплахи на Cisco Firepower Threat Defense; WSA = устройство за защита на уеб трафика (Web Security Appliance); ISE = модул на услугите за идентификация (Identity Services Engine)

Комплексно наблюдение с оглед на всякакви телеметрични данни

У мрежовите администратори започва аритмия от броя на думите «Cisco» в предишния абзац. Цената на това чудо не е малка, но за това днес не става дума...

Моделирането на поведението на хакера ще протече по следния начин. Stealthwatch внимателно следи активността на всяко устройство в мрежата и има възможност да създаде модел на нормално поведение. Освен това, това решение предоставя дълбочинно разбиране на известното неправилно поведение. В рамките на това решение се използват около 100 различни алгоритъма за анализ или хевристични правила, които се отнасят до различни типове поведение на трафика, като сканиране, предаване на аварийни фреймове от възела, влизане в системата чрез подбиране на парола, подозиран достъп до данни, предполагаема изтичане на данни и др. Изброените събития по сигурността попадат в категорията на логическите аларми с висок приоритет. Някои събития по сигурността също могат да задействат алармата сами по себе си. По този начин системата е способна да корелира многобройни изолирани аномални инциденти и да ги обедини, за да определи възможния тип атака, а също така да я привърже към конкретно устройство и потребител (Фигура 2). По-нататък инцидентът може да се проучи в динамика, като се вземат предвид свързаните данни от телеметрията. Това съставлява контекстуалната информация в най-доброто си проявление. Лекарите, които преглеждат пациента, за да разберат какво е станало, не разглеждат симптомите поотделно. Те изследват цялостната картина, за да поставят диагноза. По аналогичен начин, Stealthwatch записва всяка аномална активност в мрежата и я разглежда в комплекс, за да изпраща сигнализационни съобщения, вземайки предвид контекста, като по този начин помага на специалистите по сигурност да определят приоритетите за рисковете.

Откриване на аномалии чрез моделиране на поведение

Физическото разгръщане на мрежата изглежда така:

Вариант на разгръщане на филиалната мрежа (оптимизиран)

Вариант на разгръщане на филиалната мрежа

Мрежата е разгръната, но остава открит въпрос относно невронната мрежа. Организирали сме мрежа за предаване на данни, инсталирали сме сензори на праговете и стартирали сме система за събиране на информация, но невронната мрежа все още не е била ангажирана. За сега.

Многоуровнева невронна мрежа

Системата анализира поведението на потребителя и устройството, за да открие злонамерени инфекции, комуникации с командни сървъри, изтичане на данни, както и потенциално нежелани приложения, работещи в инфраструктурата на организацията. Съществуват няколко нива на обработка на данни, при които комбинацията от методи на изкуствен интелект, машинно самообучение и математическа статистика помага на мрежата да се самообучи за нормалната си активност, за да може да идентифицира злонамерена активност.

Конвейер за анализ на безопасността на мрежата, който събира данни за телеметрията от всички части на разширената мрежа, включително шифрован трафик, е уникална характеристика на Stealthwatch. Той поетапно изгражда разбиране за това, което е "аномално", след което класифицира фактическите отделни елементи на "заплашителна активност" и накрая приема крайно решение относно това дали устройството или потребителят наистина са били компрометирани. Способността да се съберат малки части, които формират заедно доказателство за вземането на окончателно решение относно компрометирането на обекта, е постигната чрез много внимателен анализ и корелация.

Тази способност е от голямо значение, тъй като стандартната компания може ежедневно да получава огромно количество сигнали за тревога и е невъзможно да се проведе разследване по всеки от тях — ресурсите на специалистите по сигурността са ограничени. Модулът за машинно обучение обработва огромно количество информация почти в реално време за откриване на критично важни инциденти с висок ниво на увереност, както и предлага ясен ред за действия за бързо реагиране.

Нека да разгледаме по-подробно многобройните методи за машинно обучение, използвани от Stealthwatch. Когато инцидентът бъде предаден на модула за машинно обучение на Stealthwatch, той преминава през фунията на анализа на сигурността, в която се използва комбинация от методи за машинно обучение с учител и без учител.

Възможности на многостепенното машинно обучение

1 ниво. Откриване на аномалии и моделиране на доверие

На това ниво 99 % от трафика се отсява с помощта на статистически детектори на аномалии. Указаните сензори съвместно формират сложни модели на това, което е нормално, и на това, което, обратно, е аномалия. Въпреки това, аномалното не винаги е вредно. Много от събитията в мрежата ви не са свързани с заплаха — просто са странни. Важно е да се класифицират такива процеси, без значение от заплашителното поведение. Поради тази причина резултатите от работата на тези детектори преминават през допълнителен анализ, за да се фиксира странното поведение, което по това време може да бъде обяснено и на което може да се има доверие. В крайна сметка само малка част от най-важните потоци и заявки преминават на 2 и 3 нива. Без прилагането на такива методи на машинно обучение оперативните разходи за отделянето на сигнала от шума биха били твърде високи.

Откриване на аномалии. На първия етап, при откриване на аномалии, се използват статистически методи за машинно обучение, за да се отдели статистически нормален трафик от аномалния. Над 70 отделни детектора обработват данните от телеметрията, събирана от Stealthwatch за трафика, който преминава през периметъра на вашата мрежа, отделяйки вътрешния трафик на системата за домейнови имена (DNS) и данните от прокси сървър, ако има такива. Всяка заявка се обработва от повече от 70 детектора, като всеки детектор използва свой собствен статистически алгоритъм, формулирайки оценка за откритите аномалии. Тези оценки се обединяват, а в резултат на прилагането на няколко статистически метода се получава една единна оценка за всяка отделна заявка. След това такава комбинирана оценка се използва за отделяне на нормален и аномален трафик.

Моделиране на доверие. След това аналогичните запитвания се групират, а обобщената оценка на аномалиите за такива групи се определя като дългосрочна средна стойност. С течение на времето на анализ подлежат повече запитвания с последващо определяне на дългосрочната средна стойност, което позволява да се намалят фалшивите положителни и фалшивите отрицателни сработвания. Резултатите от моделите на доверие се използват за избор на подмножество от трафика, оценката на аномалиите, при което надвишава определено динамично зададено прагова стойност, за да бъде преместено на следващото ниво на обработка.

2 ниво. Класификация на събития и моделиране на обекта

На това ниво се извършва класификация на резултатите, получени на предишните етапи, свързвайки ги с конкретните злонамерени събития. Класификацията на събитията се извършва в зависимост от стойността, присвоена от класификаторите за машинно обучение, с цел осигуряване на постоянен коефициент на точност над 90 %. Сред тях са:

• линейни модели на базата на принципа на Нейман-Пирсон (закон на нормалното разпределение от графиката в началото на статията)
• машини на опорните вектори, използващи многовариантно обучение
• невронни мрежи и алгоритъм „случаен лес“.

След това тези изолирани събития за безопасност с времето се свързват с едно крайно устройство. Именно на този етап се формира описание на заплахата, на базата на което се създава пълната картина на начина, по който съответният злосторник е успял да постигне определени резултати.

Класификация на събитията. Статистически аномалното подмножество от предишното ниво се разпределя по 100 и повече категории с помощта на класификатори. Повечето класификатори са основани на индивидуалното поведение, взаимоотношения в групата или поведението в глобален или локален мащаб, докато други може да бъдат доста конкретни. Например, класификаторът може да посочва трафика на командни сървъри, подозрително разширение или неразрешено обновление на софтуер. В резултат на този етап се формулира набор от аномални събития в системата за безопасност, отнесени към определени категории.

Моделиране на обект. Ако обемът на доказателствата в подкрепа на хипотезата за вредността на конкретен обект надвишава прагова стойност на значимост, се определя заплаха. Съответстващите събития, които влияят на определението за заплаха, се свързват с тази заплаха и стават част от дискретен дългосрочен модел на обекта. С натрупването на доказателства с времето, системата определя нови заплахи, когато бъде достигната прагова стойност на значимост. Тази прагова стойност има динамичен характер и преминава интелектуална корекция на базата на нивото на риск от възникване на заплахата и други фактори. След това заплахата се появява на информационната табла на уеб интерфейса и се премества на следващото ниво.

3 ниво. Моделиране на отношения

Целта на моделирането на отношенията е да синтезира резултатите, получени на предишните нива, с глобална перспектива, като се вземат предвид не само местният, но и глобалният контекст на съответния инцидент. Именно на този етап можете да определите колко организации са се сблъсквали с такава атака, за да разберете дали тя е била насочена конкретно срещу вас или е част от глобална кампания, а вие просто сте попаднали "под раздаването".

Инцидентите се потвърдят или открият. Потвърденият инцидент предполага 99 до 100 % увереност, тъй като съответните методи и инструменти са били наблюдавани в действие на по-широк (глобален) мащаб. Откритите инциденти са уникални за вас и представляват част от насочена кампания. Получените в миналото резултати се предават с указание за известен ред на действие, което ви спестява време и ресурси при реагиране. Те се предоставят заедно с инструментите за разследване, от които ще се нуждаете, за да разберете кой ви е атакувал и каква е степента на насоченост на кампанията към вашия цифров бизнес. Както може да си представите, броят на потвърдените инциденти значително надвишава броя на откритите, по простата причина, че потвърдените инциденти не изискват значителни разходи от страна на извършителите, докато откритите инциденти са по-скъпи.
скъпи, тъй като трябва да бъдат нови и индивидуализирани. Чрез създаването на възможности за идентифициране на потвърдени инциденти, икономиката на играта най-накрая се е изместила в полза на защитниците, давайки им определено предимство.

Многоступенчатото обучение на системата от невронни мрежи на база ETA

Глобална карта на рисковете

Глобалната карта на рисковете се създава в резултат на анализа, прилаган от алгоритмите за машинно обучение към един от най-големите в своя род масиви от данни в сектора. Тя предоставя обширни статистически данни за поведението на сървърите в интернет, дори и когато те са неизвестни. Такива сървъри са свързани с атаки, могат да бъдат задействани или използвани в контекста на атака в бъдеще. Това не е „черен списък“, а комплексна картина на разглеждания сървър от гледна точка на сигурността. Такава информация за активността на споменатите сървъри, подготвена с оглед на контекста, позволява на детекторите и класификаторите на машинно обучение Stealthwatch точно да предсказват нивото на риск, свързано с комуникациите с такива сървъри.

Можете да видите достъпните карти тук.

Карта на света, показваща 460 милиона IP адреса

Сега мрежата се обучава и защитава вашата мрежа.

Накрая, намерена ли е панацеята?

За съжаление, не. От опита ми с системата, мога да кажа, че има 2 глобални проблема.

Проблем 1. Цена. Цялата мрежа е изградена на система Cisco. Това е едновременно добре и лошо. Добрата страна е, че можете да не се притеснявате и да не поставяте куп адаптери като D-Link, MikroTik и т.н. Недостатъкът е огромната цена на системата. Като се има предвид икономическото състояние на руския бизнес, в момента това чудо може да си позволи само заможен собственик на голяма фирма или банка.

Проблем 2. Обучение. Не написах в статията времето за обучение на невронната мрежа, но не защото го няма, а защото тя учи постоянно и не можем да предскажем кога ще се научи. Разбира се, има инструменти за математическа статистика (като формулировката на критерия за съвместимост на Пирсон), но това са полумерки. Получаваме вероятност за филтриране на трафика, но само при условие, че атаката вече е овладяна и известна.

Въпреки тези 2 проблема, направихме голям напредък в развитието на информационната сигурност като цяло и защитата на мрежите в частност. Този факт може да служи като стимул за изучаване на мрежовите технологии и невронните мрежи, които в момента са много перспективна област.

Източник: habr.com