Анализ на криптиран трафик без дешифриране

Система за анализиране на трафика без декриптиране. Този метод се нарича просто „машинно обучение“. Оказа се, че ако на входа на специален класификатор се подаде много голям обем от различен трафик, системата може да открие действията на зловреден код в криптирания трафик с много висока степен на вероятност.

Онлайн заплахите се промениха и станаха по-умни. Напоследък самата концепция за атака и защита се промени. Броят на събитията в мрежата се е увеличил значително. Атаките станаха по-сложни и хакерите имат по-широк обхват.

Според статистиката на Cisco през последната година нападателите са утроили броя на зловреден софтуер, който използват за своите дейности, или по-скоро криптиране, за да ги скрият. От теорията е известно, че „правилният“ алгоритъм за криптиране не може да бъде разбит. За да разберете какво се крие в криптирания трафик, е необходимо или да го дешифрирате, като знаете ключа, или да се опитате да го декриптирате с помощта на различни трикове, или чрез директно хакване, или чрез използване на някакъв вид уязвимости в криптографските протоколи.

Картина на мрежовите заплахи на нашето време

Машинно обучение

Запознайте се с технологията лично! Преди да говорим за това как работи самата технология за декриптиране, базирана на машинно обучение, е необходимо да разберем как работи технологията на невронната мрежа.

Машинното обучение е широк подраздел на изкуствения интелект, който изучава методи за конструиране на алгоритми, които могат да учат. Тази наука е насочена към създаване на математически модели за „обучение“ на компютър. Целта на ученето е да се предвиди нещо. В човешкото разбиране ние наричаме този процес думата "мъдрост". Мъдростта се проявява в хора, които са живели доста дълго време (2-годишно дете не може да бъде мъдро). Когато се обръщаме за съвет към старши другари, ние им даваме информация за събитието (входни данни) и ги молим за помощ. Те от своя страна запомнят всички ситуации от живота, които по някакъв начин са свързани с вашия проблем (база от знания) и въз основа на тези знания (данни) ни дават своеобразна прогноза (съвет). Този тип съвети започват да се наричат ​​предсказания, защото човекът, който ги дава, не знае със сигурност какво ще се случи, а само предполага. Житейският опит показва, че човек може да бъде прав или да греши.

Не трябва да сравнявате невронните мрежи с алгоритъма за разклоняване (if-else). Това са различни неща и има основни разлики. Алгоритъмът за разклоняване има ясно „разбиране“ какво да прави. Ще демонстрирам с примери.

Задача. Определете спирачния път на автомобил въз основа на неговата марка и година на производство.

Пример за алгоритъм за разклоняване. Ако автомобилът е марка 1 и е произведен през 2012 г., спирачният му път е 10 метра, в противен случай, ако автомобилът е марка 2 и е произведен през 2011 г. и т.н.

Пример за невронна мрежа. Събираме данни за спирачния път на автомобилите през последните 20 години. По марка и година съставяме таблица под формата „производител-година на производство-спирачен път“. Издаваме тази таблица на невронната мрежа и започваме да я обучаваме. Обучението се извършва по следния начин: подаваме данни към невронната мрежа, но без спирачен път. Невронът се опитва да предвиди какъв ще бъде спирачният път въз основа на заредената в него таблица. Прогнозира нещо и пита потребителя „Прав ли съм?“ Преди въпроса тя създава четвърта колона, колоната за познания. Ако е права, тогава тя записва 1 в четвъртата колона, ако греши, тя пише 0. Невронната мрежа преминава към следващото събитие (дори и да е допуснала грешка). Така мрежата се учи и когато обучението приключи (достигнат е определен критерий за конвергенция), подаваме данни за колата, която ни интересува и накрая получаваме отговор.

За да премахна въпроса за критерия за конвергенция, ще обясня, че това е математически изведена формула за статистика. Ярък пример за две различни формули за конвергенция. Червено – двоична конвергенция, синьо – нормална конвергенция.

Биномно и нормално вероятностни разпределения

За да стане по-ясно, задайте въпроса "Каква е вероятността да срещнете динозавър?" Тук има 2 възможни отговора. Вариант 1 – много малък (синя графика). Вариант 2 – или среща, или не (червена графика).

Разбира се, компютърът не е човек и се учи по различен начин. Има 2 вида обучение на железен кон: обучение по казус и дедуктивно обучение.

Преподаването по прецедент е начин на преподаване с помощта на математически закони. Математиците събират статистически таблици, правят изводи и зареждат резултата в невронната мрежа - формула за изчисление.

Дедуктивно обучение – обучението се случва изцяло в неврона (от събирането на данни до техния анализ). Тук се формира таблица без формула, но със статистика.

Един широк преглед на технологията ще отнеме още няколко дузини статии. Засега това ще е достатъчно за общото ни разбиране.

Невропластичност

В биологията има такова понятие – невропластичност. Невропластичността е способността на невроните (мозъчните клетки) да действат „според ситуацията“. Например, човек, който е загубил зрението си, чува звуци, миризми и усеща предметите по-добре. Това се дължи на факта, че частта от мозъка (част от невроните), отговорна за зрението, преразпределя работата си към други функции.

Ярък пример за невропластичност в живота е близалката BrainPort.

През 2009 г. Университетът на Уисконсин в Мадисън обяви пускането на ново устройство, което развива идеите за „езиков дисплей“ - наречено е BrainPort. BrainPort работи по следния алгоритъм: видеосигналът се изпраща от камерата към процесора, който контролира увеличението, яркостта и други параметри на картината. Той също така преобразува цифровите сигнали в електрически импулси, като по същество поема функциите на ретината.

Близалка BrainPort с очила и камера

BrainPort на работа

Същото и с компютър. Ако невронната мрежа усети промяна в процеса, тя се адаптира към нея. Това е основното предимство на невронните мрежи в сравнение с други алгоритми – автономността. Един вид човечност.

Криптиран анализ на трафика

Encrypted Traffic Analytics е част от системата Stealthwatch. Stealthwatch е навлизането на Cisco в решенията за наблюдение и анализ на сигурността, които използват корпоративни телеметрични данни от съществуваща мрежова инфраструктура.

Stealthwatch Enterprise се основава на инструментите Flow Rate License, Flow Collector, Management Console и Flow Sensor.

Интерфейс на Cisco Stealthwatch

Проблемът с криптирането стана много остър поради факта, че много повече трафик започна да бъде криптиран. Преди само кодът беше криптиран (най-вече), но сега целият трафик е криптиран и отделянето на „чистите“ данни от вирусите стана много по-трудно. Ярък пример е WannaCry, който използва Tor, за да скрие онлайн присъствието си.

Визуализация на нарастването на криптирането на трафика в мрежата

Криптирането в макроикономиката

Системата Encrypted Traffic Analytics (ETA) е необходима именно за работа с криптиран трафик, без да се дешифрира. Нападателите са умни и използват устойчиви на криптиране алгоритми за криптиране, а разбиването им е не само проблем, но и изключително скъпо за организациите.

Системата работи по следния начин. Част от трафика идва към компанията. Попада в TLS (сигурност на транспортния слой). Да кажем, че трафикът е криптиран. Опитваме се да отговорим на редица въпроси за това каква връзка е била осъществена.

Как работи системата за анализ на шифрован трафик (ETA).

За да отговорим на тези въпроси, ние използваме машинно обучение в тази система. Взети са изследвания от Cisco и въз основа на тези проучвания е създадена таблица от 2 резултата - злонамерен и „добър“ трафик. Разбира се, не знаем със сигурност какъв вид трафик е влязъл директно в системата в настоящия момент, но можем да проследим историята на трафика както вътре, така и извън компанията, използвайки данни от световната сцена. В края на този етап получаваме огромна таблица с данни.

Въз основа на резултатите от изследването се идентифицират характерни черти - определени правила, които могат да бъдат записани в математическа форма. Тези правила ще варират значително в зависимост от различни критерии - размера на прехвърляните файлове, вида на връзката, държавата, от която идва този трафик и т.н. В резултат на работата огромната маса се превърна в набор от купища формули. Има по-малко от тях, но това не е достатъчно за удобна работа.

След това се прилага технологията за машинно обучение - конвергенция на формулата и въз основа на резултата от конвергенцията получаваме тригер - превключвател, където при извеждане на данните получаваме превключвател (флаг) в повдигната или спусната позиция.

Полученият етап е получаване на набор от тригери, които покриват 99% от трафика.

Стъпки за проверка на трафика в ETA

В резултат на работата се решава друг проблем - атака отвътре. Вече няма нужда хората по средата да филтрират трафика ръчно (в този момент се давя). Първо, вече не е необходимо да харчите много пари за компетентен системен администратор (продължавам да се давя). Второ, няма опасност от хакване отвътре (поне частично).

Остаряла концепция за човек по средата

Сега нека да разберем на какво се основава системата.

Системата работи на 4 комуникационни протокола: TCP/IP – Интернет протокол за пренос на данни, DNS – сървър за име на домейн, TLS – протокол за сигурност на транспортния слой, SPLT (SpaceWire Physical Layer Tester) – тестер за физически комуникационен слой.

Протоколи, работещи с ETA

Сравнението се прави чрез сравняване на данни. С помощта на TCP/IP протоколи се проверява репутацията на сайтовете (история на посещенията, цел на създаване на сайта и т.н.), благодарение на DNS протокола можем да отхвърлим „лошите“ адреси на сайтове. Протоколът TLS работи с пръстовия отпечатък на сайта и проверява сайта спрямо компютърен екип за спешно реагиране (сертификат). Последната стъпка в проверката на връзката е проверка на физическо ниво. Подробностите на този етап не са посочени, но въпросът е следният: проверка на кривите на синусите и косинусите на кривите на предаване на данни на осцилографски инсталации, т.е. Благодарение на структурата на заявката на физическия слой ние определяме целта на връзката.

В резултат на работата на системата можем да получим данни от криптиран трафик. Чрез изследване на пакети можем да прочетем възможно най-много информация от нешифрованите полета в самия пакет. Чрез проверка на пакета на физическия слой ние откриваме характеристиките на пакета (частично или изцяло). Също така не забравяйте за репутацията на сайтовете. Ако заявката идва от някакъв източник .onion, не трябва да му се доверявате. За по-лесна работа с този вид данни е създадена карта на риска.

Резултат от работата на ЕТА

И всичко изглежда наред, но нека поговорим за внедряването на мрежата.

Физическо изпълнение на ЕТА

Тук възникват редица нюанси и тънкости. Първо, при създаването на този вид
мрежи със софтуер от високо ниво, изисква се събиране на данни. Събирайте данните изцяло ръчно
див, но прилагането на система за реагиране вече е по-интересно. Второ, данните
трябва да има много, което означава, че инсталираните мрежови сензори трябва да работят
не само автономно, но и във фино настроен режим, което създава редица трудности.

Сензори и система Stealthwatch

Инсталирането на сензор е едно, но настройката му е съвсем различна задача. За конфигуриране на сензори има комплекс, който работи по следната топология - ISR = Cisco Integrated Services Router; ASR = Cisco Aggregation Services Router; CSR = Cisco Cloud Services Router; WLC = безжичен LAN контролер на Cisco; IE = Cisco Industrial Ethernet Switch; ASA = Cisco Adaptive Security Appliance; FTD = Cisco Firepower Threat Defense Solution; WSA = Устройство за уеб сигурност; ISE = Identity Services Engine

Цялостен мониторинг, като се вземат предвид всички телеметрични данни

Мрежовите администратори започват да изпитват аритмия от броя на думите „Cisco“ в предишния параграф. Цената на това чудо не е малка, но не за това говорим днес...

Поведението на хакера ще бъде моделирано по следния начин. Stealthwatch внимателно следи активността на всяко устройство в мрежата и е в състояние да създаде модел на нормално поведение. Освен това, това решение предоставя дълбока представа за известно неподходящо поведение. Решението използва приблизително 100 различни алгоритъма за анализ или евристики, които адресират различни типове поведение на трафика, като например сканиране, алармени рамки на хоста, влизане чрез груба сила, предполагаемо улавяне на данни, предполагаемо изтичане на данни и др. Изброените събития за сигурност попадат в категорията логически аларми от високо ниво. Някои събития, свързани със сигурността, също могат сами да задействат аларма. По този начин системата е в състояние да съпостави множество изолирани аномални инциденти и да ги събере, за да определи възможния тип атака, както и да я свърже с конкретно устройство и потребител (Фигура 2). В бъдеще инцидентът може да бъде проучен във времето и като се вземат предвид свързаните телеметрични данни. Това представлява най-добрата контекстуална информация. Лекарите, които преглеждат пациент, за да разберат какво не е наред, не разглеждат симптомите изолирано. Те гледат голямата картина, за да направят диагноза. По същия начин Stealthwatch улавя всяка необичайна дейност в мрежата и я изследва цялостно, за да изпраща аларми, съобразени с контекста, като по този начин помага на специалистите по сигурността да приоритизират рисковете.

Откриване на аномалии чрез моделиране на поведението

Физическото разполагане на мрежата изглежда така:

Опция за разгръщане на клонова мрежа (опростена)

Опция за разгръщане на клонова мрежа

Мрежата е разгърната, но въпросът за неврона остава отворен. Те организираха мрежа за предаване на данни, инсталираха сензори на праговете и пуснаха система за събиране на информация, но невронът не участваше в това. Чао.

Многослойна невронна мрежа

Системата анализира поведението на потребителите и устройствата, за да открие злонамерени инфекции, комуникации с командни и контролни сървъри, изтичане на данни и потенциално нежелани приложения, работещи в инфраструктурата на организацията. Има множество слоеве на обработка на данни, при които комбинация от изкуствен интелект, машинно обучение и техники за математическа статистика помагат на мрежата да се самообучи на нормалната си дейност, така че да може да открие злонамерена дейност.

Тръбопроводът за анализ на сигурността на мрежата, който събира телеметрични данни от всички части на разширената мрежа, включително криптиран трафик, е уникална функция на Stealthwatch. Той постепенно развива разбиране за това какво е „аномално“, след това категоризира действителните отделни елементи на „активност на заплаха“ и накрая прави окончателна преценка дали устройството или потребителят действително са били компрометирани. Способността да се сглобяват малки части, които заедно формират доказателствата, за да се вземе окончателно решение дали даден актив е бил компрометиран, идва чрез много внимателен анализ и корелация.

Тази способност е важна, тъй като един типичен бизнес може да получава огромен брой аларми всеки ден и е невъзможно да се разследва всяка една, тъй като специалистите по сигурността имат ограничени ресурси. Модулът за машинно обучение обработва огромни количества информация почти в реално време, за да идентифицира критични инциденти с високо ниво на увереност и също така е в състояние да предостави ясни курсове на действие за бързо разрешаване.

Нека разгледаме по-отблизо многобройните техники за машинно обучение, използвани от Stealthwatch. Когато даден инцидент бъде изпратен на машината за машинно обучение на Stealthwatch, той преминава през фуния за анализ на сигурността, която използва комбинация от контролирани и неконтролирани техники за машинно обучение.

Възможности за многостепенно машинно обучение

Ниво 1. Откриване на аномалии и моделиране на доверие

На това ниво 99% от трафика се отхвърля с помощта на детектори за статистически аномалии. Тези сензори заедно образуват сложни модели на това какво е нормално и какво, напротив, е ненормално. Ненормалното обаче не е непременно вредно. Голяма част от това, което се случва във вашата мрежа, няма нищо общо със заплахата — просто е странно. Важно е да се класифицират такива процеси без оглед на застрашаващото поведение. Поради тази причина резултатите от такива детектори се анализират допълнително, за да се улови странно поведение, което може да бъде обяснено и да му се вярва. В крайна сметка само малка част от най-важните нишки и заявки стигат до слоеве 2 и 3. Без използването на такива техники за машинно обучение оперативните разходи за отделяне на сигнала от шума биха били твърде високи.

Откриване на аномалия. Първата стъпка в откриването на аномалии използва статистически техники за машинно обучение, за да отдели статистически нормалния трафик от аномалния трафик. Повече от 70 индивидуални детектора обработват телеметричните данни, които Stealthwatch събира за трафика, който минава през периметъра на вашата мрежа, като разделят вътрешния трафик на системата за имена на домейни (DNS) от данните на прокси сървъра, ако има такъв. Всяка заявка се обработва от повече от 70 детектора, като всеки детектор използва собствен статистически алгоритъм за формиране на оценка на откритите аномалии. Тези резултати се комбинират и се използват множество статистически методи за получаване на един резултат за всяка отделна заявка. След това този общ резултат се използва за разделяне на нормалния и аномалния трафик.

Моделиране на доверие. След това подобни заявки се групират и общият резултат за аномалия за такива групи се определя като дългосрочна средна стойност. С течение на времето се анализират повече заявки, за да се определи дългосрочната средна стойност, като по този начин се намаляват фалшивите положителни и фалшивите отрицателни резултати. Резултатите от моделирането на доверие се използват за избиране на подмножество от трафик, чийто резултат за аномалия надвишава някакъв динамично определен праг за преминаване към следващото ниво на обработка.

Ниво 2. Класификация на събития и моделиране на обекти

На това ниво резултатите, получени на предишните етапи, се класифицират и присвояват на конкретни злонамерени събития. Събитията се класифицират въз основа на стойността, присвоена от класификаторите за машинно обучение, за да се осигури постоянен процент на точност над 90%. Между тях:

• линейни модели, базирани на лемата на Нейман-Пиърсън (законът за нормалното разпределение от графиката в началото на статията)
• поддържащи векторни машини, използващи многовариантно обучение
• невронни мрежи и алгоритъм на произволна гора.

След това тези изолирани събития за сигурност се свързват с една крайна точка с течение на времето. Именно на този етап се формира описание на заплахата, въз основа на което се създава пълна картина за това как съответният нападател е успял да постигне определени резултати.

Класификация на събитията. Статистически аномалното подмножество от предишното ниво се разпределя в 100 или повече категории с помощта на класификатори. Повечето класификатори се основават на индивидуално поведение, групови взаимоотношения или поведение в глобален или локален мащаб, докато други могат да бъдат доста специфични. Например класификаторът може да показва C&C трафик, подозрително разширение или неоторизирана софтуерна актуализация. Въз основа на резултатите от този етап се формира набор от аномални събития в системата за сигурност, класифицирани в определени категории.

Обектно моделиране. Ако количеството доказателства в подкрепа на хипотезата, че определен обект е вреден, надвишава прага на същественост, се определя заплаха. Съответните събития, които са повлияли на дефиницията на заплаха, се свързват с такава заплаха и стават част от дискретен дългосрочен модел на обекта. Тъй като доказателствата се натрупват с течение на времето, системата идентифицира нови заплахи, когато се достигне прагът на същественост. Тази прагова стойност е динамична и се настройва интелигентно въз основа на нивото на риск от заплаха и други фактори. След това заплахата се появява в информационния панел на уеб интерфейса и се прехвърля на следващото ниво.

Ниво 3. Моделиране на взаимоотношения

Целта на моделирането на взаимоотношенията е да се синтезират резултатите, получени на предишни нива от глобална перспектива, като се вземе предвид не само местният, но и глобалният контекст на съответния инцидент. Точно на този етап можете да определите колко организации са се сблъскали с подобна атака, за да разберете дали е насочена конкретно към вас или е част от глобална кампания и просто сте били хванати.

Инцидентите се потвърждават или откриват. Провереният инцидент предполага 99 до 100% увереност, тъй като свързаните техники и инструменти преди това са били наблюдавани в действие в по-голям (глобален) мащаб. Откритите инциденти са уникални за вас и са част от силно насочена кампания. Минали констатации се споделят с известен курс на действие, което ви спестява време и ресурси в отговор. Те идват с инструментите за разследване, от които се нуждаете, за да разберете кой ви е нападнал и степента, в която кампанията е била насочена към вашия дигитален бизнес. Както можете да си представите, броят на потвърдените инциденти далеч надхвърля броя на откритите поради простата причина, че потвърдените инциденти не включват много разходи за нападателите, докато откритите инциденти го правят.
скъпи, защото трябва да са нови и персонализирани. Чрез създаването на възможност за идентифициране на потвърдени инциденти, икономиката на играта най-накрая се измести в полза на защитниците, давайки им ясно предимство.

Многостепенно обучение на система за невронни връзки, базирана на ЕТА

Глобална карта на риска

Глобалната карта на риска се създава чрез анализ, приложен от алгоритми за машинно обучение към един от най-големите набори от данни от този вид в индустрията. Предоставя обширна поведенческа статистика по отношение на сървърите в Интернет, дори и да са неизвестни. Такива сървъри са свързани с атаки и могат да бъдат включени или използвани като част от атака в бъдеще. Това не е „черен списък“, а цялостна картина на въпросния сървър от гледна точка на сигурността. Тази контекстуална информация за дейността на тези сървъри позволява на детекторите и класификаторите за машинно обучение на Stealthwatch да предскажат точно нивото на риск, свързано с комуникациите с такива сървъри.

Можете да видите наличните карти тук.

Карта на света, показваща 460 милиона IP адреса

Сега мрежата се учи и защитава вашата мрежа.

Най-после е намерена панацея?

За съжаление, не. От опит в работата със системата мога да кажа, че има 2 глобални проблема.

Проблем 1. Цена. Цялата мрежа е разположена на система Cisco. Това е едновременно добро и лошо. Добрата страна е, че не е нужно да се мъчите и да инсталирате куп щепсели като D-Link, MikroTik и т.н. Недостатъкът е огромната цена на системата. Като се има предвид икономическото състояние на руския бизнес, в момента само богат собственик на голяма компания или банка може да си позволи това чудо.

Проблем 2: Обучение. Не съм написал в статията периода на обучение за невронната мрежа, но не защото тя не съществува, а защото тя се учи през цялото време и не можем да предвидим кога ще се научи. Разбира се, има инструменти на математическата статистика (вземете същата формулировка на критерия за конвергенция на Пиърсън), но това са половинчати мерки. Получаваме вероятността за филтриране на трафика и дори тогава само при условие, че атаката вече е овладяна и известна.

Въпреки тези 2 проблема, ние направихме голям скок в развитието на информационната сигурност като цяло и мрежовата защита в частност. Този факт може да бъде мотивиращ за изучаването на мрежовите технологии и невронните мрежи, които сега са много обещаващо направление.

Източник: www.habr.com