Systém pro analýzu provozu bez jeho dešifrování. Tato metoda se jednoduše nazývá „strojové učení“. Ukázalo se, že pokud je na vstup speciálního klasifikátoru přiváděn velmi velký objem různého provozu, dokáže systém s velmi vysokou mírou pravděpodobnosti detekovat akce škodlivého kódu uvnitř šifrovaného provozu.
Online hrozby se změnily a staly se chytřejšími. V poslední době se změnilo samotné pojetí útoku a obrany. Počet událostí na síti se výrazně zvýšil. Útoky se staly sofistikovanějšími a hackeři mají širší dosah.
Podle statistik společnosti Cisco útočníci za poslední rok ztrojnásobili počet malwaru, který používají ke své činnosti, respektive šifrování, aby je skryli. Z teorie je známo, že „správný“ šifrovací algoritmus nelze prolomit. Abychom pochopili, co se v šifrovaném provozu skrývá, je nutné jej buď dešifrovat se znalostí klíče, nebo se jej pokusit dešifrovat pomocí různých triků, nebo přímo hackováním nebo pomocí nějaké zranitelnosti v kryptografických protokolech.
Obrázek síťových hrozeb naší doby
Strojové učení
Poznejte technologii osobně! Než budeme hovořit o tom, jak samotná technologie dešifrování založená na strojovém učení funguje, je nutné porozumět tomu, jak technologie neuronových sítí funguje.
Strojové učení je široká podsekce umělé inteligence, která studuje metody pro konstrukci algoritmů, které se mohou učit. Tato věda je zaměřena na vytváření matematických modelů pro „trénování“ počítače. Účelem učení je něco předvídat. V lidském chápání tento proces nazýváme slovem "moudrost". Moudrost se projevuje u lidí, kteří žili poměrně dlouho (2leté dítě nemůže být moudré). Když se obracíme s prosbou o radu na starší soudruhy, dáváme jim nějaké informace o události (vstupní údaje) a žádáme je o pomoc. Oni si zase pamatují všechny situace ze života, které nějak souvisejí s vaším problémem (znalostní základnou) a na základě těchto znalostí (dat) nám dávají jakousi předpověď (radu). Tomuto typu rad se začalo říkat predikce, protože ten, kdo radí, s jistotou neví, co se stane, ale pouze předpokládá. Životní zkušenost ukazuje, že člověk může mít pravdu, nebo se může mýlit.
Neuronové sítě byste neměli porovnávat s algoritmem větvení (if-else). To jsou různé věci a existují klíčové rozdíly. Algoritmus větvení jasně „rozumí“ tomu, co má dělat. Ukážu na příkladech.
Úkol. Určete brzdnou dráhu automobilu na základě jeho značky a roku výroby.
Příklad algoritmu větvení. Pokud je vůz značky 1 a byl uveden na trh v roce 2012, jeho brzdná dráha je 10 metrů, v opačném případě, pokud je vůz značky 2 a byl uveden na trh v roce 2011 atd.
Příklad neuronové sítě. Shromažďujeme údaje o brzdné dráze automobilů za posledních 20 let. Podle značky a roku sestavujeme tabulku formuláře „výrobní rok výroby-brzdná dráha“. Vydáme tuto tabulku neuronové síti a začneme ji učit. Trénink probíhá následovně: dodáváme data do neuronové sítě, ale bez brzdné dráhy. Neuron se snaží předpovědět, jaká bude brzdná dráha na základě tabulky, která je do něj vložena. Něco předpovídá a zeptá se uživatele: „Mám pravdu?“ Před otázkou vytvoří čtvrtý sloupec, sloupec hádání. Pokud má pravdu, napíše do čtvrtého sloupce 1, pokud se mýlí, napíše 0. Neuronová síť přejde k další události (i když se spletla). Takto se síť učí a po dokončení školení (splnění určitého konvergenčního kritéria) odešleme údaje o autě, o které máme zájem, a nakonec dostaneme odpověď.
Abych odstranil otázku o konvergenčním kritériu, vysvětlím, že se jedná o matematicky odvozený vzorec pro statistiku. Pozoruhodný příklad dvou různých konvergenčních vzorců. Červená – binární konvergence, modrá – normální konvergence.
Binomická a normální rozdělení pravděpodobnosti
Aby to bylo jasnější, položte si otázku „Jaká je pravděpodobnost setkání s dinosaurem? Zde jsou 2 možné odpovědi. Možnost 1 – velmi malá (modrý graf). Možnost 2 – buď schůzka, nebo ne (červený graf).
Počítač samozřejmě není člověk a učí se jinak. Existují 2 typy tréninku železného koně: případové učení и deduktivní učení.
Výuka precedentem je způsob výuky využívající matematické zákony. Matematici shromažďují statistické tabulky, vyvozují závěry a výsledek načtou do neuronové sítě – vzorec pro výpočet.
Deduktivní učení – učení probíhá výhradně v neuronu (od sběru dat až po jejich analýzu). Zde se vytvoří tabulka bez vzorce, ale se statistikou.
Široký přehled technologie by zabral dalších pár desítek článků. Pro naše obecné pochopení to zatím bude stačit.
Neuroplasticita
V biologii existuje takový koncept - neuroplasticita. Neuroplasticita je schopnost neuronů (mozkových buněk) jednat „podle situace“. Například člověk, který ztratil zrak, lépe slyší zvuky, čichá a cítí předměty. K tomu dochází v důsledku skutečnosti, že část mozku (část neuronů) zodpovědná za vidění přerozděluje svou práci na jiné funkce.
Pozoruhodným příkladem neuroplasticity v životě je lízátko BrainPort.
V roce 2009 oznámila University of Wisconsin v Madisonu vydání nového zařízení, které rozvinulo myšlenky „jazykového displeje“ – nazvalo se BrainPort. BrainPort pracuje podle následujícího algoritmu: video signál je posílán z kamery do procesoru, který řídí zoom, jas a další parametry obrazu. Převádí také digitální signály na elektrické impulsy, které v podstatě přebírají funkce sítnice.
Lízátko BrainPort s brýlemi a fotoaparátem
BrainPort v práci
To samé s počítačem. Pokud neuronová síť zaznamená změnu v procesu, přizpůsobí se jí. To je klíčová výhoda neuronových sítí oproti jiným algoritmům – autonomie. Jakýsi druh lidskosti.
Šifrovaná analýza provozu
Encrypted Traffic Analytics je součástí systému Stealthwatch. Stealthwatch je vstup společnosti Cisco do řešení pro monitorování a analýzu zabezpečení, která využívá podniková telemetrická data ze stávající síťové infrastruktury.
Stealthwatch Enterprise je založen na nástrojích Flow Rate License, Flow Collector, Management Console a Flow Sensor.
Rozhraní Cisco Stealthwatch
Problém s šifrováním se stal velmi akutním kvůli tomu, že se začalo šifrovat mnohem více provozu. Dříve byl šifrován pouze kód (většinou), ale nyní je šifrován veškerý provoz a oddělení „čistých“ dat od virů je mnohem obtížnější. Pozoruhodným příkladem je WannaCry, který použil Tor ke skrytí své online přítomnosti.
Vizualizace nárůstu šifrování provozu v síti
Šifrování v makroekonomii
Systém Encrypted Traffic Analytics (ETA) je nezbytný právě pro práci se šifrovaným provozem bez jeho dešifrování. Útočníci jsou chytří a používají šifrovací algoritmy odolné vůči kryptoměnám a jejich prolomení je nejen problém, ale pro organizace je také extrémně nákladné.
Systém funguje následovně. Do firmy přichází nějaký provoz. Spadá do TLS (zabezpečení transportní vrstvy). Řekněme, že provoz je šifrovaný. Snažíme se odpovědět na řadu otázek o tom, jaké spojení bylo vytvořeno.
Jak funguje systém Encrypted Traffic Analytics (ETA).
K zodpovězení těchto otázek používáme v tomto systému strojové učení. Je proveden výzkum od společnosti Cisco a na základě těchto studií je vytvořena tabulka ze 2 výsledků – škodlivý a „dobrý“ provoz. Samozřejmě nevíme s jistotou, jaký druh provozu vstoupil do systému přímo v aktuálním okamžiku, ale můžeme sledovat historii provozu uvnitř i vně společnosti pomocí dat ze světové scény. Na konci této fáze získáme obrovskou tabulku s daty.
Na základě výsledků studie jsou identifikovány charakteristické rysy - určitá pravidla, která lze zapsat matematickou formou. Tato pravidla se budou značně lišit v závislosti na různých kritériích – velikosti přenášených souborů, typu připojení, zemi, ze které tento provoz pochází, atd. V důsledku práce se obrovský stůl proměnil v sadu hromad vzorců. Je jich méně, ale na pohodlnou práci to nestačí.
Dále se aplikuje technologie strojového učení - konvergence vzorců a na základě výsledku konvergence dostaneme spoušť - přepínač, kde při výstupu dat dostaneme přepínač (vlajku) ve zvednuté nebo spuštěné poloze.
Výslednou fází je získání sady spouštěčů, které pokryly 99 % provozu.
Kroky dopravní kontroly v ETA
V důsledku práce je vyřešen další problém - útok zevnitř. Už není potřeba, aby lidé uprostřed filtrovali provoz ručně (v tomto bodě se topím). Za prvé, už nemusíte utrácet spoustu peněz za kompetentního správce systému (dále se topím). Za druhé, hacknutí zevnitř (alespoň částečně) nehrozí.
Zastaralý koncept Man-in-the-Middle
Nyní pojďme zjistit, na čem je systém založen.
Systém pracuje na 4 komunikačních protokolech: TCP/IP – internetový protokol přenosu dat, DNS – server doménových jmen, TLS – protokol zabezpečení transportní vrstvy, SPLT (SpaceWire Physical Layer Tester) – tester fyzické komunikační vrstvy.
Protokoly pracující s ETA
Srovnání se provádí porovnáním dat. Pomocí protokolů TCP/IP se kontroluje reputace stránek (historie návštěv, účel vytvoření stránek atd.), díky DNS protokolu můžeme vyřadit „špatné“ adresy stránek. Protokol TLS pracuje s otiskem webu a ověřuje web proti týmu počítačové nouzové reakce (cert). Posledním krokem kontroly připojení je kontrola na fyzické úrovni. Podrobnosti této etapy nejsou specifikovány, ale jde o následující: kontrola sinusových a kosinusových křivek křivek přenosu dat na oscilografických instalacích, tzn. Díky struktuře požadavku na fyzické vrstvě určíme účel připojení.
V důsledku provozu systému můžeme získávat data ze šifrovaného provozu. Zkoumáním paketů můžeme vyčíst co nejvíce informací z nezašifrovaných polí v samotném paketu. Inspekcí paketu na fyzické vrstvě zjistíme vlastnosti paketu (částečně nebo úplně). Nezapomeňte také na pověst stránek. Pokud požadavek přišel z nějakého zdroje .onion, neměli byste mu věřit. Pro usnadnění práce s tímto druhem dat byla vytvořena mapa rizik.
Výsledek práce ETA
A vše se zdá být v pořádku, ale pojďme mluvit o nasazení sítě.
Fyzické provedení ETA
Vzniká zde řada nuancí a jemností. Za prvé, při vytváření tohoto druhu
sítí se softwarem na vysoké úrovni je vyžadován sběr dat. Sbírejte data kompletně ručně
divoký, ale implementace systému odezvy je již zajímavější. Za druhé, data
mělo by toho být hodně, což znamená, že instalované síťové senzory musí fungovat
nejen autonomně, ale také v jemně vyladěném režimu, což vytváří řadu obtíží.
Senzory a systém Stealthwatch
Instalace senzoru je jedna věc, ale jeho nastavení je úplně jiný úkol. Pro konfiguraci senzorů existuje komplex, který funguje podle následující topologie - ISR = Cisco Integrated Services Router; ASR = Cisco Aggregation Services Router; CSR = Cisco Cloud Services Router; WLC = Cisco Wireless LAN Controller; IE = Cisco Industrial Ethernet Switch; ASA = Cisco Adaptive Security Appliance; FTD = Cisco Firepower Threat Defense Solution; WSA = Web Security Appliance; ISE = Identity Services Engine
Komplexní monitoring zohledňující jakákoli telemetrická data
Správci sítě začínají pociťovat arytmii z počtu slov „Cisco“ v předchozím odstavci. Cena tohoto zázraku není malá, ale o tom se dnes nebavíme...
Hackerovo chování bude modelováno následovně. Stealthwatch pečlivě sleduje aktivitu každého zařízení v síti a je schopen vytvořit vzorec běžného chování. Toto řešení navíc poskytuje hluboký vhled do známého nevhodného chování. Řešení využívá přibližně 100 různých analytických algoritmů nebo heuristiky, které řeší různé typy chování provozu, jako je skenování, hostitelské poplachové rámce, přihlašování hrubou silou, podezření na zachycení dat, podezření na únik dat atd. . Uvedené bezpečnostní události spadají do kategorie logických poplachů vysoké úrovně. Některé bezpečnostní události mohou také spustit poplach samy o sobě. Systém je tedy schopen korelovat více izolovaných anomálních incidentů a dát je dohromady, aby určil možný typ útoku, a také jej propojit s konkrétním zařízením a uživatelem (obrázek 2). V budoucnu může být incident studován v průběhu času a s přihlédnutím k souvisejícím telemetrickým datům. To představuje v nejlepším případě kontextové informace. Lékaři, kteří vyšetřují pacienta, aby pochopili, co je špatně, se na příznaky nedívají izolovaně. Dívají se na celkový obraz, aby stanovili diagnózu. Stejně tak Stealthwatch zachycuje každou anomální aktivitu v síti a holisticky ji zkoumá, aby posílal kontextové alarmy, čímž pomáhá bezpečnostním profesionálům stanovit priority rizik.
Detekce anomálií pomocí modelování chování
Fyzické nasazení sítě vypadá takto:
Možnost nasazení pobočkové sítě (zjednodušená)
Možnost nasazení pobočkové sítě
Síť byla nasazena, ale otázka ohledně neuronu zůstává otevřená. Zorganizovali síť pro přenos dat, nainstalovali senzory na prahy a spustili systém sběru informací, ale neuron se této záležitosti neúčastnil. Sbohem.
Vícevrstvá neuronová síť
Systém analyzuje chování uživatelů a zařízení, aby odhalil škodlivé infekce, komunikaci s příkazovými a řídicími servery, úniky dat a potenciálně nechtěné aplikace běžící v infrastruktuře organizace. Existuje několik vrstev zpracování dat, kde kombinace umělé inteligence, strojového učení a technik matematické statistiky pomáhá síti, aby se sama naučila své běžné činnosti, aby mohla detekovat škodlivou aktivitu.
Jedinečnou funkcí Stealthwatch je kanál analýzy zabezpečení sítě, který shromažďuje telemetrická data ze všech částí rozšířené sítě, včetně šifrovaného provozu. Vytváří krok za krokem pochopení toho, co je „anomální“, pak kategorizuje skutečné jednotlivé prvky „aktivity hrozeb“ a nakonec činí konečný úsudek o tom, zda bylo zařízení nebo uživatel skutečně kompromitován. Schopnost poskládat malé kousky, které dohromady tvoří důkazy pro konečné rozhodnutí o tom, zda bylo aktivum kompromitováno, přichází na základě velmi pečlivé analýzy a korelace.
Tato schopnost je důležitá, protože typický podnik může každý den obdržet obrovské množství poplachů a každý z nich je nemožné prozkoumat, protože bezpečnostní profesionálové mají omezené zdroje. Modul strojového učení zpracovává obrovské množství informací téměř v reálném čase, aby identifikoval kritické incidenty s vysokou úrovní spolehlivosti a je také schopen poskytnout jasné postupy pro rychlé řešení.
Pojďme se blíže podívat na četné techniky strojového učení používané Stealthwatch. Když je incident odeslán do enginu strojového učení Stealthwatch, prochází procesem bezpečnostní analýzy, který využívá kombinaci technik strojového učení pod dohledem a bez dozoru.
Víceúrovňové schopnosti strojového učení
Úroveň 1. Detekce anomálií a modelování důvěry
Na této úrovni je 99 % provozu zahozeno pomocí detektorů statistických anomálií. Tyto senzory dohromady tvoří komplexní modely toho, co je normální a co naopak nenormální. Abnormální však nemusí být nutně škodlivé. Mnoho z toho, co se děje ve vaší síti, nemá s hrozbou nic společného – je to prostě divné. Je důležité takové procesy klasifikovat bez ohledu na ohrožující chování. Z tohoto důvodu jsou výsledky takových detektorů dále analyzovány, aby bylo možné zachytit podivné chování, které lze vysvětlit a kterému lze věřit. Nakonec se do vrstev 2 a 3 přesune jen malá část nejdůležitějších toků a požadavků. Bez použití takových technik strojového učení by byly provozní náklady na oddělení signálu od šumu příliš vysoké.
Detekce anomálií. První krok v detekci anomálií využívá techniky statistického strojového učení k oddělení statisticky normálního provozu od anomálního provozu. Více než 70 jednotlivých detektorů zpracovává telemetrická data, která Stealthwatch shromažďuje o provozu, který prochází perimetrem vaší sítě, přičemž odděluje interní provoz DNS (Domain Name System) od dat proxy serveru, pokud existují. Každý požadavek zpracovává více než 70 detektorů, přičemž každý detektor používá svůj vlastní statistický algoritmus k vyhodnocení zjištěných anomálií. Tato skóre se kombinují a k vytvoření jediného skóre pro každý jednotlivý dotaz se používá více statistických metod. Toto souhrnné skóre se pak použije k oddělení normálního a anomálního provozu.
Modelingová důvěra. Dále jsou podobné požadavky seskupeny a souhrnné skóre anomálií pro takové skupiny je určeno jako dlouhodobý průměr. Postupem času se analyzuje více dotazů, aby se určil dlouhodobý průměr, čímž se sníží počet falešně pozitivních a falešně negativních výsledků. Výsledky modelování důvěry se používají k výběru podmnožiny provozu, jehož skóre anomálií překračuje nějaký dynamicky určený práh, aby se přesunuly na další úroveň zpracování.
Úroveň 2. Klasifikace událostí a objektové modelování
Na této úrovni jsou výsledky získané v předchozích fázích klasifikovány a přiřazeny ke konkrétním škodlivým událostem. Události jsou klasifikovány na základě hodnoty přiřazené klasifikátory strojového učení, aby byla zajištěna konzistentní míra přesnosti nad 90 %. Mezi nimi:
- lineární modely založené na Neyman-Pearsonově lemmatu (zákon normálního rozdělení z grafu na začátku článku)
- podporují vektorové stroje využívající vícerozměrné učení
- neuronové sítě a algoritmus náhodného lesa.
Tyto izolované události zabezpečení jsou pak v průběhu času přidruženy k jedinému koncovému bodu. Právě v této fázi se tvoří popis hrozby, na základě kterého se vytvoří ucelený obrázek o tom, jak se příslušnému útočníkovi podařilo dosáhnout určitých výsledků.
Klasifikace událostí. Statisticky anomální podmnožina z předchozí úrovně je rozdělena do 100 nebo více kategorií pomocí klasifikátorů. Většina klasifikátorů je založena na individuálním chování, skupinových vztazích nebo chování v globálním nebo lokálním měřítku, zatímco jiné mohou být zcela specifické. Klasifikátor může například indikovat provoz C&C, podezřelé rozšíření nebo neoprávněnou aktualizaci softwaru. Na základě výsledků této etapy se vytváří soubor anomálních událostí v bezpečnostním systému, zařazených do určitých kategorií.
Objektové modelování. Pokud množství důkazů podporujících hypotézu, že konkrétní objekt je škodlivý, překročí práh významnosti, je určena hrozba. Relevantní události, které ovlivnily definici hrozby, jsou spojeny s takovou hrozbou a stávají se součástí diskrétního dlouhodobého modelu objektu. Jak se důkazy v průběhu času hromadí, systém identifikuje nové hrozby, když je dosaženo prahu významnosti. Tato prahová hodnota je dynamická a je inteligentně upravována na základě úrovně rizika hrozby a dalších faktorů. Poté se hrozba objeví na informačním panelu webového rozhraní a je převedena na další úroveň.
Úroveň 3 Modelování vztahů
Účelem modelování vztahů je syntetizovat výsledky získané na předchozích úrovních z globálního pohledu s přihlédnutím nejen k místnímu, ale i globálnímu kontextu příslušného incidentu. Právě v této fázi můžete určit, kolik organizací se setkalo s takovým útokem, abyste pochopili, zda byl zaměřen konkrétně na vás, nebo je součástí globální kampaně a právě jste byli chyceni.
Incidenty jsou potvrzeny nebo objeveny. Ověřený incident znamená 99 až 100% spolehlivost, protože související techniky a nástroje byly dříve pozorovány v akci ve větším (globálním) měřítku. Zjištěné incidenty jsou pro vás jedinečné a tvoří součást vysoce cílené kampaně. Minulá zjištění jsou sdílena se známým postupem, což vám šetří čas a zdroje v reakci. Přicházejí s vyšetřovacími nástroji, které potřebujete, abyste pochopili, kdo na vás zaútočil, a do jaké míry kampaň cílila na vaše digitální podnikání. Jak si dokážete představit, počet potvrzených incidentů daleko převyšuje počet detekovaných z toho prostého důvodu, že potvrzené incidenty neznamenají pro útočníky mnoho nákladů, zatímco zjištěné incidenty ano.
drahé, protože musí být nové a přizpůsobené. Vytvořením schopnosti identifikovat potvrzené incidenty se ekonomika hry konečně posunula ve prospěch obránců, což jim dává výraznou výhodu.
Víceúrovňový trénink systému neuronového spojení na základě ETA
Globální mapa rizik
Globální mapa rizik je vytvořena pomocí analýzy aplikované algoritmy strojového učení na jeden z největších datových souborů svého druhu v oboru. Poskytuje rozsáhlé statistiky chování týkající se serverů na internetu, i když jsou neznámé. Takové servery jsou spojeny s útoky a mohou být zapojeny nebo použity jako součást útoku v budoucnu. Nejedná se o „černou listinu“, ale o komplexní obrázek daného serveru z hlediska bezpečnosti. Tyto kontextové informace o aktivitě těchto serverů umožňují detektorům a klasifikátorům strojového učení Stealthwatch přesně předpovídat úroveň rizika spojeného s komunikací s takovými servery.
Můžete zobrazit dostupné karty .
Mapa světa zobrazující 460 milionů IP adres
Nyní se síť učí a postaví se, aby chránila vaši síť.
Konečně byl nalezen všelék?
Bohužel, ne. Ze zkušenosti práce se systémem mohu říci, že existují 2 globální problémy.
Problém 1. Cena. Celá síť je nasazena na systému Cisco. To je dobré i špatné. Dobrou stránkou je, že se nemusíte obtěžovat a instalovat spoustu zástrček, jako je D-Link, MikroTik atd. Nevýhodou je obrovská cena systému. Vzhledem k ekonomickému stavu ruského byznysu si tento zázrak může v současné době dovolit pouze bohatý majitel velké společnosti nebo banky.
Problém 2: Školení. Do článku jsem nenapsal tréninkové období pro neuronovou síť, ale ne proto, že neexistuje, ale proto, že se neustále učí a nemůžeme předvídat, kdy se to naučí. Samozřejmě existují nástroje matematické statistiky (vezměte stejnou formulaci Pearsonova konvergenčního kritéria), ale to jsou poloviční míry. Dostaneme pravděpodobnost filtrování provozu, a i to pouze za podmínky, že útok je již zvládnutý a známý.
I přes tyto 2 problémy jsme udělali velký skok ve vývoji informační bezpečnosti obecně a ochrany sítí zvláště. Tato skutečnost může být motivující pro studium síťových technologií a neuronových sítí, které jsou nyní velmi perspektivním směrem.
Zdroj: www.habr.com