Systém pro analýzu provozu bez jeho dešifrování. Tato metoda se nazývá jednoduše - „strojové učení“. Ukázalo se, že pokud do speciálního klasifikátoru dodáme velmi velké množství různorodého provozu, systém s velmi vysokou pravděpodobností dokáže detekovat činnosti škodlivého kódu uvnitř zašifrovaného provozu.
Síťové hrozby se změnily a staly se „inteligentnějšími“. V poslední době se změnila sama koncepce útoku a obrany. Počet událostí v síti se zvýšil několikanásobně. Útoky se staly rafinovanějšími a hackeři mají širší rozsah útoků.
Podle statistik Cisco, zločinci v posledním roce ztrojnásobili počet škodlivých programů, které používají pro svou činnost, přesněji pro její skrývání - šifrování. Z teorie je známo, že „správný“ šifrovací algoritmus nemůže být prolomen. Abychom porozuměli tomu, co se skrývá uvnitř zašifrovaného provozu, je třeba buď dešifrovat s klíčem, nebo se pokusit o jeho dešifrování různými trikami, nebo hrubou silou, nebo využít nějaké zranitelnosti v kryptografických protokolech.
Obraz síťových hrozeb naší doby
Strojové učení
Poznej technologii osobně! Než začneme mluvit o tom, jak funguje samotná technologie dešifrování založená na strojovém učení, je třeba se podívat na to, jak vlastně funguje technologie neuronových sítí.
Strojové učení (Machine Learning) je rozsáhlá podkategorie umělé inteligence, která zkoumá metody vytváření algoritmů schopných se učit. Tato věda se zaměřuje na vytváření matematických modelů „učení“ počítače. Cílem učení je predikce něčeho. V lidském chápání nazýváme tento proces slovem „moudrost“. Moudrost se projevuje u lidí, kteří prožili dostatek let (dvouleté dítě nemůže být moudré). Když se obrátíme na starší přátele pro radu, poskytujeme jim nějaké informace o události (vstupní data) a prosíme o pomoc. Oni si zase vzpomenou na všechny situace ze života, které nějak souvisejí s vaší problémy (databáze znalostí), a na základě těchto znalostí (dat) nám dávají jakési předpovědi (rady). Tento typ rad se nazývá předpovědět, protože člověk, který radu poskytuje, ve skutečnosti neví jistě, co se stane, ale pouze se domnívá. Životní zkušenost ukazuje, že člověk může mít pravdu, ale také se může mýlit.
Není dobré srovnávat neuronové sítě s algoritmem větvení (if-else). To jsou různé věci a mají klíčové rozdíly. Algoritmus větvení má jasné „pochopení“ toho, co dělat. Ukážu to na příkladech.
Úkol. Určete brzdnou dráhu automobilu podle jeho značky a roku výroby.
Příklad fungování algoritmu větvení. Pokud je automobil značky 1 a vyroben v roce 2012 – jeho brzdná dráha je 10 metrů, jinak, pokud je automobil značky 2 a vyroben v roce 2011, a tak dále.
Příklad fungování neuronové sítě. Shromažďujeme data o brzdných drahách automobilů za posledních 20 let. Podle značky a roku vytváříme tabulku ve formátu „značka-rok výroby-brzdná dráha“. Tuto tabulku předáváme neuronové síti a začínáme ji učit. Výuka probíhá následujícím způsobem: podáváme data do neuronové sítě, ale bez brzdné dráhy. Neuronová síť se snaží předpovědět, jaká bude brzdná dráha, na základě tabulky, kterou jsme do ní nahráli. Něco předpovídá a pokládá otázku uživateli „Mám pravdu?“. Před otázkou vytváří čtvrtý sloupec – sloupec odhadu. Pokud má pravdu – zapíše 1 do čtvrtého sloupce, pokud se mýlí – 0. Neuronová síť přechází k další události (i když se mýlila). Tak se síť učí a když je výuka ukončena (dosáhnuto určitého kritéria konvergence), předáváme data o automobilu, který nás zajímá, a konečně dostáváme odpověď.
Abych objasnil otázku ohledně kritéria konvergence, vysvětlím, že se jedná o matematicky odvozený vzorec pro statistiku. Výrazný příklad dvou různých vzorců konvergence. Červená – binární konvergence, modrá – normální konvergence.
Binomické a normální rozložení pravděpodobnosti
Aby to bylo jasnější, položte otázku: „Jaká je pravděpodobnost setkání s dinosaury?“. Existují dvě možnosti odpovědi. Možnost 1 – velmi malá (modrá křivka). Možnost 2 – buď se setkám, nebo ne (červená křivka).
Samozřejmě, počítač není člověk a učí se jinak. Rozlišují se dva typy učení železného koně – učení podle příkladů a deduktivní učení.
Učení podle příkladů je způsob učení na základě matematických zákonů. Matematici shromažďují statistické tabulky, dělají závěry a nahrávají do neuronové sítě výsledek – vzorec pro výpočet.
Deduktivní učení probíhá zcela v neuronové síti (od sběru dat po jejich analýzu). Zde se formuje tabulka bez vzorce, ale se statistikou.
Široký přehled technologie by vyžadoval ještě pár desítek článků. Pro základní pochopení nám zatím stačí i toto.
Neuroplasticita
V biologii existuje pojem neuroplasticita. Neuroplasticita je schopnost neuronů (buněk mozku) reagovat „na situaci“. Například člověk, který přišel o zrak, lépe slyší zvuky, cítí vůně a vnímá předměty. K tomu dochází, protože část mozku (část neuronů), která je zodpovědná za zrak, přerozděluje svou práci na jinou funkčnost.
Jasným příkladem neuroplasticity v životě je bonbón BrainPort.
V roce 2009 oznámila univerzita ve Wisconsinu v Madisonu uvedení nového zařízení, které rozvíjí myšlenky „jazykového displeje“, - nazývá se BrainPort. BrainPort funguje podle následujícího algoritmu: videosignál je přenášen z kamery do procesoru, který ovládá zoom, jas a další parametry obrazu. Tento procesor také převádí digitální signály na elektrické impulsy, prakticky přebírá funkce sítnice.
Bonbón BrainPort s brýlemi a kamerou
BrainPort v akci
Podobně je tomu i s počítačem. Pokud neuronová síť cítí změnu v procesu, přizpůsobí se jí. To je klíčová výhoda neuronových sítí ve srovnání s jinými algoritmy – autonomie. Jakési lidství.
Analýza šifrovaného provozu
Analytika šifrovaného provozu je součástí systému Stealthwatch. Stealthwatch je vývoj společnosti Cisco v oblasti řešení pro monitorování a analýzu bezpečnosti, které využívá podniková telemetrická data z existující síťové infrastruktury.
Základ systému Stealthwatch Enterprise tvoří nástroje Flow Rate License, Flow Collector, Management Console a Flow Sensor.
Rozhraní Cisco Stealthwatch
Problém šifrování se stal velmi aktuálním, protože se začalo šifrovat mnohem více provozu. Dříve se šifrovaly hlavně kódy, nyní je celý provoz šifrován a oddělit „čistá“ data od virů se stalo mnohem složitějším. Příkladem je WannaCry, který využíval Tor k zakrytí své přítomnosti v síti.
Vizualizace růstu šifrování provozu v síti
Šifrování v makroekonomice
Systém Encrypted Traffic Analytics (ETA) je nezbytný k práci se šifrovaným provozem bez jeho dešifrování. Útočníci jsou inteligentní a používají kryptograficky odolné šifrovací algoritmy, a jejich prolomení je nejen problém, ale také obrovskou zátěží pro organizace.
Systém funguje následujícím způsobem. Do firmy přichází nějaký provoz. Dostal se do TLS (Transport Layer Security – protokol pro ochranu transportní vrstvy). Předpokládejme, že je provoz šifrovaný. Snažíme se odpovědět na několik otázek ohledně toho, jaké spojení bylo navázáno.
Princip fungování systému Encrypted Traffic Analytics (ETA)
Pro odpověď na tyto otázky používáme strojové učení v tomto systému. Vycházíme z výzkumů společnosti Cisco a na základě těchto výzkumů vytváříme tabulku ze 2 výsledků – škodlivý a „dobrý“ provoz. Samozřejmě, že nevíme s jistotou, jaký provoz se dostal do systému v současné době, ale můžeme sledovat historii provozu jak ve firmě, tak mimo její rámec čerpáním z dat ze světové scény. Na výstupu z této fáze získáváme obrovskou tabulku s daty.
Na základě výsledků výzkumu se vyjasňují charakteristické rysy – určité pravidla, která lze zapsat v matematické podobě. Tato pravidla se budou velmi lišit podle různých kritérií – velikosti přenášených souborů, typu připojení, země, ze které přichází daný provoz atd. V důsledku práce se obrovská tabulka proměnila v soubor množství vzorců. Ty se zmenšily, ale to je pro komfortní práci stále málo.
Dále se aplikuje technologie strojového učení – konvergence vzorce a na základě této konvergence získáváme spínač – přepínač, kde při výstupu dat máme vypínač (flag) v zvednuté nebo spuštěné poloze.
Výsledná etapa – získání sady spínačů, které pokryly 99% provozu.
Etapy kontroly provozu v ETA
Výsledkem práce se řeší ještě jeden problém – útok zevnitř. Není již třeba mít lidi uprostřed, kteří ručně filtrují provoz (v tomto bodě si podkopávám sám sebe). Za prvé, není už třeba vynakládat velké peníze na schopného systémového administrátora (pokračuji v sabotáži sám sebe). Za druhé, je odstraněno nebezpečí vnitřního napadení (alespoň částečně).
Zastaralá koncepce Man-in-the-Middle
Nyní se pojďme podívat na to, na čem je systém založen.
Systém funguje na čtyřech komunikačních protokolech: TCP/IP – protokol pro přenos dat na internetu, DNS – server doménových názvů, TLS – protokol pro ochranu transportní úrovně, SPLT (SpaceWire Physical Layer Tester) – tester fyzické vrstvy komunikace.
Protokoly pracující s ETA
Srovnávání probíhá porovnáváním dat. Pomocí protokolu TCP/IP se prověřuje reputace webových stránek (historie návštěv, účel vytvoření stránky atd.), díky protokolu DNS můžeme odstranit "špatné" adresy webových stránek. Protokol TLS pracuje s "otisky" webových stránek (fingerprint) a kontroluje stránky v databázi počítačové skupiny pro reakci na mimořádné události (cert). Posledním krokem kontroly připojení je prověřování na fyzické úrovni. Podrobnosti o práci této etapy nejsou specifikovány, ale smysl je následující: kontrola sinusoid a cosinusů křivek přenosu dat na oscilačních zařízeních, tj. díky struktuře dotazu na fyzické úrovni určujeme cíl připojení.
Díky činnosti systému můžeme získávat data z zašifrovaného provozu. Studováním paketů jsme schopni přečíst maximální množství informací z nezašifrovaných polí v samotném paketu. Pomocí inspekce paketu na fyzické úrovni zjistíme charakteristiky paketu (částečně nebo úplně). Také bychom neměli zapomínat na reputaci stránek. Pokud byl dotaz zaslán z nějakého .onion zdroje, neměli bychom mu věřit. Pro zjednodušení práce s takovými daty byla vytvořena riziková mapa.
Výsledek činnosti ETA
A všechno se zdá být v pořádku, ale pojďme si promluvit o nasazení sítě.
Fyzická realizace ETA
Zde vyvstává řada nuancí a jemností. Za prvé, při vytváření takového
sítového systému s vysoce úrovňovým softwarem je třeba shromáždit data. Shromažďovat data ručně je úplně
nepohodlné, a implementace systému reakce – to už je zajímavější. Za druhé, musí být k dispozici mnoho dat, což znamená, že nainstalované senzory sítě musí fungovat
nejen autonomně, ale i v jemně nastaveném režimu, což přináší řadu komplikací.
Senzory a systém Stealthwatch
Nainstalovat senzor – to je jedna věc, ale jeho nastavení – úplně jiná výzva. Pro nastavení senzorů existuje komplex, který pracuje podle následující topologie – ISR = router s integrací služeb Cisco (Cisco Integrated Services Router); ASR = router s agregací služeb Cisco (Cisco Aggregation Services Router); CSR = router cloudových služeb Cisco (Cisco Cloud Services Router); WLC = řadič bezdrátových lokálních sítí Cisco (Cisco Wireless LAN Controller); IE = průmyslový Ethernetový switch Cisco (Cisco Industrial Ethernet); ASA = zařízení adaptivní ochrany Cisco (Cisco Adaptive Security Appliance); FTD = řešení pro ochranu před hrozbami Cisco Firepower Threat Defense; WSA = zařízení pro zabezpečení webového provozu (Web Security Appliance); ISE = modul identifikačních služeb (Identity Services Engine)
Komplexní monitorování s ohledem na jakákoliv telemetrická data
U síťových administrátorů začíná arytmie od počtu slov „Cisco“ v předchozím odstavci. Cena tohoto zázraku není malá, ale o tom dnes mluvit nebudeme...
U síťových administrátorů začíná arytmie od počtu slov „Cisco“ v předchozím odstavci. Cena tohoto zázraku není malá, ale o tom dnes mluvit nebudeme...
Modelování chování hackera probíhá následujícím způsobem. Stealthwatch pečlivě sleduje aktivitu každého zařízení v síti a dokáže vytvořit vzor normálního chování. Toto řešení rovněž poskytuje hluboké porozumění známému nevhodnému chování. V rámci tohoto řešení se používá přibližně 100 různých algoritmů analýzy nebo heuristických pravidel, které se týkají různých typů chování provozu, jako je skenování, přenos nouzových rámečků z uzlu, přístup do systému metodou hrubé síly, předpokládané zachycení dat, předpokládaný únik dat atd. Uvedené bezpečnostní události spadají do kategorie logické vysoké úrovně. Některé bezpečnostní události mohou také samy o sobě způsobit vyvolání alarmu. Systém je tak schopen korelovat mnohé izolované anomální incidenty a spojit je do celku, aby určil možný typ útoku a také jej přisoudil konkrétnímu zařízení a uživateli (obr. 2). Incident může být následně sledován v dynamice a s ohledem na související telemetrická data. To tvoří kontextové informace v nejlepší podobě. Lékaři, kteří vyšetřují pacienta, aby pochopili, co se stalo, nezohledňují symptomy jednotlivě. Zkoumají celkový obraz pro stanovení diagnózy. Podobně Stealthwatch zaznamenává každou anomální aktivitu v síti a studuje ji v celkovém kontextu, aby vysílal alarmy s ohledem na kontext, čímž pomáhá bezpečnostním specialistům prioritizovat rizika.
Detekce anomálií pomocí modelování chování
Fyzické nasazení sítě vypadá takto:
Varianta nasazení sítě pobočkové sítě (zjednodušená)
Varianta nasazení sítě pobočkové sítě
Síť je nasazena, ale zůstává otevřená otázka ohledně neuronové sítě. Zorganizovali jsme datovou síť, nainstalovali jsme na prahy senzory a spustili systém sběru informací, ale neuronová síť se do procesu zatím nezapojila.
Vícevrstvá neuronová síť
Systém analyzuje chování uživatelů a zařízení za účelem identifikace škodlivých infekcí, komunikací s řídícími servery, úniky dat a také potenciálně nežádoucích aplikací běžících v infrastruktuře organizace. Existuje několik úrovní zpracování dat, na kterých kombinace metod umělé inteligence, strojového učení a matematické statistiky pomáhají síti samoučit se své normální aktivity, aby mohla určovat škodlivou činnost.
Bezpečnostní analytický kanál sítě, který shromažďuje telemetrická data ze všech částí rozsáhlé sítě, včetně šifrovaného provozu, je jedinečnou vlastností Stealthwatch. Postupně vytváří porozumění tomu, co je „anomální“, poté klasifikuje jednotlivé prvky „ohrožující aktivity“ a nakonec vydává konečné rozhodnutí o tom, zda bylo zařízení nebo uživatel skutečně kompromitován. Schopnost shromáždit malé kousky dohromady, které společně tvoří důkaz pro přijetí konečného rozhodnutí o kompromitaci objektu, je zajištěna díky velmi pečlivé analýze a korelaci.
Tato schopnost má velký význam, protože standardní podnik může denně dostávat obrovské množství alarmů, a provést vyšetřování každého z nich je nemožné — zdroje bezpečnostních specialistů jsou omezené. Modul strojového učení zpracovává obrovské množství informací téměř v reálném čase za účelem identifikace kritických incidentů s vysokou úrovní důvěry a je také schopen navrhnout jasný postup pro rychlé nápravy.
Pojďme se podrobněji podívat na různé metody strojového učení používané ve Stealthwatch. Když je incident předán do modulu strojového učení Stealthwatch, prochází bezpečnostní analýzou, ve které se používají kombinace metod strojového učení s učitelem a bez učitele.
Možnosti vícestupňového strojového učení
1. úroveň. Detekce anomálií a modelování důvěry
Na této úrovni je 99 % provozu odfiltrováno pomocí statistických detektorů anomálií. Uvedené senzory společně vytvářejí složité modely toho, co je normální a co naopak anomální. Anomální chování však nemusí být nutně škodlivé. Mnohé z toho, co se v naší síti děje, není nijak spojeno s hrozbou — je to prostě divné. Je přitom důležité klasifikovat takové procesy bez ohledu na hrozbové chování. Z tohoto důvodu jsou výsledky práce těchto detektorů podrobeny dalšímu zkoumání, aby bylo zaznamenáno divné chování, které lze vysvětlit a kterému lze důvěřovat. Nakonec pouze malý podíl nejdůležitějších toků a požadavků přechází na 2. a 3. úroveň. Bez použití těchto metod strojového učení by byly provozní náklady na oddělení signálu od šumu příliš vysoké.
Detekce anomálií. V prvním kroku detekce anomálií se používají statistické metody strojového učení k oddělení statisticky normálního provozu od anomálního. Více než 70 jednotlivých detektorů zpracovává telemetrická data shromážděná Stealthwatch o provozu, který prochází perimetrem vaší sítě, oddělující interní provoz systému doménových jmen (DNS) a data proxy serveru, pokud existují. Každý požadavek je zpracováván více než 70 detektory, přičemž každý detektor používá svůj statistický algoritmus, což vede k hodnocení identifikovaných anomálií. Tato hodnocení jsou sloučena, a na základě aplikace několika statistických metod se získává jednotné hodnocení pro každý jednotlivý požadavek. Toto kombinované hodnocení se poté používá k oddělení normálního a anomálního provozu.
Modelování důvěry. Dále jsou podobné dotazy agregovány a celková hodnocení anomálií pro takové skupiny jsou určena jako dlouhodobý průměr. V průběhu času je analyzováno více dotazů, což následně umožňuje snížit falešně pozitivní a falešně negativní výsledky. Výsledky modelování důvěry se používají k výběru podmnožiny provozu, jejíž hodnocení anomálií překračuje určitou dynamicky definovanou prahovou hodnotu, k jejímu posunutí na další úroveň zpracování.
2. úroveň. Klasifikace událostí a modelování objektu
Na této úrovni dochází ke klasifikaci výsledků získaných v předchozích fázích, přičemž se přiřazují k konkrétním škodlivým událostem. Klasifikace událostí se provádí podle hodnoty, kterou přisuzují klasifikátory strojového učení, aby se zajistila trvalá úroveň přesnosti nad 90 %. Mezi ně patří:
- lineární modely založené na Lemma Neyman-Pearson (zákon normálního rozdělení z grafu na začátku článku)
- stroje support vector, využívající multivariační učení
- neurónové sítě a algoritmus 'náhodný les'.
Poté jsou takové izolované bezpečnostní události v průběhu času spojeny s jedním koncovým zařízením. Právě v této fázi se vytváří popis hrozby, na základě čehož vzniká úplný obrázek o tom, jak se příslušnému útočníkovi podařilo dosáhnout určitých výsledků.
Klasifikace událostí. Statisticky anomální podmnožina z předchozí úrovně je rozdělena do 100 a více kategorií pomocí klasifikátorů. Většina klasifikátorů se zakládá na individuálním chování, vztazích ve skupině nebo chování v globálním či lokálním měřítku, zatímco jiné mohou být velmi konkrétní. Například klasifikátor může indikovat provoz řízených serverů, podezřelé rozšíření nebo neautorizovanou aktualizaci softwaru. V sekundárním procesu se tak vytváří soubor anomálních událostí v bezpečnostním systému, přičemž jsou přiřazeny k určitým kategoriím.
Modelování objektu. Pokud velikost důkazů na podporu hypotézy o škodlivosti určitého objektu překročí prahovou hodnotu významnosti, je určena hrozba. Příslušné události, které ovlivnily určení hrozby, jsou spojeny s touto hrozbou a stávají se součástí diskrétní dlouhodobé modelu objektu. Jak se v průběhu času shromažďují důkazy, systém určuje nové hrozby při dosažení prahové hodnoty významnosti. Tato prahová hodnota má dynamickou povahu a prochází intelektuální korekcí na základě úrovně rizika vzniku hrozby a dalších faktorů. Poté hrozba se zobrazí na informačním panelu webového rozhraní a postoupí na další úroveň.
Úroveň 3. Modelování vztahů
Cílem modelování vztahů je syntetizovat výsledky získané na předchozích úrovních z globálního pohledu, s ohledem nejen na lokální, ale i globální kontext příslušného incidentu. Právě v této fázi můžete určit, kolik organizací se setkalo s takovým útokem, abyste pochopili, zda byl zaměřen konkrétně na vás, nebo je součástí globální kampaně, a že jste se ocitli "pod palbou".
Incidenty jsou potvrzeny nebo objeveny. Potvrzený incident znamená 99 až 100 % jistoty, protože příslušné metody a nástroje byly dříve pozorovány v akci na větším (globálním) měřítku. Objevené incidenty jsou jedinečné pro vás a představují část úzce zaměřené kampaně. Výsledky získané v minulosti jsou sděleny s uvedením známého postupu, což umožňuje ušetřit váš čas a zdroje při reakci. Jsou poskytovány spolu s vyšetřovacími nástroji, které budete potřebovat, abyste pochopili, kdo vás napadl, a jaká je míra zaměřenosti kampaně na váš digitální podnik. Jak si dovedete představit, počet potvrzených incidentů daleko převyšuje počet objevených z prostého důvodu, že potvrzené incidenty nejsou spojeny s vysokými náklady pro útočníky, zatímco objevené incidenty jsou nákladné.
je drahé, protože musí být nové a individualizované. Vytvořením možnosti pro identifikaci potvrzených incidentů se ekonomika hry konečně posunula ve prospěch obránců, což jim poskytuje určitou výhodu.
Víceúrovňové učení systémů neuronových sítí založené na ETA
Globální mapa rizik
Globální mapa rizik se vytváří na základě analýzy prováděné algoritmy strojového učení na jednom z největších datových souborů v oboru. Poskytuje rozsáhlé statistické údaje o chování serverů na internetu, i když nejsou známé. Takové servery jsou spojeny s útoky, mohou být využívány nebo použitý v rámci útoku v budoucnu. Není to "černá listina", ale komplexní obraz daného serveru z pohledu bezpečnosti. Tyto informace o aktivitě uvedených serverů, připravené s ohledem na kontext, umožňují detektorům a klasifikátorům strojového učení Stealthwatch přesně předpovědět úroveň rizika spojeného s komunikací s těmito servery.
Zobrazit dostupné mapy můžete .
Mapa světa ukazující 460 milionů IP adress
Nyní se síť učí a chrání vaši síť.
Nakonec, našli jsme panaceu?
Bohužel, ne. Zkušenostmi s tímto systémem mohu říci, že existují 2 hlavní problémy.
Problém 1. Cena. Celá síť je postavena na systému Cisco. To je dobré i špatné. Dobré je, že si můžete ušetřit starosti s instalací spousty zarážek jako D-Link, MikroTik atd. Nevýhodou je obrovská cena systému. Vzhledem k ekonomické situaci ruského podnikání si toto zázrak může v současnosti dovolit pouze majetný majitel velké firmy nebo banky.
Problém 2. Vzdělávání. Ve svém článku jsem nenapsal dobu výuky neuronové sítě, ne proto, že by neexistovala, ale protože se neustále učí a nemůžeme předpovědět, kdy se skutečně naučí. Samozřejmě existují nástroje matematické statistiky (např. formulace kritéria konvergence Pearsonova), ale to jsou polovičatá řešení. Získáváme pravděpodobnost filtrování provozu, a to ještě za předpokladu, že útok již byl zvládnut a znám.
I přes tyto dvě problémy jsme udělali velký pokrok ve vývoji informační bezpečnosti jako celku a ochrany sítě konkrétně. Tento fakt může být motivací pro studium síťových technologií a neuronových sítí, které jsou nyní velmi perspektivním směrem.
Zdroj: habr.com
