Analys av krypterad trafik utan dekryptering.

Ett system för att analysera trafik utan att dechiffrera den. Denna metod kallas helt enkelt "maskininlärning". Det har visat sig att om man matar en särskild klassificerare med en mycket stor mängd olika trafikdata, kan systemet med mycket hög sannolikhet detektera skadliga koder som finns inuti den krypterade trafiken.

Nätverksrisker har förändrats och blivit "smartare". Under den senaste tiden har själva konceptet av attacker och skydd ändrat sig. Antalet händelser i nätverket har ökat kraftigt. Attacker har blivit mer sofistikerade och hackare har fått ett bredare angreppssätt.

Enligt statistik från Cisco har angripare under det senaste året tredubblat antalet skadliga program som de använder för sina aktiviteter, eller snarare för att dölja dem - genom kryptering. Enligt teorin kan en "riktig" krypteringsalgoritm inte knäckas. För att förstå vad som döljer sig inuti den krypterade trafiken måste man antingen dekryptera den med en nyckel, eller försöka avkoda den med olika knep, eller bryta sig igenom den direkt, eller använda sårbarheter i kryptografiska protokoll.

Bilden av nätverksrisker i vår tid

Maskininlärning

Känn igen teknologin! Innan vi pratar om hur tekniken för dekryptering med maskininlärning fungerar, måste vi förstå hur tekniken för neurala nätverk fungerar.

Maskininlärning (Machine Learning) är en omfattande del av artificiell intelligens som studerar metoder för att bygga algoritmer som kan lära sig. Denna vetenskap syftar till att skapa matematiska modeller för "inlärning" av datorer. Målet med inlärning är att förutsäga något. På människors språk kallar vi denna process för "visdom". Visdom visar sig hos människor som har levt tillräckligt länge (ett 2-årigt barn kan inte vara vis). När vi söker råd från äldre kamrater, ger vi dem viss information om händelsen (ingångsdata) och ber om hjälp. De i sin tur minns alla livssituationer som är kopplade till ditt problem (kunskapsbas) och baserat på denna kunskap (data) ger de oss en slags förutsägelse (råd). Denna typ av råd kallas för förutsägelse eftersom personen som ger rådet inte vet säkert vad som kommer att hända, utan bara antar. Livserfarenhet visar att en person kan ha rätt, men kan också ha fel.

Det är inte värt att jämföra neurala nätverk med grenalgoritmen (if-else). Det är två olika saker och de har nyckelskillnader. Grenalgoritmen har en tydlig "förståelse" för vad den ska göra. Jag ska visa det med exempel.

Uppgift. Bestämma bromssträckan för en bil baserat på dess märke och tillverkningsår.

Exempel på hur grenalgoritmen fungerar. Om bilen är av märke 1 och tillverkad 2012, är dess bromssträcka 10 meter, annars, om bilen är av märke 2 och tillverkad 2011, och så vidare.

Exempel på hur ett neuralt nätverk fungerar. Vi samlar in data om bromssträckor för bilar under de senaste 20 åren. Baserat på märke och år skapar vi en tabell i formatet "märke-år-tillverkningsår-bromssträcka". Vi ger denna tabell till det neurala nätverket och börjar träna det. Träningen genomförs på följande sätt: vi matar in data till det neurala nätverket, men utan bromssträckan. Nätverket försöker förutsäga vad bromssträckan kommer att bli baserat på den laddade tabellen. Det gör en gissning och ställer frågan till användaren "Har jag rätt?". Före frågan skapar det en fjärde kolumn – en gissningskolumn. Om det har rätt, skriver det 1 i den fjärde kolumnen, om det har fel, 0. Det neurala nätverket går vidare till nästa händelse (även om det haft fel). Så här lär sig nätverket, och när träningen är klar (ett visst konvergenskriterium har uppnåtts), ger vi data om den bil vi är intresserade av och får slutligen svaret.

För att klargöra frågan om konvergenskriteriet, förklarar jag att detta är en matematiskt härledd formel för statistik. Ett tydligt exempel på två olika konvergensformler. Den röda – binär konvergens, den blå – normal konvergens.

Binomfördelning och normalfördelning av sannolikhet

För att göra det tydligare, ställ frågan "Vad är sannolikheten att träffa en dinosaurie?" Här finns två svarsalternativ. Alternativ 1 – mycket låg (blå graf). Alternativ 2 – antingen en träff eller ingen (röd graf).

Självklart är en dator inte en människa och den lär sig på ett annat sätt. Det finns två typer av inlärning för den 'järn hästen' – inlärning baserad på exempel och deduktiv inlärning.

Inlärning baserad på exempel är en metod för att lära sig genom matematiska lagar. Matematiker samlar statistiska tabeller, drar slutsatser och laddar resultatet – en formel för beräkning – till neuronnätverket.

Deduktiv inlärning sker helt och hållet i neuronnätverket (från datainsamling till analys). Här formuleras en tabell utan formel men med statistik.

En omfattande översikt av teknologin skulle ta ett par dussin artiklar till. För nu räcker det med detta för en allmän förståelse.

Neuroplasticitet

Inom biologin finns begreppet neuroplasticitet. Neuroplasticitet är förmågan hos neuroner (hjärnceller) att agera 'baserat på situationen'. Till exempel, en person som har förlorat synen hör ljud bättre, känner dofter och känner föremål. Detta sker eftersom en del av hjärnan (del av neuroner), som ansvarar för syn, omfördelar sitt arbete till annan funktionalitet.

Ett tydligt exempel på neuroplasticitet i livet är BrainPort-lollipopen.

År 2009 tillkännagav universitetet i Wisconsin-Madison utgivningen av en ny enhet som utvecklar idéerna om ett "språkdisk" - det fick namnet BrainPort. BrainPort fungerar enligt följande: videosignalen kommer från kameran till en processor som styr zoom, ljusstyrka och andra parametrar av bilden. Den omvandlar även digitala signaler till elektriska impulser, vilket faktist gör den till en fungerande näthinna.

BrainPort-lollipopen med glasögon och kamera

BrainPort i aktion

Även med datorn. Om neuronnätverket känner av en förändring i processen anpassar det sig efter den. Detta är, i grunden, den stora fördelen med neuronnätverken jämfört med andra algoritmer – autonomi. En sorts mänsklighet.

Krypterad trafikanalys

Encrypted Traffic Analytics är en del av Stealthwatch. Stealthwatch är en lösning från Cisco inom området för övervakning och säkerhetsanalys som utnyttjar företags telemetridata från den befintliga nätverksinfrastrukturen.

Kärnan i Stealthwatch Enterprise utgörs av verktygen Flow Rate License, Flow Collector, Management Console och Flow Sensor.

Cisco Stealthwatch-gränssnitt

Problemet med kryptering har blivit mycket mer akut eftersom mer trafik nu krypteras. Tidigare krypterades främst kod, men nu krypteras all trafik, vilket gör det mycket svårare att särskilja "ren" data från virus. Ett tydligt exempel är WannaCry, som använde Tor för att dölja sin närvaro i nätverket.

Visualisering av den ökande mängden krypterad trafik i nätverket

Kryptering i makroekonomi

Systemet Encrypted Traffic Analytics (ETA) är utformat för att hantera krypterad trafik utan att behöva dekryptera den. Brottslingar är smarta och använder kryptostarka krypteringsalgoritmer, och att bryta deras skydd är inte bara en utmaning utan också en stor kostnad för organisationer.

Systemet fungerar på följande sätt. Det kommer någon trafik till företaget. Den hamnar i TLS (transport layer security — transportlagrets skydd Protokoll). Anta att trafiken är krypterad. Vi försöker svara på en rad frågor om vilken anslutning som har etablerats.

Principen för hur systemet Encrypted Traffic Analytics (ETA) fungerar

För att kunna svara på dessa frågor använder vi maskininlärning i detta system. Forskning från Cisco används för att skapa en tabell med två resultat — skadlig och "bra" trafik. Självklart vet vi inte exakt vilken trafik som direkt har kommit in i systemet just nu, men vi kan spåra trafikens historia både inom och utanför företaget med hjälp av globala data. I slutet av detta steg får vi en stor datatabell.

Resultatet av forskningen visar karakteristiska drag – specifika regler som kan skrivas i matematiskt format. Dessa regler skiljer sig avsevärt beroende på olika kriterier – storleken på de överförda filerna, typen av anslutning, landet där trafiken kommer ifrån, osv. I slutet av arbetet har en enorm tabell omvandlats till en samling av flera formler. Antalet har minskat, men det är fortfarande otillräckligt för en bekväm arbetsprocess.

Därefter tillämpas en teknik för maskininlärning – konvergens av formeln och baserat på konvergensen får vi en trigger – en växlare, där vi vid utgång av data får en omkopplare (flagga) i upplyft eller nedlaget läge.

Den resulterande fasen är att få en uppsättning triggers som täcker 99 % av trafiken.

Stegen för trafikverifiering i ETA

Som ett resultat av arbetet löses ett annat problem – attacken inifrån. Det behövs inte längre människor i mitten som manuellt filtrerar trafiken (i detta avseende motarbetar jag mig själv). För det första krävs det inte längre stora kostnader för att anställa en kompetent systemadministratör (jag fortsätter att motarbeta mig själv). För det andra finns det inget hot om intrång inifrån (åtminstone delvis).

Den föråldrade konceptet Man-in-the-Middle

Nu ska vi ta reda på vad systemet baseras på.

Systemet arbetar med 4 kommunikationsprotokoll: TCP/IP – överföringsprotokollet för data på internet, DNS – domännamnserver, TLS – protokoll för transportskydd, SPLT (SpaceWire Physical Layer Tester) – tester för fysisk kommunikationsnivå.

Protokoll som arbetar med ETA

Jämförelsen görs genom att matcha data. Genom TCP/IP-protokollen kontrolleras webbplatsers rykte (historik över besök, syfte med webbplatsen osv.), tack vare DNS-protokollet kan vi utesluta "dåliga" webbplatsadresser. TLS-protokollet arbetar med webbplatsens "fingeravtryck" och kontrollerar webbplatsen mot en databas för datorresponsgrupper för nödsituationer (cert). Det sista steget i anslutningskontrollen är verifiering på den fysiska nivån. Detaljerna för detta steg diskuteras inte, men syftet är följande: kontroll av sinus- och cosinuskurvor för datatrafik på oscilloskopinstallationen, det vill säga genom strukturen av förfrågan på den fysiska nivån definierar vi syftet med anslutningen.

Genom systemets arbete kan vi extrahera data från kryptra trafik. Tack vare att vi studerar paket kan vi läsa så mycket information som möjligt från de okrypterade fälten i paketet. Genom att inspektera paket på fysisk nivå får vi veta paketets egenskaper (delvis eller helt). Man får inte glömma bort webbplatsernas rykte. Om en förfrågan kommer från en .onion källa bör man inte lita på den. För att underlätta arbetet med denna typ av data har en riskkarta skapats.

Resultatet av ETA-arbetet

Och allt tycktes vara bra, men låt oss tala om nätverksutvecklingen.

Den fysiska implementeringen av ETA

Här uppstår flera nyanser och subtiliteter. För det första, vid skapandet av denna typ av
nätverk med hög nivå mjukvara, krävs insamling av data. Att samla in data manuellt är helt
omöjligt, medan att implementera ett respons system kan vara mer intressant. För det andra, mängden data
måste vara stor, vilket betyder att de installerade sensorsystemen måste fungera
inte bara autonomt, utan även i ett finjusterat läge, vilket medför flera svårigheter.

Sensorer och Stealthwatch-systemet

Att installera en sensor är en sak, att konfigurera den är en helt annan uppgift. För att konfigurera sensorerna finns det ett system som fungerar enligt följande topologi – ISR = Cisco Integrated Services Router; ASR = Cisco Aggregation Services Router; CSR = Cisco Cloud Services Router; WLC = Cisco Wireless LAN Controller; IE = Cisco Industrial Ethernet; ASA = Cisco Adaptive Security Appliance; FTD = Cisco Firepower Threat Defense; WSA = Web Security Appliance; ISE = Identity Services Engine.

Kombinerad övervakning med hänsyn till alla telemetridata

Nätverksadministratörer får arytmi av mängden ord "Cisco" i föregående stycke. Priset för detta underverk är inte litet, men det är inte det vi ska diskutera idag...

Simuleringen av hackerbeteende kommer att ske på följande sätt. Stealthwatch övervakar noggrant aktiviteten hos varje enhet i nätverket och kan skapa en profil för normalt beteende. Dessutom ger denna lösning en djup förståelse för kända olämpliga beteenden. I denna lösning används ungefär 100 olika analysalgoritmer eller heuristiska regler som rör olika typer av trafikbeteende, såsom skanning, överföring av larmmeddelanden från en nod, inloggning med brute force-metoden, misstänkt dataintrång, misstänkt dataläckage, etc. De nämnda säkerhetshändelserna faller under kategorin högprioriterad logisk alarm. Vissa säkerhetshändelser kan också utlösa en alarm signal per se. Systemet är därmed kapabelt att korrelera många isolerade anomaliska incidenter och samla dem för att identifiera den möjliga typen av attack samt koppla den till en specifik enhet och användare (figur 2). Incidenten kan sedan studeras dynamiskt och med hänsyn till relaterade telemetridata. Detta ger kontextuell information i sitt bästa utförande. Läkare som undersöker en patient för att förstå vad som har hänt, betraktar inte symptomen isolerat. De studerar helheten för att ställa en diagnos. På liknande sätt registrerar Stealthwatch varje anomali i nätverket och analyserar den i sin helhet för att skicka larm med hänsyn till sammanhanget, vilket hjälper säkerhetsspecialister att prioritera risker.

Upptäckta anomalier med hjälp av beteendesimulering

Den fysiska nätverksdeploymenten ser ut som följer:

Alternativ för deployment av filialnätverk (förenklad)

Alternativ för deployment av filialnätverk

Nätverket är implementerat, men det finns fortfarande en öppen fråga om neuronnätverket. Vi har organiserat datatransmissionsnätverket, installerat sensorer på trösklarna och startat informationsinsamlingssystemet, men neuronnätet har inte varit aktivt ännu.

Flera lager av neural nätverksstruktur

Systemet analyserar användarens och enhetens beteende för att upptäcka skadliga infektioner, kommunikationer med kommando-servrar, dataläckor samt potentiellt oönskade applikationer som körs i organisationens infrastruktur. Det finns flera nivåer av databehandling, där en kombination av metoder för artificiell intelligens, maskininlärning och statistisk matematik hjälper nätverket att självorganisera sin normala aktivitet, så att det kan identifiera skadlig aktivitet.

Nätverkets säkerhetsanalyspipeline, som samlar in telemetridata från alla delar av det utvidgade nätverket, inklusive krypterad trafik, är en unik funktion hos Stealthwatch. Den steg för steg formar förståelsen av vad som är "anormalt", klassificerar sedan individuella inslag av "hotande aktivitet" och slutligen fattar ett slutligt beslut om enheten eller användaren faktiskt har komprometterats. Förmågan att sammanfoga små delar som tillsammans utgör bevis för att fatta ett slutligt beslut om objektets kompromiss säkerställs genom en mycket noggrann analys och korrelation.

Denna förmåga är av stor betydelse eftersom en standardorganisation kan få ett stort antal larm varje dag, och det är omöjligt att utreda varje enskilt fall — säkerhetsspecialisternas resurser är begränsade. Maskininlärningsmodulen bearbetar enorma mängder information i nästan realtid för att identifiera kritiska incidenter med hög säkerhet, och dessutom kan den föreslå en tydlig handlingsplan för snabb åtgärd.

Låt oss titta närmare på de många metoderna för maskininlärning som används av Stealthwatch. När en incident överförs till Stealthwatchs maskininlärningsmodul passerar den genom en säkerhetsanalystratt, där en kombination av både övervakad och icke-övervakad maskininlärning används.

Möjligheter för flernivåmaskininlärning

Nivå 1. Identifiering av avvikelser och förtroendemodellering

På denna nivå filtreras 99 % av trafiken bort med hjälp av statistiska anomalidetektorer. De angivna sensorerna samverkar för att skapa komplexa modeller av vad som är normalt och vad som å sin sida är anomaliteter. Men anomaliteter behöver inte nödvändigtvis vara skadliga. Mycket av det som händer i ditt nätverk har inget att göra med hot – det är bara konstigt. Det är viktigt att klassificera sådana processer oavsett hotbeteende. Av den anledningen genomgår resultaten av sådana detektorer ytterligare analys för att registrera konstigt beteende som kan förklaras och litas på. I slutändan går bara en liten del av de mest betydelsefulla flödena och förfrågningarna vidare till nivå 2 och 3. Utan tillämpning av sådana metoder för maskininlärning skulle driftskostnaderna för att särskilja signalen från bruset vara för stora.

Anomalidetektering. I det första steget av anomalidetektering används statistiska metoder för maskininlärning för att separera statistiskt normal trafik från anomaliteter. Mer än 70 separata detektorer bearbetar telemetridata som Stealthwatch samlar in om trafiken som passerar genom ditt nätverksgränssnitt, separerar intern DNS-trafik och proxydata om det finns sådana. Varje förfrågan bearbetas av mer än 70 detektorer, där varje detektor använder sin egen statistiska algoritm för att skapa en bedömning av upptäckta anomaliteter. Dessa bedömningar sammanställs, och genom att använda flera statistiska metoder skapas en sammanfattande bedömning för varje enskild förfrågan. Denna sammanslagna bedömning används sedan för att särskilja normal och anomal trafik.

Modellering av förtroende. Därefter grupperas liknande förfrågningar, och den sammanlagda bedömningen av anomalier för sådana grupper definieras som ett långsiktigt genomsnitt. Med tiden utsätts fler förfrågningar för analys och efterföljande fastställande av långsiktigt genomsnitt, vilket minskar falska positiva och negativa signaler. Resultaten av tillitsmodelleringen används för att välja en delmängd av trafiken vars anomalibedömning överstiger ett dynamiskt fastställt tröskelvärde, för att flytta det till nästa behandlingsnivå.

Nivå 2. Klassificering av händelser och objektmodellering

På denna nivå sker klassificering av resultaten som erhållits under tidigare steg, med hänvisning till specifika skadliga händelser. Klassificeringen av händelser utförs utifrån det värde som tilldelas av maskininlärningsklassificerare i syfte att säkerställa en konstant noggrannhetsnivå över 90%. Bland dem finns:

• linjära modeller baserade på Neyman-Pearson lemma (normalfördelningslag från diagrammet i början av artikeln)
• stödvektormaskiner som använder mångfacetterad inlärning
• neuronala nätverk och algoritmen "random forest."

Därefter kopplas sådana isolerade säkerhetshändelser över tid till en enskild slutpunkt. Just vid detta steg skapas en hotbeskrivning, vilket ger en fullständig bild av hur den aktuella angriparen lyckades uppnå vissa resultat.

Klassificering av händelser. Ett statistiskt anomalt delmängd från föregående nivå distribueras över 100 och fler kategorier med hjälp av klassificerare. De flesta klassificerare baseras på individuellt beteende, relationer inom gruppen eller beteende på global eller lokal nivå, medan andra kan vara ganska specifika. Till exempel kan en klassificerare indikera trafik från kommandoservrar, misstänkt tillägg eller obehörig programvaruuppdatering. I slutet av detta steg bildas en uppsättning anomala händelser i säkerhetssystemet som hänförs till specifika kategorier.

Objektmodellering. Om mängden bevis som stöder hypotesen om skadligheten av ett visst objekt överstiger tröskelvärdet för betydelse, identifieras hotet. Relevanta händelser som påverkat definitionen av hotet kopplas till detta hot och blir en del av den diskreta långsiktiga modellen för objektet. Allteftersom bevis samlas med tiden bestämmer systemet nya hot när tröskelvärdet för betydelse nås. Detta tröskelvärde är dynamiskt och justeras intellektuellt utifrån risknivån för att hotet ska inträffa och andra faktorer. Efter detta framträder hotet i informationspanelen av webbgränssnittet och förs till nästa nivå.

Nivå 3. Relationsmodellering

Syftet med relationsmodellering är att syntetisera resultaten från tidigare nivåer med ett globalt perspektiv, med hänsyn till både lokala och globala sammanhang av den aktuella incidenten. Det är vid detta steg du kan avgöra hur många organisationer som har drabbats av en sådan attack, för att förstå om den var riktad specifikt mot dig eller om den är en del av en global kampanj, och du råkade bara bli "drabbad".

Incidenter bekräftas eller upptäckts. En bekräftad incident innebär mellan 99 och 100 % säkerhet, eftersom relevanta metoder och verktyg tidigare har observerats i större (global) skala. Upptäckta incidenter är unika för dig och utgör en del av en snävt riktad kampanj. Resultaten från tidigare incidenter överförs med kända handlingsförlopp, vilket sparar din tid och dina resurser vid respons. De tillhandahålls tillsammans med utredningsverktyg som du behöver för att förstå vem som attackerade dig och hur riktad kampanjen är mot din digitala verksamhet. Som du kan föreställa dig, är antalet bekräftade incidenter mycket större än antalet upptäckta, av den enkla anledningen att bekräftade incidenter inte innebär stora kostnader för angriparna, medan upptäckta incidenter kan bli kostsamma.
dyrt, eftersom de måste vara nya och anpassade. Genom att skapa möjlighet för att identifiera bekräftade incidenter har spelets ekonomi äntligen skiftat till förmån för försvararna, vilket ger dem en viss fördel.

Flernivåinlärning av neurala nätverksystem baserat på ETA

Global riskkarta

Den globala riskkartan skapas genom analys utförd av maskininlärningsalgoritmer på en av de största datamängderna i branschen. Den ger omfattande statistiska uppgifter om beteenden relaterade till servrar på internet, även om de är okända. Sådana servrar är anslutna till attacker, kan användas eller involveras i en attack i framtiden. Detta är inte en "svart lista", utan en omfattande bild av den aktuella serverns säkerhet. Informationen om aktiviteten hos de angivna servrarna, förberedd med hänsyn till kontext, gör det möjligt för detectorer och klassificerare av maskininlärning Stealthwatch att exakt förutsäga risknivån kopplad till kommunikation med sådana servrar.

Du kan se tillgängliga kartor här.

Världskarta som visar 460 miljoner IP-adresser

Nu lär sig nätverket och skyddar ditt nätverk.

Har äntligen panacean hittats?

Tyvärr, nej. Från erfarenhet av att arbeta med systemet kan jag säga att det finns 2 globala problem.

Problem 1. Kostnad. Hela nätverket är uppbyggt på Cisco-systemet. Detta är både bra och dåligt. Den positiva sidan är att du kan slippa bekymra dig och inte behöva installera en massa provisoriska lösningar som D-Link, MikroTik osv. Nackdelen är den enorma kostnaden för systemet. Med tanke på den ekonomiska situationen i den ryska affärsvärlden kan för närvarande endast en välbärgad ägare av ett stort företag eller en bank ha råd med detta underverk.

Problem 2. Utbildning. Jag nämnde inte i artikeln hur lång tid det tar att utbilda det neurala nätverket, men inte för att det inte finns någon, utan för att det hela tiden lär sig och vi kan inte förutsäga när det kommer att lära sig. Självklart finns det verktyg inom matematisk statistik (som den så kallade kriteriet för konvergens av Pearson), men det är halvmått. Vi får en sannolikhet för trafik filtrering, och det endast under förutsättning att attacken redan är känd och förstådd.

Trots dessa två problem har vi gjort stora framsteg inom informationssäkerhet som helhet och nätverksskydd i synnerhet. Denna prestation kan vara en motivation för att studera nätverksteknologier och neurala nätverk, som nu är ett mycket lovande område.

Källa: habr.com