Ett system för att analysera trafik utan att dekryptera den. Denna metod kallas helt enkelt "maskininlärning". Det visade sig att om en mycket stor volym av olika trafik matas till ingången av en speciell klassificerare, kan systemet upptäcka handlingar av skadlig kod i krypterad trafik med en mycket hög grad av sannolikhet.
Hot online har förändrats och blivit smartare. På senare tid har själva begreppet anfall och försvar förändrats. Antalet evenemang i nätverket har ökat markant. Attacker har blivit mer sofistikerade och hackare har en bredare räckvidd.
Enligt Ciscos statistik har angripare under det senaste året tredubblat antalet skadliga program de använder för sina aktiviteter, eller snarare kryptering för att dölja dem. Det är känt från teorin att den "korrekta" krypteringsalgoritmen inte kan brytas. För att förstå vad som gömmer sig inuti den krypterade trafiken är det nödvändigt att antingen dekryptera den med att känna till nyckeln, eller försöka dekryptera den med olika knep, eller hacka direkt, eller använda någon form av sårbarheter i kryptografiska protokoll.
En bild av vår tids nätverkshot
Maskininlärning
Lär dig tekniken personligen! Innan vi pratar om hur den maskininlärningsbaserade dekrypteringsteknologin i sig fungerar, är det nödvändigt att förstå hur neurala nätverkstekniker fungerar.
Machine Learning är en bred underavdelning av artificiell intelligens som studerar metoder för att konstruera algoritmer som kan lära sig. Denna vetenskap syftar till att skapa matematiska modeller för att "träna" en dator. Syftet med lärande är att förutsäga något. I mänsklig förståelse kallar vi denna process ordet "visdom". Visdom visar sig hos människor som har levt ganska länge (ett 2-årigt barn kan inte vara klokt). När vi vänder oss till seniorkamrater för råd ger vi dem lite information om händelsen (indata) och ber dem om hjälp. De kommer i sin tur ihåg alla situationer från livet som på något sätt är relaterade till ditt problem (kunskapsbas) och ger oss, baserat på denna kunskap (data), en slags förutsägelse (råd). Den här typen av råd började kallas för förutsägelse eftersom den som ger råden inte vet säkert vad som kommer att hända, utan bara antar. Livserfarenhet visar att en person kan ha rätt, eller så kan han ha fel.
Du bör inte jämföra neurala nätverk med förgreningsalgoritmen (if-else). Det här är olika saker och det finns viktiga skillnader. Förgreningsalgoritmen har en tydlig "förståelse" för vad som ska göras. Jag kommer att demonstrera med exempel.
Uppgift. Bestäm bromssträckan för en bil baserat på dess märke och tillverkningsår.
Ett exempel på förgreningsalgoritmen. Om en bil är märke 1 och släpptes 2012 är dess bromssträcka 10 meter, annars om bilen är märke 2 och släpptes 2011, och så vidare.
Ett exempel på ett neuralt nätverk. Vi samlar in data om bilars bromssträcka under de senaste 20 åren. Efter fabrikat och årtal sammanställer vi en tabell i formen "fabrikat-år av tillverkning-bromssträcka". Vi skickar ut den här tabellen till det neurala nätverket och börjar lära ut det. Träning utförs enligt följande: vi matar data till det neurala nätverket, men utan bromsväg. Neuronen försöker förutsäga vad bromssträckan kommer att vara baserat på tabellen laddad i den. Förutspår något och frågar användaren "Har jag rätt?" Innan frågan skapar hon en fjärde kolumn, gissningskolumnen. Om hon har rätt så skriver hon 1 i fjärde kolumnen, om hon har fel skriver hon 0. Det neurala nätverket går till nästa händelse (även om det gjorde ett misstag). Det är så nätverket lär sig och när utbildningen är klar (ett visst konvergenskriterium har uppnåtts) lämnar vi in data om bilen vi är intresserade av och får slutligen svar.
För att ta bort frågan om konvergenskriteriet kommer jag att förklara att detta är en matematiskt härledd formel för statistik. Ett slående exempel på två olika konvergensformler. Röd – binär konvergens, blå – normal konvergens.
Binomial och normal sannolikhetsfördelning
För att göra det tydligare, ställ frågan "Vad är sannolikheten att träffa en dinosaurie?" Det finns 2 möjliga svar här. Alternativ 1 – mycket liten (blått diagram). Alternativ 2 – antingen ett möte eller inte (röd graf).
Naturligtvis är en dator inte en person och den lär sig annorlunda. Det finns två typer av järnhästträning: fallbaserat lärande и deduktivt lärande.
Prejudikatundervisning är ett sätt att undervisa med hjälp av matematiska lagar. Matematiker samlar statistiktabeller, drar slutsatser och laddar in resultatet i det neurala nätverket - en formel för beräkning.
Deduktiv inlärning - inlärning sker helt och hållet i neuronet (från datainsamling till dess analys). Här bildas en tabell utan formel, utan med statistik.
En bred översikt av tekniken skulle ta ytterligare ett par dussin artiklar. För nu kommer detta att räcka för vår allmänna förståelse.
Neuroplasticitet
Inom biologi finns det ett sådant koncept - neuroplasticitet. Neuroplasticitet är förmågan hos neuroner (hjärnceller) att agera "i enlighet med situationen." En person som har förlorat synen hör till exempel ljud, luktar och känner av föremål bättre. Detta beror på det faktum att den del av hjärnan (del av neuronerna) som ansvarar för synen omfördelar sitt arbete till annan funktionalitet.
Ett slående exempel på neuroplasticitet i livet är BrainPort-klubban.
2009 tillkännagav University of Wisconsin i Madison lanseringen av en ny enhet som utvecklade idéerna om en "språkskärm" - den kallades BrainPort. BrainPort fungerar enligt följande algoritm: videosignalen skickas från kameran till processorn, som styr zoom, ljusstyrka och andra bildparametrar. Den omvandlar också digitala signaler till elektriska impulser, som i huvudsak tar över näthinnans funktioner.
BrainPort klubba med glasögon och kamera
BrainPort på jobbet
Samma sak med en dator. Om det neurala nätverket känner av en förändring i processen, anpassar det sig till det. Detta är den viktigaste fördelen med neurala nätverk jämfört med andra algoritmer – autonomi. En sorts mänsklighet.
Krypterad trafikanalys
Encrypted Traffic Analytics är en del av Stealthwatch-systemet. Stealthwatch är Ciscos intåg i säkerhetsövervaknings- och analyslösningar som utnyttjar företagstelemetridata från befintlig nätverksinfrastruktur.
Stealthwatch Enterprise är baserat på verktygen Flow Rate License, Flow Collector, Management Console och Flow Sensor.
Cisco Stealthwatch-gränssnitt
Problemet med kryptering blev mycket akut på grund av att mycket mer trafik började krypteras. Tidigare var endast koden krypterad (för det mesta), men nu är all trafik krypterad och det har blivit mycket svårare att separera "ren" data från virus. Ett slående exempel är WannaCry, som använde Tor för att dölja sin onlinenärvaro.
Visualisering av tillväxten i trafikkryptering på nätverket
Kryptering i makroekonomi
Systemet Encrypted Traffic Analytics (ETA) är nödvändigt just för att arbeta med krypterad trafik utan att dekryptera den. Angripare är smarta och använder kryptoresistenta krypteringsalgoritmer, och att bryta dem är inte bara ett problem, utan också extremt dyrt för organisationer.
Systemet fungerar enligt följande. En del trafik kommer till företaget. Det faller under TLS (transportlagersäkerhet). Låt oss säga att trafiken är krypterad. Vi försöker svara på ett antal frågor om vilken typ av koppling som gjordes.
Så fungerar ETA-systemet (Encrypted Traffic Analytics).
För att svara på dessa frågor använder vi maskininlärning i detta system. Forskning från Cisco tas och baserat på dessa studier skapas en tabell från 2 resultat - skadlig och "bra" trafik. Naturligtvis vet vi inte säkert vilken typ av trafik som kom direkt in i systemet just nu, men vi kan spåra historien om trafik både inom och utanför företaget med hjälp av data från världsscenen. I slutet av detta skede får vi en enorm tabell med data.
Baserat på studiens resultat identifieras karakteristiska drag - vissa regler som kan skrivas ner i matematisk form. Dessa regler kommer att variera mycket beroende på olika kriterier - storleken på de överförda filerna, typen av anslutning, landet från vilket denna trafik kommer, etc. Som ett resultat av arbetet förvandlades det enorma bordet till en uppsättning högar av formler. Det finns färre av dem, men det räcker inte för bekvämt arbete.
Därefter tillämpas maskininlärningsteknologi - formelkonvergens och baserat på resultatet av konvergens får vi en trigger - en switch, där när data matas ut får vi en switch (flagga) i höjt eller sänkt läge.
Det resulterande steget är att erhålla en uppsättning triggers som täckte 99 % av trafiken.
Trafikinspektionssteg i ETA
Som ett resultat av arbetet är ett annat problem löst - en attack inifrån. Det finns inte längre ett behov av att folk i mitten filtrerar trafik manuellt (jag dränker mig själv vid det här laget). För det första behöver du inte längre spendera mycket pengar på en kompetent systemadministratör (jag fortsätter att drunkna). För det andra finns det ingen risk för hackning från insidan (åtminstone delvis).
Föråldrat Man-in-the-Middle-koncept
Låt oss nu ta reda på vad systemet är baserat på.
Systemet fungerar på 4 kommunikationsprotokoll: TCP/IP – Internetdataöverföringsprotokoll, DNS – domännamnsserver, TLS – transportlagersäkerhetsprotokoll, SPLT (SpaceWire Physical Layer Tester) – fysisk kommunikationslagertestare.
Protokoll som arbetar med ETA
Jämförelse görs genom att jämföra data. Med hjälp av TCP/IP-protokoll kontrolleras webbplatsernas rykte (besökshistorik, syftet med att skapa webbplatsen, etc.), tack vare DNS-protokollet kan vi kassera "dåliga" webbplatsadresser. TLS-protokollet fungerar med en webbplatss fingeravtryck och verifierar platsen mot datorns akutteam (cert). Det sista steget i att kontrollera anslutningen är kontroll på fysisk nivå. Detaljerna för detta steg är inte specificerade, men poängen är som följer: kontroll av sinus- och cosinuskurvorna för dataöverföringskurvor på oscillografiska installationer, d.v.s. Tack vare strukturen för begäran i det fysiska lagret bestämmer vi syftet med anslutningen.
Som ett resultat av systemets drift kan vi hämta data från krypterad trafik. Genom att undersöka paket kan vi läsa så mycket information som möjligt från de okrypterade fälten i själva paketet. Genom att inspektera paketet på det fysiska lagret tar vi reda på paketets egenskaper (delvis eller helt). Glöm inte heller sajternas rykte. Om begäran kom från någon .onion-källa bör du inte lita på den. För att göra det lättare att arbeta med den här typen av data har en riskkarta skapats.
Resultat av ETA:s arbete
Och allt verkar vara bra, men låt oss prata om nätverksinstallation.
Fysisk implementering av ETA
Ett antal nyanser och subtiliteter uppstår här. För det första, när du skapar den här typen av
nätverk med programvara på hög nivå krävs datainsamling. Samla data helt manuellt
vild, men att implementera ett svarssystem är redan mer intressant. För det andra, uppgifterna
det ska finnas mycket, vilket gör att de installerade nätverkssensorerna måste fungera
inte bara autonomt, utan också i ett finjusterat läge, vilket skapar en rad svårigheter.
Sensorer och Stealthwatch-system
Att installera en sensor är en sak, men att installera den är en helt annan uppgift. För att konfigurera sensorer finns det ett komplex som fungerar enligt följande topologi - ISR = Cisco Integrated Services Router; ASR = Cisco Aggregation Services Router; CSR = Cisco Cloud Services Router; WLC = Cisco Wireless LAN Controller; IE = Cisco Industrial Ethernet Switch; ASA = Cisco Adaptive Security Appliance; FTD = Cisco Firepower Threat Defense Solution; WSA = Web Security Appliance; ISE = Identity Services Engine
Omfattande övervakning med hänsyn till eventuella telemetriska data
Nätverksadministratörer börjar uppleva arytmi från antalet ord "Cisco" i föregående stycke. Priset för detta mirakel är inte litet, men det är inte vad vi pratar om idag...
Hackarens beteende kommer att modelleras enligt följande. Stealthwatch övervakar noggrant aktiviteten för varje enhet i nätverket och kan skapa ett mönster av normalt beteende. Dessutom ger denna lösning djup insikt i känt olämpligt beteende. Lösningen använder cirka 100 olika analysalgoritmer eller heuristik som adresserar olika typer av trafikbeteende såsom skanning, värdlarmramar, brute-force-inloggningar, misstänkt datafångst, misstänkt dataläckage, etc. . Säkerhetshändelserna som listas faller under kategorin logiska högnivålarm. Vissa säkerhetshändelser kan också utlösa larm på egen hand. Således kan systemet korrelera flera isolerade avvikande incidenter och sätta ihop dem för att bestämma den möjliga typen av attack, samt länka den till en specifik enhet och användare (Figur 2). I framtiden kan händelsen studeras över tid och med hänsyn till tillhörande telemetridata. Detta utgör kontextuell information när den är som bäst. Läkare som undersöker en patient för att förstå vad som är fel tittar inte på symtomen isolerat. De tittar på helheten för att ställa en diagnos. På samma sätt fångar Stealthwatch varje onormal aktivitet på nätverket och undersöker den holistiskt för att skicka kontextmedvetna larm, och därigenom hjälpa säkerhetspersonal att prioritera risker.
Anomalidetektering med hjälp av beteendemodellering
Den fysiska distributionen av nätverket ser ut så här:
Distributionsalternativ för filialnätverk (förenklat)
Distributionsalternativ för filialnätverk
Nätverket har distribuerats, men frågan om neuronen är fortfarande öppen. De organiserade ett dataöverföringsnätverk, installerade sensorer på trösklarna och lanserade ett informationsinsamlingssystem, men neuronen deltog inte i ärendet. Hejdå.
Flerlagers neurala nätverk
Systemet analyserar användar- och enhetsbeteende för att upptäcka skadliga infektioner, kommunikation med kommando- och kontrollservrar, dataläckor och potentiellt oönskade applikationer som körs i organisationens infrastruktur. Det finns flera lager av databehandling där en kombination av artificiell intelligens, maskininlärning och matematisk statistik hjälper nätverket att själv lära sig sin normala aktivitet så att det kan upptäcka skadlig aktivitet.
Nätverkets säkerhetsanalyspipeline, som samlar in telemetridata från alla delar av det utökade nätverket, inklusive krypterad trafik, är en unik egenskap hos Stealthwatch. Det utvecklar stegvis en förståelse för vad som är "avvikande", kategoriserar sedan de faktiska individuella delarna av "hotaktivitet" och gör slutligen en slutgiltig bedömning av om enheten eller användaren faktiskt har utsatts för intrång. Förmågan att pussla ihop små bitar som tillsammans bildar bevis för att fatta ett slutgiltigt beslut om huruvida en tillgång har äventyrats kommer genom mycket noggrann analys och korrelation.
Denna förmåga är viktig eftersom ett typiskt företag kan få ett stort antal larm varje dag, och det är omöjligt att undersöka vart och ett eftersom säkerhetspersonal har begränsade resurser. Maskininlärningsmodulen bearbetar stora mängder information i nästan realtid för att identifiera kritiska incidenter med hög tillförlitlighet, och kan också tillhandahålla tydliga handlingssätt för snabb lösning.
Låt oss ta en närmare titt på de många maskininlärningstekniker som används av Stealthwatch. När en incident skickas till Stealthwatchs maskininlärningsmotor går den igenom en säkerhetsanalystratt som använder en kombination av övervakade och oövervakade maskininlärningstekniker.
Maskininlärning på flera nivåer
Nivå 1. Anomalidetektering och förtroendemodellering
På denna nivå kasseras 99 % av trafiken med statistiska anomalidetektorer. Dessa sensorer bildar tillsammans komplexa modeller av vad som är normalt och vad som tvärtom är onormalt. Det onormala är dock inte nödvändigtvis skadligt. Mycket av det som händer på ditt nätverk har ingenting att göra med hotet – det är bara konstigt. Det är viktigt att klassificera sådana processer utan hänsyn till hotfullt beteende. Av denna anledning analyseras resultaten av sådana detektorer ytterligare för att fånga konstigt beteende som kan förklaras och litas på. I slutändan är det bara en liten bråkdel av de viktigaste trådarna och förfrågningarna som når lager 2 och 3. Utan användningen av sådana maskininlärningstekniker skulle driftskostnaderna för att separera signalen från bruset vara för höga.
Anomali upptäckt. Det första steget i avvikelsedetektering använder statistiska maskininlärningstekniker för att skilja statistiskt normal trafik från onormal trafik. Mer än 70 individuella detektorer bearbetar telemetridata som Stealthwatch samlar in på trafik som passerar genom din nätverksperimeter, och separerar intern Domain Name System-trafik (DNS) från proxyserverdata, om någon. Varje begäran behandlas av mer än 70 detektorer, där varje detektor använder sin egen statistiska algoritm för att göra en bedömning av de upptäckta anomalierna. Dessa poäng kombineras och flera statistiska metoder används för att producera en enda poäng för varje enskild fråga. Denna sammanlagda poäng används sedan för att separera normal och onormal trafik.
Modellera förtroende. Därefter grupperas liknande förfrågningar, och det sammanlagda anomalipoängen för sådana grupper bestäms som ett långsiktigt genomsnitt. Med tiden analyseras fler frågor för att fastställa det långsiktiga genomsnittet, vilket minskar falska positiva och falska negativa. Förtroendemodelleringsresultaten används för att välja en delmängd av trafik vars anomalipoäng överskrider någon dynamiskt bestämd tröskel för att flytta den till nästa bearbetningsnivå.
Nivå 2. Händelseklassificering och objektmodellering
På denna nivå klassificeras de resultat som erhållits i de tidigare stadierna och tilldelas specifika skadliga händelser. Händelser klassificeras baserat på värdet som tilldelas av maskininlärningsklassificerare för att säkerställa en konsekvent noggrannhetsgrad över 90 %. Bland dem:
- linjära modeller baserade på Neyman-Pearson-lemmat (lagen om normalfördelning från grafen i början av artikeln)
- stödja vektormaskiner som använder multivariat lärande
- neurala nätverk och slumpmässiga skogsalgoritmen.
Dessa isolerade säkerhetshändelser associeras sedan med en enda slutpunkt över tiden. Det är i detta skede som en hotbeskrivning bildas, utifrån vilken en helhetsbild skapas av hur den aktuella angriparen lyckades uppnå vissa resultat.
Klassificering av händelser. Den statistiskt avvikande delmängden från föregående nivå fördelas i 100 eller fler kategorier med hjälp av klassificerare. De flesta klassificerare är baserade på individuellt beteende, grupprelationer eller beteende på global eller lokal skala, medan andra kan vara ganska specifika. Till exempel kan klassificeraren indikera C&C-trafik, ett misstänkt tillägg eller en otillåten programuppdatering. Baserat på resultaten från detta steg bildas en uppsättning avvikande händelser i säkerhetssystemet, klassificerade i vissa kategorier.
Objektmodellering. Om mängden bevis som stöder hypotesen att ett visst föremål är skadligt överstiger väsentlighetströskeln, fastställs ett hot. Relevanta händelser som påverkat definitionen av ett hot är förknippade med ett sådant hot och blir en del av en diskret långsiktig modell av objektet. Eftersom bevis ackumuleras över tid identifierar systemet nya hot när väsentlighetströskeln nås. Detta tröskelvärde är dynamiskt och är intelligent justerat baserat på risknivån och andra faktorer. Efter detta visas hotet på informationspanelen i webbgränssnittet och överförs till nästa nivå.
Nivå 3. Relationsmodellering
Syftet med relationsmodellering är att syntetisera de resultat som erhållits på tidigare nivåer ur ett globalt perspektiv, med hänsyn inte bara till den lokala utan även den globala kontexten för den relevanta incidenten. Det är i det här skedet som du kan avgöra hur många organisationer som har stött på en sådan attack för att förstå om den var riktad specifikt mot dig eller är en del av en global kampanj, och du just fastnat.
Incidenter bekräftas eller upptäcks. En verifierad incident innebär 99 till 100 % förtroende eftersom de associerade teknikerna och verktygen tidigare har observerats i aktion på en större (global) skala. Incidenter som upptäcks är unika för dig och utgör en del av en mycket riktad kampanj. Tidigare resultat delas med ett känt tillvägagångssätt, vilket sparar tid och resurser som svar. De kommer med de undersökande verktygen du behöver för att förstå vem som attackerade dig och i vilken utsträckning kampanjen riktade sig mot din digitala verksamhet. Som du kan föreställa dig överstiger antalet bekräftade incidenter vida antalet upptäckta av den enkla anledningen att bekräftade incidenter inte innebär mycket kostnader för angripare, medan upptäckta incidenter gör det.
dyra eftersom de måste vara nya och anpassade. Genom att skapa förmågan att identifiera bekräftade incidenter har spelets ekonomi äntligen skiftat till förmån för försvarare, vilket ger dem en distinkt fördel.
Flernivåträning av ett neuralt anslutningssystem baserat på ETA
Global riskkarta
Den globala riskkartan skapas genom analys som tillämpas av maskininlärningsalgoritmer på en av de största datamängderna i sitt slag i branschen. Den tillhandahåller omfattande beteendestatistik angående servrar på Internet, även om de är okända. Sådana servrar är associerade med attacker och kan vara inblandade eller användas som en del av en attack i framtiden. Detta är inte en "svartlista", utan en heltäckande bild av servern i fråga ur säkerhetssynpunkt. Denna kontextuella information om aktiviteten hos dessa servrar gör det möjligt för Stealthwatchs maskininlärningsdetektorer och klassificerare att exakt förutsäga risknivån i samband med kommunikation med sådana servrar.
Du kan se tillgängliga kort .
Världskarta som visar 460 miljoner IP-adresser
Nu lär sig nätverket och står upp för att skydda ditt nätverk.
Äntligen har ett universalmedel hittats?
Olyckligtvis, ingen. Av erfarenhet av att arbeta med systemet kan jag säga att det finns 2 globala problem.
Problem 1. Pris. Hela nätverket är distribuerat på ett Cisco-system. Detta är både bra och dåligt. Den goda sidan är att du inte behöver bry dig om och installera en massa pluggar som D-Link, MikroTik, etc. Nackdelen är den enorma kostnaden för systemet. Med tanke på det ekonomiska tillståndet för rysk verksamhet är det för närvarande bara en rik ägare av ett stort företag eller bank som har råd med detta mirakel.
Problem 2: Träning. Jag skrev inte i artikeln träningsperioden för det neurala nätverket, men inte för att det inte finns, utan för att det lär sig hela tiden och vi kan inte förutse när det kommer att lära sig. Naturligtvis finns det verktyg för matematisk statistik (ta samma formulering av Pearsons konvergenskriterium), men dessa är halvmått. Vi får sannolikheten att filtrera trafik, och även då endast under förutsättning att attacken redan har bemästrats och känts.
Trots dessa 2 problem har vi tagit ett stort steg i utvecklingen av informationssäkerhet i allmänhet och nätverksskydd i synnerhet. Detta faktum kan vara motiverande för studiet av nätverksteknologier och neurala nätverk, som nu är en mycket lovande riktning.
Källa: will.com