Un sistema per analitzar el trànsit sense desxifrar-lo. Aquest mètode s'anomena simplement "aprenentatge automàtic". Va resultar que si un volum molt gran de trànsit divers s'alimenta a l'entrada d'un classificador especial, el sistema pot detectar les accions de codi maliciós dins del trànsit xifrat amb un alt grau de probabilitat.
Les amenaces en línia han canviat i s'han tornat més intel·ligents. Recentment, el concepte mateix d'atac i defensa ha canviat. El nombre d'esdeveniments a la xarxa ha augmentat significativament. Els atacs s'han tornat més sofisticats i els pirates informàtics tenen un abast més ampli.
Segons les estadístiques de Cisco, durant l'últim any, els atacants han triplicat el nombre de programari maliciós que utilitzen per a les seves activitats, o millor dit, xifratge per amagar-los. Se sap per teoria que l'algoritme de xifratge "correcte" no es pot trencar. Per entendre què s'amaga dins del trànsit xifrat, cal desxifrar-lo coneixent la clau, o intentar desxifrar-lo amb diferents trucs, o piratejar directament, o bé utilitzant algun tipus de vulnerabilitats en protocols criptogràfics.
Una imatge de les amenaces de la xarxa del nostre temps
Aprenentatge automàtic
Coneix la tecnologia en persona! Abans de parlar de com funciona la tecnologia de desxifrat basada en l'aprenentatge automàtic, cal entendre com funciona la tecnologia de la xarxa neuronal.
L'aprenentatge automàtic és una subsecció àmplia de la intel·ligència artificial que estudia mètodes per construir algorismes que poden aprendre. Aquesta ciència té com a objectiu crear models matemàtics per "entrenar" un ordinador. El propòsit de l'aprenentatge és predir alguna cosa. En la comprensió humana, anomenem aquest procés la paraula "saviesa". La saviesa es manifesta en persones que han viscut durant força temps (un nen de 2 anys no pot ser savi). Quan recorrem als companys majors per demanar consell, els donem informació sobre l'esdeveniment (dades d'entrada) i els demanem ajuda. Ells, al seu torn, recorden totes les situacions de la vida que d'alguna manera estan relacionades amb el teu problema (base de coneixement) i, a partir d'aquests coneixements (dades), ens fan una mena de predicció (consell). Aquest tipus de consells es va començar a anomenar predicció perquè qui dona el consell no sap del cert què passarà, sinó que només assumeix. L'experiència de la vida mostra que una persona pot tenir raó o pot estar equivocat.
No hauríeu de comparar les xarxes neuronals amb l'algorisme de ramificació (si-else). Són coses diferents i hi ha diferències clau. L'algoritme de ramificació té una "comprensió" clara del que cal fer. Ho demostraré amb exemples.
Tasca. Determineu la distància de frenada d'un cotxe en funció de la seva marca i any de fabricació.
Un exemple de l'algorisme de ramificació. Si un cotxe és de la marca 1 i es va llançar el 2012, la seva distància de frenada és de 10 metres, en cas contrari, si el cotxe és de la marca 2 i es va llançar el 2011, etc.
Un exemple de xarxa neuronal. Recopilem dades sobre les distàncies de frenada dels cotxes durant els últims 20 anys. Per marca i any, elaborem una taula de la forma "marca-any de fabricació-distància de frenada". Emetem aquesta taula a la xarxa neuronal i comencem a ensenyar-la. L'entrenament es realitza de la següent manera: alimentem dades a la xarxa neuronal, però sense un recorregut de frenada. La neurona intenta predir quina serà la distància de frenada a partir de la taula carregada en ella. Pronostica alguna cosa i pregunta a l'usuari "Tinc raó?" Abans de la pregunta, crea una quarta columna, la columna d'endevinar. Si té raó, escriu 1 a la quarta columna, si s'equivoca, escriu 0. La xarxa neuronal passa al següent esdeveniment (encara que hagi comès un error). Així és com aprèn la xarxa i un cop finalitzada la formació (s'ha assolit un determinat criteri de convergència), enviem dades sobre el cotxe que ens interessa i finalment obtenim una resposta.
Per eliminar la pregunta sobre el criteri de convergència, explicaré que es tracta d'una fórmula derivada matemàticament per a l'estadística. Un exemple sorprenent de dues fórmules de convergència diferents. Vermell: convergència binària, blau: convergència normal.
Distribucions de probabilitat binomial i normal
Per fer-ho més clar, feu la pregunta "Quina probabilitat hi ha de conèixer un dinosaure?" Aquí hi ha 2 possibles respostes. Opció 1: molt petit (gràfic blau). Opció 2: una reunió o no (gràfic vermell).
Per descomptat, un ordinador no és una persona i aprèn de manera diferent. Hi ha 2 tipus d'entrenament de cavalls de ferro: aprenentatge basat en casos и aprenentatge deductiu.
L'ensenyament per precedent és una manera d'ensenyar utilitzant lleis matemàtiques. Els matemàtics recullen taules d'estadístiques, extreuen conclusions i carreguen el resultat a la xarxa neuronal, una fórmula per al càlcul.
Aprenentatge deductiu: l'aprenentatge es produeix completament a la neurona (des de la recollida de dades fins a la seva anàlisi). Aquí es forma una taula sense fórmula, però amb estadístiques.
Una visió àmplia de la tecnologia necessitaria un parell de dotzenes d'articles més. De moment, això serà suficient per a la nostra comprensió general.
Neuroplasticitat
En biologia hi ha aquest concepte: la neuroplasticitat. La neuroplasticitat és la capacitat de les neurones (cèl·lules cerebrals) per actuar "segons la situació". Per exemple, una persona que ha perdut la visió escolta els sons, olora i percep millor els objectes. Això es produeix pel fet que la part del cervell (part de les neurones) responsable de la visió redistribueix el seu treball a altres funcionalitats.
Un exemple sorprenent de neuroplasticitat a la vida és la piruleta BrainPort.
El 2009, la Universitat de Wisconsin a Madison va anunciar el llançament d'un nou dispositiu que desenvolupava les idees d'una "pantalla d'idioma": es deia BrainPort. BrainPort funciona segons el següent algorisme: el senyal de vídeo s'envia des de la càmera al processador, que controla el zoom, la brillantor i altres paràmetres de la imatge. També converteix els senyals digitals en impulsos elèctrics, assumint essencialment les funcions de la retina.
Piruleta BrainPort amb ulleres i càmera
BrainPort a la feina
El mateix amb un ordinador. Si la xarxa neuronal detecta un canvi en el procés, s'hi adapta. Aquest és l'avantatge clau de les xarxes neuronals en comparació amb altres algorismes: l'autonomia. Una mena d'humanitat.
Anàlisi de trànsit xifrat
L'anàlisi de trànsit xifrat forma part del sistema Stealthwatch. Stealthwatch és l'entrada de Cisco en solucions d'anàlisi i monitorització de seguretat que aprofita les dades de telemetria empresarial de la infraestructura de xarxa existent.
Stealthwatch Enterprise es basa en les eines Flow Rate License, Flow Collector, Management Console i Flow Sensor.
Interfície Cisco Stealthwatch
El problema amb el xifratge es va fer molt agut a causa del fet que es va començar a xifrar molt més trànsit. Anteriorment, només es xifrava el codi (la majoria), però ara tot el trànsit està xifrat i separar les dades "netes" dels virus s'ha tornat molt més difícil. Un exemple sorprenent és WannaCry, que va utilitzar Tor per ocultar la seva presència en línia.
Visualització del creixement del xifratge de trànsit a la xarxa
Xifrat en macroeconomia
El sistema d'anàlisi de trànsit xifrat (ETA) és necessari precisament per treballar amb trànsit xifrat sense desxifrar-lo. Els atacants són intel·ligents i utilitzen algorismes de xifratge resistents a la criptografia, i trencar-los no només és un problema, sinó que també és extremadament car per a les organitzacions.
El sistema funciona de la següent manera. Una mica de trànsit arriba a l'empresa. Inclou TLS (seguretat de la capa de transport). Suposem que el trànsit està xifrat. Estem intentant respondre una sèrie de preguntes sobre quin tipus de connexió es va fer.
Com funciona el sistema d'anàlisi de trànsit xifrat (ETA).
Per respondre aquestes preguntes utilitzem l'aprenentatge automàtic en aquest sistema. Es pren una investigació de Cisco i, a partir d'aquests estudis, es crea una taula a partir de 2 resultats: trànsit maliciós i "bon". Per descomptat, no sabem del cert quin tipus de trànsit ha entrat directament al sistema en el moment actual, però podem rastrejar l'historial del trànsit tant dins com fora de l'empresa utilitzant dades de l'escenari mundial. Al final d'aquesta etapa, obtenim una taula enorme amb dades.
A partir dels resultats de l'estudi, s'identifiquen trets característics: determinades regles que es poden escriure en forma matemàtica. Aquestes regles variaran molt en funció de diferents criteris: la mida dels fitxers transferits, el tipus de connexió, el país d'on prové aquest trànsit, etc. Com a resultat del treball, l'enorme taula es va convertir en un conjunt de fórmules. N'hi ha menys, però això no és suficient per a un treball còmode.
A continuació, s'aplica la tecnologia d'aprenentatge automàtic: convergència de fórmules i en funció del resultat de la convergència obtenim un disparador: un interruptor, on quan surten les dades obtenim un interruptor (bandera) en posició aixecada o baixada.
L'etapa resultant és l'obtenció d'un conjunt de disparadors que cobrien el 99% del trànsit.
Passos d'inspecció de trànsit a ETA
Com a resultat del treball, es resol un altre problema: un atac des de dins. Ja no cal que la gent del mig filtri el trànsit manualment (en aquest moment m'estic ofegant). En primer lloc, ja no necessiteu gastar molts diners en un administrador del sistema competent (continuo ofegant-me). En segon lloc, no hi ha perill de piratejar des de l'interior (almenys parcialment).
Concepte obsolet de l'home del mig
Ara, anem a esbrinar en què es basa el sistema.
El sistema funciona amb 4 protocols de comunicació: TCP/IP - protocol de transferència de dades d'Internet, DNS - servidor de noms de domini, TLS - protocol de seguretat de la capa de transport, SPLT (SpaceWire Physical Layer Tester) - provador de la capa de comunicació física.
Protocols de treball amb ETA
La comparació es fa comparant dades. Mitjançant els protocols TCP/IP, es comprova la reputació dels llocs (historial de visites, propòsit de la creació del lloc, etc.), gràcies al protocol DNS, podem descartar adreces de llocs "dolentes". El protocol TLS funciona amb l'empremta digital d'un lloc i verifica el lloc amb l'equip de resposta d'emergència informàtica (cert). L'últim pas per comprovar la connexió és comprovar a nivell físic. No s'especifiquen els detalls d'aquesta etapa, però el punt és el següent: comprovar les corbes sinus i cosinus de les corbes de transmissió de dades en instal·lacions oscil·logràfiques, és a dir. Gràcies a l'estructura de la sol·licitud a la capa física, determinem la finalitat de la connexió.
Com a resultat del funcionament del sistema, podem obtenir dades del trànsit xifrat. En examinar els paquets, podem llegir la màxima informació possible dels camps no xifrats del propi paquet. Inspeccionant el paquet a la capa física, descobrim les característiques del paquet (parcialment o completament). A més, no us oblideu de la reputació dels llocs. Si la sol·licitud prové d'alguna font .onion, no us hauríeu de confiar. Per facilitar el treball amb aquest tipus de dades, s'ha creat un mapa de riscos.
Resultat del treball d'ETA
I sembla que tot va bé, però parlem del desplegament de la xarxa.
Implementació física d'ETA
Aquí sorgeixen una sèrie de matisos i subtileses. En primer lloc, quan es crea aquest tipus de
xarxes amb programari d'alt nivell, és necessària la recollida de dades. Recolliu dades manualment completament
salvatge, però implementar un sistema de resposta ja és més interessant. En segon lloc, les dades
n'hi hauria d'haver molt, la qual cosa significa que els sensors de xarxa instal·lats han de funcionar
no només de manera autònoma, sinó també en un mode afinat, la qual cosa crea una sèrie de dificultats.
Sensors i sistema Stealthwatch
Instal·lar un sensor és una cosa, però configurar-lo és una tasca completament diferent. Per configurar sensors, hi ha un complex que funciona segons la següent topologia: ISR = Cisco Integrated Services Router; ASR = Encaminador de serveis d'agregació de Cisco; CSR = Encaminador de serveis al núvol de Cisco; WLC = Controlador de LAN sense fil de Cisco; IE = Commutador Ethernet industrial de Cisco; ASA = Cisco Adaptive Security Appliance; FTD = Cisco Firepower Threat Defense Solution; WSA = dispositiu de seguretat web; ISE = Motor de serveis d'identitat
Monitorització integral tenint en compte qualsevol dada telemètrica
Els administradors de xarxa comencen a experimentar arítmia a partir del nombre de paraules "Cisco" del paràgraf anterior. El preu d'aquest miracle no és petit, però no és del que estem parlant avui...
El comportament del pirata informàtic es modelarà de la següent manera. Stealthwatch supervisa acuradament l'activitat de tots els dispositius de la xarxa i és capaç de crear un patró de comportament normal. A més, aquesta solució proporciona una visió profunda del comportament inadequat conegut. La solució utilitza aproximadament 100 algorismes d'anàlisi o heurístiques diferents que aborden diferents tipus de comportament del trànsit, com ara escaneig, trames d'alarma de l'amfitrió, inicis de sessió de força bruta, sospita de captura de dades, sospita de fuga de dades, etc. Els esdeveniments de seguretat enumerats entren dins de la categoria d'alarmes lògiques d'alt nivell. Alguns esdeveniments de seguretat també poden activar una alarma per si mateixos. Així, el sistema és capaç de correlacionar múltiples incidents anòmals aïllats i reunir-los per determinar el possible tipus d'atac, així com vincular-lo a un dispositiu i usuari concrets (Figura 2). En el futur, l'incident es podrà estudiar al llarg del temps i tenint en compte les dades de telemetria associades. Això constitueix informació contextual en el seu millor moment. Els metges que examinen un pacient per entendre què passa no miren els símptomes de manera aïllada. Miren el panorama general per fer un diagnòstic. De la mateixa manera, Stealthwatch captura totes les activitats anòmales de la xarxa i les examina de manera holística per enviar alarmes conscients del context, ajudant així els professionals de la seguretat a prioritzar els riscos.
Detecció d'anomalies mitjançant modelització del comportament
El desplegament físic de la xarxa és el següent:
Opció de desplegament de la xarxa de sucursals (simplificada)
Opció de desplegament de la xarxa de sucursals
La xarxa s'ha desplegat, però la pregunta sobre la neurona continua oberta. Van organitzar una xarxa de transmissió de dades, van instal·lar sensors als llindars i van posar en marxa un sistema de recollida d'informació, però la neurona no va participar en l'assumpte. Adéu.
Xarxa neuronal multicapa
El sistema analitza el comportament dels usuaris i del dispositiu per detectar infeccions malicioses, comunicacions amb servidors de comandament i control, fuites de dades i aplicacions potencialment no desitjades que s'executen a la infraestructura de l'organització. Hi ha diverses capes de processament de dades on una combinació d'intel·ligència artificial, aprenentatge automàtic i tècniques d'estadística matemàtica ajuden la xarxa a autoaprendre la seva activitat normal perquè pugui detectar activitats malicioses.
El canal d'anàlisi de seguretat de la xarxa, que recull dades de telemetria de totes les parts de la xarxa estesa, inclòs el trànsit xifrat, és una característica única de Stealthwatch. Desenvolupa gradualment una comprensió del que és "anòmal", després classifica els elements individuals reals de "l'activitat d'amenaça" i, finalment, fa un judici final sobre si el dispositiu o l'usuari s'ha vist realment compromès. La capacitat d'ajuntar peces petites que formen l'evidència per prendre una decisió final sobre si un actiu s'ha vist compromès passa per una anàlisi i correlació molt acuradas.
Aquesta capacitat és important perquè una empresa típica pot rebre un gran nombre d'alarmes cada dia i és impossible investigar-ne totes perquè els professionals de la seguretat tenen recursos limitats. El mòdul d'aprenentatge automàtic processa grans quantitats d'informació gairebé en temps real per identificar incidents crítics amb un alt nivell de confiança, i també és capaç de proporcionar línies d'acció clares per a una resolució ràpida.
Fem una ullada més de prop a les nombroses tècniques d'aprenentatge automàtic utilitzades per Stealthwatch. Quan un incident s'envia al motor d'aprenentatge automàtic de Stealthwatch, passa per un embut d'anàlisi de seguretat que utilitza una combinació de tècniques d'aprenentatge automàtic supervisades i no supervisades.
Capacitats d'aprenentatge automàtic multinivell
Nivell 1. Detecció d'anomalies i modelització de confiança
En aquest nivell, el 99% del trànsit es descarta mitjançant detectors d'anomalies estadístiques. Aquests sensors junts formen models complexos del que és normal i del que, per contra, és anormal. Tanmateix, l'anormal no és necessàriament perjudicial. Molt del que passa a la vostra xarxa no té res a veure amb l'amenaça; és estrany. És important classificar aquests processos sense tenir en compte el comportament amenaçador. Per aquest motiu, els resultats d'aquests detectors s'analitzen més per tal de captar comportaments estranys que es puguin explicar i confiar. En última instància, només una petita fracció dels fils i peticions més importants arriba a les capes 2 i 3. Sense l'ús d'aquestes tècniques d'aprenentatge automàtic, els costos operatius de separar el senyal del soroll serien massa elevats.
Detecció d'anomalies. El primer pas en la detecció d'anomalies utilitza tècniques d'aprenentatge automàtic estadístic per separar el trànsit normal estadísticament del trànsit anòmal. Més de 70 detectors individuals processen les dades de telemetria que Stealthwatch recull al trànsit que passa pel perímetre de la vostra xarxa, separant el trànsit intern del sistema de noms de domini (DNS) de les dades del servidor intermediari, si n'hi ha. Cada sol·licitud és processada per més de 70 detectors, i cada detector utilitza el seu propi algorisme estadístic per formar una avaluació de les anomalies detectades. Aquestes puntuacions es combinen i s'utilitzen diversos mètodes estadístics per produir una única puntuació per a cada consulta individual. Aquesta puntuació agregada s'utilitza llavors per separar el trànsit normal i anòmal.
Modelant la confiança. A continuació, s'agrupen sol·licituds similars i es determina la puntuació d'anomalia agregada d'aquests grups com a mitjana a llarg termini. Amb el temps, s'analitzen més consultes per determinar la mitjana a llarg termini, reduint així els falsos positius i els falsos negatius. Els resultats del model de confiança s'utilitzen per seleccionar un subconjunt de trànsit la puntuació d'anomalia del qual supera algun llindar determinat dinàmicament per passar al següent nivell de processament.
Nivell 2. Classificació d'esdeveniments i modelatge d'objectes
En aquest nivell, els resultats obtinguts en les etapes anteriors es classifiquen i s'assignen a esdeveniments maliciosos concrets. Els esdeveniments es classifiquen en funció del valor assignat pels classificadors d'aprenentatge automàtic per garantir una taxa de precisió constant per sobre del 90%. Entre ells:
- models lineals basats en el lema de Neyman-Pearson (la llei de la distribució normal del gràfic de l'inici de l'article)
- donar suport a màquines vectorials mitjançant aprenentatge multivariant
- xarxes neuronals i l'algorisme forestal aleatori.
Aquests esdeveniments de seguretat aïllats s'associen amb un únic punt final al llarg del temps. És en aquesta etapa que es forma una descripció de l'amenaça, a partir de la qual es crea una imatge completa de com l'atacant rellevant ha aconseguit aconseguir determinats resultats.
Classificació d'esdeveniments. El subconjunt estadísticament anòmal del nivell anterior es distribueix en 100 o més categories mitjançant classificadors. La majoria dels classificadors es basen en el comportament individual, les relacions de grup o el comportament a escala global o local, mentre que altres poden ser força específics. Per exemple, el classificador podria indicar trànsit C&C, una extensió sospitosa o una actualització de programari no autoritzada. A partir dels resultats d'aquesta etapa, es forma un conjunt d'esdeveniments anòmals en el sistema de seguretat, classificats en determinades categories.
Modelatge d'objectes. Si la quantitat d'evidència que recolza la hipòtesi que un determinat objecte és nociu supera el llindar de materialitat, es determina una amenaça. Els esdeveniments rellevants que van influir en la definició d'una amenaça s'associen amb aquesta amenaça i formen part d'un model discret a llarg termini de l'objecte. A mesura que l'evidència s'acumula amb el temps, el sistema identifica noves amenaces quan s'arriba al llindar de materialitat. Aquest valor llindar és dinàmic i s'ajusta de manera intel·ligent en funció del nivell de risc d'amenaça i altres factors. Després d'això, l'amenaça apareix al tauler d'informació de la interfície web i es transfereix al següent nivell.
Nivell 3. Modelització de relacions
La finalitat de la modelització de relacions és sintetitzar els resultats obtinguts a nivells anteriors des d'una perspectiva global, tenint en compte no només el context local sinó també global de l'incident rellevant. És en aquesta etapa que podeu determinar quantes organitzacions s'han trobat amb un atac d'aquest tipus per entendre si estava dirigit específicament a vosaltres o si forma part d'una campanya global, i us acabeu d'enganxar.
Es confirmen o es descobreixen incidències. Un incident verificat implica una confiança del 99 al 100% perquè les tècniques i eines associades s'han observat prèviament en acció a una escala (global) més gran. Els incidents detectats són únics per a vosaltres i formen part d'una campanya molt orientada. Les troballes anteriors es comparteixen amb un curs d'acció conegut, la qual cosa us estalvia temps i recursos com a resposta. Venen amb les eines d'investigació que necessiteu per entendre qui us ha atacat i fins a quin punt la campanya s'adreçava al vostre negoci digital. Com us podeu imaginar, el nombre d'incidències confirmades supera amb escreix el nombre d'incidències detectades per la senzilla raó que les incidències confirmades no suposen gaire cost per als atacants, mentre que les incidències detectades sí.
cars perquè han de ser nous i personalitzats. En crear la capacitat d'identificar incidents confirmats, l'economia del joc finalment ha canviat a favor dels defensors, donant-los un avantatge evident.
Formació multinivell d'un sistema de connexió neuronal basat en ETA
Mapa de risc global
El mapa de risc global es crea mitjançant l'anàlisi aplicada per algorismes d'aprenentatge automàtic a un dels conjunts de dades més grans d'aquest tipus del sector. Proporciona estadístiques de comportament exhaustives sobre els servidors d'Internet, encara que siguin desconeguts. Aquests servidors s'associen a atacs i poden estar implicats o utilitzats com a part d'un atac en el futur. Aquesta no és una "llista negra", sinó una imatge completa del servidor en qüestió des del punt de vista de la seguretat. Aquesta informació contextual sobre l'activitat d'aquests servidors permet als detectors i classificadors d'aprenentatge automàtic de Stealthwatch predir amb precisió el nivell de risc associat a les comunicacions amb aquests servidors.
Podeu veure les targetes disponibles .
Mapa del món que mostra 460 milions d'adreces IP
Ara la xarxa aprèn i s'aixeca per protegir la vostra xarxa.
Finalment, s'ha trobat una panacea?
Desafortunadament, нет. Per experiència treballant amb el sistema, puc dir que hi ha 2 problemes globals.
Problema 1. Preu. Tota la xarxa es desplega en un sistema Cisco. Això és bo i dolent. El costat bo és que no us haureu de molestar i instal·lar un munt d'endolls com D-Link, MikroTik, etc. L'inconvenient és l'enorme cost del sistema. Tenint en compte l'estat econòmic dels negocis russos, en l'actualitat només un ric propietari d'una gran empresa o banc es pot permetre aquest miracle.
Problema 2: Formació. No he escrit a l'article el període d'entrenament de la xarxa neuronal, però no perquè no existeixi, sinó perquè està aprenent tot el temps i no podem predir quan aprendrà. Per descomptat, hi ha eines d'estadística matemàtica (prengui la mateixa formulació del criteri de convergència de Pearson), però aquestes són mitges mesures. Tenim la probabilitat de filtrar el trànsit, i fins i tot només amb la condició que l'atac ja s'hagi dominat i conegut.
Malgrat aquests 2 problemes, hem fet un gran salt en el desenvolupament de la seguretat de la informació en general i la protecció de xarxes en particular. Aquest fet pot ser motivador per a l'estudi de les tecnologies de xarxa i les xarxes neuronals, que ara són una direcció molt prometedora.
Font: www.habr.com