Un sistema para analizar el tráfico sin descifrarlo. Este método se llama simplemente "aprendizaje automático". Resultó que si se introduce un volumen muy grande de tráfico variado en la entrada de un clasificador especial, el sistema puede detectar las acciones de código malicioso dentro del tráfico cifrado con un grado de probabilidad muy alto.
Las amenazas en línea han cambiado y se han vuelto más inteligentes. Recientemente, el concepto mismo de ataque y defensa ha cambiado. El número de eventos en la red ha aumentado significativamente. Los ataques se han vuelto más sofisticados y los piratas informáticos tienen un alcance más amplio.
Según las estadísticas de Cisco, durante el año pasado, los atacantes han triplicado la cantidad de malware que utilizan para sus actividades, o mejor dicho, cifrado para ocultarlas. Se sabe por la teoría que el algoritmo de cifrado "correcto" no se puede romper. Para comprender lo que se esconde dentro del tráfico cifrado, es necesario descifrarlo conociendo la clave, o intentar descifrarlo utilizando varios trucos, pirateando directamente o utilizando algún tipo de vulnerabilidad en los protocolos criptográficos.
Una imagen de las amenazas a las redes de nuestro tiempo
Aprendizaje automático
¡Conozca la tecnología en persona! Antes de hablar sobre cómo funciona la tecnología de descifrado basada en el aprendizaje automático, es necesario comprender cómo funciona la tecnología de redes neuronales.
Machine Learning es una subsección amplia de inteligencia artificial que estudia métodos para construir algoritmos que puedan aprender. Esta ciencia tiene como objetivo crear modelos matemáticos para "entrenar" una computadora. El propósito del aprendizaje es predecir algo. En el entendimiento humano, llamamos a este proceso la palabra "sabiduría". La sabiduría se manifiesta en personas que han vivido bastante tiempo (un niño de 2 años no puede ser sabio). Cuando pedimos consejo a camaradas mayores, les damos alguna información sobre el evento (datos de entrada) y les pedimos ayuda. Ellos, a su vez, recuerdan todas las situaciones de la vida que de alguna manera están relacionadas con su problema (base de conocimientos) y, a partir de este conocimiento (datos), nos dan una especie de predicción (consejo). A este tipo de consejos se les empezó a llamar predicción porque quien da el consejo no sabe a ciencia cierta lo que sucederá, sino que sólo supone. La experiencia de la vida muestra que una persona puede tener razón o equivocarse.
No debes comparar las redes neuronales con el algoritmo de ramificación (if-else). Estas son cosas diferentes y existen diferencias clave. El algoritmo de ramificación tiene una "comprensión" clara de qué hacer. Lo demostraré con ejemplos.
Tarea. Determine la distancia de frenado de un automóvil según su marca y año de fabricación.
Un ejemplo del algoritmo de ramificación. Si un automóvil es de la marca 1 y fue lanzado en 2012, su distancia de frenado es de 10 metros, en caso contrario, si el automóvil es de la marca 2 y fue lanzado en 2011, y así sucesivamente.
Un ejemplo de una red neuronal. Recopilamos datos sobre las distancias de frenado de los automóviles durante los últimos 20 años. Por marca y año elaboramos una tabla del tipo “marca-año de fabricación-distancia de frenado”. Entregamos esta tabla a la red neuronal y comenzamos a enseñarla. El entrenamiento se lleva a cabo de la siguiente manera: alimentamos datos a la red neuronal, pero sin una ruta de frenado. La neurona intenta predecir cuál será la distancia de frenado en función de la tabla cargada en ella. Predice algo y pregunta al usuario "¿Estoy en lo cierto?" Antes de la pregunta, crea una cuarta columna, la columna de adivinanzas. Si tiene razón, escribe 1 en la cuarta columna; si se equivoca, escribe 0. La red neuronal pasa al siguiente evento (incluso si cometió un error). Así aprende la red y cuando finaliza el entrenamiento (se ha alcanzado un determinado criterio de convergencia), enviamos datos sobre el coche que nos interesa y finalmente obtenemos una respuesta.
Para eliminar la pregunta sobre el criterio de convergencia, explicaré que se trata de una fórmula estadística derivada matemáticamente. Un ejemplo sorprendente de dos fórmulas de convergencia diferentes. Rojo – convergencia binaria, azul – convergencia normal.
Distribuciones de probabilidad binomial y normal.
Para que quede más claro, haga la pregunta "¿Cuál es la probabilidad de encontrar un dinosaurio?" Hay 2 posibles respuestas aquí. Opción 1: muy pequeña (gráfico azul). Opción 2: reunión o no (gráfico rojo).
Por supuesto, una computadora no es una persona y aprende de manera diferente. Hay 2 tipos de entrenamiento del caballo de hierro: aprendizaje basado en casos и aprendizaje deductivo.
Enseñar por precedentes es una forma de enseñar utilizando leyes matemáticas. Los matemáticos recopilan tablas estadísticas, sacan conclusiones y cargan el resultado en la red neuronal: una fórmula de cálculo.
Aprendizaje deductivo: el aprendizaje ocurre íntegramente en la neurona (desde la recopilación de datos hasta su análisis). Aquí se forma una tabla sin fórmula, pero con estadísticas.
Una visión general amplia de la tecnología requeriría un par de docenas de artículos más. Por ahora, esto será suficiente para nuestra comprensión general.
Neuroplasticidad
En biología existe tal concepto: la neuroplasticidad. La neuroplasticidad es la capacidad de las neuronas (células cerebrales) de actuar “según la situación”. Por ejemplo, una persona que ha perdido la vista oye mejor los sonidos, los olores y siente los objetos. Esto se debe a que la parte del cerebro (parte de las neuronas) responsable de la visión redistribuye su trabajo hacia otras funciones.
Un ejemplo sorprendente de neuroplasticidad en la vida es la paleta BrainPort.
En 2009, la Universidad de Wisconsin en Madison anunció el lanzamiento de un nuevo dispositivo que desarrolló la idea de una "visualización de idioma": se llamó BrainPort. BrainPort funciona según el siguiente algoritmo: la señal de vídeo se envía desde la cámara al procesador, que controla el zoom, el brillo y otros parámetros de la imagen. También convierte señales digitales en impulsos eléctricos, asumiendo esencialmente las funciones de la retina.
Piruleta BrainPort con gafas y cámara
BrainPort en funcionamiento
Lo mismo con una computadora. Si la red neuronal detecta un cambio en el proceso, se adapta a él. Ésta es la ventaja clave de las redes neuronales en comparación con otros algoritmos: la autonomía. Una especie de humanidad.
Análisis de tráfico cifrado
Encrypted Traffic Analytics es parte del sistema Stealthwatch. Stealthwatch es la entrada de Cisco en soluciones de análisis y monitoreo de seguridad que aprovecha los datos de telemetría empresarial de la infraestructura de red existente.
Stealthwatch Enterprise se basa en las herramientas Flow Rate License, Flow Collector, Management Console y Flow Sensor.
Interfaz de vigilancia sigilosa de Cisco
El problema con el cifrado se agudizó debido al hecho de que se empezó a cifrar mucho más tráfico. Anteriormente, solo se cifraba el código (en su mayoría), pero ahora todo el tráfico está cifrado y separar los datos "limpios" de los virus se ha vuelto mucho más difícil. Un ejemplo sorprendente es WannaCry, que utilizó Tor para ocultar su presencia en línea.
Visualización del crecimiento del cifrado del tráfico en la red.
Cifrado en macroeconomía
El sistema Encrypted Traffic Analytics (ETA) es necesario precisamente para trabajar con tráfico cifrado sin descifrarlo. Los atacantes son inteligentes y utilizan algoritmos de cifrado resistentes a las criptomonedas, y romperlos no sólo es un problema, sino también extremadamente costoso para las organizaciones.
El sistema funciona de la siguiente manera. Algo de tráfico llega a la empresa. Cae en TLS (seguridad de la capa de transporte). Digamos que el tráfico está cifrado. Estamos tratando de responder una serie de preguntas sobre qué tipo de conexión se estableció.
Cómo funciona el sistema de análisis de tráfico cifrado (ETA)
Para responder a estas preguntas utilizamos el aprendizaje automático en este sistema. Se toma una investigación de Cisco y, en base a estos estudios, se crea una tabla a partir de 2 resultados: tráfico malicioso y "bueno". Por supuesto, no sabemos con certeza qué tipo de tráfico ingresó directamente al sistema en el momento actual, pero podemos rastrear el historial del tráfico tanto dentro como fuera de la empresa utilizando datos del escenario mundial. Al final de esta etapa, obtenemos una tabla enorme con datos.
Según los resultados del estudio, se identifican rasgos característicos: ciertas reglas que se pueden escribir en forma matemática. Estas reglas variarán mucho dependiendo de diferentes criterios: el tamaño de los archivos transferidos, el tipo de conexión, el país de donde proviene este tráfico, etc. Como resultado del trabajo, la enorme mesa se convirtió en un montón de fórmulas. Hay menos, pero esto no es suficiente para un trabajo cómodo.
A continuación, se aplica la tecnología de aprendizaje automático: convergencia de fórmulas y, según el resultado de la convergencia, obtenemos un disparador, un interruptor, donde cuando se emiten los datos obtenemos un interruptor (bandera) en la posición elevada o bajada.
La etapa resultante es la obtención de un conjunto de triggers que cubrieron el 99% del tráfico.
Pasos de la inspección de tráfico en ETA
Como resultado del trabajo, se resuelve otro problema: un ataque desde dentro. Ya no es necesario que las personas en el medio filtren el tráfico manualmente (me estoy ahogando en este punto). En primer lugar, ya no es necesario gastar mucho dinero en un administrador de sistemas competente (sigo ahogándome). En segundo lugar, no existe peligro de piratería desde el interior (al menos parcialmente).
Concepto obsoleto de intermediario
Ahora, averigüemos en qué se basa el sistema.
El sistema funciona con 4 protocolos de comunicación: TCP/IP – protocolo de transferencia de datos de Internet, DNS – servidor de nombres de dominio, TLS – protocolo de seguridad de la capa de transporte, SPLT (SpaceWire Physical Layer Tester) – probador de la capa de comunicación física.
Protocolos de trabajo con ETA
La comparación se realiza comparando datos. Utilizando los protocolos TCP/IP se comprueba la reputación de los sitios (historial de visitas, propósito de creación del sitio, etc.), gracias al protocolo DNS podemos descartar direcciones de sitios “malas”. El protocolo TLS funciona con la huella digital de un sitio y lo verifica con un equipo de respuesta a emergencias informáticas (certificado). El último paso para verificar la conexión es verificar a nivel físico. No se especifican los detalles de esta etapa, pero el objetivo es el siguiente: comprobar las curvas seno y coseno de las curvas de transmisión de datos en instalaciones oscilográficas, es decir. Gracias a la estructura de la solicitud en la capa física, determinamos el propósito de la conexión.
Como resultado del funcionamiento del sistema, podemos obtener datos del tráfico cifrado. Al examinar los paquetes, podemos leer la mayor cantidad de información posible de los campos no cifrados del propio paquete. Al inspeccionar el paquete en la capa física, descubrimos las características del paquete (parcial o totalmente). Además, no te olvides de la reputación de los sitios. Si la solicitud provino de alguna fuente .onion, no debes confiar en ella. Para facilitar el trabajo con este tipo de datos se ha creado un mapa de riesgos.
Resultado del trabajo de ETA
Y todo parece ir bien, pero hablemos del despliegue de red.
Implementación física de ETA
Aquí surgen una serie de matices y sutilezas. En primer lugar, al crear este tipo de
redes con software de alto nivel, se requiere recopilación de datos. Recopilar datos manualmente por completo.
Es una locura, pero implementar un sistema de respuesta ya es más interesante. En segundo lugar, los datos
debería haber muchos, lo que significa que los sensores de red instalados deben funcionar
no sólo de forma autónoma, sino también en un modo ajustado, lo que crea una serie de dificultades.
Sensores y sistema Stealthwatch.
Instalar un sensor es una cosa, pero configurarlo es una tarea completamente diferente. Para configurar los sensores, existe un complejo que opera según la siguiente topología: ISR = Cisco Integrated Services Router; ASR = enrutador de servicios de agregación de Cisco; CSR = enrutador de servicios en la nube de Cisco; WLC = Controlador de LAN inalámbrica de Cisco; IE = conmutador Ethernet industrial de Cisco; ASA = Dispositivo de seguridad adaptable de Cisco; FTD = Solución de defensa contra amenazas de Cisco Firepower; WSA = Dispositivo de seguridad web; ISE = Motor de servicios de identidad
Monitorización integral teniendo en cuenta cualquier dato telemétrico
Los administradores de red comienzan a experimentar arritmia por la cantidad de palabras “Cisco” en el párrafo anterior. El precio de este milagro no es pequeño, pero no es de eso de lo que hablamos hoy...
El comportamiento del hacker se modelará de la siguiente manera. Stealthwatch monitorea cuidadosamente la actividad de cada dispositivo en la red y es capaz de crear un patrón de comportamiento normal. Además, esta solución proporciona una visión profunda del comportamiento inapropiado conocido. La solución utiliza aproximadamente 100 algoritmos de análisis diferentes o heurísticas que abordan diferentes tipos de comportamiento del tráfico, como escaneo, marcos de alarma del host, inicios de sesión por fuerza bruta, captura de datos sospechosos, fuga de datos sospechados, etc. Los eventos de seguridad enumerados pertenecen a la categoría de alarmas lógicas de alto nivel. Algunos eventos de seguridad también pueden activar una alarma por sí solos. Así, el sistema es capaz de correlacionar múltiples incidentes anómalos aislados y juntarlos para determinar el posible tipo de ataque, así como vincularlo a un dispositivo y usuario específicos (Figura 2). En el futuro se podrá estudiar la incidencia en el tiempo y teniendo en cuenta los datos de telemetría asociados. Esto constituye información contextual en su máxima expresión. Los médicos que examinan a un paciente para comprender qué sucede no analizan los síntomas de forma aislada. Miran el panorama general para hacer un diagnóstico. Asimismo, Stealthwatch captura cada actividad anómala en la red y la examina de manera integral para enviar alarmas contextuales, ayudando así a los profesionales de seguridad a priorizar los riesgos.
Detección de anomalías mediante modelado de comportamiento.
El despliegue físico de la red se ve así:
Opción de implementación de red de sucursales (simplificada)
Opción de implementación de red de sucursales
La red ya está desplegada, pero la cuestión de la neurona sigue abierta. Organizaron una red de transmisión de datos, instalaron sensores en los umbrales y pusieron en marcha un sistema de recogida de información, pero la neurona no intervino en el asunto. Adiós.
Red neuronal multicapa
El sistema analiza el comportamiento del usuario y del dispositivo para detectar infecciones maliciosas, comunicaciones con servidores de comando y control, fugas de datos y aplicaciones potencialmente no deseadas que se ejecutan en la infraestructura de la organización. Existen múltiples capas de procesamiento de datos donde una combinación de inteligencia artificial, aprendizaje automático y técnicas de estadística matemática ayudan a la red a aprender por sí misma su actividad normal para que pueda detectar actividad maliciosa.
El canal de análisis de seguridad de la red, que recopila datos de telemetría de todas las partes de la red extendida, incluido el tráfico cifrado, es una característica única de Stealthwatch. Desarrolla gradualmente una comprensión de lo que es "anómalo", luego clasifica los elementos individuales reales de la "actividad de amenaza" y finalmente emite un juicio final sobre si el dispositivo o el usuario realmente se ha visto comprometido. La capacidad de juntar pequeñas piezas que en conjunto forman la evidencia para tomar una decisión final sobre si un activo ha sido comprometido se logra a través de un análisis y una correlación muy cuidadosos.
Esta capacidad es importante porque una empresa típica puede recibir una gran cantidad de alarmas todos los días y es imposible investigar todas y cada una de ellas porque los profesionales de seguridad tienen recursos limitados. El módulo de aprendizaje automático procesa grandes cantidades de información casi en tiempo real para identificar incidentes críticos con un alto nivel de confianza y también puede proporcionar cursos de acción claros para una resolución rápida.
Echemos un vistazo más de cerca a las numerosas técnicas de aprendizaje automático utilizadas por Stealthwatch. Cuando un incidente se envía al motor de aprendizaje automático de Stealthwatch, pasa por un embudo de análisis de seguridad que utiliza una combinación de técnicas de aprendizaje automático supervisadas y no supervisadas.
Capacidades de aprendizaje automático multinivel
Nivel 1. Detección de anomalías y modelado de confianza.
En este nivel, el 99% del tráfico se descarta mediante detectores de anomalías estadísticas. Estos sensores juntos forman modelos complejos de lo que es normal y lo que, por el contrario, es anormal. Sin embargo, lo anormal no es necesariamente dañino. Mucho de lo que sucede en su red no tiene nada que ver con la amenaza; es simplemente extraño. Es importante clasificar tales procesos sin tener en cuenta el comportamiento amenazante. Por esta razón, los resultados de dichos detectores se analizan más a fondo para capturar comportamientos extraños que puedan explicarse y ser confiables. En última instancia, sólo una pequeña fracción de los hilos y solicitudes más importantes llegan a las capas 2 y 3. Sin el uso de tales técnicas de aprendizaje automático, los costos operativos de separar la señal del ruido serían demasiado altos.
Detección de anomalías. El primer paso en la detección de anomalías utiliza técnicas estadísticas de aprendizaje automático para separar el tráfico estadísticamente normal del tráfico anómalo. Más de 70 detectores individuales procesan los datos de telemetría que Stealthwatch recopila sobre el tráfico que pasa a través del perímetro de su red, separando el tráfico interno del Sistema de nombres de dominio (DNS) de los datos del servidor proxy, si los hay. Cada solicitud es procesada por más de 70 detectores, y cada detector utiliza su propio algoritmo estadístico para realizar una evaluación de las anomalías detectadas. Estas puntuaciones se combinan y se utilizan múltiples métodos estadísticos para producir una puntuación única para cada consulta individual. Esta puntuación agregada se utiliza luego para separar el tráfico normal y anómalo.
Modelando la confianza. A continuación, se agrupan solicitudes similares y la puntuación agregada de anomalías para dichos grupos se determina como un promedio a largo plazo. Con el tiempo, se analizan más consultas para determinar el promedio a largo plazo, reduciendo así los falsos positivos y los falsos negativos. Los resultados del modelado de confianza se utilizan para seleccionar un subconjunto de tráfico cuya puntuación de anomalía excede algún umbral determinado dinámicamente para pasar al siguiente nivel de procesamiento.
Nivel 2. Clasificación de eventos y modelado de objetos.
En este nivel se clasifican los resultados obtenidos en las etapas anteriores y se asignan a eventos maliciosos específicos. Los eventos se clasifican según el valor asignado por los clasificadores de aprendizaje automático para garantizar una tasa de precisión constante superior al 90 %. Entre ellos:
- Modelos lineales basados en el lema de Neyman-Pearson (la ley de distribución normal del gráfico al principio del artículo)
- máquinas de vectores de soporte mediante aprendizaje multivariado
- Redes neuronales y algoritmo de bosque aleatorio.
Estos eventos de seguridad aislados se asocian luego con un único punto final a lo largo del tiempo. Es en esta etapa cuando se forma una descripción de la amenaza, a partir de la cual se crea una imagen completa de cómo el atacante en cuestión logró lograr ciertos resultados.
Clasificación de eventos. El subconjunto estadísticamente anómalo del nivel anterior se distribuye en 100 o más categorías mediante clasificadores. La mayoría de los clasificadores se basan en el comportamiento individual, las relaciones grupales o el comportamiento a escala global o local, mientras que otros pueden ser bastante específicos. Por ejemplo, el clasificador podría indicar tráfico de C&C, una extensión sospechosa o una actualización de software no autorizada. A partir de los resultados de esta etapa se forma un conjunto de eventos anómalos en el sistema de seguridad, clasificados en determinadas categorías.
Modelado de objetos. Si la cantidad de evidencia que respalda la hipótesis de que un objeto en particular es dañino excede el umbral de materialidad, se determina una amenaza. Los eventos relevantes que influyeron en la definición de una amenaza se asocian con dicha amenaza y pasan a formar parte de un modelo discreto a largo plazo del objeto. A medida que la evidencia se acumula con el tiempo, el sistema identifica nuevas amenazas cuando se alcanza el umbral de materialidad. Este valor umbral es dinámico y se ajusta de forma inteligente en función del nivel de riesgo de amenaza y otros factores. Después de esto, la amenaza aparece en el panel de información de la interfaz web y se transfiere al siguiente nivel.
Nivel 3. Modelado de relaciones
El propósito del modelado de relaciones es sintetizar los resultados obtenidos en niveles anteriores desde una perspectiva global, teniendo en cuenta no sólo el contexto local sino también global del incidente relevante. Es en esta etapa que puede determinar cuántas organizaciones se han enfrentado a un ataque de este tipo para comprender si estaba dirigido específicamente a usted o si es parte de una campaña global y simplemente lo atraparon.
Los incidentes se confirman o descubren. Un incidente verificado implica una confianza del 99 al 100% porque las técnicas y herramientas asociadas se han observado previamente en acción a una escala mayor (global). Los incidentes detectados son únicos para usted y forman parte de una campaña altamente específica. Los hallazgos anteriores se comparten con un curso de acción conocido, lo que le ahorra tiempo y recursos en respuesta. Vienen con las herramientas de investigación que necesita para comprender quién lo atacó y en qué medida la campaña estaba dirigida a su negocio digital. Como puedes imaginar, el número de incidentes confirmados supera con creces el número de incidentes detectados por la sencilla razón de que los incidentes confirmados no suponen mucho coste para los atacantes, mientras que los incidentes detectados sí.
caro porque tienen que ser nuevos y personalizados. Al crear la capacidad de identificar incidentes confirmados, la economía del juego finalmente se ha inclinado a favor de los defensores, dándoles una clara ventaja.
Entrenamiento multinivel de un sistema de conexión neuronal basado en ETA
Mapa de riesgo global
El mapa de riesgo global se crea mediante el análisis aplicado mediante algoritmos de aprendizaje automático a uno de los conjuntos de datos más grandes de su tipo en la industria. Proporciona amplias estadísticas de comportamiento de los servidores en Internet, incluso si son desconocidos. Dichos servidores están asociados con ataques y pueden participar o utilizarse como parte de un ataque en el futuro. No se trata de una "lista negra", sino de una imagen completa del servidor en cuestión desde el punto de vista de la seguridad. Esta información contextual sobre la actividad de estos servidores permite a los detectores y clasificadores de aprendizaje automático de Stealthwatch predecir con precisión el nivel de riesgo asociado con las comunicaciones con dichos servidores.
Puedes ver las tarjetas disponibles .
Mapa mundial que muestra 460 millones de direcciones IP
Ahora la red aprende y se pone de pie para proteger su red.
¿Por fin se ha encontrado una panacea?
Desafortunadamente, no. Por experiencia trabajando con el sistema, puedo decir que hay 2 problemas globales.
Problema 1. Precio. Toda la red está implementada en un sistema Cisco. Esto es bueno y malo. Lo bueno es que no tienes que molestarte en instalar un montón de enchufes como D-Link, MikroTik, etc. La desventaja es el enorme coste del sistema. Teniendo en cuenta la situación económica de las empresas rusas, en la actualidad sólo un rico propietario de una gran empresa o banco puede permitirse este milagro.
Problema 2: Formación. No escribí en el artículo el período de entrenamiento de la red neuronal, pero no porque no exista, sino porque está aprendiendo todo el tiempo y no podemos predecir cuándo aprenderá. Por supuesto, existen herramientas de estadística matemática (tomemos la misma formulación del criterio de convergencia de Pearson), pero son medidas a medias. Obtenemos la probabilidad de filtrar el tráfico, y aun así sólo con la condición de que el ataque ya haya sido dominado y conocido.
A pesar de estos 2 problemas, hemos dado un gran salto en el desarrollo de la seguridad de la información en general y de la protección de la red en particular. Este hecho puede ser motivador para el estudio de tecnologías de redes y redes neuronales, que ahora representan una dirección muy prometedora.
Fuente: habr.com