Un sistema para analizar o tráfico sen descifralo. Este método chámase simplemente "aprendizaxe automática". Resultou que se un volume moi grande de varios tráficos se alimenta á entrada dun clasificador especial, o sistema pode detectar as accións de código malicioso dentro do tráfico cifrado cun alto grao de probabilidade.
As ameazas en liña cambiaron e fanse máis intelixentes. Recentemente, o propio concepto de ataque e defensa cambiou. O número de eventos na rede aumentou significativamente. Os ataques volvéronse máis sofisticados e os hackers teñen un alcance máis amplo.
Segundo as estatísticas de Cisco, durante o ano pasado, os atacantes triplicaron o número de malware que usan para as súas actividades, ou mellor dito, o cifrado para ocultalos. Sábese pola teoría que o algoritmo de cifrado "correcto" non se pode romper. Para comprender o que se agocha dentro do tráfico cifrado, é necesario ou ben descifralo coñecendo a clave, ou ben tentar descifralo mediante varios trucos, ou hackeando directamente, ou utilizando algún tipo de vulnerabilidades en protocolos criptográficos.
Unha imaxe das ameazas da rede do noso tempo
Aprendizaxe automática
Coñece a tecnoloxía en persoa! Antes de falar de como funciona a propia tecnoloxía de descifrado baseada na aprendizaxe automática, é necesario comprender como funciona a tecnoloxía de redes neuronais.
A aprendizaxe automática é unha ampla subsección da intelixencia artificial que estuda métodos para construír algoritmos que poidan aprender. Esta ciencia ten como obxectivo crear modelos matemáticos para "adestrar" unha computadora. O propósito da aprendizaxe é predicir algo. Na comprensión humana, chamamos a este proceso a palabra "sabedoría". A sabedoría maniféstase en persoas que viviron durante bastante tempo (un neno de 2 anos non pode ser sabio). Cando recorremos aos compañeiros maiores para pedir consello, dámoslles información sobre o evento (datos de entrada) e pedímoslles axuda. Eles, á súa vez, lembran todas as situacións da vida que dalgún xeito están relacionadas co teu problema (base de coñecemento) e, en función deste coñecemento (datos), dannos unha especie de predición (consello). A este tipo de consellos comezouse a chamar predicción porque quen dá o consello non sabe con certeza o que pasará, senón que só asume. A experiencia da vida demostra que unha persoa pode ter razón ou pode estar equivocada.
Non debería comparar as redes neuronais co algoritmo de ramificación (se non). Son cousas diferentes e hai diferenzas fundamentais. O algoritmo de ramificación ten unha clara "comprensión" do que facer. Vou demostrar con exemplos.
Tarefa. Determina a distancia de freada dun coche en función da súa marca e ano de fabricación.
Un exemplo do algoritmo de ramificación. Se un coche é da marca 1 e foi lanzado en 2012, a súa distancia de freada é de 10 metros, en caso contrario, se o coche é da marca 2 e foi lanzado en 2011, etc.
Un exemplo de rede neuronal. Recopilamos datos sobre as distancias de freada dos coches nos últimos 20 anos. Por marca e ano, elaboramos unha táboa coa forma "marca-ano de fabricación-distancia de freado". Emitimos esta táboa á rede neuronal e comezamos a ensinala. O adestramento realízase do seguinte xeito: alimentamos os datos á rede neuronal, pero sen unha vía de freada. A neurona tenta predicir cal será a distancia de freada en función da táboa cargada nela. Predí algo e pregúntalle ao usuario "Estou ben?" Antes da pregunta, ela crea unha cuarta columna, a columna de adiviñas. Se ten razón, escribe 1 na cuarta columna, se está equivocada, escribe 0. A rede neuronal pasa ao seguinte evento (aínda que cometeu un erro). Así aprende a rede e unha vez rematada a formación (alcanzouse un determinado criterio de converxencia), enviamos datos sobre o coche que nos interesa e por fin obtemos unha resposta.
Para eliminar a pregunta sobre o criterio de converxencia, explicarei que esta é unha fórmula matemática derivada para a estatística. Un exemplo rechamante de dúas fórmulas de converxencia diferentes. Vermello - converxencia binaria, azul - converxencia normal.
Distribucións de probabilidade binomial e normal
Para que quede máis claro, fai a pregunta "Cal é a probabilidade de coñecer un dinosauro?" Aquí hai 2 posibles respostas. Opción 1: moi pequena (gráfico azul). Opción 2: unha reunión ou non (gráfico vermello).
Por suposto, un ordenador non é unha persoa e aprende doutro xeito. Hai 2 tipos de adestramento de cabalos de ferro: aprendizaxe baseada en casos и aprendizaxe dedutiva.
Ensinar por precedente é unha forma de ensinar utilizando as leis matemáticas. Os matemáticos recollen táboas de estatísticas, sacan conclusións e cargan o resultado na rede neuronal, unha fórmula para o cálculo.
Aprendizaxe dedutiva: a aprendizaxe ocorre enteiramente na neurona (desde a recollida de datos ata a súa análise). Aquí fórmase unha táboa sen fórmula, pero con estatísticas.
Unha ampla visión xeral da tecnoloxía levaría outro par de ducias de artigos. Polo momento, isto será suficiente para o noso entendemento xeral.
Neuroplasticidade
En bioloxía existe tal concepto: a neuroplasticidade. A neuroplasticidade é a capacidade das neuronas (células cerebrais) para actuar "segundo a situación". Por exemplo, unha persoa que perdeu a vista escoita sons, cheira e percibe mellor os obxectos. Isto ocorre debido ao feito de que a parte do cerebro (parte das neuronas) responsable da visión redistribúe o seu traballo a outras funcionalidades.
Un exemplo sorprendente de neuroplasticidade na vida é a piruleta BrainPort.
En 2009, a Universidade de Wisconsin en Madison anunciou o lanzamento dun novo dispositivo que desenvolveu as ideas dunha "pantalla de idiomas": chamábase BrainPort. BrainPort funciona segundo o seguinte algoritmo: o sinal de vídeo envíase desde a cámara ao procesador, que controla o zoom, o brillo e outros parámetros da imaxe. Tamén converte os sinais dixitais en impulsos eléctricos, asumindo esencialmente as funcións da retina.
Piruleta BrainPort con lentes e cámara
BrainPort no traballo
O mesmo cun ordenador. Se a rede neuronal detecta un cambio no proceso, adáptase a el. Esta é a vantaxe clave das redes neuronais en comparación con outros algoritmos: a autonomía. Unha especie de humanidade.
Análise de tráfico cifrada
A análise do tráfico cifrado forma parte do sistema Stealthwatch. Stealthwatch é a entrada de Cisco nas solucións de supervisión e análise de seguridade que aproveita os datos de telemetría empresarial da infraestrutura de rede existente.
Stealthwatch Enterprise baséase nas ferramentas Flow Rate License, Flow Collector, Management Console e Flow Sensor.
Interfaz Cisco Stealthwatch
O problema co cifrado fíxose moi agudo debido ao feito de que comezou a cifrarse moito máis tráfico. Anteriormente, só se cifraba o código (principalmente), pero agora todo o tráfico está cifrado e separar os datos "limpos" dos virus fíxose moito máis difícil. Un exemplo rechamante é WannaCry, que utilizou Tor para ocultar a súa presenza en liña.
Visualización do crecemento do cifrado de tráfico na rede
Cifrado en macroeconomía
O sistema Encrypted Traffic Analytics (ETA) é necesario precisamente para traballar co tráfico cifrado sen descifralo. Os atacantes son intelixentes e usan algoritmos de cifrado resistentes ás criptografías, e rompelos non só é un problema, senón que tamén é moi caro para as organizacións.
O sistema funciona do seguinte xeito. Algún tráfico chega á empresa. Cae en TLS (seguridade da capa de transporte). Digamos que o tráfico está cifrado. Estamos tentando responder a unha serie de preguntas sobre o tipo de conexión que se fixo.
Como funciona o sistema de análise de tráfico cifrado (ETA).
Para responder a estas preguntas utilizamos a aprendizaxe automática neste sistema. Realízase unha investigación de Cisco e, en base a estes estudos, créase unha táboa a partir de 2 resultados: tráfico malicioso e "bo". Por suposto, non sabemos con certeza que tipo de tráfico entrou directamente no sistema no momento actual, pero podemos rastrexar o historial do tráfico tanto dentro como fóra da empresa utilizando datos do escenario mundial. Ao final desta etapa, obtemos unha enorme táboa con datos.
A partir dos resultados do estudo, identifícanse trazos característicos: certas regras que se poden escribir en forma matemática. Estas regras variarán moito dependendo de diferentes criterios: o tamaño dos ficheiros transferidos, o tipo de conexión, o país de onde procede este tráfico, etc. Como resultado do traballo, a enorme mesa converteuse nun conxunto de montóns de fórmulas. Hai menos deles, pero isto non é suficiente para un traballo cómodo.
A continuación, aplícase a tecnoloxía de aprendizaxe automática: converxencia de fórmulas e baseándonos no resultado da converxencia obtemos un disparador: un interruptor, onde cando se saen os datos obtemos un interruptor (bandeira) na posición elevada ou baixada.
A etapa resultante é a obtención dun conxunto de disparadores que cubrían o 99% do tráfico.
Pasos de inspección de tráfico en ETA
Como resultado do traballo, resolve outro problema: un ataque desde dentro. Xa non é necesario que as persoas no medio filtren o tráfico manualmente (neste momento estou afogando). En primeiro lugar, xa non necesitas gastar moito diñeiro nun administrador do sistema competente (sigo afogándome). En segundo lugar, non hai perigo de hackeo desde dentro (polo menos parcialmente).
Concepto obsoleto de Man-in-the-Middle
Agora, imos descubrir en que se basea o sistema.
O sistema funciona en 4 protocolos de comunicación: TCP/IP - Protocolo de transferencia de datos de Internet, DNS - servidor de nomes de dominio, TLS - protocolo de seguridade da capa de transporte, SPLT (SpaceWire Physical Layer Tester) - probador da capa de comunicación física.
Protocolos de traballo con ETA
A comparación realízase mediante a comparación de datos. Usando protocolos TCP/IP, compróbase a reputación dos sitios (historial de visitas, propósito da creación do sitio, etc.), grazas ao protocolo DNS podemos descartar enderezos de sitios "malos". O protocolo TLS funciona coa pegada dixital dun sitio e verifica o sitio contra un equipo de resposta ás emerxencias informáticas (certificado). O último paso para comprobar a conexión é a comprobación a nivel físico. Non se especifican os detalles desta etapa, pero o punto é o seguinte: comprobación das curvas seno e coseno das curvas de transmisión de datos en instalacións oscilográficas, i.e. Grazas á estrutura da solicitude na capa física, determinamos o propósito da conexión.
Como resultado do funcionamento do sistema, podemos obter datos do tráfico cifrado. Ao examinar os paquetes, podemos ler a maior cantidade de información posible dos campos sen cifrar do propio paquete. Inspeccionando o paquete na capa física, descubrimos as características do paquete (parcialmente ou completamente). Ademais, non te esquezas da reputación dos sitios. Se a solicitude procede dalgunha fonte .onion, non debes confiar nela. Para facilitar o traballo con este tipo de datos, elaborouse un mapa de riscos.
Resultado do traballo de ETA
E todo parece estar ben, pero imos falar do despregue de rede.
Implementación física de ETA
Aquí xorden unha serie de matices e sutilezas. En primeiro lugar, ao crear este tipo de
redes con software de alto nivel, é necesaria a recollida de datos. Recoller datos manualmente completamente
salvaxe, pero implementar un sistema de resposta xa é máis interesante. En segundo lugar, os datos
debería haber moito, o que significa que os sensores de rede instalados deben funcionar
non só de forma autónoma, senón tamén nun modo finamente afinado, o que crea unha serie de dificultades.
Sensores e sistema Stealthwatch
Instalar un sensor é unha cousa, pero configuralo é unha tarefa completamente diferente. Para configurar sensores, hai un complexo que funciona segundo a seguinte topoloxía: ISR = Cisco Integrated Services Router; ASR = Enrutador de servizos de agregación de Cisco; CSR = Cisco Cloud Services Router; WLC = Controlador de LAN sen fíos de Cisco; IE = Cisco Industrial Ethernet Switch; ASA = Cisco Adaptive Security Appliance; FTD = Cisco Firepower Threat Defense Solution; WSA = Aplicación de seguridade web; ISE = Identity Services Engine
Monitorización integral tendo en conta calquera dato telemétrico
Os administradores de rede comezan a experimentar arritmia a partir do número de palabras "Cisco" no parágrafo anterior. O prezo deste milagre non é pouco, pero non é do que falamos hoxe...
O comportamento do hacker modelarase do seguinte xeito. Stealthwatch monitoriza coidadosamente a actividade de todos os dispositivos da rede e é capaz de crear un patrón de comportamento normal. Ademais, esta solución ofrece unha visión profunda do comportamento inadecuado coñecido. A solución usa aproximadamente 100 algoritmos de análise ou heurísticas diferentes que abordan diferentes tipos de comportamento do tráfico, como a dixitalización, os cadros de alarma do host, os inicios de sesión de forza bruta, a sospeita de captura de datos, a sospeita de fuga de datos, etc. Os eventos de seguridade enumerados están dentro da categoría de alarmas lóxicas de alto nivel. Algúns eventos de seguridade tamén poden activar unha alarma por si mesmos. Así, o sistema é capaz de correlacionar múltiples incidentes anómalos illados e xuntalos para determinar o posible tipo de ataque, así como vinculalo a un dispositivo e usuario específicos (Figura 2). No futuro, o incidente pódese estudar ao longo do tempo e tendo en conta os datos de telemetría asociados. Isto constitúe información contextual no seu mellor momento. Os médicos que examinan un paciente para comprender o que está mal non miran os síntomas de forma illada. Miran o panorama xeral para facer un diagnóstico. Do mesmo xeito, Stealthwatch captura todas as actividades anómalas na rede e examínaa de forma integral para enviar alarmas conscientes do contexto, axudando así aos profesionais da seguridade a priorizar os riscos.
Detección de anomalías mediante modelado de comportamento
A implantación física da rede ten o seguinte aspecto:
Opción de implantación da rede de sucursais (simplificada)
Opción de implantación da rede de sucursais
A rede foi despregada, pero a pregunta sobre a neurona segue aberta. Organizaron unha rede de transmisión de datos, instalaron sensores nos limiares e puxeron en marcha un sistema de recollida de información, pero a neurona non interveu no asunto. Adeus.
Rede neuronal multicapa
O sistema analiza o comportamento do usuario e do dispositivo para detectar infeccións maliciosas, comunicacións con servidores de mando e control, fugas de datos e aplicacións potencialmente non desexadas que se executan na infraestrutura da organización. Existen varias capas de procesamento de datos onde unha combinación de intelixencia artificial, aprendizaxe automática e técnicas de estatísticas matemáticas axudan á rede a autoaprender a súa actividade normal para que poida detectar actividade maliciosa.
A canalización de análise de seguranza da rede, que recolle datos de telemetría de todas as partes da rede estendida, incluído o tráfico cifrado, é unha característica única de Stealthwatch. Desenvolve gradualmente unha comprensión do que é "anómalo", despois clasifica os elementos individuais reais da "actividade de ameaza" e, finalmente, fai un xuízo final sobre se o dispositivo ou o usuario se viu realmente comprometido. A capacidade de xuntar pequenas pezas que constitúen a evidencia para tomar unha decisión final sobre se un activo foi comprometido pasa por unha análise e correlación moi coidadosas.
Esta capacidade é importante porque unha empresa típica pode recibir unha gran cantidade de alarmas todos os días e é imposible investigar todas porque os profesionais de seguridade teñen recursos limitados. O módulo de aprendizaxe automática procesa grandes cantidades de información case en tempo real para identificar incidentes críticos cun alto nivel de confianza e tamén é capaz de proporcionar cursos de acción claros para unha resolución rápida.
Vexamos máis de cerca as numerosas técnicas de aprendizaxe automática utilizadas por Stealthwatch. Cando se envía un incidente ao motor de aprendizaxe automática de Stealthwatch, pasa por un funil de análise de seguridade que utiliza unha combinación de técnicas de aprendizaxe automática supervisadas e non supervisadas.
Capacidades de aprendizaxe automática multinivel
Nivel 1. Detección de anomalías e modelado de confianza
Neste nivel, o 99% do tráfico descártase mediante detectores de anomalías estatísticas. Estes sensores xuntos forman modelos complexos do que é normal e do que, pola contra, é anormal. Non obstante, o anormal non é necesariamente prexudicial. Moito do que está a suceder na túa rede non ten nada que ver coa ameaza; é raro. É importante clasificar estes procesos sen ter en conta o comportamento ameazante. Por este motivo, os resultados deste tipo de detectores analízanse máis a fondo para captar comportamentos estraños que poidan ser explicados e fiables. En definitiva, só unha pequena fracción dos fíos e solicitudes máis importantes chega ás capas 2 e 3. Sen o uso de tales técnicas de aprendizaxe automática, os custos operativos de separar o sinal do ruído serían demasiado elevados.
Detección de anomalías. O primeiro paso na detección de anomalías utiliza técnicas estatísticas de aprendizaxe automática para separar o tráfico estatísticamente normal do tráfico anómalo. Máis de 70 detectores individuais procesan os datos de telemetría que recolle Stealthwatch no tráfico que atravesa o perímetro da túa rede, separando o tráfico interno do Sistema de nomes de dominio (DNS) dos datos do servidor proxy, se é o caso. Cada solicitude é procesada por máis de 70 detectores, utilizando cada detector o seu propio algoritmo estatístico para formar unha avaliación das anomalías detectadas. Estas puntuacións combínanse e utilízanse varios métodos estatísticos para producir unha única puntuación para cada consulta individual. Esta puntuación agregada úsase entón para separar o tráfico normal e anómalo.
Modelando a confianza. A continuación, agrúpanse solicitudes similares e determínase a puntuación de anomalía agregada para tales grupos como unha media a longo prazo. Co paso do tempo, analízanse máis consultas para determinar a media a longo prazo, reducindo así os falsos positivos e falsos negativos. Os resultados do modelado de confianza utilízanse para seleccionar un subconxunto de tráfico cuxa puntuación de anomalía supere algún limiar determinado de forma dinámica para pasar ao seguinte nivel de procesamento.
Nivel 2. Clasificación de eventos e modelado de obxectos
Neste nivel, os resultados obtidos nas etapas anteriores clasifícanse e asígnanse a eventos maliciosos específicos. Os eventos clasifícanse en función do valor asignado polos clasificadores de aprendizaxe automática para garantir unha taxa de precisión consistente superior ao 90 %. Entre eles:
- modelos lineais baseados no lema de Neyman-Pearson (a lei da distribución normal da gráfica do comezo do artigo)
- admitir máquinas vectoriais usando aprendizaxe multivariada
- redes neuronais e o algoritmo forestal aleatorio.
Estes eventos de seguridade illados asócianse entón cun único punto final ao longo do tempo. É nesta fase cando se forma unha descrición da ameaza, a partir da cal se crea unha imaxe completa de como o atacante relevante logrou certos resultados.
Clasificación de eventos. O subconxunto estatisticamente anómalo do nivel anterior distribúese en 100 ou máis categorías mediante clasificadores. A maioría dos clasificadores baséanse en comportamentos individuais, relacións grupais ou comportamentos a escala global ou local, mentres que outros poden ser bastante específicos. Por exemplo, o clasificador podería indicar tráfico C&C, unha extensión sospeitosa ou unha actualización de software non autorizada. A partir dos resultados desta etapa, fórmase un conxunto de eventos anómalos no sistema de seguridade, clasificados en determinadas categorías.
Modelado de obxectos. Se a cantidade de evidencia que apoia a hipótese de que un determinado obxecto é prexudicial supera o limiar de materialidade, determínase unha ameaza. Os eventos relevantes que influíron na definición dunha ameaza asócianse con tal ameaza e pasan a formar parte dun modelo discreto a longo prazo do obxecto. A medida que se acumulan evidencias ao longo do tempo, o sistema identifica novas ameazas cando se alcanza o limiar de materialidade. Este valor límite é dinámico e axústase de forma intelixente en función do nivel de risco de ameaza e doutros factores. Despois diso, a ameaza aparece no panel de información da interface web e transfírese ao seguinte nivel.
Nivel 3. Modelado de relacións
A finalidade do modelado de relacións é sintetizar os resultados obtidos en niveis anteriores desde unha perspectiva global, tendo en conta non só o contexto local senón tamén global do incidente relevante. É nesta fase cando pode determinar cantas organizacións se atoparon con tal ataque para comprender se estaba dirixido específicamente a vostede ou se forma parte dunha campaña global e acaba de ser capturado.
Confírmanse ou descobren incidencias. Un incidente verificado implica unha confianza do 99 ao 100% porque as técnicas e ferramentas asociadas xa se observaron previamente en acción a unha escala (global) máis grande. Os incidentes detectados son exclusivos para ti e forman parte dunha campaña altamente orientada. Os descubrimentos anteriores compártense cun curso de acción coñecido, o que aforra tempo e recursos na resposta. Veñen coas ferramentas de investigación que necesitas para comprender quen te atacou e ata que punto a campaña estaba dirixida ao teu negocio dixital. Como podes imaxinar, o número de incidentes confirmados supera con creces o número de detectados pola simple razón de que os incidentes confirmados non supoñen moito custo para os atacantes, mentres que os detectados si.
caros porque teñen que ser novos e personalizados. Ao crear a capacidade de identificar incidentes confirmados, a economía do xogo finalmente cambiou a favor dos defensores, dándolles unha clara vantaxe.
Formación multinivel dun sistema de conexión neuronal baseado en ETA
Mapa de risco global
O mapa de risco global créase mediante a análise aplicada por algoritmos de aprendizaxe automática a un dos maiores conxuntos de datos deste tipo da industria. Ofrece amplas estatísticas de comportamento sobre servidores en Internet, aínda que sexan descoñecidos. Estes servidores están asociados con ataques e poden estar implicados ou utilizados como parte dun ataque no futuro. Esta non é unha "lista negra", senón unha imaxe completa do servidor en cuestión desde o punto de vista da seguridade. Esta información contextual sobre a actividade destes servidores permite aos detectores e clasificadores de aprendizaxe automática de Stealthwatch predicir con precisión o nivel de risco asociado ás comunicacións con tales servidores.
Podes ver as tarxetas dispoñibles .
Mapa do mundo que mostra 460 millóns de enderezos IP
Agora a rede aprende e defende a súa rede.
Finalmente, atopouse unha panacea?
Desafortunadamente, non. Pola experiencia de traballar co sistema, podo dicir que hai 2 problemas globais.
Problema 1. Prezo. Toda a rede está implantada nun sistema Cisco. Isto é bo e malo. O lado bo é que non tes que molestarte e instalar un montón de enchufes como D-Link, MikroTik, etc. A desvantaxe é o enorme custo do sistema. Tendo en conta o estado económico das empresas rusas, no momento actual só un rico propietario dunha gran empresa ou banco pode permitirse este milagre.
Problema 2: Formación. Non escribín no artigo o período de adestramento para a rede neuronal, pero non porque non exista, senón porque está aprendendo todo o tempo e non podemos prever cando vai aprender. Por suposto, hai ferramentas de estatística matemática (toma a mesma formulación do criterio de converxencia de Pearson), pero estas son medias medidas. Obtemos a probabilidade de filtrar o tráfico, e aínda así só baixo a condición de que o ataque xa foi dominado e coñecido.
A pesar destes 2 problemas, demos un gran salto no desenvolvemento da seguridade da información en xeral e da protección da rede en particular. Este feito pode ser motivador para o estudo das tecnoloxías de rede e as redes neuronais, que agora son unha dirección moi prometedora.
Fonte: www.habr.com