Um sistema para analisar o tráfego sem descriptografá-lo. Este método é simplesmente chamado de “aprendizado de máquina”. Descobriu-se que se um volume muito grande de tráfego variado for alimentado na entrada de um classificador especial, o sistema poderá detectar as ações de código malicioso dentro do tráfego criptografado com um grau de probabilidade muito alto.
As ameaças online mudaram e tornaram-se mais inteligentes. Recentemente, o próprio conceito de ataque e defesa mudou. O número de eventos na rede aumentou significativamente. Os ataques tornaram-se mais sofisticados e os hackers têm um alcance mais amplo.
De acordo com estatísticas da Cisco, no ano passado, os invasores triplicaram o número de malware que usam para suas atividades, ou melhor, criptografia para ocultá-los. É sabido pela teoria que o algoritmo de criptografia “correto” não pode ser quebrado. Para entender o que está oculto dentro do tráfego criptografado, é necessário descriptografá-lo conhecendo a chave, ou tentar descriptografá-lo usando vários truques, ou hackeando diretamente, ou usando algum tipo de vulnerabilidade em protocolos criptográficos.
Uma imagem das ameaças de rede do nosso tempo
Aprendizado de máquina
Conheça a tecnologia pessoalmente! Antes de falar sobre como funciona a própria tecnologia de descriptografia baseada em aprendizado de máquina, é necessário entender como funciona a tecnologia de rede neural.
Machine Learning é uma ampla subseção da inteligência artificial que estuda métodos para construir algoritmos que podem aprender. Esta ciência visa criar modelos matemáticos para “treinar” um computador. O objetivo do aprendizado é prever algo. Na compreensão humana, chamamos esse processo de palavra "sabedoria". A sabedoria se manifesta em pessoas que já viveram há muito tempo (uma criança de 2 anos não pode ser sábia). Ao pedir conselhos aos camaradas seniores, damos-lhes algumas informações sobre o evento (dados de entrada) e pedimos-lhes ajuda. Eles, por sua vez, lembram de todas as situações da vida que de alguma forma estão relacionadas ao seu problema (base de conhecimento) e, com base nesse conhecimento (dados), nos dão uma espécie de previsão (conselho). Esse tipo de conselho passou a ser chamado de previsão porque quem dá o conselho não sabe ao certo o que vai acontecer, apenas supõe. A experiência de vida mostra que uma pessoa pode estar certa ou errada.
Você não deve comparar redes neurais com o algoritmo de ramificação (if-else). São coisas diferentes e existem diferenças fundamentais. O algoritmo de ramificação tem uma “compreensão” clara do que fazer. Vou demonstrar com exemplos.
Tarefa. Determine a distância de frenagem de um carro com base na marca e no ano de fabricação.
Um exemplo do algoritmo de ramificação. Se o carro for da marca 1 e foi lançado em 2012, sua distância de frenagem é de 10 metros, caso contrário, se o carro for da marca 2 e foi lançado em 2011, e assim por diante.
Um exemplo de rede neural. Coletamos dados sobre distâncias de frenagem de automóveis nos últimos 20 anos. Por marca e ano, compilamos uma tabela no formato “marca-ano de fabricação-distância de frenagem”. Enviamos esta tabela para a rede neural e começamos a ensiná-la. O treinamento é realizado da seguinte forma: alimentamos os dados na rede neural, mas sem frenagem. O neurônio tenta prever qual será a distância de frenagem com base na tabela carregada nele. Prevê algo e pergunta ao usuário “Estou certo?” Antes da pergunta, ela cria uma quarta coluna, a coluna de adivinhação. Se ela estiver certa, ela escreve 1 na quarta coluna, se estiver errada, ela escreve 0. A rede neural passa para o próximo evento (mesmo que tenha cometido um erro). É assim que a rede aprende e quando o treinamento é concluído (um certo critério de convergência foi atingido), enviamos os dados sobre o carro que nos interessa e finalmente obtemos uma resposta.
Para eliminar a questão sobre o critério de convergência, explicarei que esta é uma fórmula estatística derivada matematicamente. Um exemplo notável de duas fórmulas de convergência diferentes. Vermelho – convergência binária, azul – convergência normal.
Distribuições de probabilidade binomial e normal
Para deixar mais claro, faça a pergunta “Qual é a probabilidade de encontrar um dinossauro?” Existem 2 respostas possíveis aqui. Opção 1 – muito pequeno (gráfico azul). Opção 2 – reunião ou não (gráfico vermelho).
É claro que um computador não é uma pessoa e aprende de maneira diferente. Existem 2 tipos de treinamento de cavalos de ferro: aprendizagem baseada em casos и aprendizagem dedutiva.
Ensinar por precedente é uma forma de ensinar usando leis matemáticas. Os matemáticos coletam tabelas estatísticas, tiram conclusões e carregam o resultado na rede neural - uma fórmula para cálculo.
Aprendizagem dedutiva - a aprendizagem ocorre inteiramente no neurônio (desde a coleta de dados até sua análise). Aqui se forma uma tabela sem fórmula, mas com estatísticas.
Uma ampla visão geral da tecnologia exigiria mais algumas dezenas de artigos. Por enquanto, isso será suficiente para nosso entendimento geral.
Neuroplasticidade
Na biologia existe tal conceito - neuroplasticidade. Neuroplasticidade é a capacidade dos neurônios (células cerebrais) de agir “de acordo com a situação”. Por exemplo, uma pessoa que perdeu a visão ouve melhor os sons, cheira e sente os objetos. Isso ocorre porque a parte do cérebro (parte dos neurônios) responsável pela visão redistribui seu trabalho para outras funcionalidades.
Um exemplo notável de neuroplasticidade na vida é o pirulito BrainPort.
Em 2009, a Universidade de Wisconsin em Madison anunciou o lançamento de um novo dispositivo que desenvolveu as ideias de uma “exibição de linguagem” - foi chamado BrainPort. O BrainPort funciona de acordo com o seguinte algoritmo: o sinal de vídeo é enviado da câmera para o processador, que controla o zoom, o brilho e outros parâmetros da imagem. Também converte sinais digitais em impulsos elétricos, assumindo essencialmente as funções da retina.
Pirulito BrainPort com óculos e câmera
BrainPort no trabalho
O mesmo acontece com um computador. Se a rede neural detectar uma mudança no processo, ela se adaptará a ela. Esta é a principal vantagem das redes neurais em comparação com outros algoritmos – autonomia. Uma espécie de humanidade.
Análise de tráfego criptografado
A análise de tráfego criptografado faz parte do sistema Stealthwatch. Stealthwatch é a entrada da Cisco em soluções de monitoramento e análise de segurança que aproveita dados de telemetria empresarial da infraestrutura de rede existente.
Stealthwatch Enterprise é baseado nas ferramentas Flow Rate License, Flow Collector, Management Console e Flow Sensor.
Interface Cisco StealthWatch
O problema com a criptografia tornou-se muito grave devido ao fato de que muito mais tráfego começou a ser criptografado. Anteriormente, apenas o código era criptografado (na maior parte), mas agora todo o tráfego é criptografado e separar dados “limpos” de vírus tornou-se muito mais difícil. Um exemplo notável é o WannaCry, que usou o Tor para ocultar sua presença online.
Visualização do crescimento da criptografia de tráfego na rede
Criptografia em macroeconomia
O sistema Encrypted Traffic Analytics (ETA) é necessário justamente para trabalhar com tráfego criptografado sem descriptografá-lo. Os invasores são inteligentes e usam algoritmos de criptografia resistentes à criptografia, e quebrá-los não é apenas um problema, mas também extremamente caro para as organizações.
O sistema funciona da seguinte maneira. Algum tráfego chega à empresa. Ele se enquadra no TLS (segurança da camada de transporte). Digamos que o tráfego esteja criptografado. Estamos tentando responder a uma série de perguntas sobre que tipo de conexão foi feita.
Como funciona o sistema Encrypted Traffic Analytics (ETA)
Para responder a essas perguntas, usamos aprendizado de máquina neste sistema. A pesquisa da Cisco é realizada e com base nesses estudos é criada uma tabela a partir de 2 resultados - tráfego malicioso e “bom”. É claro que não sabemos ao certo que tipo de tráfego entrou diretamente no sistema no momento atual, mas podemos traçar o histórico do tráfego dentro e fora da empresa usando dados do cenário mundial. Ao final desta etapa, obtemos uma enorme tabela com dados.
Com base nos resultados do estudo, são identificados traços característicos - certas regras que podem ser escritas em forma matemática. Estas regras irão variar muito dependendo de diferentes critérios – o tamanho dos arquivos transferidos, o tipo de conexão, o país de onde vem esse tráfego, etc. Como resultado do trabalho, a enorme mesa se transformou em um conjunto de pilhas de fórmulas. Há menos deles, mas isso não é suficiente para um trabalho confortável.
Em seguida, é aplicada a tecnologia de aprendizado de máquina - fórmula de convergência e com base no resultado da convergência obtemos um gatilho - um switch, onde quando os dados são exibidos obtemos um switch (sinalizador) na posição elevada ou abaixada.
A etapa resultante é a obtenção de um conjunto de gatilhos que abrangeu 99% do tráfego.
Etapas da fiscalização de trânsito no ETA
Como resultado do trabalho, outro problema foi resolvido - um ataque interno. Não há mais necessidade de pessoas intermediárias filtrarem o tráfego manualmente (estou me afogando neste momento). Em primeiro lugar, você não precisa mais gastar muito dinheiro com um administrador de sistema competente (continuo me afogando). Em segundo lugar, não há perigo de invasão interna (pelo menos parcialmente).
Conceito desatualizado de man-in-the-middle
Agora, vamos descobrir em que o sistema se baseia.
O sistema opera em 4 protocolos de comunicação: TCP/IP – protocolo de transferência de dados da Internet, DNS – servidor de nomes de domínio, TLS – protocolo de segurança da camada de transporte, SPLT (SpaceWire Physical Layer Tester) – testador da camada física de comunicação.
Protocolos que funcionam com ETA
A comparação é feita comparando os dados. Utilizando protocolos TCP/IP, é verificada a reputação dos sites (histórico de visitas, propósito de criação do site, etc.), graças ao protocolo DNS, podemos descartar endereços de sites “ruins”. O protocolo TLS funciona com a impressão digital de um site e verifica o site em relação a uma equipe de resposta a emergências de computador (certificado). A última etapa na verificação da conexão é a verificação no nível físico. Os detalhes desta etapa não são especificados, mas o ponto é o seguinte: verificar as curvas seno e cosseno das curvas de transmissão de dados em instalações oscilográficas, ou seja, Graças à estrutura da solicitação na camada física, determinamos a finalidade da conexão.
Como resultado do funcionamento do sistema, podemos obter dados do tráfego criptografado. Ao examinar os pacotes, podemos ler o máximo de informações possível dos campos não criptografados do próprio pacote. Ao inspecionar o pacote na camada física, descobrimos as características do pacote (parcial ou totalmente). Além disso, não se esqueça da reputação dos sites. Se a solicitação veio de alguma fonte .onion, você não deve confiar nela. Para facilitar o trabalho com este tipo de dados, foi criado um mapa de risco.
Resultado do trabalho da ETA
E tudo parece estar bem, mas vamos falar sobre implantação de rede.
Implementação física do ETA
Uma série de nuances e sutilezas surgem aqui. Em primeiro lugar, ao criar este tipo de
redes com software de alto nível, é necessária a coleta de dados. Colete dados manualmente completamente
selvagem, mas implementar um sistema de resposta já é mais interessante. Em segundo lugar, os dados
deve haver muitos, o que significa que os sensores de rede instalados devem funcionar
não apenas de forma autônoma, mas também de forma bem ajustada, o que cria uma série de dificuldades.
Sensores e sistema Stealthwatch
Instalar um sensor é uma coisa, mas configurá-lo é uma tarefa completamente diferente. Para configurar sensores existe um complexo que opera conforme a seguinte topologia - ISR = Cisco Integrated Services Router; ASR = Roteador Cisco Aggregation Services; CSR = Roteador de serviços em nuvem Cisco; WLC = Controlador de LAN sem fio Cisco; IE = Switch Ethernet Industrial Cisco; ASA = Dispositivo de Segurança Adaptável Cisco; FTD = solução de defesa contra ameaças Cisco Firepower; WSA = Dispositivo de Segurança da Web; ISE = Mecanismo de serviços de identidade
Monitoramento abrangente levando em consideração quaisquer dados telemétricos
Os administradores de rede começam a sentir arritmia com o número de palavras “Cisco” no parágrafo anterior. O preço deste milagre não é pequeno, mas não é disso que falamos hoje...
O comportamento do hacker será modelado da seguinte forma. Stealthwatch monitora cuidadosamente a atividade de cada dispositivo na rede e é capaz de criar um padrão de comportamento normal. Além disso, esta solução fornece informações profundas sobre comportamentos inadequados conhecidos. A solução usa aproximadamente 100 algoritmos de análise ou heurísticas diferentes que abordam diferentes tipos de comportamento de tráfego, como varredura, quadros de alarme de host, logins de força bruta, suspeita de captura de dados, suspeita de vazamento de dados, etc. Os eventos de segurança listados enquadram-se na categoria de alarmes lógicos de alto nível. Alguns eventos de segurança também podem disparar um alarme por conta própria. Assim, o sistema é capaz de correlacionar múltiplos incidentes anômalos isolados e reuni-los para determinar o possível tipo de ataque, bem como vinculá-lo a um dispositivo e usuário específico (Figura 2). No futuro, o incidente poderá ser estudado ao longo do tempo e tendo em conta os dados de telemetria associados. Isso constitui a melhor informação contextual. Os médicos que examinam um paciente para entender o que há de errado não analisam os sintomas isoladamente. Eles olham para o quadro geral para fazer um diagnóstico. Da mesma forma, o Stealthwatch captura todas as atividades anômalas na rede e as examina de forma holística para enviar alarmes sensíveis ao contexto, ajudando assim os profissionais de segurança a priorizar os riscos.
Detecção de anomalias usando modelagem de comportamento
A implantação física da rede é assim:
Opção de implantação de rede de filiais (simplificada)
Opção de implantação de rede de filiais
A rede foi implantada, mas a questão sobre o neurônio permanece em aberto. Organizaram uma rede de transmissão de dados, instalaram sensores nas soleiras e lançaram um sistema de coleta de informações, mas o neurônio não participou do assunto. Tchau.
Rede neural multicamadas
O sistema analisa o comportamento do usuário e do dispositivo para detectar infecções maliciosas, comunicações com servidores de comando e controle, vazamentos de dados e aplicativos potencialmente indesejados em execução na infraestrutura da organização. Existem múltiplas camadas de processamento de dados onde uma combinação de inteligência artificial, aprendizado de máquina e técnicas de estatística matemática ajudam a rede a autoaprender sua atividade normal para que possa detectar atividades maliciosas.
O pipeline de análise de segurança de rede, que coleta dados de telemetria de todas as partes da rede estendida, incluindo tráfego criptografado, é um recurso exclusivo do Stealthwatch. Ele desenvolve gradativamente uma compreensão do que é “anômalo”, depois categoriza os elementos individuais reais da “atividade de ameaça” e, finalmente, faz um julgamento final sobre se o dispositivo ou usuário foi realmente comprometido. A capacidade de juntar pequenos pedaços que juntos formam a evidência para tomar uma decisão final sobre se um ativo foi comprometido passa por uma análise e correlação muito cuidadosas.
Esta capacidade é importante porque uma empresa típica pode receber um grande número de alarmes todos os dias e é impossível investigar cada um deles porque os profissionais de segurança têm recursos limitados. O módulo de aprendizado de máquina processa grandes quantidades de informações quase em tempo real para identificar incidentes críticos com um alto nível de confiança e também é capaz de fornecer cursos de ação claros para uma resolução rápida.
Vamos dar uma olhada mais de perto nas inúmeras técnicas de aprendizado de máquina usadas pelo Stealthwatch. Quando um incidente é enviado ao mecanismo de aprendizado de máquina do Stealthwatch, ele passa por um funil de análise de segurança que usa uma combinação de técnicas de aprendizado de máquina supervisionadas e não supervisionadas.
Capacidades de aprendizado de máquina multinível
Nível 1. Detecção de anomalias e modelagem de confiança
Nesse nível, 99% do tráfego é descartado por meio de detectores estatísticos de anomalias. Juntos, esses sensores formam modelos complexos do que é normal e do que, ao contrário, é anormal. Contudo, o anormal não é necessariamente prejudicial. Muito do que está acontecendo na sua rede não tem nada a ver com a ameaça – é apenas estranho. É importante classificar tais processos sem levar em conta o comportamento ameaçador. Por esta razão, os resultados de tais detectores são analisados posteriormente a fim de capturar comportamentos estranhos que possam ser explicados e confiáveis. Em última análise, apenas uma pequena fração dos threads e solicitações mais importantes chega às camadas 2 e 3. Sem o uso de tais técnicas de aprendizado de máquina, os custos operacionais de separação do sinal do ruído seriam muito elevados.
Detecção de anomalia. A primeira etapa na detecção de anomalias usa técnicas estatísticas de aprendizado de máquina para separar o tráfego estatisticamente normal do tráfego anômalo. Mais de 70 detectores individuais processam os dados de telemetria que o Stealthwatch coleta no tráfego que passa pelo perímetro da sua rede, separando o tráfego interno do Sistema de Nomes de Domínio (DNS) dos dados do servidor proxy, se houver. Cada solicitação é processada por mais de 70 detectores, com cada detector usando seu próprio algoritmo estatístico para avaliar as anomalias detectadas. Essas pontuações são combinadas e vários métodos estatísticos são usados para produzir uma pontuação única para cada consulta individual. Essa pontuação agregada é então usada para separar o tráfego normal e anômalo.
Modelando confiança. Em seguida, as solicitações semelhantes são agrupadas e a pontuação agregada de anomalias para tais grupos é determinada como uma média de longo prazo. Com o tempo, mais consultas são analisadas para determinar a média de longo prazo, reduzindo assim falsos positivos e falsos negativos. Os resultados da modelagem de confiança são usados para selecionar um subconjunto de tráfego cuja pontuação de anomalia excede algum limite determinado dinamicamente para passar para o próximo nível de processamento.
Nível 2. Classificação de eventos e modelagem de objetos
Neste nível, os resultados obtidos nas etapas anteriores são classificados e atribuídos a eventos maliciosos específicos. Os eventos são classificados com base no valor atribuído pelos classificadores de aprendizado de máquina para garantir uma taxa de precisão consistente acima de 90%. Entre eles:
- modelos lineares baseados no lema de Neyman-Pearson (a lei da distribuição normal do gráfico no início do artigo)
- apoiar máquinas de vetores usando aprendizagem multivariada
- redes neurais e o algoritmo de floresta aleatória.
Esses eventos de segurança isolados são então associados a um único endpoint ao longo do tempo. É nesta fase que é formada uma descrição da ameaça, com base na qual é criada uma imagem completa de como o atacante relevante conseguiu alcançar determinados resultados.
Classificação de eventos. O subconjunto estatisticamente anômalo do nível anterior é distribuído em 100 ou mais categorias usando classificadores. A maioria dos classificadores baseia-se no comportamento individual, nas relações de grupo ou no comportamento em escala global ou local, enquanto outros podem ser bastante específicos. Por exemplo, o classificador pode indicar tráfego C&C, uma extensão suspeita ou uma atualização de software não autorizada. Com base nos resultados desta etapa, forma-se um conjunto de eventos anômalos no sistema de segurança, classificados em determinadas categorias.
Modelagem de objetos. Se a quantidade de evidências que sustentam a hipótese de que um determinado objeto é prejudicial exceder o limite de materialidade, uma ameaça é determinada. Eventos relevantes que influenciaram a definição de uma ameaça estão associados a tal ameaça e tornam-se parte de um modelo discreto de longo prazo do objeto. À medida que as provas se acumulam ao longo do tempo, o sistema identifica novas ameaças quando o limiar de materialidade é atingido. Esse valor limite é dinâmico e ajustado de forma inteligente com base no nível de risco de ameaça e outros fatores. Depois disso, a ameaça aparece no painel de informações da interface web e é transferida para o próximo nível.
Nível 3. Modelagem de Relacionamento
O objetivo da modelagem de relacionamento é sintetizar os resultados obtidos nos níveis anteriores a partir de uma perspectiva global, levando em consideração não apenas o contexto local, mas também o global do incidente relevante. É nesta fase que você pode determinar quantas organizações encontraram tal ataque, a fim de entender se ele foi direcionado especificamente a você ou se faz parte de uma campanha global, e você acabou de ser pego.
Incidentes são confirmados ou descobertos. Um incidente verificado implica 99 a 100% de confiança porque as técnicas e ferramentas associadas foram previamente observadas em acção numa escala (global) maior. Os incidentes detectados são exclusivos para você e fazem parte de uma campanha altamente direcionada. As descobertas anteriores são compartilhadas com um curso de ação conhecido, economizando tempo e recursos na resposta. Eles vêm com as ferramentas investigativas de que você precisa para entender quem o atacou e até que ponto a campanha tinha como alvo seu negócio digital. Como você pode imaginar, o número de incidentes confirmados excede em muito o número de incidentes detectados pela simples razão de que os incidentes confirmados não envolvem muitos custos para os invasores, enquanto os incidentes detectados sim.
caros porque precisam ser novos e customizados. Ao criar a capacidade de identificar incidentes confirmados, a economia do jogo finalmente mudou a favor dos defensores, dando-lhes uma vantagem distinta.
Treinamento multinível de um sistema de conexão neural baseado em ETA
Mapa de risco global
O mapa de risco global é criado por meio de análise aplicada por algoritmos de aprendizado de máquina a um dos maiores conjuntos de dados desse tipo no setor. Ele fornece extensas estatísticas comportamentais sobre servidores na Internet, mesmo que sejam desconhecidos. Esses servidores estão associados a ataques e podem ser envolvidos ou usados como parte de um ataque no futuro. Esta não é uma “lista negra”, mas sim uma imagem abrangente do servidor em questão do ponto de vista da segurança. Essas informações contextuais sobre a atividade desses servidores permitem que os detectores e classificadores de aprendizado de máquina do Stealthwatch prevejam com precisão o nível de risco associado às comunicações com esses servidores.
Você pode ver os cartões disponíveis .
Mapa mundial mostrando 460 milhões de endereços IP
Agora a rede aprende e se levanta para proteger sua rede.
Finalmente, uma panacéia foi encontrada?
Infelizmente, não. Pela experiência de trabalho com o sistema, posso dizer que existem 2 problemas globais.
Problema 1. Preço. Toda a rede é implantada em um sistema Cisco. Isso é bom e ruim. O lado bom é que você não precisa se preocupar e instalar um monte de plugs como D-Link, MikroTik, etc. A desvantagem é o enorme custo do sistema. Considerando a situação económica dos negócios russos, actualmente apenas um rico proprietário de uma grande empresa ou banco pode permitir-se este milagre.
Problema 2: Treinamento. Não escrevi no artigo o período de treinamento da rede neural, mas não porque ela não exista, mas porque ela está aprendendo o tempo todo e não podemos prever quando ela vai aprender. Claro, existem ferramentas de estatística matemática (tome a mesma formulação do critério de convergência de Pearson), mas estas são meias medidas. Obtemos a probabilidade de filtrar o tráfego, e mesmo assim somente sob a condição de que o ataque já tenha sido dominado e conhecido.
Apesar destes 2 problemas, demos um grande salto no desenvolvimento da segurança da informação em geral e da proteção de redes em particular. Este fato pode ser motivador para o estudo de tecnologias de redes e redes neurais, que são hoje uma direção muito promissora.
Fonte: habr.com