Empresa AOL lançamento de um sistema para captura, armazenamento e indexação de pacotes de rede , que fornece ferramentas para avaliar visualmente os fluxos de tráfego e buscar informações relacionadas à atividade da rede. O código é escrito em linguagem C (interface em Node.js/JavaScript) e licenciado sob Apache 2.0. Suporta trabalho em Linux e FreeBSD. Preparar preparado para diferentes versões do CentOS e Ubuntu.
O projeto foi criado em 2012 com o objetivo de criar um substituto aberto para uma plataforma comercial de processamento de pacotes de rede que pudesse ser dimensionada para volumes de tráfego da AOL. A implementação de um novo sistema na AOL permitiu obter controle total sobre a infraestrutura devido à implantação em seus servidores e reduzir significativamente os custos - usar Moloch para capturar completamente o tráfego em todas as redes AOL custa o mesmo que usar Anteriormente, era gasto na captura de tráfego em apenas uma rede. O sistema pode ser dimensionado para processar tráfego a velocidades de dezenas de gigabits por segundo. O volume de dados armazenados é limitado apenas pelo tamanho da matriz de disco disponível.
Os metadados da sessão são indexados no cluster baseado em mecanismo .
Moloch inclui ferramentas para capturar e indexar tráfego em formato PCAP nativo, bem como para acesso rápido aos dados indexados. Para analisar as informações acumuladas, é oferecida uma interface web que permite navegar, pesquisar e exportar amostras. Também fornecido , que permite transferir dados sobre pacotes capturados no formato PCAP e sessões analisadas no formato JSON para aplicativos de terceiros. O uso do formato PCAP simplifica bastante a integração com analisadores de tráfego existentes, como o Wireshark.
Moloch consiste em três componentes básicos:
- O sistema de captura de tráfego é um aplicativo C multithread para monitorar tráfego, gravar dumps em formato PCAP em disco, analisar pacotes capturados e enviar metadados sobre sessões (SPI, inspeção de pacotes com estado) e protocolos para o cluster Elasticsearch. É possível armazenar arquivos PCAP de forma criptografada.
- Uma interface web baseada na plataforma Node.js, que roda em cada servidor de captura de tráfego e processa solicitações relacionadas ao acesso a dados indexados e transferência de arquivos PCAP via .
- Armazenamento de metadados baseado em Elasticsearch.
A interface web oferece vários modos de visualização - desde estatísticas gerais, mapas de conexão e gráficos visuais com dados sobre mudanças na atividade da rede até ferramentas para estudar sessões individuais, analisar a atividade no contexto dos protocolos usados e analisar dados de dumps PCAP.
В :
- Foi feita uma transição para o uso de um formato sem tipo para indexação no Elasticsearch.
- Adicionados exemplos de filtros de captura de tráfego em Lua.
- O suporte para a versão 46 do protocolo QUIC foi implementado.
- O código para análise de protocolos foi retrabalhado, tornando possível escrever analisadores para protocolos de nível Ethernet e IP.
- Novos analisadores foram propostos para os protocolos arp, bgp, igmp, isis, lldp, ospf e pim, bem como analisadores para os protocolos desconhecidos unkEthernet e unkIpProtocol.
- Adicionada uma opção para desabilitar analisadores seletivamente (disableParsers).
- A capacidade de exibir qualquer campo inteiro em gráficos, definida na página de configurações, foi adicionada à interface web.
- Gráficos e títulos agora podem ser congelados e não se moverem ao rolar a página.
- A maioria das barras de navegação fica oculta ou recolhida por padrão.
Fonte: opennet.ru