Empresa AOL lançamento do sistema para captura, armazenamento e indexação de pacotes de rede , fornecendo ferramentas para avaliação visual dos fluxos de tráfego e busca de informações relacionadas à atividade na rede. O código é escrito em C (interface em Node.js/JavaScript) e sob licença Apache 2.0. O funcionamento em Linux e FreeBSD é suportado. Pronto preparado para diferentes versões do CentOS e Ubuntu.
O projeto foi criado em 2012 com o objetivo de desenvolver uma alternativa aberta à plataforma comercial de processamento de pacotes de rede, capaz de escalar para o nível dos volumes de tráfego da AOL. A implementação do novo sistema na AOL permitiu alcançar controle total sobre a infraestrutura através da implantação em seus servidores e reduzir significativamente os custos — a aplicação do Moloch para captura total de tráfego em todas as redes da AOL teve um custo equivalente ao que anteriormente era gasto apenas para a captura de tráfego em uma única rede. O sistema pode escalar para processar tráfego em velocidades de dezenas de gigabits por segundo. O volume de dados armazenados é limitado apenas pelo tamanho do arranjo de discos disponível.
Os metadados sobre as sessões são indexados em um cluster baseado no motor .
O Moloch inclui ferramentas para captura e indexação de tráfego no formato PCAP padrão, assim como para acesso rápido aos dados indexados. Para análise das informações acumuladas, uma interface web é proposta, permitindo navegação, pesquisa e exportação de amostras. Também é fornecido , permitindo o envio de dados sobre pacotes capturados em formato PCAP e sessões analisadas em formato JSON para aplicações de terceiros. A utilização do formato PCAP simplifica substancialmente a integração com analisadores de tráfego existentes, como o Wireshark.
O Moloch é composto por três componentes básicos:
- O sistema de captura de tráfego é uma aplicação multithread escrita em C para monitoramento de tráfego, gravação de dumps em formato PCAP no disco, análise de pacotes capturados e envio de metadados sobre as sessões (SPI, Inspeção de Pacotes com Estado) e protocolos para um cluster Elasticsearch. O armazenamento de arquivos PCAP pode ser feito de forma criptografada.
- A interface web construída na plataforma Node.js que é executada em cada servidor de captura de tráfego e processa solicitações relacionadas ao acesso a dados indexados e transferência de arquivos PCAP através de .
- Armazenamento de metadados baseado em Elasticsearch.
A interface da web oferece vários modos de visualização — desde estatísticas gerais, mapas de conexões e gráficos que mostram a variação da atividade de rede, até ferramentas para estudar sessões individuais, analisar a atividade por protocolo utilizado e dissecação de dados de dumps PCAP.
Em :
- Foi realizada a transição para o uso de um formato sem tipo para indexação no Elasticsearch.
- Foram adicionados exemplos de filtros para captura de tráfego na linguagem Lua.
- Implementado suporte para a versão 46-bêta do protocolo QUIC.
- O código para análise de protocolos foi reestruturado, permitindo a criação de parsers para protocolos de nível Ethernet e IP.
- Propostos novos parsers para os protocolos arp, bgp, igmp, isis, lldp, ospf e pim, além de parsers para protocolos desconhecidos unkEthernet e unkIpProtocol.
- Adicionada a opção de desativar parsers seletivamente (disableParsers).
- A interface da web agora permite exibir qualquer campo inteiro em gráficos, configurado na página de configurações.
- Gráficos e cabeçalhos agora podem ser fixados e não se moverão durante a rolagem da página.
- A maior parte dos painéis de navegação está oculta ou recolhida por padrão.
Fonte: opennet.ru
