Compañía AOL liberación dun sistema para capturar, almacenar e indexar paquetes de rede , que proporciona ferramentas para avaliar visualmente os fluxos de tráfico e buscar información relacionada coa actividade da rede. O código está escrito en linguaxe C (interface en Node.js/JavaScript) e licenciado baixo Apache 2.0. Admite o traballo en Linux e FreeBSD. Listo preparado para diferentes versións de CentOS e Ubuntu.
O proxecto foi creado en 2012 co obxectivo de crear un substituto aberto para unha plataforma de procesamento de paquetes de rede comercial que podería escalar aos volumes de tráfico de AOL. A implantación dun novo sistema en AOL permitiu acadar un control total sobre a infraestrutura debido á implantación nos seus servidores e reducir significativamente os custos: usar Moloch para capturar completamente o tráfico en todas as redes de AOL custa o mesmo que cando se usa. Anteriormente, gastouse en capturar tráfico só nunha rede. O sistema pode escalar para procesar o tráfico a velocidades de decenas de gigabits por segundo. O volume de datos almacenados só está limitado polo tamaño da matriz de discos dispoñible.
Os metadatos da sesión están indexados no clúster baseado no motor .
Moloch inclúe ferramentas para capturar e indexar o tráfico en formato PCAP nativo, así como para o acceso rápido aos datos indexados. Para analizar a información acumulada ofrécese unha interface web que permite navegar, buscar e exportar mostras. Tamén se proporciona , que permite transferir datos sobre paquetes capturados en formato PCAP e sesións analizadas en formato JSON a aplicacións de terceiros. O uso do formato PCAP simplifica moito a integración cos analizadores de tráfico existentes como Wireshark.
Moloch consta de tres compoñentes básicos:
- O sistema de captura de tráfico é unha aplicación C multiproceso para supervisar o tráfico, escribir volcados en formato PCAP no disco, analizar paquetes capturados e enviar metadatos sobre sesións (SPI, inspección de paquetes con estado) e protocolos ao clúster Elasticsearch. É posible almacenar ficheiros PCAP en forma cifrada.
- Unha interface web baseada na plataforma Node.js, que se executa en cada servidor de captura de tráfico e procesa solicitudes relacionadas co acceso a datos indexados e a transferencia de ficheiros PCAP mediante .
- Almacenamento de metadatos baseado en Elasticsearch.
A interface web ofrece varios modos de visualización: desde estatísticas xerais, mapas de conexión e gráficos visuais con datos sobre cambios na actividade da rede ata ferramentas para estudar sesións individuais, analizar a actividade no contexto dos protocolos empregados e analizar datos dos vertedoiros de PCAP.
В :
- Fíxose unha transición ao uso dun formato sen tipo para a indexación en Elasticsearch.
- Engadíronse exemplos de filtros de captura de tráfico en Lua.
- Implementouse o soporte para a versión borrador de 46 do protocolo QUIC.
- O código para os protocolos de análise foi reelaborado, o que permite escribir analizadores para protocolos de nivel Ethernet e IP.
- Propuxéronse novos analizadores para os protocolos arp, bgp, igmp, isis, lldp, ospf e pim, así como analizadores para os protocolos unkEthernet e unkIpProtocol descoñecidos.
- Engadida unha opción para desactivar selectivamente os analizadores (disableParsers).
- Engadiuse á interface web a posibilidade de mostrar calquera campo enteiro nos gráficos, definido na páxina de configuración.
- Agora os gráficos e os títulos pódense conxelar e non moverse ao desprazarse pola páxina.
- A maioría das barras de navegación están ocultas ou contraídas por defecto.
Fonte: opennet.ru