Compañía AOL Lanzamiento de un sistema para capturar, almacenar e indexar paquetes de red. , que proporciona herramientas para evaluar visualmente los flujos de tráfico y buscar información relacionada con la actividad de la red. El código está escrito en lenguaje C (interfaz en Node.js/JavaScript) y Licenciado bajo Apache 2.0. Admite trabajo en Linux y FreeBSD. Listo preparado para diferentes versiones de CentOS y Ubuntu.
El proyecto se creó en 2012 con el objetivo de crear un reemplazo abierto para una plataforma de procesamiento de paquetes de red comercial que pudiera escalar a los volúmenes de tráfico de AOL. La implementación de un nuevo sistema en AOL hizo posible lograr un control total sobre la infraestructura debido a la implementación en sus servidores y reducir significativamente los costos: usar Moloch para capturar completamente el tráfico en todas las redes de AOL cuesta lo mismo que cuando se usa Anteriormente, se gastaba en capturar tráfico en una sola red. El sistema puede ampliarse para procesar tráfico a velocidades de decenas de gigabits por segundo. El volumen de datos almacenados está limitado únicamente por el tamaño de la matriz de discos disponible.
Los metadatos de la sesión están indexados en el clúster basado en motor. .
Moloch incluye herramientas para capturar e indexar tráfico en formato PCAP nativo, así como para acceder rápidamente a datos indexados. Para analizar la información acumulada se ofrece una interfaz web que permite navegar, buscar y exportar muestras. También proporcionado , que le permite transferir datos sobre paquetes capturados en formato PCAP y sesiones analizadas en formato JSON a aplicaciones de terceros. El uso del formato PCAP simplifica enormemente la integración con analizadores de tráfico existentes como Wireshark.
Moloch consta de tres componentes básicos:
- El sistema de captura de tráfico es una aplicación C multiproceso para monitorear el tráfico, escribir volcados en formato PCAP en el disco, analizar paquetes capturados y enviar metadatos sobre sesiones (SPI, inspección de paquetes con estado) y protocolos al clúster Elasticsearch. Es posible almacenar archivos PCAP en forma cifrada.
- Una interfaz web basada en la plataforma Node.js, que se ejecuta en cada servidor de captura de tráfico y procesa solicitudes relacionadas con el acceso a datos indexados y la transferencia de archivos PCAP a través de .
- Almacenamiento de metadatos basado en Elasticsearch.
La interfaz web ofrece varios modos de visualización, desde estadísticas generales, mapas de conexión y gráficos visuales con datos sobre cambios en la actividad de la red hasta herramientas para estudiar sesiones individuales, analizar la actividad en el contexto de los protocolos utilizados y analizar datos de volcados PCAP.
В :
- Se ha realizado una transición al uso de un formato sin tipo para la indexación en Elasticsearch.
- Se agregaron ejemplos de filtros de captura de tráfico en Lua.
- Se ha implementado soporte para la versión de 46 borradores del protocolo QUIC.
- Se ha reelaborado el código para analizar protocolos, lo que permite escribir analizadores para protocolos de nivel Ethernet e IP.
- Se han propuesto nuevos analizadores para los protocolos arp, bgp, igmp, isis, lldp, ospf y pim, así como analizadores para los protocolos desconocidos unkEthernet y unkIpProtocol.
- Se agregó una opción para deshabilitar selectivamente los analizadores (disableParsers).
- Se ha agregado a la interfaz web la capacidad de mostrar cualquier campo de número entero en los gráficos, configurada en la página de configuración.
- Los gráficos y títulos ahora se pueden congelar y no moverse al desplazarse por la página.
- La mayoría de las barras de navegación están ocultas o contraidas de forma predeterminada.
Fuente: opennet.ru