Empresa AOL lanzamiento del sistema para la captura, almacenamiento e indexación de paquetes de red , que proporciona herramientas para la evaluación visual del tráfico y la búsqueda de información relacionada con la actividad en la red. El código está escrito en C (interfaz en Node.js/JavaScript) y bajo la licencia Apache 2.0. Soporta funcionamiento en Linux y FreeBSD. Paquetes listos para diferentes versiones de CentOS y Ubuntu.
El proyecto fue creado en 2012 con el objetivo de desarrollar una alternativa abierta a la plataforma comercial de procesamiento de paquetes de red, capaz de escalar a los volúmenes de tráfico de AOL. La implementación de un nuevo sistema en AOL permitió lograr un control total sobre la infraestructura mediante su despliegue en sus propios servidores y redujo considerablemente los costos: el uso de Moloch para la captura completa de tráfico en todas las redes de AOL tuvo un costo equivalente al que antes se gastaba en la captura de tráfico solo en una red. El sistema puede escalar para procesar tráfico a velocidades de decenas de gigabits por segundo. El volumen de datos almacenados está limitado solo por el tamaño del array de discos disponible.
Los metadatos de las sesiones se indexan en un clúster basado en el motor .
Moloch incluye herramientas para la captura e indexación de tráfico en el formato estándar PCAP, así como para el acceso rápido a los datos indexados. Para analizar la información acumulada, se ofrece una interfaz web que permite navegar, buscar y exportar muestras. También se proporciona , que permite enviar a aplicaciones externas datos sobre los paquetes capturados en formato PCAP y las sesiones desglosadas en formato JSON. El uso del formato PCAP simplifica enormemente la integración con los analizadores de tráfico existentes, como Wireshark.
Moloch consta de tres componentes básicos:
- El sistema de captura de tráfico es una aplicación multihilo en C para monitorear tráfico, grabar volcado en formato PCAP en disco, analizar los paquetes capturados y enviar metadatos sobre las sesiones (SPI, inspección de paquetes con estado) y protocolos al clúster de Elasticsearch. Es posible almacenar archivos PCAP encriptados.
- Una interfaz web basada en la plataforma Node.js que se ejecuta en cada servidor de captura de tráfico y maneja solicitudes relacionadas con el acceso a los datos indexados y la transmisión de archivos PCAP a través de .
- Almacenamiento de metadatos basado en Elasticsearch.
La interfaz web ofrece varios modos de vista, desde estadísticas generales, un mapa de conexiones y gráficos visuales de datos sobre cambios en la actividad de la red, hasta herramientas para estudiar sesiones individuales, analizar la actividad según los protocolos utilizados y desglosar datos de los volcadillos PCAP.
En :
- Se ha hecho la transición a un formato sin tipo para la indexación en Elasticsearch.
- Se han añadido ejemplos de filtros de captura de tráfico en el idioma Lua.
- Se ha implementado el soporte para la versión 46-borrador del protocolo QUIC.
- Se ha reescrito el código para el análisis de protocolos, permitiendo la escritura de analizadores para protocolos de nivel Ethernet e IP.
- Se han propuesto nuevos analizadores para los protocolos arp, bgp, igmp, isis, lldp, ospf y pim, así como analizadores para protocolos desconocidos unkEthernet y unkIpProtocol.
- Se ha añadido una opción para desactivar selectivamente analizadores (disableParsers).
- En la interfaz web se ha añadido la posibilidad de mostrar cualquier campo entero en gráficos, configurado en la página de ajustes.
- Los gráficos y los encabezados ahora pueden fijarse y no desplazarse al desplazarse por la página.
- La mayoría de las barras de navegación están ocultas o contraídas por defecto.
Fuente: opennet.ru
