La société AOL version du système pour la capture, le stockage et l'indexation des paquets réseau , fournissant des outils pour l'évaluation visuelle des flux de trafic et la recherche d'informations liées à l'activité réseau. Le code est écrit en C (interface en Node.js/JavaScript) et sous licence Apache 2.0. Il prend en charge le fonctionnement sous Linux et FreeBSD. Des versions prêtes sont disponibles pour différentes versions de CentOS et Ubuntu.
Le projet a été lancé en 2012 dans le but de créer une alternative open-source à la plateforme commerciale de traitement des paquets réseau, capable de s'échelonner aux volumes de trafic d'AOL. L'implémentation du nouveau système chez AOL a permis d'assurer un contrôle total de l'infrastructure grâce à un déploiement sur ses propres serveurs et de réduire considérablement les coûts — l'utilisation de Moloch pour la capture complète du trafic dans tous les réseaux d'AOL a coûté une somme équivalente à celle dépensée précédemment pour la capture du trafic dans une seule réseau. Le système peut être dimensionné pour traiter le trafic à des vitesses de plusieurs dizaines de gigabits par seconde. Le volume des données stockées est limité uniquement par la taille du système de stockage disponible.
Les métadonnées des sessions sont indexées dans un cluster basé sur le moteur .
Moloch inclut des outils pour la capture et l'indexation des trafics au format PCAP standard, ainsi que pour un accès rapide aux données indexées. Pour analyser les informations accumulées, une interface web est proposée, permettant de naviguer, de rechercher et d'exporter des échantillons. Il est également fourni , permettant de transférer à des applications tierces les données des paquets capturés au format PCAP et des sessions décodées au format JSON. L'utilisation du format PCAP facilite considérablement l'intégration avec les analyseurs de trafic existants tels que Wireshark.
Moloch est composé de trois composants de base :
- Le système de capture de trafic est une application multithread en C pour surveiller le trafic, écrire des dumps au format PCAP sur le disque, analyser les paquets capturés et envoyer les métadonnées des sessions (SPI, Stateful Packet Inspection) et des protocoles vers un cluster Elasticsearch. Il est possible de stocker des fichiers PCAP de manière chiffrée.
- Une interface web basée sur la plateforme Node.js, qui s'exécute sur chaque serveur de capture de trafic et traite les requêtes liées à l'accès aux données indexées et à la transmission des fichiers PCAP via .
- Stockage de métadonnées basé sur Elasticsearch.
L'interface web propose plusieurs modes d'affichage — des statistiques générales, une carte des connexions et des graphiques clairs sur l'évolution de l'activité réseau aux outils pour étudier des sessions individuelles, analyser l'activité par protocole utilisé et examiner les données des captures PCAP.
Dans :
- La transition vers un format sans type pour l'indexation dans Elasticsearch a été effectuée.
- Des exemples de filtres de capture de trafic en langage Lua ont été ajoutés.
- La prise en charge de l'édition 46-branchée du protocole QUIC a été réalisée.
- Le code pour l'analyse des protocoles a été repensé, permettant l'écriture de parseurs pour les protocoles de niveau Ethernet et IP.
- De nouveaux parseurs pour les protocoles arp, bgp, igmp, isis, lldp, ospf et pim ont été proposés, ainsi que des parseurs pour des protocoles inconnus unkEthernet et unkIpProtocol.
- Une option pour désactiver sélectivement les parseurs (disableParsers) a été ajoutée.
- L'interface web permet désormais d'afficher n'importe quel champ entier sur des graphiques, configurés sur la page des paramètres.
- Les graphiques et les titres peuvent désormais être fixés et ne pas se déplacer lors du défilement de la page.
- La plupart des panneaux de navigation sont cachés ou repliés par défaut.
Source : opennet.ru
