Société AOL sortie d'un système de capture, de stockage et d'indexation des paquets réseau , qui fournit des outils pour évaluer visuellement les flux de trafic et rechercher des informations liées à l'activité du réseau. Le code est écrit en langage C (interface en Node.js/JavaScript) et sous licence Apache 2.0. Prend en charge le travail sur Linux et FreeBSD. Prêt préparé pour différentes versions de CentOS et Ubuntu.
Le projet a été créé en 2012 dans le but de créer un remplacement ouvert d'une plate-forme de traitement de paquets réseau commerciale pouvant s'adapter aux volumes de trafic AOL. La mise en œuvre d'un nouveau système dans AOL a permis d'obtenir un contrôle complet sur l'infrastructure grâce au déploiement sur ses serveurs et de réduire considérablement les coûts - utiliser Moloch pour capturer complètement le trafic sur tous les réseaux AOL coûte le même montant que lors de l'utilisation Auparavant, cet argent était consacré à la capture du trafic sur un seul réseau. Le système peut évoluer pour traiter le trafic à des vitesses de plusieurs dizaines de gigabits par seconde. Le volume des données stockées n'est limité que par la taille de la baie de disques disponible.
Les métadonnées de session sont indexées dans le cluster basé sur un moteur .
Moloch comprend des outils pour capturer et indexer le trafic au format PCAP natif, ainsi que pour un accès rapide aux données indexées. Pour analyser les informations accumulées, une interface Web est proposée qui vous permet de naviguer, de rechercher et d'exporter des échantillons. Également fourni , qui vous permet de transférer des données sur les paquets capturés au format PCAP et les sessions analysées au format JSON vers des applications tierces. L'utilisation du format PCAP simplifie grandement l'intégration avec les analyseurs de trafic existants tels que Wireshark.
Moloch se compose de trois composants de base :
- Le système de capture du trafic est une application C multithread permettant de surveiller le trafic, d'écrire des dumps au format PCAP sur le disque, d'analyser les paquets capturés et d'envoyer des métadonnées sur les sessions (SPI, Stateful packet inspection) et les protocoles au cluster Elasticsearch. Il est possible de stocker des fichiers PCAP sous forme cryptée.
- Une interface web basée sur la plateforme Node.js, qui s'exécute sur chaque serveur de capture de trafic et traite les requêtes liées à l'accès aux données indexées et au transfert de fichiers PCAP via .
- Stockage de métadonnées basé sur Elasticsearch.
L'interface Web propose plusieurs modes d'affichage - des statistiques générales, des cartes de connexion et des graphiques visuels avec des données sur les modifications de l'activité du réseau aux outils permettant d'étudier des sessions individuelles, d'analyser l'activité dans le contexte des protocoles utilisés et d'analyser les données des vidages PCAP.
В :
- Une transition a été effectuée vers l'utilisation d'un format sans type pour l'indexation dans Elasticsearch.
- Ajout d'exemples de filtres de capture de trafic dans Lua.
- La prise en charge de la version 46 brouillons du protocole QUIC a été implémentée.
- Le code d'analyse des protocoles a été retravaillé, permettant d'écrire des analyseurs pour les protocoles de niveau Ethernet et IP.
- De nouveaux analyseurs ont été proposés pour les protocoles arp, bgp, igmp, isis, lldp, ospf et pim, ainsi que des analyseurs pour les protocoles inconnus unkEthernet et unkIpProtocol.
- Ajout d'une option pour désactiver sélectivement les analyseurs (disableParsers).
- La possibilité d'afficher n'importe quel champ entier sur les graphiques, définie sur la page des paramètres, a été ajoutée à l'interface Web.
- Les graphiques et les titres peuvent désormais être figés et ne pas bouger lors du défilement de la page.
- La plupart des barres de navigation sont masquées ou réduites par défaut.
Source: opennet.ru