Die Firma AOL Systemrelease zur Erfassung, Speicherung und Indizierung von Netzwerkpaketen , bietet Werkzeuge zur visuellen Bewertung von Datenströmen und zur Suche nach Informationen, die mit Netzwerkaktivitäten verbunden sind. Der Code ist in C geschrieben (das Interface in Node.js/JavaScript) und steht unter der Apache 2.0-Lizenz. Es wird die Nutzung unter Linux und FreeBSD unterstützt. Fertige sind für verschiedene Versionen von CentOS und Ubuntu vorbereitet.
Das Projekt wurde im Jahr 2012 ins Leben gerufen mit dem Ziel, eine offene Alternative zu kommerziellen Plattformen zur Verarbeitung von Netzwerkpaketen zu schaffen, die bis zur Verkehrslast von AOL skalierbar ist. Die Einführung des neuen Systems bei AOL ermöglichte eine vollständige Kontrolle über die Infrastruktur durch Bereitstellung auf eigenen Servern und senkte die Kosten erheblich – die Anwendung von Moloch zur vollständigen Erfassung des Verkehrs in allen AOL-Netzen kostete ungefähr dasselbe Wie bei der Verwendung von , die zuvor nur zur Erfassung des Verkehrs in einem einzigen Netzwerk ausgegeben wurde. Das System kann skaliert werden, um Verkehrsgeschwindigkeiten im Bereich von Dutzenden von Gigabit pro Sekunde zu verarbeiten. Das Volumen der gespeicherten Daten wird nur durch die Größe des vorhandenen Speicherarrays begrenzt.
Metadaten über Sitzungen werden in einem Cluster basierend auf der Engine indiziert .
Moloch umfasst Werkzeuge zur Erfassung und Indizierung von Verkehr im Standardformat PCAP sowie für den schnellen Zugriff auf indizierte Daten. Für die Analyse der gesammelten Informationen wird eine Webschnittstelle angeboten, die Navigation, Suche und Export von Auswahlmöglichkeiten ermöglicht. Auch wird bereitgestellt , mit der Daten über erfasste Pakete im Format PCAP und dekodierte Sitzungen im JSON-Format an Drittanwendungen übermittelt werden können. Die Verwendung des PCAP-Formats erleichtert die Integration mit bestehenden Verkehrsanalysewerkzeugen wie Wireshark erheblich.
Moloch besteht aus drei grundlegenden Komponenten:
- Das Verkehrserfassungssystem ist eine multithreaded Anwendung in C, die den Verkehr überwacht, Dumps im PCAP-Format auf die Festplatte aufzeichnet, erfasste Pakete analysiert und Metadaten über Sitzungen (SPI, Stateful Packet Inspection) und Protokollen an ein Elasticsearch-Cluster sendet. Die Speicherung von PCAP-Dateien in verschlüsselter Form ist möglich.
- Webschnittstelle, die auf der Node.js-Plattform basiert und auf jedem Server zur Erfassung von Verkehr ausgeführt wird, um Anfragen zu bearbeiten, die mit dem Zugriff auf indizierte Daten und der Übertragung von PCAP-Dateien zusammenhängen. .
- Metadaten-Speicher basierend auf Elasticsearch.
Im Web-Interface stehen mehrere Ansichtsmodi zur Verfügung — von allgemeinen Statistiken, Verbindungsdiagrammen und anschaulichen Grafiken über Daten zur Veränderung der Netzwerkaktivität bis hin zu Werkzeugen zur Analyse einzelner Sitzungen, der Aktivität nach verwendeten Protokollen und der Auswertung von Daten aus PCAP-Dumps.
Im :
- Es wurde auf ein typunabhängiges Format für die Indizierung in Elasticsearch umgestellt.
- Beispiele für Traffic-Capture-Filter in Lua wurden hinzugefügt.
- Es wurde Unterstützung für die 46-vorläufige Version des QUIC-Protokolls implementiert.
- Der Code zum Parsen von Protokollen wurde überarbeitet, es besteht jetzt die Möglichkeit, Parser für Ethernet- und IP-Protokolle zu schreiben.
- Neue Parser für die Protokolle arp, bgp, igmp, isis, lldp, ospf und pim sowie Parser für unbekannte Protokolle unkEthernet und unkIpProtocol wurden vorgeschlagen.
- Eine Option zum selektiven Deaktivieren von Parsern (disableParsers) wurde hinzugefügt.
- Das Web-Interface ermöglicht nun die Anzeige eines beliebigen ganzzahligen Feldes in Grafiken, das auf der Einstellungsseite festgelegt wurde.
- Grafiken und Überschriften können jetzt fixiert werden und verschieben sich beim Scrollen der Seite nicht.
- Der größte Teil der Navigationsleisten ist standardmäßig ausgeblendet oder minimiert.
Quelle: opennet.ru
