AOL Unternehmen Systemrelease für die Erfassung, Speicherung und Indizierung von Netzwerkpaketen , bietet Werkzeuge zur visuellen Bewertung von Datenströmen und zur Suche nach Informationen, die mit Netzaktivitäten zusammenhängen. Der Code ist in C geschrieben (Schnittstelle in Node.js/JavaScript) und unter der Apache 2.0-Lizenz. Unterstützt den Betrieb unter Linux und FreeBSD. Vorbereitete Versionen sind für verschiedene Versionen von CentOS und Ubuntu verfügbar.
Das Projekt wurde 2012 ins Leben gerufen, um eine offene Alternative zu kommerziellen Plattformen für die Verarbeitung von Netzwerkpaketen zu schaffen, die in der Lage ist, das Verkehrsaufkommen von AOL zu bewältigen. Die Einführung des neuen Systems bei AOL ermöglichte eine vollständige Kontrolle über die Infrastruktur durch die Bereitstellung auf eigenen Servern und senkte die Kosten erheblich — der Einsatz von Moloch zur vollständigen Erfassung des Datenverkehrs in allen AOL-Netzen kostete in etwa so viel wie zuvor für die Erfassung des Verkehrs in nur einem Netzwerk aufgewendet wurde. Die Systemarchitektur kann für die Verarbeitung von Verkehrsströmen mit Geschwindigkeiten von mehreren Dutzend Gigabit pro Sekunde skaliert werden. Die Menge der gespeicherten Daten ist nur durch die Größe des vorhandenen Speicherarrays begrenzt.
Metadaten zu den Sitzungen werden im Cluster auf der Basis der Engine indiziert. .
Moloch bietet Tools zum Erfassen und Indizieren von Traffic im Standard-PCAP-Format sowie zum schnellen Zugriff auf die indizierten Daten. Eine Webschnittstelle ermöglicht die Navigation, Suche und den Export von Auswahl. Außerdem wird bereitgestellt , um Daten über erfasste Pakete im PCAP-Format und analysierte Sitzungen im JSON-Format an Drittanwendungen zu übermitteln. Die Verwendung des PCAP-Formats vereinfacht die Integration mit bestehenden Traffic-Analyzern wie Wireshark erheblich.
Moloch besteht aus drei grundlegenden Komponenten:
- Das Traffic-Capture-System ist eine multithreaded Anwendung in C, die den Traffic überwacht, Dumps im PCAP-Format auf die Festplatte aufzeichnet, erfasste Pakete analysiert und Metadaten über Sitzungen (SPI, Stateful Packet Inspection) und Protokolle an ein Elasticsearch-Cluster sendet. Es ist möglich, PCAP-Dateien in verschlüsselter Form zu speichern.
- Webschnittstelle auf Basis der Node.js-Plattform, die auf jedem Traffic-Capture-Server ausgeführt wird und Anfragen bearbeitet, die mit dem Zugriff auf die indizierten Daten und der Übertragung von PCAP-Dateien über .
- Ein Metadaten-Repository auf Basis von Elasticsearch.
Im Web-Interface stehen mehrere Ansichtsmodi zur Verfügung — von allgemeinen Statistiken, Verbindungsdiagrammen und anschaulichen Grafiken mit Daten zur Netzwerkaktivität bis hin zu Werkzeugen zur Untersuchung einzelner Sitzungen, Analyse der Aktivität nach verwendeten Protokollen und dem Verarbeiten von Daten aus PCAP-Dumps.
In :
- Der Übergang zur Verwendung eines typunabhängigen Formats für die Indizierung in Elasticsearch wurde vollzogen.
- Beispiele für Traffic Capture-Filter in Lua wurden hinzugefügt.
- Die Unterstützung für die 46. Entwurfsversion des QUIC-Protokolls wurde implementiert.
- Der Code zur Analyse der Protokolle wurde überarbeitet, und es gibt nun die Möglichkeit, Parser für Ethernet- und IP-Protokolle zu schreiben.
- Neue Parser für die Protokolle arp, bgp, igmp, isis, lldp, ospf und pim sowie Parser für unbekannte Protokolle unkEthernet und unkIpProtocol wurden vorgeschlagen.
- Eine Option zum selektiven Deaktivieren von Parsern (disableParsers) wurde hinzugefügt.
- Im Web-Interface wurde die Möglichkeit hinzugefügt, beliebige Ganzzahlfelder auf Grafiken anzuzeigen, die auf der Einstellungsseite festgelegt sind.
- Grafiken und Überschriften können nun fixiert werden und verschieben sich nicht beim Scrollen der Seite.
- Ein Großteil der Navigationspaneele ist standardmäßig verborgen oder minimiert.
Quelle: opennet.ru
