AOL-Unternehmen Veröffentlichung eines Systems zur Erfassung, Speicherung und Indizierung von Netzwerkpaketen , das Tools zur visuellen Bewertung des Verkehrsflusses und zur Suche nach Informationen im Zusammenhang mit der Netzwerkaktivität bereitstellt. Der Code ist in C-Sprache geschrieben (Schnittstelle in Node.js/JavaScript) und lizenziert unter Apache 2.0. Unterstützt die Arbeit unter Linux und FreeBSD. Bereit vorbereitet für verschiedene Versionen von CentOS und Ubuntu.
Das Projekt wurde 2012 mit dem Ziel ins Leben gerufen, einen offenen Ersatz für eine kommerzielle Netzwerk-Paketverarbeitungsplattform zu schaffen, die sich an das AOL-Verkehrsvolumen anpassen lässt. Die Implementierung eines neuen Systems in AOL ermöglichte es, durch die Bereitstellung auf seinen Servern eine vollständige Kontrolle über die Infrastruktur zu erreichen und die Kosten erheblich zu senken – die Verwendung von Moloch zur vollständigen Erfassung des Datenverkehrs in allen AOL-Netzwerken kostete den gleichen Betrag wie bei der Verwendung Bisher wurde dieser Aufwand für die Erfassung des Datenverkehrs in nur einem Netzwerk aufgewendet. Das System kann so skaliert werden, dass es Datenverkehr mit Geschwindigkeiten von mehreren zehn Gigabit pro Sekunde verarbeitet. Die Menge der gespeicherten Daten wird nur durch die Größe des verfügbaren Festplatten-Arrays begrenzt.
Sitzungsmetadaten werden im Engine-basierten Cluster indiziert .
Moloch umfasst Tools zur Erfassung und Indizierung des Datenverkehrs im nativen PCAP-Format sowie für den schnellen Zugriff auf indizierte Daten. Um die gesammelten Informationen zu analysieren, wird eine Weboberfläche angeboten, die das Navigieren, Suchen und Exportieren von Proben ermöglicht. Auch vorhanden , mit dem Sie Daten über erfasste Pakete im PCAP-Format und analysierte Sitzungen im JSON-Format an Anwendungen von Drittanbietern übertragen können. Die Verwendung des PCAP-Formats vereinfacht die Integration mit vorhandenen Verkehrsanalysatoren wie Wireshark erheblich.
Moloch besteht aus drei Grundkomponenten:
- Das Traffic-Capture-System ist eine Multithread-C-Anwendung zum Überwachen des Datenverkehrs, zum Schreiben von Dumps im PCAP-Format auf die Festplatte, zum Parsen erfasster Pakete und zum Senden von Metadaten über Sitzungen (SPI, Stateful Packet Inspection) und Protokolle an den Elasticsearch-Cluster. Es ist möglich, PCAP-Dateien verschlüsselt zu speichern.
- Eine auf der Node.js-Plattform basierende Webschnittstelle, die auf jedem Datenverkehrserfassungsserver ausgeführt wird und Anforderungen im Zusammenhang mit dem Zugriff auf indizierte Daten und der Übertragung von PCAP-Dateien über verarbeitet .
- Metadatenspeicherung basierend auf Elasticsearch.
Die Weboberfläche bietet mehrere Anzeigemodi – von allgemeinen Statistiken, Verbindungskarten und visuellen Diagrammen mit Daten zu Änderungen der Netzwerkaktivität bis hin zu Tools zum Studieren einzelner Sitzungen, zur Aktivitätsanalyse im Kontext der verwendeten Protokolle und zum Parsen von Daten aus PCAP-Dumps.
В :
- Für die Indizierung in Elasticsearch wurde auf die Verwendung eines typlosen Formats umgestellt.
- Beispiele für Verkehrserfassungsfilter in Lua hinzugefügt.
- Unterstützung für die 46-Draft-Version des QUIC-Protokolls wurde implementiert.
- Der Code zum Parsen von Protokollen wurde überarbeitet, sodass nun Parser für Protokolle auf Ethernet- und IP-Ebene geschrieben werden können.
- Es wurden neue Parser für die Protokolle arp, bgp, igmp, isis, lldp, ospf und pim sowie Parser für die unbekannten Protokolle unkEthernet und unkIpProtocol vorgeschlagen.
- Option zum selektiven Deaktivieren von Parsern hinzugefügt (disableParsers).
- Der Weboberfläche wurde die Möglichkeit hinzugefügt, beliebige Ganzzahlfelder in Diagrammen anzuzeigen, die auf der Einstellungsseite festgelegt wurden.
- Grafiken und Titel können jetzt eingefroren werden und können beim Scrollen der Seite nicht verschoben werden.
- Die meisten Navigationsleisten sind standardmäßig ausgeblendet oder minimiert.
Source: opennet.ru