Ein Release des Arkime 3.1 Systems zum Erfassen, Speichern und Indizieren von Netzwerkpaketen wurde vorbereitet. Es bietet Werkzeuge zur visuellen Bewertung von Datenströmen und zur Informationssuche im Zusammenhang mit der Netzwerkaktivität. Ursprünglich wurde das Projekt von AOL mit dem Ziel entwickelt, eine offene und auf eigenen Servern bereitstellbare Alternative zu kommerziellen Netzwerkpacketverarbeitungsplattformen zu schaffen, die in der Lage ist, Datenverkehr mit Geschwindigkeiten von mehreren Dutzend Gigabit pro Sekunde zu verarbeiten. Der Code des Capture-Components ist in C geschrieben, und das Interface ist in Node.js/JavaScript umgesetzt. Der Quellcode wird unter der Apache 2.0 Lizenz verbreitet. Es wird Linux und FreeBSD unterstützt. Fertige Pakete sind für Arch, CentOS und Ubuntu verfügbar.
Arkime umfasst Werkzeuge zum Erfassen und Indizieren von Verkehr im Standard-PCAP-Format und bietet außerdem Mittel für den schnellen Zugriff auf indizierte Daten. Die Verwendung des PCAP-Formats erleichtert die Integration mit vorhandenen Verkehrsanalysetools wie Wireshark erheblich. Der Umfang der gespeicherten Daten ist nur durch die Größe des verfügbaren Datenspeichers begrenzt. Metadaten zu Sitzungen werden in einem Cluster basierend auf der Elasticsearch-Engine indiziert.
Für die Analyse der gesammelten Informationen steht ein Web-Interface zur Verfügung, das Navigation, Suche und Export von Auszügen ermöglicht. Das Web-Interface bietet mehrere Ansichtsmodi — von allgemeinen Statistiken, Verbindungskarten und visuellen Grafiken mit Daten zur Veränderung der Netzwerkaktivität bis hin zu Werkzeugen zur Untersuchung einzelner Sitzungen, Analyse der Aktivität nach verwendeten Protokollen und Analyse von Daten aus PCAP-Dumps. Es wird auch eine API bereitgestellt, die es ermöglicht, Daten über erfasste Pakete im PCAP-Format und analysierte Sitzungen im JSON-Format an externe Anwendungen zu übertragen.
Arkime besteht aus drei grundlegenden Komponenten:
- Das Verkehrserfassungssystem ist eine multithreaded Anwendung in C, die den Verkehr überwacht, Dumps im PCAP-Format auf die Festplatte aufzeichnet, erfasste Pakete analysiert und Metadaten über Sitzungen (SPI, Stateful Packet Inspection) und Protokollen an ein Elasticsearch-Cluster sendet. Die Speicherung von PCAP-Dateien in verschlüsselter Form ist möglich.
- Ein Web-Interface auf Basis der Node.js Plattform, das auf jedem Server Erfassung des Datenverkehrs und Verarbeitung von Anfragen im Zusammenhang mit dem Zugriff auf indizierte Daten und der Übertragung von PCAP-Dateien über die API.
- Metadaten-Speicher basierend auf Elasticsearch.
In der neuen Version:
- Unterstützung für die Protokolle IETF QUIC, GENEVE, VXLAN-GPE hinzugefügt.
- Unterstützung des Typs Q-in-Q (Double VLAN) hinzugefügt, der es ermöglicht, VLAN-Tags in die Tags der zweiten Ebene zu kapseln und die Anzahl der VLANs auf 16 Millionen zu erweitern.
- Unterstützung für den Feldtyp „float“ hinzugefügt.
- Das Modul zum Schreiben in Amazon Elastic Compute Cloud wurde auf die Verwendung des Protokolls IMDSv2 (Instance Metadata Service) umgestellt.
- Code-Refactoring zur Hinzufügung von UDP-Tunneln durchgeführt.
- Unterstützung für elasticsearchAPIKey und elasticsearchBasicAuth hinzugefügt.
Quelle: opennet.ru
