Die Version des Systems zur Erfassung, Speicherung und Indizierung von Netzwerkpaketen Arkime 3.1 wurde veröffentlicht. Dieses System bietet Werkzeuge zur visuellen Analyse von Datenströmen und zur Suche nach Informationen im Zusammenhang mit der Netzwerkaktivität. Ursprünglich wurde das Projekt von AOL entwickelt, um eine offene und auf eigenen Servern bereitstellbare Alternative zu kommerziellen Plattformen zur Verarbeitung von Netzwerkpaketen zu schaffen, die skalierbar ist für die Bearbeitung von Datenverkehr mit Geschwindigkeiten von mehreren Dutzend Gigabit pro Sekunde. Der Code für das Komponent zur Erfassung von Datenverkehr ist in C geschrieben, während die Benutzeroberfläche mit Node.js/JavaScript umgesetzt wurde. Der Quellcode wird unter der Apache 2.0 Lizenz verbreitet. Der Betrieb wird unter Linux und FreeBSD unterstützt. Fertige Pakete sind für Arch, CentOS und Ubuntu verfügbar.
Arkime bietet Werkzeuge zur Erfassung und Indizierung von Verkehr im standardmäßigen PCAP-Format und ermöglicht schnellen Zugriff auf indizierte Daten. Die Verwendung des PCAP-Formats erleichtert die Integration mit bestehenden Verkehrsanalyse-Tools wie Wireshark erheblich. Das Volumen der gespeicherten Daten ist nur durch die Größe des verfügbaren Speicherbereichs begrenzt. Metadaten zu Sessions werden in einem Cluster auf Basis der Elasticsearch-Engine indiziert.
Für die Analyse der gesammelten Informationen steht eine Web-Oberfläche zur Verfügung, die Navigation, Suche und Export von Stichproben ermöglicht. In der Web-Oberfläche sind verschiedene Ansichtsmodi vorgesehen – von allgemeinen Statistiken, Verbindungsdiagrammen und anschaulichen Grafiken zur Veränderung der Netzwerkaktivität bis hin zu Werkzeugen für das Studium einzelner Sessions, die Analyse der Aktivität nach verwendeten Protokollen und die Aufbereitung der Daten aus PCAP-Dumps. Zudem wird eine API bereitgestellt, die es ermöglicht, Daten über erfasste Pakete im PCAP-Format und analysierte Sessions im JSON-Format an externe Anwendungen zu übermitteln.
Arkime besteht aus drei grundlegenden Komponenten:
- Das Traffic-Capture-System ist eine multithreaded Anwendung in C, die den Traffic überwacht, Dumps im PCAP-Format auf die Festplatte aufzeichnet, erfasste Pakete analysiert und Metadaten über Sitzungen (SPI, Stateful Packet Inspection) und Protokolle an ein Elasticsearch-Cluster sendet. Es ist möglich, PCAP-Dateien in verschlüsselter Form zu speichern.
- Eine Web-Oberfläche auf Basis von Node.js, die auf jedem Server Traffic-Capture läuft und Anfragen verarbeitet, die mit dem Zugriff auf indizierte Daten und dem Übertragen von PCAP-Dateien über die API verbunden sind.
- Ein Metadaten-Repository auf Basis von Elasticsearch.
In der neuen Version:
- Unterstützung für die Protokolle IETF QUIC, GENEVE, VXLAN-GPE hinzugefügt.
- Unterstützung für den Typ Q-in-Q (Double VLAN) wurde hinzugefügt, um VLAN-Tags in Layer-2-Tags zu kapseln, wodurch die Anzahl der VLANs auf 16 Millionen erweitert werden kann.
- Unterstützung für den Typ «float» hinzugefügt.
- Das Modul zur Aufzeichnung in Amazon Elastic Compute Cloud wurde auf die Verwendung des Protokolls IMDSv2 (Instance Metadata Service) umgestellt.
- Der Code wurde für die Hinzufügung von UDP-Tunneln refaktoriert.
- Unterstützung für elasticsearchAPIKey und elasticsearchBasicAuth hinzugefügt.
Quelle: opennet.ru
