Eine Veröffentlichung des Systems zur Erfassung, Speicherung und Indexierung von Netzwerkpaketen Arkime 3.1 wurde vorbereitet und bietet Tools zur visuellen Bewertung von Verkehrsströmen und zur Suche nach Informationen im Zusammenhang mit der Netzwerkaktivität. Das Projekt wurde ursprünglich von AOL mit dem Ziel entwickelt, einen offenen und einsetzbaren Ersatz für kommerzielle Netzwerk-Paketverarbeitungsplattformen zu schaffen, der skalierbar ist, um Datenverkehr mit Geschwindigkeiten von mehreren zehn Gigabit pro Sekunde zu verarbeiten. Der Code der Verkehrserfassungskomponente ist in C geschrieben und die Schnittstelle ist in Node.js/JavaScript implementiert. Der Quellcode wird unter der Apache 2.0-Lizenz vertrieben. Unterstützt die Arbeit unter Linux und FreeBSD. Für Arch, CentOS und Ubuntu sind fertige Pakete vorbereitet.
Arkime umfasst Tools zum Erfassen und Indizieren des Datenverkehrs im nativen PCAP-Format und bietet außerdem Tools für den schnellen Zugriff auf indizierte Daten. Die Verwendung des PCAP-Formats vereinfacht die Integration mit vorhandenen Verkehrsanalysatoren wie Wireshark erheblich. Die Menge der gespeicherten Daten wird nur durch die Größe des verfügbaren Festplatten-Arrays begrenzt. Sitzungsmetadaten werden in einem Cluster basierend auf der Elasticsearch-Engine indiziert.
Um die gesammelten Informationen zu analysieren, wird eine Weboberfläche angeboten, die das Navigieren, Suchen und Exportieren von Proben ermöglicht. Die Weboberfläche bietet verschiedene Anzeigemodi – von allgemeinen Statistiken, Verbindungskarten und visuellen Diagrammen mit Daten zu Änderungen der Netzwerkaktivität bis hin zu Tools zum Studieren einzelner Sitzungen, zur Aktivitätsanalyse im Kontext der verwendeten Protokolle und zum Parsen von Daten aus PCAP-Dumps. Außerdem wird eine API bereitgestellt, mit der Sie Daten über erfasste Pakete im PCAP-Format und disassemblierte Sitzungen im JSON-Format an Anwendungen von Drittanbietern senden können.
Arkime besteht aus drei Grundkomponenten:
- Das Traffic-Capture-System ist eine Multithread-C-Anwendung zum Überwachen des Datenverkehrs, zum Schreiben von Dumps im PCAP-Format auf die Festplatte, zum Parsen erfasster Pakete und zum Senden von Metadaten über Sitzungen (SPI, Stateful Packet Inspection) und Protokolle an den Elasticsearch-Cluster. Es ist möglich, PCAP-Dateien verschlüsselt zu speichern.
- Eine auf der Node.js-Plattform basierende Webschnittstelle, die auf jedem Traffic-Capture-Server läuft und Anfragen im Zusammenhang mit dem Zugriff auf indizierte Daten und der Übertragung von PCAP-Dateien über die API verarbeitet.
- Metadatenspeicherung basierend auf Elasticsearch.
In der neuen Version:
- Unterstützung für die Protokolle IETF QUIC, GENEVE und VXLAN-GPE hinzugefügt.
- Unterstützung für den Typ Q-in-Q (Double VLAN) hinzugefügt, der es Ihnen ermöglicht, VLAN-Tags in Tags der zweiten Ebene zu kapseln, um die Anzahl der VLANs auf 16 Millionen zu erhöhen.
- Unterstützung für den Feldtyp „Float“ hinzugefügt.
- Das Aufzeichnungsmodul in Amazon Elastic Compute Cloud wurde auf die Verwendung des IMDSv2-Protokolls (Instance Metadata Service) umgestellt.
- Der Code wurde überarbeitet, um UDP-Tunnel hinzuzufügen.
- Unterstützung für ElasticsearchAPIKey und ElasticsearchBasicAuth hinzugefügt.
Source: opennet.ru