Przygotowano wersję systemu do przechwytywania, przechowywania i indeksowania pakietów sieciowych Arkime 3.1, udostępniającego narzędzia do wizualnej oceny potoków ruchu i wyszukiwania informacji związanych z aktywnością w sieci. Projekt został pierwotnie opracowany przez firmę AOL w celu stworzenia otwartego i możliwego do wdrożenia zamiennika komercyjnych platform przetwarzania pakietów w sieci, zdolnego do skalowania w celu przetwarzania ruchu z szybkością kilkudziesięciu gigabitów na sekundę. Kod komponentu przechwytywania ruchu napisano w C, a interfejs zaimplementowano w Node.js/JavaScript. Kod źródłowy rozpowszechniany jest na licencji Apache 2.0. Obsługuje pracę na Linuksie i FreeBSD. Gotowe pakiety przygotowane są dla Arch, CentOS i Ubuntu.
Arkime zawiera narzędzia do przechwytywania i indeksowania ruchu w natywnym formacie PCAP, a także udostępnia narzędzia umożliwiające szybki dostęp do indeksowanych danych. Zastosowanie formatu PCAP znacznie upraszcza integrację z istniejącymi analizatorami ruchu, takimi jak Wireshark. Ilość przechowywanych danych ograniczona jest jedynie wielkością dostępnej macierzy dyskowej. Metadane sesji są indeksowane w klastrze w oparciu o silnik Elasticsearch.
Aby przeanalizować zgromadzone informacje, oferowany jest interfejs sieciowy, który umożliwia nawigację, wyszukiwanie i eksportowanie próbek. Interfejs sieciowy udostępnia kilka trybów przeglądania - od ogólnych statystyk, map połączeń i wykresów wizualnych z danymi o zmianach aktywności sieciowej po narzędzia do badania poszczególnych sesji, analizowania aktywności w kontekście używanych protokołów i analizowania danych z zrzutów PCAP. Udostępnione jest także API, które umożliwia wysyłanie danych o przechwyconych pakietach w formacie PCAP i zdezasemblowanych sesjach w formacie JSON do aplikacji innych firm.
Arkime składa się z trzech podstawowych komponentów:
- System przechwytywania ruchu to wielowątkowa aplikacja C służąca do monitorowania ruchu, zapisywania zrzutów w formacie PCAP na dysku, analizowania przechwyconych pakietów i wysyłania metadanych o sesjach (SPI, Stateful Packet Inspection) i protokołach do klastra Elasticsearch. Możliwe jest przechowywanie plików PCAP w formie zaszyfrowanej.
- Interfejs WWW oparty na platformie Node.js, który działa na każdym serwerze przechwytywania ruchu i przetwarza żądania związane z dostępem do zaindeksowanych danych i przesyłaniem plików PCAP poprzez API.
- Przechowywanie metadanych w oparciu o Elasticsearch.
W nowym wydaniu:
- Dodano obsługę protokołów IETF QUIC, GENEVE, VXLAN-GPE.
- Dodano obsługę typu Q-in-Q (Double VLAN), która umożliwia hermetyzację tagów VLAN w tagach drugiego poziomu w celu zwiększenia liczby sieci VLAN do 16 milionów.
- Dodano obsługę typu pola „float”.
- Moduł nagrywania w Amazon Elastic Compute Cloud został przekonwertowany do obsługi protokołu IMDSv2 (Instance Metadata Service).
- Kod został poddany refaktoryzacji w celu dodania tuneli UDP.
- Dodano obsługę ElasticsearchAPIKey i ElasticsearchBasicAuth.
Źródło: opennet.ru