Налична е система за индексиране на мрежов трафик Arkime 3.1

Подготвена е версия на системата за улавяне, съхраняване и индексиране на мрежови пакети Arkime 3.1, предоставяща инструменти за визуална оценка на трафик потоците и търсене на информация, свързана с мрежовата активност. Проектът първоначално е разработен от AOL с цел създаване на отворен и внедряем заместител на платформи за обработка на търговски мрежови пакети, способни да се мащабират, за да обработват трафик със скорости от десетки гигабита в секунда. Кодът на компонента за улавяне на трафика е написан на C, а интерфейсът е реализиран в Node.js/JavaScript. Изходният код се разпространява под лиценз Apache 2.0. Поддържа работа на Linux и FreeBSD. Подготвени са готови пакети за Arch, CentOS и Ubuntu.

Arkime включва инструменти за улавяне и индексиране на трафик в оригинален PCAP формат и също така предоставя инструменти за бърз достъп до индексирани данни. Използването на формата PCAP значително опростява интеграцията със съществуващи анализатори на трафик като Wireshark. Обемът на съхраняваните данни е ограничен само от размера на наличния дисков масив. Метаданните на сесията се индексират в клъстер, базиран на Elasticsearch engine.

За анализ на натрупаната информация се предлага уеб интерфейс, който ви позволява да навигирате, търсите и експортирате проби. Уеб интерфейсът предоставя няколко режима на преглед - от обща статистика, карти на връзката и визуални графики с данни за промени в мрежовата активност до инструменти за изучаване на отделни сесии, анализиране на активността в контекста на използваните протоколи и анализиране на данни от PCAP дъмпове. Осигурен е също API, който ви позволява да изпращате данни за заснети пакети във формат PCAP и разглобени сесии във формат JSON до приложения на трети страни.

Arkime се състои от три основни компонента:

• Системата за улавяне на трафик е многопоточно C приложение за наблюдение на трафика, записване на дъмпове във формат PCAP на диск, анализиране на уловени пакети и изпращане на метаданни за сесии (SPI, Stateful packet inspection) и протоколи към клъстера Elasticsearch. Възможно е да съхранявате PCAP файлове в криптирана форма.
• Уеб интерфейс, базиран на платформата Node.js, който работи на всеки сървър за улавяне на трафик и обработва заявки, свързани с достъп до индексирани данни и прехвърляне на PCAP файлове чрез API.
• Съхранение на метаданни, базирано на Elasticsearch.

В новата версия:

• Добавена е поддръжка за IETF QUIC, GENEVE, VXLAN-GPE протоколи.
• Добавена е поддръжка за типа Q-in-Q (Double VLAN), който ви позволява да капсулирате VLAN тагове в тагове от второ ниво, за да разширите броя на VLAN до 16 милиона.
• Добавена е поддръжка за типа поле "float".
• Модулът за запис в Amazon Elastic Compute Cloud е преобразуван за използване на протокола IMDSv2 (Instance Metadata Service).
• Кодът е преработен, за да добави UDP тунели.
• Добавена е поддръжка за elasticsearchAPIKey и elasticsearchBasicAuth.

Източник: opennet.ru