Налична е системата за индексиране на мрежовия трафик Arkime 3.1

Подготвена е версия на система за улавяне, съхранение и индексиране на мрежови пакети Arkime 3.1, предоставяща инструменти за визуална оценка на трафика и намиране на информация, свързана с мрежовата активност. Първоначално проектът е разработен от компанията AOL с цел да създаде отворена и внедряема на собствени сървъри алтернатива на комерсиалните платформи за обработка на мрежови пакети, способна да се мащабира за обработка на трафик с скорости в десетки гигабити в секунда. Кодът на компонента за улавяне на трафика е написан на езика C, а интерфейсът е реализиран на Node.js/JavaScript. Изходният код се разпространява под лицензия Apache 2.0. Поддържа се работа в Linux и FreeBSD. Подготвени са пакети за Arch, CentOS и Ubuntu.

Arkime включва инструменти за улавяне и индексиране на трафика в стандартен формат PCAP, а също така предлага средства за бърз достъп до индексираните данни. Използването на формата PCAP значително опростява интеграцията с наличните анализатори на трафик, като Wireshark. Обемът на съхраняваните данни е ограничен само от размера на наличния дисков масив. Метаданните за сесиите се индексират в клъстери на базата на движка Elasticsearch.

За анализ на събраната информация се предлага уеб интерфейс, позволяващ навигация, търсене и експортиране на извадки. В уеб интерфейса са предвидени няколко режима на преглед — от обща статистика, карта на съединения и визуални графики с данни за промяната на мрежовата активност до инструменти за изучаване на отделни сесии, анализ на активността в разрез на използваните протоколи и разбиране на данни от PCAP дампове. Също така е предоставен API, позволяващ предаване на данни за улавяните пакети във формат PCAP и разбраните сесии във формат JSON на външни приложения.

Arkime се състои от три основни компонента:

• Система за улавяне на трафик — многонишково приложение на езика C за мониторинг на трафика, запис на дампове в формат PCAP на диск, разбиране на улавяните пакети и изпращане на метаданни за сесиите (SPI, Stateful packet inspection) и протоколите в клъстера Elasticsearch. Възможно е съхранение на PCAP файлове в криптиран вид.
• Уеб интерфейс, базиран на платформата Node.js, който се стартира на всеки сървър захващане на трафик и обработка на заявки, свързани с достъпа до индексирани данни и предаване на PCAP файлове чрез API.
• Хранилище на метаданни на база Elasticsearch.

В новото издание:

• Добавена поддръжка на протоколите IETF QUIC, GENEVE, VXLAN-GPE.
• Добавена поддръжка на типа Q-in-Q (Double VLAN), позволяващ инкапсулиране на VLAN тагове в тагове от второ ниво за разширяване на броя на VLAN-ите до 16 милиона.
• Добавена поддръжка на полета от тип «float».
• Модулът за запис в Amazon Elastic Compute Cloud е адаптиран за използване на протокола IMDSv2 (Instance Metadata Service).
• Извършен е рефакторинг на кода за добавяне на UDP тунели.
• Добавена поддръжка за elasticsearchAPIKey и elasticsearchBasicAuth.

Източник: opennet.ru