Выпуск системы индексации сетевого трафика Arkime 5.0

Опубликован релиз системы для захвата, хранения и индексации сетевых пакетов Arkime 5.0, предоставляющей инструменты для наглядной оценки потоков трафика и поиска информации, связанной с сетевой активностью. Изначально проект был разработан компанией AOL с целью создания открытой замены коммерческим платформам обработки сетевых пакетов, поддерживающей развёртывание на своих серверах и способной масштабироваться для обработки трафика на скоростях в десятки гигабит в секунду. Код компонента для захвата трафика написан на языке Си, а интерфейс реализован на Node.js/JavaScript. Исходные тексты распространяется под лицензией Apache 2.0. Поддерживается работа в Linux и FreeBSD. Готовые пакеты подготовлены для Arch Linux, RHEL/CentOS и Ubuntu.

Arkime включает инструменты для захвата и индексации трафика в формате PCAP, а также предоставляет средства для быстрого доступа к проиндексированным данным. Применение типового формата PCAP существенно упрощает интеграцию с существующими анализаторами трафика, такими как Wireshark. Объём хранимых данных ограничивается только размером имеющегося дискового массива. Метаданные о сеансах индексируются в кластере на базе движка Elasticsearch или OpenSearch. Компонент для захвата трафика работает в многопоточном режиме и решает задачи мониторинга, записи PCAP-дампов на диск, разбора захваченных пакетов и отправки метаданных о сеансах (SPI, Stateful packet inspection) и протоколах в кластер Elasticsearch/OpenSearch. Возможно хранение PCAP-файлов в зашифрованном виде.

Для анализа накопленной информации предлагается web-интерфейс, позволяющий выполнять навигацию, поиск и экспорт выборок. В web-интерфейсе предусмотрено несколько режимов просмотра — от общей статистики, карты соединений и наглядных графиков с данными об изменении сетевой активности до инструментов для изучения отдельных сеансов, анализа активности в разрезе используемых протоколов и разбора данных из PCAP-дампов. Также предоставляется API, позволяющий передавать в сторонние приложения данные о захваченных пакетах в формате PCAP и разобранных сеансах в формате JSON.

В новой версии:

• Добавлена возможность отправки комбинированных поисковых запросов информации через сервис Cont3xt для сбора доступной в различных открытых источниках (OSINT) информации одновременно о нескольких объектах.
• Добавлена поддержка методов формирования отпечатков трафика JA4 и JA4+ для определения сетевых протоколов и приложений.
• Изменено оформление блока с детальной информацией о сеансе, в котором минимизировано неиспользуемое пространство и реализована двухколоночная компоновка для больших экранов.
• Во вкладки Files, History и Stats добавлены выпадающие блоки для поиска одновременно в нескольких экземплярах интерфейса для просмотра статистики (Viewer).
• Система авторизации унифицирована и выделена в отдельный модуль, который теперь используется во всех приложениях Arkime. Вместо анонимного режима авторизации по умолчанию задействован метод digest. Добавлены новые режимы авторизации: basic, form, basic+form, basic+oidc, headerOnly, header+digest и header+basic.
• Все приложения переведены на унифицированную подсистему конфигурации, поддерживающую обработку настроек в разных форматах (ini, json, yaml) и способную загружать настройки из разных источников, например, c диска, по сети через HTTPS или из OpenSearch/Elasticsearch.
• Добавлена поддержка импорта сохранённых (offline) PCAP-дампов с их загрузкой по URL через HTTPS или из хранилища Amazon S3, без необходимости предварительного сохранения на локальной системе.

Источник: opennet.ru