Підготовлено реліз системи для захоплення, зберігання та індексації мережних пакетів Arkime 3.1, що надає інструменти для оцінки потоків трафіку і пошуку інформації, пов'язаної з мережевою активністю. Спочатку проект був розроблений компанією AOL з метою створення відкритої та розгортається на своїх серверах заміни комерційним платформам обробки мережевих пакетів, здатної масштабуватися для обробки трафіку на швидкостях у десятки гігабіт на секунду. Код компонента для захоплення трафіку написано мовою Сі, а інтерфейс реалізований на Node.js/JavaScript. Вихідні тексти розповсюджуються під ліцензією Apache 2.0. Підтримується робота в Linux та FreeBSD. Готові пакети підготовлені для Arch, CentOS та Ubuntu.
Arkime включає інструменти для захоплення та індексації трафіку у штатному форматі PCAP, а також надає засоби для швидкого доступу до проіндексованих даних. Застосування формату PCAP значно спрощує інтеграцію з існуючими аналізаторами трафіку, такими як Wireshark. Об'єм даних, що зберігаються, обмежується тільки розміром наявного дискового масиву. Методи про сеанси індексуються в кластері на основі двигуна Elasticsearch.
Для аналізу накопиченої інформації пропонується web-інтерфейс, що дозволяє виконувати навігацію, пошук та експорт вибірок. У web-інтерфейсі передбачено кілька режимів перегляду - від загальної статистики, карти з'єднань і наочних графіків з даними про зміну мережної активності до інструментів для вивчення окремих сеансів, аналізу активності в розрізі протоколів, що використовуються, і розбору даних з PCAP-дампів. Також надається API, що дозволяє передавати в сторонні програми дані про захоплені пакети у форматі PCAP і розібрані сеанси у форматі JSON.
Arkime складається з трьох базових компонентів:
- Система захоплення трафіку — багатопотоковий додаток на мові Сі для моніторингу трафіку, запису дампів у форматі PCAP на диск, аналізу захоплених пакетів і відправлення метаданих про сеанси (SPI, Stateful packet inspection) і протоколи в кластер Elasticsearch. Можливе зберігання PCAP-файлів у зашифрованому вигляді.
- Web-інтерфейс на базі платформи Node.js, який запускається на кожному сервері захоплення трафіку та обробляє запити, пов'язані з доступом до проіндексованих даних та передачі PCAP-файлів через API.
- Сховище метаданих на основі Elasticsearch.
У новому випуску:
- Додано підтримку протоколів IETF QUIC, GENEVE, VXLAN-GPE.
- Додано підтримку типу Q-in-Q (Double VLAN), що дозволяє інкапсулювати теги VLAN у теги другого рівня для розширення числа VLAN-ів до 16 млн.
- Додано підтримку типу полів «float».
- Модуль запису в Amazon Elastic Compute Cloud переведено на використання протоколу IMDSv2 (Instance Metadata Service).
- Проведено рефакторинг коду для додавання UDP-тунелів.
- Додана підтримка elasticsearchAPIKey та elasticsearchBasicAuth.
Джерело: opennet.ru