Выпуск системы глубокого инспектирования пакетов nDPI 5.0

Проект ntop, развивающий инструменты для захвата и анализа трафика, опубликовал инструментарий для глубокого инспектирования пакетов nDPI 5.0, продолжающий развитие библиотеки OpenDPI. Проект nDPI основан после безуспешной попытки передачи изменений в репозиторий OpenDPI, который остался без сопровождения. Код nDPI написан на языке Си и распространяется под лицензией LGPLv3.

Система позволяет определять в трафике используемые протоколы уровня приложений, анализируя характер сетевой активности без привязки к сетевым портам (может определять известные протоколы, обработчики которых принимают соединения на нестандартных сетевых портах, например, если http отдаётся не с 80 порта, или, наоборот, когда какую-то другую сетевую активность пытаются закамуфлировать под http через запуск на 80 порту).

Отличия от OpenDPI сводятся к поддержке дополнительных протоколов, портированию для платформы Windows, оптимизации производительности, адаптации для применения в приложениях для мониторинга трафика в режиме реального времени (убраны некоторые специфичные возможности, замедлявшие движок), возможности сборки в форме модуля ядра Linux и поддержке определения субпротоколов.

Поддерживается определение 56 типов сетевых угроз (flow risk) и более 450 протоколов и приложений (от OpenVPN, Tor, QUIC, SOCKS, BitTorrent и IPsec до Telegram, Viber, WhatsApp, PostgreSQL и обращений к Gmail, Office 365, Google Docs и YouTube). Имеется декодировщик серверных и клиентских SSL-сертификатов, позволяющий определить протокол (например, Citrix Online и Apple iCloud), используя сертификат шифрования. Для анализа содержимого pcap-дампов или текущего трафика через сетевой интерфейс поставляется утилита nDPIreader.

В новом выпуске:

• Реализован универсальный механизм для идентификации трафика, комбинирующий в одном маркере трафика (fingerprint) метаданные о слепках TCP, хэшах TLS-сертификата и JA4 (идентификаторы для определения сетевых протоколов и приложений). Новый механизм позволяет более точно определять и сопоставлять шифрованный или обфусцированный трафик.
• Добавлена возможность определения потоков TLS, QUIC и HTTP, в которых фигурируют имена хостов (например, в SNI для TLS/QUIC и в заголовке Host для HTTP), для которых ранее не выполнялся резолвинг через DNS. Подобная активность может применяться для выявления аномалий, скрытых каналов передачи данных и методов обхода фильтрации.
• До 2^16 поднято ограничение на число определяемых протоколов и категорий трафика, что позволяет выявлять практически неограниченное число протоколов при инспектировании трафика. Все доступные протоколы теперь включены по умолчанию.
• В правила добавлены новые опции для классификации трафика по слепкам (fingerprint), JA4-идентификаторам приложений и протоколов, HTTP URL и категориям.
• Улучшена поддержка технологии FPC (First Packet Classification), нацеленной на определение протоколов, приложений и сервисов по первому пакету, отправляемому при установке соединения. FPC позволяет существенно снизить нагрузку на CPU при инспектировании трафика.
• Удалена поддержка псевдопротоколов, таких как ADULT_CONTENT, LLM и ADS_ANALYTICS_TRACK, вместо которых теперь используется классификация на основе категорий.
• Добавлена поддержка и возможность разбора новых протоколов, среди которых Microsoft Delivery Optimization, Rockstar Games, Kick.com, MELSEC, Hamachi, GLBP, Matter, TriStation, Samsung SDP, ESPN и Akamai.
• Добавлены новые подкатегории и расширена классификация сервисов Amazon/AWS.
• Добавлено около 30 новых категорий и повышена детализация при анализе трафика.
• Добавлен анализатор размера блоков данных для TLS-соединений.
• Добавлена возможность создания стеков протоколов, охватывающих два и более протокола при классификации трафика.
• Добавлены новые API для ранжирования трафика и кодирования/декодирования шестнадцатеричных последовательностей.
• Обновлены списки ботов, сетевых сканеров и пулов майнинга.
• Обновлён код для разбора протоколов HTTP, TLS и STUN.
• Ускорена инициализация и повышена эффективность управления памятью.

Источник: opennet.ru