Достъпна система за дълбочинно инспектиране на пакети nDPI 3.0

Проект ntop, развиващ инструменти за улавяне и анализ на трафика, публикувал издание на инструментария за дълбочинно инспектиране на пакети nDPI 3.0, продължаващ развитието на библиотеката OpenDPI. Проектът nDPI е основан след неуспешен опит за предаване на промените в репозиториум OpenDPI, който остана без поддръжка. Кодът nDPI е написан на C и разпространява под лиценз LGPLv3.

Проект позволява да се определят използваните протоколи на приложно ниво в трафика, анализирайки характера на мрежовата активност без обвързване с мрежови портове (може да определя известни протоколи, обработчиците на които приемат връзки на нестандартни мрежови портове, например, ако http се предава не от 80-ти порт, или обратното, когато някаква друга мрежова активност се опитва да се камуфлира под http, стартирайки на 80-ти порт).

Разликите с OpenDPI се състоят в поддръжката на допълнителни протоколи, портировката за платформата Windows, оптимизацията на производителността, адаптацията за приложения за мониторинг на трафика в реално време (отстранени са някои специфични възможности, забавящи движка),
възможността за изграждане под формата на модул на ядрото на Linux и поддръжката на определяне на субпротоколи.

Общо се поддържат 238 протокола и приложения, от
OpenVPN, Tor, QUIC, SOCKS, BitTorrent и IPsec до Telegram,
Viber, WhatsApp, PostgreSQL и заявки към GMail, Office365
GoogleDocs и YouTube. Наличен е декодер за сървърни и клиентски SSL сертификати, позволяващ определянето на протокола (например Citrix Online и Apple iCloud), използвайки сертификата за криптиране. За анализ на съдържанието на pcap дампове или текущ трафик през мрежов интерфейс се предлага инструментът nDPIreader.

$ ./nDPIreader -i eth0 -s 20 -f "host 192.168.1.10"

Открити протоколи:
DNS пакети: 57 байтове: 7904 потоци: 28
SSL_No_Cert пакети: 483 байтове: 229203 потоци: 6
FaceBook пакети: 136 байтове: 74702 потоци: 4
DropBox пакети: 9 байтове: 668 потоци: 3
Skype пакети: 5 байтове: 339 потоци: 3
Google пакети: 1700 байтове: 619135 потоци: 34

В новото издание:

• Информация за протокола сега се извежда веднага при определяне, без да се изчаква получаването на пълните метаданни (дори когато специфичните полета все още не са анализирани заради неполучаването на съответните мрежови пакети), което е актуално за анализаторите на трафик, които трябва незабавно да реагират на определени видове трафик. За приложения, които изискват пълен анализ на протокола, е предложен API ndpi_extra_dissection_possible(), който позволява да се уверим, че всички метаданни на протокола са определени.
• Реализиран е по-дълбок анализ на TLS с извличане на данни за валидността на сертификата и SHA-1 хеш на сертификата.
• В приложението nDPIreader е добавен флаг „-C“ за експортиране във формат CSV, което предоставя възможност с помощта на допълнителния инструментариум ntop да се изпълняват достатъчно сложни статистически извадки. Например, за определяне на IP адреса на потребителя, който е гледал филми в NetFlix най-дълго:

  $ ndpiReader -i netflix.pcap -C /tmp/netflix.csv
  $ q -H -d ‘,’ «select src_ip,SUM(src2dst_bytes+dst2src_bytes) from /tmp/netflix.csv where ndpi_proto like ‘%NetFlix%’ group by src_ip»

  192.168.1.7,6151821

• Добавена е поддръжка на предложената в Cisco Joy техника за определяне на злонамерена активност, скрита в шифрован трафик, използвайки анализ на размера на пакетите и времето на изпращане/закъснение. В ndpiReader методът се активира с опцията „-J“.
• Осигурена е класификация на протоколите по категории.
• Добавена е поддръжка за изчисляване на IAT (Inter-Arrival Time) за определяне на аномалии в използването на протокол, например, за идентифициране на използването на протокола при извършване на DoS атаки.
• Добавени са възможности за анализ на данни на базата на изчислени метрики, като ентропия, средно аритметично, стандартно отклонение и дисперсия.
• Предложена е начална версия на биндинги за езика Python.
• Добавен е режим за определяне в трафика на четими низове за идентифициране на изтичания на данни. В
  ndpiReader режимът се включва с опцията „-e“.
• Добавена е поддръжка на метода за идентификация на TLS клиенти JA3, което позволява на базата на особеностите на установяването на съединението и задаваните параметри да се определи какъв софтуер се използва за установяване на връзката (например, позволява да се определи използването на Tor и други типови приложения).
• Добавена е поддръжка на методи за идентификация на реализации на SSH (HASSH) и DHCP.
• Добавени са функции за сериализация и десериализация на данни в
  формати Type-Length-Value (TLV) и JSON.
• Добавена поддръжка на протоколи и услуги: DTLS (TLS над UDP),
  Hulu,
  TikTok/Musical.ly,
  WhatsApp Video,
  DNSoverHTTPS,
  Datasaver,
  Line,
  Google Duo, Hangout,
  WireGuard VPN,
  IMO,
  Zoom.us.
• Подобренa поддръжка на анализ на TLS, SIP, STUN,
  Viber,
  WhatsApp,
  AmazonVideo,
  SnapChat,
  FTP,
  QUIC
  OpenVPN UDP,
  Facebook Messenger и Hangout.

Източник: opennet.ru