Налична е системата за дълбоко инспектиране на пакети nDPI 3.0

Проект ntop, развиваща инструменти за улавяне и анализ на трафика, публикува предоставяща инструменти за дълбоко инспектиране на пакети nDPI 3.0, продължаваща развитието на библиотеката OpenDPI. Проектът nDPI е основан след неуспешен опит за предаване на промените в репозиторий OpenDPI, който остана без поддръжка. Кодът на nDPI е написан на езика С и се разпространява попада под лицензията LGPLv3.

Проект позволява определя в трафика използваните протоколи на ниво приложение, анализирайки характера на мрежовата активност без привязка към мрежовите портове (може да идентифицира известни протоколи, чиито обработвачи приемат връзки на нестандартни мрежови портове, например, ако http се предлага не от порт 80, или обратно, когато някаква друга мрежова активност се опитва да се маскира под http чрез стартиране на порт 80).

Разликите с OpenDPI се свеждат до поддръжка на допълнителни протоколи, портирване за платформата Windows, оптимизация на производителността, адаптация за употреба в приложения за мониторинг на трафика в реално време (премахнати са някои специфични функции, които забавяха двигателя),
възможност за компилиране във формата на модул за Linux ядро и поддръжка за определяне на субпротоколи.

Общо се поддържат и определят 238 протокола и приложения, от
OpenVPN, Tor, QUIC, SOCKS, BitTorrent и IPsec до Telegram,
Viber, WhatsApp, PostgreSQL и запитвания към GMail, Office365,
GoogleDocs и YouTube. Съществува декодер на сървърни и клиентски SSL сертификати, позволяващ да се определи протоколът (например, Citrix Online и Apple iCloud), използвайки сертификата за криптиране. За анализ на съдържанието на pcap дампове или текущ трафик през мрежовия интерфейс се предоставя инструментът nDPIreader.

$ ./nDPIreader -i eth0 -s 20 -f "host 192.168.1.10"

Разпознати протоколи:
DNS пакети: 57 байтове: 7904 потоци: 28
SSL_No_Cert пакети: 483 байтове: 229203 потоци: 6
FaceBook пакети: 136 байтове: 74702 потоци: 4
DropBox пакети: 9 байтове: 668 потоци: 3
Skype пакети: 5 байтове: 339 потоци: 3
Google пакети: 1700 байтове: 619135 потоци: 34

В новото издание:

• Информация за протокола вече се извежда незабавно при определяне, без да се изчаква пълното получаване на метаданни (дори когато специфичните полета все още не са анализирани поради неполучените съответни мрежови пакети), което е актуално за анализаторите на трафик, които трябва да реагират веднага на определени видове трафик. За приложения, които имат нужда от пълен анализ на протокола, е предложен API ndpi_extra_dissection_possible(), който позволява да се уверите, че всички метаданни на протокола са дефинирани.
• Реализиран е по-дълбок анализ на TLS с извличане на информация за валидността на сертификата и SHA-1 хеша на сертификата.
• В приложението nDPIreader е добавен флаг „-C“ за експортиране в CSV формат, което дава възможност с помощта на допълнителните инструменти ntop да извършвате достатъчно сложни статистически извадки. Например, за определяне на IP адреса на потребителя, който е гледал най-дълго филми в NetFlix:

  $ ndpiReader -i netflix.pcap -C /tmp/netflix.csv
  $ q -H -d ‘,’ «select src_ip,SUM(src2dst_bytes+dst2src_bytes) from /tmp/netflix.csv where ndpi_proto like ‘%NetFlix%’ group by src_ip»

  192.168.1.7,6151821

• Добавена е поддръжка на предложената в Cisco Joy техника за определяне на злонамерена дейност, скрита в криптирания трафик, чрез анализ на размера на пакетите и времето за изпращане/закъснения. В ndpiReader методът се активира с опцията «-J».
• Осигурена е класификация на протоколите по категории.
• Добавена е поддръжка за изчисляване на IAT (Inter-Arrival Time) за определяне на аномалии в използването на протокола, например за откриване на използване на протокола при извършване на DoS атаки.
• Добавени са възможности за анализ на данни на базата на изчислени метрики като ентропия, средно аритметично, стандартно отклонение и дисперсия.
• Предложена е начална версия на биндинги за езика Python.
• Добавен е режим за определяне в трафика на четими низове за откриване на изтичане на данни. В
  ndpiReader режимът се включва с опцията «-e».
• Добавена е поддръжка на метода за идентифициране на TLS клиенти JA3, който позволява на базата на особеностите на договарянето на връзките и зададените параметри да се определи какъв софтуер се използва за установяване на връзката (например, позволява да се определи използването на Tor и други типови приложения).
• Добавена е поддръжка на методи за идентифициране на реализации на SSH (HASSH) и DHCP.
• Добавени са функции за сериализация и десериализация на данни в
  формати Type-Length-Value (TLV) и JSON.
• Добавена поддръжка на протоколите и услугите: DTLS (TLS над UDP),
  Hulu,
  TikTok/Musical.ly,
  WhatsApp Video,
  DNSoverHTTPS,
  Datasaver,
  Line,
  Google Duo, Hangout,
  WireGuard VPN,
  IMO,
  Zoom.us.
• Подобрена поддръжка на анализ на TLS, SIP, STUN,
  Viber,
  WhatsApp,
  AmazonVideo,
  SnapChat,
  FTP,
  QUIC
  OpenVPN UDP,
  Facebook Messenger и Hangout.

Източник: opennet.ru