AOL публикува Moloch 2.3 система за индексиране на мрежовия трафик

Компания AOL освободен пускане на система за улавяне, съхраняване и индексиране на мрежови пакети Молох 2.3, който предоставя инструменти за визуална оценка на трафик потоците и търсене на информация, свързана с мрежовата активност. Кодът е написан на език C (интерфейс в Node.js/JavaScript) и разпространява се от лицензиран под Apache 2.0. Поддържа работа на Linux и FreeBSD. Готов пакети подготвен за различни версии на CentOS и Ubuntu.

Проектът е създаден през 2012 г. с цел създаване на отворена замяна на търговска мрежова платформа за обработка на пакети, която може да се мащабира до обемите на AOL трафик. Внедряването на нова система в AOL направи възможно постигането на пълен контрол върху инфраструктурата поради внедряването на нейните сървъри и значително намаляване на разходите - използването на Moloch за пълно улавяне на трафика във всички мрежи на AOL струва същата сума, както при използване търговско решение Преди това беше изразходван за улавяне на трафик само в една мрежа. Системата може да се мащабира, за да обработва трафик със скорости от десетки гигабита в секунда. Обемът на съхраняваните данни е ограничен само от размера на наличния дисков масив.
Метаданните на сесията се индексират в базирания на машината клъстер Elasticsearch.

Moloch включва инструменти за улавяне и индексиране на трафик в нативен PCAP формат, както и за бърз достъп до индексирани данни. За анализ на натрупаната информация се предлага уеб интерфейс, който ви позволява да навигирате, търсите и експортирате проби. Също така се предоставя API, което ви позволява да прехвърляте данни за заснети пакети във формат PCAP и анализирани сесии във формат JSON към приложения на трети страни. Използването на формата PCAP значително опростява интеграцията със съществуващи анализатори на трафик като Wireshark.

Moloch се състои от три основни компонента:

• Системата за улавяне на трафик е многопоточно C приложение за наблюдение на трафика, записване на дъмпове във формат PCAP на диск, анализиране на уловени пакети и изпращане на метаданни за сесии (SPI, Stateful packet inspection) и протоколи към клъстера Elasticsearch. Възможно е да съхранявате PCAP файлове в криптирана форма.
• Уеб интерфейс, базиран на платформата Node.js, който работи на всеки сървър за улавяне на трафик и обработва заявки, свързани с достъп до индексирани данни и прехвърляне на PCAP файлове през API.
• Съхранение на метаданни, базирано на Elasticsearch.

Уеб интерфейсът предоставя няколко режима на преглед - от обща статистика, карти на връзката и визуални графики с данни за промени в мрежовата активност до инструменти за изучаване на отделни сесии, анализиране на активността в контекста на използваните протоколи и анализиране на данни от PCAP дъмпове.

В ново издание:

• Направен е преход към използване на формат без тип за индексиране в Elasticsearch.
• Добавени са примери за филтри за улавяне на трафик в Lua.
• Въведена е поддръжка за версията на 46 чернови на протокола QUIC.
• Кодът за анализиране на протоколи е преработен, което прави възможно писането на анализатори за Ethernet и протоколи на ниво IP.
• Предложени са нови анализатори за протоколите arp, bgp, igmp, isis, lldp, ospf и pim, както и анализатори за неизвестните протоколи unkEthernet и unkIpProtocol.
• Добавена е опция за селективно деактивиране на парсерите (disableParsers).
• В уеб интерфейса е добавена възможността за показване на произволно цяло числово поле на диаграмите, зададено на страницата с настройки.
• Графиките и заглавията вече могат да бъдат замразени и да не се движат при превъртане на страницата.
• Повечето навигационни ленти са скрити или свити по подразбиране.

Източник: opennet.ru