AOL публикува система за индексиране на мрежовия трафик Moloch 2.3

Компания AOL пусна релиз на система за улавяне, съхранение и индексиране на мрежови пакети Moloch 2.3, предоставяща инструменти за графична оценка на трафика и търсене на информация, свързана с мрежовата активност. Кодът е написан на C (интерфейс на Node.js/JavaScript) и се разпространява под лиценз Apache 2.0. Поддържа работа в Linux и FreeBSD. Готови пакети подготовени за различни версии на CentOS и Ubuntu.

Проектът е създаден през 2012 година с цел да предостави отворена алтернатива на търговска платформа за обработка на мрежови пакети, способна да се мащабира до обемите на трафика на AOL. Внедряването на новата система в AOL е позволило да се постигне пълен контрол над инфраструктурата чрез внедряване на собствените сървъри и значително намаляване на разходите — използването на Moloch за пълно улавяне на трафика във всички мрежи на AOL е струвало сума, аналогична на разходите, които преди се харчеха само за улавяне на трафик в една мрежа. Системата може да се мащабира за обработка на трафик с скорости от десетки гигабити в секунда. Обемът на съхраняваните данни е ограничен само от размера на наличната дискова система. Метаданните за сесиите се индексират в клъстера на базата на двигателя
Moloch включва инструменти за улавяне и индексиране на трафик в стандартен формат PCAP, както и за бърз достъп до индексографираните данни. За анализ на натрупаната информация е предвиден уеб-интерфейс, който позволява навигация, търсене и експортиране на извадки. Също така предоставя Elasticsearch.

, позволяваща прехвърляне на данни за улавяните пакети в формат PCAP и разложени сесии в формат JSON. Използването на формат PCAP значително улеснява интеграцията с наличните анализатори на трафик, като Wireshark. APIMoloch се състои от три основни компонента:

Уеб-интерфейс на Node.js, който се стартира на всеки сървър за улавяне на трафик и обработва заявки, свързани с достъпа до индексографираните данни и предаване на PCAP файлове чрез

• Система за улавяне на трафик — многонишково приложение на езика C за мониторинг на трафика, запис на дампове в формат PCAP на диск, разбиране на улавяните пакети и изпращане на метаданни за сесиите (SPI, Stateful packet inspection) и протоколите в клъстера Elasticsearch. Възможно е съхранение на PCAP файлове в криптиран вид.
• Уеб-интерфейс на базата на платформата Node.js, който се стартира на всеки сървър за улавяне на трафик и обработва заявки, свързани с достъпа до индексирани данни и предаването на PCAP файлове чрез API.
• Хранилище на метаданни на база Elasticsearch.

В уеб интерфейса са предвидени няколко режима на преглед — от обща статистика, карта на връзките и визуални графики с данни за промените в мрежовата активност до инструменти за изучаване на отделни сесии, анализ на активността по използваните протоколи и обработка на данни от PCAP дампове.

В ново издание:

• Осуществен е преход към използването на безтипов формат за индексиране в Elasticsearch.
• Добавени са примери за филтри за захващане на трафик на езика Lua.
• Реализирана е поддръжка на 46-черновата версия на протокола QUIC.
• Преработен е кодът за анализ на протоколи, появила се е възможност за писане на парсери за протоколите на ниво Ethernet и IP.
• Предложени са нови парсери за протоколите arp, bgp, igmp, isis, lldp, ospf и pim, както и парсери за неизвестни протоколи unkEthernet и unkIpProtocol.
• Добавена е опция за селективно изключване на парсерите (disableParsers).
• В уеб интерфейса е добавена възможност за показване на всяко цяло число на графиките, зададено на страницата с настройки.
• Графиките и заглавията сега могат да бъдат закрепени и да не се преместват при превъртане на страницата.
• По-голямата част от навигационните панели по подразбиране са скрити или свити.

Източник: opennet.ru