AOL публикува система за индексиране на мрежовия трафик Moloch 2.3

Компания AOL пусна система за улавяне, съхранение и индексиране на мрежови пакети Moloch 2.3, предлагаща инструменти за визуална оценка на трафика и търсене на информация, свързана с мрежовата активност. Кодът е написан на C (интерфейс на Node.js/JavaScript) и разпространява се разпространява под лицензия Apache 2.0. Поддържа работа в Linux и FreeBSD. Готови пакетите са подготвени за различни версии на CentOS и Ubuntu.

Проектът е основан през 2012 година с цел да създаде отворена алтернатива на търговската платформа за обработка на мрежови пакети, способна да се мащабира до обемите на трафика на AOL. Внедряването на новата система в AOL позволи пълен контрол върху инфраструктурата чрез разгръщане на собствените им сървъри и значително намали разходите — използването на Moloch за пълен улов на трафика в мрежите на AOL струваше почти колкото търговското решение по-рано, изразходвано единствено за улавяне на трафика в една мрежа. Системата може да се мащабира за обработка на трафик при скорости от десетки гигабита в секунда. Обемът на съхраняваните данни е ограничен само от наличния дисков масив.
Метаданните за сесиите се индексират в клъстера, базиран на движка Elasticsearch.

Moloch включва инструменти за улавяне и индексиране на трафик в стандартния формат PCAP, а също така и за бърз достъп до индексираните данни. За анализа на натрупаната информация се предлага уеб-интерфейс, който позволява навигация, търсене и експортиране на извадки. Предоставя се и API, позволяващ предаване на данни за улавяните пакети към външни приложения в формат PCAP и разбирани сесии в формат JSON. Използването на формат PCAP значително улеснява интеграцията с налични анализатори на трафик, като Wireshark.

Moloch се състои от три основни компонента:

• Системата за улавяне на трафика — многопоточна апликация на C за мониторинг на трафика, запис на дъмпове в формат PCAP на диск, разбиране на улавяните пакети и изпращане на метаданни за сесиите (SPI, Stateful packet inspection) и протоколи в клъстера Elasticsearch. Възможно е съхраняването на PCAP файлове в криптиран вид.
• Уеб-интерфейс, базиран на платформата Node.js, който работи на всеки сървър за улавяне на трафика и обработва заявки, свързани с достъпа до индексираните данни и предаването на PCAP файлове чрез API.
• Система за метаданни с Elasticsearch.

Web интерфейсът предлага няколко режима на преглед — от обща статистика, карта на връзките и наочни графики с данни за промяната на мрежовата активност до инструменти за проучване на индивидуални сесии, анализ на активността по използвани протоколи и обработка на данни от PCAP дампове.

В ново издание:

• Преминаване към използване на безтипов формат за индексиране в Elasticsearch.
• Добавени са примери за филтри за захващане на трафик на езика Lua.
• Реализирана е поддръжка за 46-черновата версия на протокола QUIC.
• Кодът за анализ на протоколи е преработен, добавена е възможността за писане на парсери за протоколи от нивото Ethernet и IP.
• Предложени са нови парсери за протоколите arp, bgp, igmp, isis, lldp, ospf и pim, както и парсери за неизвестни протоколи unkEthernet и unkIpProtocol.
• Добавена е опция за селективно изключване на парсери (disableParsers).
• Web интерфейсът вече позволява показването на всяко цяло число на графиките, настроено на страницата с настройки.
• Графиките и заглавията могат да се закрепват и да не се движат при превъртане на страницата.
• По-голямата част от навигационните панели по подразбиране са скрити или сгънати.

Източник: opennet.ru