Gipatik sa AOL ang Moloch 2.3 network traffic indexing system
Компания AOL gipagawas релиз системы для захвата, хранения и индексации сетевых пакетов Moloch 2.3, предоставляющая инструменты для наглядной оценки потоков трафика и поиска связанной с сетевой активностью информации. Код написан на языке Си (интерфейс на Node.js/JavaScript) и giapod-apod sa под лицензией Apache 2.0. Поддерживается работа в Linux и FreeBSD. Готовые mga pakete подготовлены для разных версий CentOS и Ubuntu.
Проект был создан в 2012 году с целью создания открытой замены коммерческой платформы обработки сетевых пакетов, способной масштабироваться до уровня объёмов трафика AOL. Внедрение новой системы в AOL позволило добиться полного контроля за инфраструктурой за счёт развёртывания на своих серверах и значительно снизить издержки — применение Moloch для полного захвата трафика во всех сетях AOL по затратам обошлось в сумму, аналогичную той, что при применении коммерческого решения раньше тратилась на захват трафика только в одной сети. Система может масштабироваться для обработки трафика на скоростях в десятки гигабит в секунду. Объём хранимых данных ограничивается только размером имеющегося дискового массива.
Метаданные о сеансах индексируются в кластере на базе движка Elasticsearch.
Moloch включает инструменты для захвата и индексации трафика в штатном формате PCAP, а также для быстрого доступа к проиндексированным данным. Для анализа накопленной информации предлагается web-интерфейс, позволяющий выполнять навигацию, поиск и экспорт выборок. Также предоставляется API, позволяющий передавать в сторонние приложения данные о захваченных пакетах в формате PCAP и разобранных сеансах в формате JSON. Применение формата PCAP существенно упрощает интеграцию с существующими анализаторами трафика, такими как Wireshark.
Moloch состоит из трёх базовых компонентов:
Ang traffic capture system usa ka multi-threaded C nga aplikasyon para sa pagmonitor sa trapiko, pagsulat sa mga dump sa PCAP format ngadto sa disk, pag-parse sa mga nakuhang packet ug pagpadala sa metadata mahitungod sa mga sesyon (SPI, Stateful packet inspection) ug mga protocol sa Elasticsearch cluster. Posible ang pagtipig sa mga file sa PCAP sa naka-encrypt nga porma.
Web-интерфейс на базе платформы Node.js, который запускается на каждом сервере захвата трафика и обрабатывает запросы, связанные с доступом к проиндексированным данным и передачей PCAP-файлов через API.
Ang pagtipig sa metadata base sa Elasticsearch.
В web-интерфейсе предусмотрено несколько режимов просмотра — от общей статистики, карты соединений и наглядных графиков с данными об изменении сетевой активности до инструментов для изучения отдельных сеансов, анализа активности в разрезе используемых протоколов и разбора данных из PCAP-дампов.