AOL发布Moloch 2.3网络流量索引系统

美国在线公司 发布 发布用于捕获、存储和索引网络数据包的系统 摩洛克2.3,它提供了用于直观地评估流量和搜索与网络活动相关的信息的工具。 代码是用C语言编写的(Node.js/JavaScript中的接口)并且 分发者 在 Apache 2.0 下获得许可。 支持在 Linux 和 FreeBSD 上工作。 准备好 为不同版本的 CentOS 和 Ubuntu 准备。

该项目创建于 2012 年,目标是创建一个可扩展至 AOL 流量的商业网络数据包处理平台的开放替代品。 在 AOL 中实施新系统,由于部署在其服务器上,因此可以实现对基础设施的完全控制,并显着降低成本 - 使用 Moloch 完全捕获所有 AOL 网络中的流量,成本与使用 Moloch 时相同 商业解决方案 以前,它仅用于捕获一个网络上的流量。 该系统可以扩展以每秒数十吉比特的速度处理流量。 存储数据量仅受可用磁盘阵列大小的限制。
会话元数据在基于引擎的集群中建立索引 Elasticsearch.

Moloch 包含用于以本机 PCAP 格式捕获和索引流量以及快速访问索引数据的工具。 为了分析累积的信息,提供了一个 Web 界面,允许您导航、搜索和导出样本。 还提供 API,它允许您将有关捕获的 PCAP 格式的数据包和解析的 JSON 格式的会话的数据传输到第三方应用程序。 PCAP 格式的使用极大地简化了与现有流量分析器(例如 Wireshark)的集成。

Moloch 由三个基本组件组成:

  • 流量捕获系统是一个多线程 C 应用程序,用于监视流量、以 PCAP 格式将转储写入磁盘、解析捕获的数据包并将有关会话(SPI、状态数据包检查)和协议的元数据发送到 Elasticsearch 集群。 可以以加密形式存储 PCAP 文件。
  • 基于 Node.js 平台的 Web 界面,运行在每个流量捕获服务器上,并通过以下方式处理与访问索引数据和传输 PCAP 文件相关的请求: API.
  • 基于Elasticsearch的元数据存储。

Web 界面提供了多种查看模式 - 从一般统计数据、连接图和带有网络活动变化数据的可视化图表,到用于研究单个会话、分析所用协议上下文中的活动以及解析 PCAP 转储数据的工具。

AOL发布Moloch 2.3网络流量索引系统

AOL发布Moloch 2.3网络流量索引系统

AOL发布Moloch 2.3网络流量索引系统

AOL发布Moloch 2.3网络流量索引系统

В 新发布:

  • Elasticsearch 中的索引已转变为使用无类型格式。
  • 添加了 Lua 中流量捕获过滤器的示例。
  • 已实现对 QUIC 协议 46 草案版本的支持。
  • 解析协议的代码已经过重新设计,使得为以太网和 IP 层协议编写解析器成为可能。
  • 已提出针对 arp、bgp、igmp、isis、lldp、ospf 和 pim 协议的新解析器,以及针对未知 unkEthernet 和 unkIpProtocol 协议的解析器。
  • 添加了一个选项来选择性地禁用解析器(disableParsers)。
  • Web 界面中添加了在设置页面上设置的在图表上显示任何整数字段的功能。
  • 现在,图表和标题可以被冻结,并且在滚动页面时不会移动。
  • 大多数导航栏默认隐藏或折叠。

来源: opennet.ru

添加评论