AOL發布Moloch 2.3網路流量索引系統

美國線上公司 已發布 發布用於擷取、儲存和索引網路封包的系統 摩洛克2.3,它提供了用於直觀地評估流量和搜尋與網路活動相關的資訊的工具。程式碼是用C語言編寫的(Node.js/JavaScript中的介面)並且 分發者 在 Apache 2.0 下獲得許可。支援在 Linux 和 FreeBSD 上工作。準備好 為不同版本的 CentOS 和 Ubuntu 準備。

該專案創建於 2012 年,目標是創建一個可擴展至 AOL 流量的商業網路封包處理平台的開放替代品。在 AOL 中實施新系統,由於部署在其伺服器上,因此可以實現對基礎設施的完全控制,並顯著降低成本 - 使用 Moloch 完全捕獲所有 AOL 網路中的流量,成本與使用 Moloch 時相同 商業解決方案 以前,它僅用於捕獲一個網路上的流量。該系統可以擴展以每秒數十吉比特的速度處理流量。儲存資料量僅受可用磁碟陣列大小的限制。
會話元資料在基於引擎的叢集中建立索引 Elasticsearch.

Moloch 包含用於以本機 PCAP 格式擷取和索引流量以及快速存取索引資料的工具。為了分析累積的信息,提供了一個 Web 介面,可讓您導航、搜尋和匯出樣本。還提供 API,它允許您將有關捕獲的 PCAP 格式的資料包和解析的 JSON 格式的會話的資料傳輸到第三方應用程式。 PCAP 格式的使用極大地簡化了與現有流量分析器(例如 Wireshark)的整合。

Moloch 由三個基本組件組成:

  • 流量擷取系統是一個多執行緒C 應用程序,用於監視流量、以PCAP 格式將轉儲寫入磁碟、解析捕獲的資料包並將有關會話(SPI、狀態資料包檢查)和協定的元資料傳送到Elasticsearch 集群。 可以以加密形式儲存 PCAP 檔案。
  • 基於 Node.js 平台的 Web 介面,運行在每個流量擷取伺服器上,並透過以下方式處理與存取索引資料和傳輸 PCAP 檔案相關的請求 API.
  • 基於Elasticsearch的元資料儲存。

Web 介面提供了多種檢視模式 - 從一般統計資料、連接圖和具有網路活動變更資料的視覺化圖表,到用於研究單一會話、分析所用協定情境中的活動以及解析 PCAP 轉儲資料的工具。

AOL發布Moloch 2.3網路流量索引系統

AOL發布Moloch 2.3網路流量索引系統

AOL發布Moloch 2.3網路流量索引系統

AOL發布Moloch 2.3網路流量索引系統

В 新問題:

  • Elasticsearch 中的索引已轉變為使用無類型格式。
  • 新增了 Lua 中流量擷取過濾器的範例。
  • 已實現對 QUIC 協議 46 草案版本的支援。
  • 解析協定的程式碼已經重新設計,使得為乙太網路和 IP 層協定編寫解析器成為可能。
  • 已經為 arp、bgp、igmp、isis、lldp、ospf 和 pim 協定提出了新的解析器,以及未知的 unkEthernet 和 unkIpProtocol 協定的解析器。
  • 新增了一個選項來選擇性地禁用解析器(disableParsers)。
  • Web 介面中新增了在設定頁面上設定的在圖表上顯示任何整數欄位的功能。
  • 現在,圖表和標題可以被凍結,並且在滾動頁面時不會移動。
  • 大多數導航列預設隱藏或折疊。

來源: opennet.ru

添加評論