Společnost AOL vydání systému pro zachycování, ukládání a indexování síťových paketů , která poskytuje nástroje pro vizuální hodnocení dopravních toků a vyhledávání informací souvisejících s aktivitou sítě. Kód je napsán v jazyce C (rozhraní v Node.js/JavaScript) a licencováno pod Apache 2.0. Podporuje práci na Linuxu a FreeBSD. Připraveno připraveno pro různé verze CentOS a Ubuntu.
Projekt vznikl v roce 2012 s cílem vytvořit otevřenou náhradu za komerční síťovou platformu pro zpracování paketů, která by se mohla škálovat na objemy provozu AOL. Implementace nového systému v AOL umožnila dosáhnout kompletní kontroly nad infrastrukturou díky nasazení na jejích serverech a výrazně snížit náklady – použití Molocha k úplnému zachycení provozu ve všech sítích AOL stojí stejnou částku jako při použití Dříve se vynakládalo na zachycení provozu pouze na jedné síti. Systém se může škálovat pro zpracování provozu rychlostí desítek gigabitů za sekundu. Objem uložených dat je omezen pouze velikostí dostupného diskového pole.
Metadata relace jsou indexována v clusteru založeném na stroji .
Moloch obsahuje nástroje pro zachycování a indexování provozu v nativním formátu PCAP a také pro rychlý přístup k indexovaným datům. Pro analýzu nashromážděných informací se nabízí webové rozhraní, které umožňuje navigaci, vyhledávání a export vzorků. Také za předpokladu , který umožňuje přenášet data o zachycených paketech ve formátu PCAP a analyzovaných relacích ve formátu JSON do aplikací třetích stran. Použití formátu PCAP výrazně zjednodušuje integraci se stávajícími analyzátory provozu, jako je Wireshark.
Moloch se skládá ze tří základních komponent:
- Systém zachycování provozu je vícevláknová C aplikace pro monitorování provozu, zapisování výpisů ve formátu PCAP na disk, analýzu zachycených paketů a odesílání metadat o relacích (SPI, Stateful packet inspection) a protokolech do clusteru Elasticsearch. Soubory PCAP je možné ukládat v zašifrované podobě.
- Webové rozhraní založené na platformě Node.js, které běží na každém serveru pro zachycení provozu a zpracovává požadavky související s přístupem k indexovaným datům a přenosem souborů PCAP přes .
- Ukládání metadat založené na Elasticsearch.
Webové rozhraní poskytuje několik režimů zobrazení - od obecných statistik, map připojení a vizuálních grafů s daty o změnách aktivity sítě až po nástroje pro studium jednotlivých relací, analýzu aktivity v kontextu použitých protokolů a parsování dat z PCAP výpisů.
В :
- Byl proveden přechod na používání beztypového formátu pro indexování v Elasticsearch.
- Přidány příklady filtrů pro zachycení provozu v Lua.
- Byla implementována podpora pro 46-návrhovou verzi protokolu QUIC.
- Kód pro protokoly analýzy byl přepracován, což umožňuje psát analyzátory pro protokoly na úrovni Ethernet a IP.
- Byly navrženy nové analyzátory pro protokoly arp, bgp, igmp, isis, lldp, ospf a pim a rovněž analyzátory pro neznámé protokoly unkEthernet a unkIpProtocol.
- Přidána možnost selektivně zakázat analyzátory (disableParsers).
- Do webového rozhraní byla přidána možnost zobrazení libovolného celočíselného pole na grafech, nastavená na stránce nastavení.
- Grafy a názvy lze nyní zmrazit a nelze je při posouvání stránky pohybovat.
- Většina navigačních panelů je ve výchozím nastavení skrytá nebo sbalená.
Zdroj: opennet.ru