Společnost AOL vydání systému pro zachycení, ukládání a indexaci síťových paketů , poskytující nástroje pro vizuální hodnocení toku provozu a vyhledávání informací souvisejících se síťovou aktivitou. Kód je napsán v jazyce C (rozhraní na Node.js/JavaScript) a pod licencí Apache 2.0. Podporována je činnost v Linuxu a FreeBSD. Připravené jsou k dispozici pro různé verze CentOS a Ubuntu.
Projekt byl vytvořen v roce 2012 s cílem vytvořit otevřenou alternativu komerční platformy pro zpracování síťových paketů, schopnou škálovat se na úroveň objemů provozu AOL. Zavedení nového systému do AOL umožnilo dosáhnout plné kontroly nad infrastrukturou díky nasazení na vlastních serverech a výrazně snížit náklady — použití Moloch pro úplné zachycení provozu ve všech sítích AOL mělo náklady srovnatelné s těmi, které byly dříve vynaloženy na zachycení provozu pouze v jedné síti. K systému lze škálovat pro zpracování provozu rychlostí desítek gigabitů za sekundu. Množství uložených dat je omezeno pouze velikostí dostupného diskového pole.
Metadata o sezeních jsou indexována v clusteru na bázi enginu .
Moloch zahrnuje nástroje pro zachycení a indexaci provozu ve standardním formátu PCAP, stejně jako pro rychlý přístup k indexovaným datům. Pro analýzu nasbíraných informací je navržen webový rozhraní, které umožňuje provádět navigaci, vyhledávání a export výběrů. Je také poskytován , který umožňuje předávat do externích aplikací data o zachycených paketech ve formátu PCAP a analyzovaných sezeních ve formátu JSON. Použití formátu PCAP značně zjednodušuje integraci se stávajícími analyzátory provozu, jako je Wireshark.
Moloch se skládá ze tří základních komponentů:
- Systém pro zachycování provozu — vícetrátková aplikace v jazyce C pro monitorování provozu, zápis dumpů ve formátu PCAP na disk, analýzu zachycených paketů a odesílání metadat o relacích (SPI, Stateful packet inspection) a protokolech do clusteru Elasticsearch. Uložení PCAP souborů je možné v zašifrované podobě.
- Webové rozhraní založené na platformě Node.js, které běží na každém serveru pro zachycení provozu a zpracovává požadavky související s přístupem k indexovaným datům a přenosem souborů PCAP přes .
- Úložiště metadat založené na Elasticsearch.
V webovém rozhraní je k dispozici několik režimů zobrazení — od přehledné statistiky, mapy spojení a názorných grafů měnící se síťové aktivity po nástroje pro zkoumání jednotlivých sezení, analýzu aktivity podle používaných protokolů a analýzu dat z PCAP dumpů.
V :
- Byl zrealizován přechod na použití formátu bez typu pro indexaci v Elasticsearch.
- Byly přidány příklady filtrů pro zachytávání provozu v jazyce Lua.
- Byla implementována podpora návrhu protokolu QUIC verze 46.
- Byl přepracován kód pro analýzu protokolů, což umožňuje psaní parserů pro protokoly na úrovni Ethernet a IP.
- Byly navrženy nové parsovací nástroje pro protokoly arp, bgp, igmp, isis, lldp, ospf a pim, stejně jako parsery pro neznámé protokoly unkEthernet a unkIpProtocol.
- Byla přidána možnost selektivního vypnutí parserů (disableParsers).
- Do webového rozhraní byla přidána funkce zobrazování jakéhokoli celého čísla na grafech, které bylo nastaveno na stránce s nastavením.
- Grafy a nadpisy mohou být nyní přichyceny a nepohybují se při scrollování stránky.
- Většina navigačních panelů je ve výchozím nastavení skryta nebo sbalena.
Zdroj: opennet.ru
