AOL vállalat az internetes csomagok rögzítésére, tárolására és indexelésére szolgáló rendszer kiadása , amely eszközöket kínál a forgalom vizuális értékelésére és a hálózati aktivitással kapcsolatos információk keresésére. A kód C nyelven íródott (Node.js/JavaScript interfésszel) és Apache 2.0 licenc alatt áll. Linux és FreeBSD rendszerben működik. Kész a különböző CentOS és Ubuntu verziókhoz.
A projektet 2012-ben hozták létre azzal a céllal, hogy nyílt alternatívát kínáljon kereskedelmi hálózati csomagfeldolgozó platformok számára, amely képes skálázódni az AOL forgalmi szintjén. Az új rendszer bevezetése az AOL-nál teljes ellenőrzést biztosított az infrastruktúra felett a saját szervereikre történő telepítéssel, és jelentősen csökkentette a költségeket – a Moloch teljes forgalom rögzítése az összes AOL hálózatban olyan költségeket igényelt, mint amennyit korábban csak egyetlen hálózaton belüli forgalom rögzítésére költöttek. A rendszer skálázható a forgalom feldolgozására, akár tíz gigabit/másodperc sebességgel. Az eltárolt adatok volumene csak a rendelkezésre álló lemezterület méretéhez van korlátozva.
A kapcsolati metaadatok indexelése a .
Moloch tartalmaz eszközöket a forgalom rögzítésére és indexelésére PCAP formátumban, valamint a beindexelt adatokhoz való gyors hozzáféréshez. Az összegyűjtött információk elemzésére egy web-interfész áll rendelkezésre, amely lehetővé teszi a böngészést, keresést és minták exportálását. Emellett biztosít , amely lehetővé teszi, hogy külső alkalmazások számára PCAP formátumban rögzített csomagokat és JSON formátumban elemzett kapcsolatokat küldjön. A PCAP formátum használata jelentősen megkönnyíti a meglévő forgalomelemzőkkel, például a Wireshark-kal való integrációt.
A Moloch három alapvető összetevőből áll:
- A forgalom rögzítő rendszere — több szálon futó C nyelven írt alkalmazás a forgalom figyelésére, a PCAP formátumú dumpok lementésére lemezre, a rögzített csomagok elemzésére és az ülések (SPI, Stateful packet inspection) és protokollok metaadatainak elküldésére az Elasticsearch klaszterbe. A PCAP fájlok titkosított formában is tárolhatók.
- Web-interfész a Node.js alapú platformon, amely minden forgalom rögzítő szerveren fut és kezeli a beindexelt adatokhoz való hozzáféréssel és PCAP fájlok továbbításával kapcsolatos kéréseket. .
- Metaadat-tároló Elasticsearch alapú.
A webes felületen több nézetmód választható — az általános statisztikától, a kapcsolatok térképén és a hálózati aktivitás változásaival kapcsolatos grafikonoktól kezdve az egyes szekvenciák vizsgálatára, a használt protokollok szerint végzett aktivitás elemzésére és a PCAP dumpok adatainak feldolgozására szolgáló eszközökig.
A :
- Átálltunk a típusmentes formátum használatára az Elasticsearch indexeléséhez.
- Hozzáadtunk példákat a forgalomfogó szűrőkről Lua nyelven.
- A QUIC protokoll 46-os vázlatverziójának támogatása megvalósult.
- A protokollok feldolgozó kódja átdolgozásra került, lehetővé téve az Ethernet és IP szintű protokollok elemzőinek megírását.
- Új elemzők kerültek javaslatra az arp, bgp, igmp, isis, lldp, ospf és pim protokollokhoz, valamint ismeretlen protokoll elemzők az unkEthernet és unkIpProtocol esetében.
- Hozzáadva egy opció a parszerek szelektív letiltására (disableParsers).
- A webes felület lehetővé teszi bármely egész számú mező grafikonokon való megjelenítését, amely a beállítások oldalán van megadva.
- A grafikonok és a címek mostantól rögzíthetők és nem mozdulnak el az oldal görgetésekor.
- A navigációs panelek többsége alapértelmezés szerint el van rejtve vagy össze van csukva.
Forrás: opennet.ru
