AOL Társaság hálózati csomagok rögzítésére, tárolására és indexelésére szolgáló rendszer kiadása , amely eszközöket biztosít a forgalmi áramlások vizuális értékeléséhez és a hálózati tevékenységgel kapcsolatos információk kereséséhez. A kód C nyelven íródott (az interfész Node.js/JavaScriptben) és licence Apache 2.0. Támogatja a munkát Linuxon és FreeBSD-n. Kész a CentOS és az Ubuntu különböző verzióihoz készült.
A projektet 2012-ben hozták létre azzal a céllal, hogy nyílt helyettesítőt hozzanak létre egy kereskedelmi hálózati csomagfeldolgozó platform számára, amely az AOL forgalom volumenére skálázható. Az új rendszer bevezetése az AOL-ban lehetővé tette az infrastruktúra teljes ellenőrzését a szervereken való telepítés miatt, és jelentősen csökkenti a költségeket - a Moloch használata a forgalom teljes lefoglalására az összes AOL-hálózaton ugyanannyiba került, mint a használat során. Korábban csak egy hálózat forgalmának rögzítésére fordították. A rendszer több tíz gigabit/másodperc sebességgel képes feldolgozni a forgalmat. A tárolt adatok mennyiségét csak a rendelkezésre álló lemeztömb mérete korlátozza.
A munkamenet metaadatai a motoralapú fürtben vannak indexelve .
A Moloch eszközöket tartalmaz a forgalom natív PCAP formátumban történő rögzítésére és indexelésére, valamint az indexelt adatok gyors elérésére. A felhalmozott információk elemzéséhez egy webes felületet kínálnak, amely lehetővé teszi a navigációt, a keresést és a minták exportálását. Szintén biztosított , amely lehetővé teszi a PCAP formátumban rögzített csomagok és a JSON formátumban elemzett munkamenetek adatainak átvitelét harmadik féltől származó alkalmazásokhoz. A PCAP formátum használata nagyban leegyszerűsíti a meglévő forgalomelemzőkkel, például a Wiresharkkal való integrációt.
A Moloch három alapvető összetevőből áll:
- A forgalomrögzítő rendszer egy többszálas C alkalmazás a forgalom figyelésére, PCAP formátumú kiíratások lemezre írására, a rögzített csomagok elemzésére, valamint a munkamenetekre vonatkozó metaadatok (SPI, Stateful csomagellenőrzés) és protokollok elküldésére az Elasticsearch fürtbe. Lehetőség van PCAP fájlok titkosított formában történő tárolására.
- A Node.js platformon alapuló webes felület, amely minden forgalomrögzítő szerveren fut, és feldolgozza az indexelt adatok elérésével és a PCAP fájlok átvitelével kapcsolatos kéréseket. .
- Elasticsearch alapú metaadattárolás.
A webes felület többféle megtekintési módot kínál – az általános statisztikáktól, kapcsolati térképektől és vizuális grafikonoktól a hálózati aktivitás változásaira vonatkozó adatokkal az egyes munkamenetek tanulmányozására, a tevékenység elemzésére a használt protokollok kontextusában és a PCAP kiíratások adatainak elemzésére szolgáló eszközökig.
В :
- Átállás történt a típus nélküli formátum használatára az Elasticsearch indexelésénél.
- Példák hozzáadva a Lua forgalomrögzítő szűrőire.
- A QUIC protokoll 46 vázlatos verziójának támogatása megtörtént.
- Átdolgozták az elemző protokollok kódját, lehetővé téve az Ethernet és IP szintű protokollok értelmezőinek írását.
- Új elemzőket javasoltak az arp, bgp, igmp, isis, lldp, ospf és pim protokollokhoz, valamint elemzőket az ismeretlen unkEthernet és unkIpProtocol protokollokhoz.
- Beállítás hozzáadva az elemzők szelektív letiltásához (disableParsers).
- A webes felülethez hozzáadták a beállítások oldalon beállított bármely egész mező megjelenítésének lehetőségét a diagramokon.
- A grafikonok és a címek most lefagyaszthatók, és nem mozdulnak el az oldal görgetése közben.
- A legtöbb navigációs sáv alapértelmezés szerint rejtett vagy összecsukott.
Forrás: opennet.ru