AOL publicerade Moloch 2.3 indexeringssystem för nätverkstrafik

AOL Company släppte release av ett system för att fånga, lagra och indexera nätverkspaket Moloch 2.3, som tillhandahåller verktyg för att visuellt bedöma trafikflöden och söka efter information relaterad till nätverksaktivitet. Koden är skriven i C-språk (gränssnitt i Node.js/JavaScript) och levererad av licensierad under Apache 2.0. Stöder arbete på Linux och FreeBSD. Redo paket förberedd för olika versioner av CentOS och Ubuntu.

Projektet skapades 2012 med målet att skapa en öppen ersättning för en kommersiell nätverkspaketbearbetningsplattform som kan skalas till AOL-trafikvolymer. Implementeringen av ett nytt system i AOL gjorde det möjligt att uppnå fullständig kontroll över infrastrukturen på grund av utplacering på dess servrar och avsevärt sänka kostnaderna - att använda Moloch för att helt fånga trafik i alla AOL-nätverk kostar samma summa som när man använder kommersiell lösning Tidigare gick det åt att fånga upp trafik på endast ett nätverk. Systemet kan skalas för att bearbeta trafik med hastigheter på tiotals gigabits per sekund. Volymen lagrad data begränsas endast av storleken på den tillgängliga diskarrayen.
Sessionsmetadata indexeras i det motorbaserade klustret Elasticsearch.

Moloch inkluderar verktyg för att fånga och indexera trafik i inbyggt PCAP-format, samt för snabb åtkomst till indexerad data. För att analysera den ackumulerade informationen erbjuds ett webbgränssnitt som låter dig navigera, söka och exportera prover. Också tillhandahålls API, som låter dig överföra data om infångade paket i PCAP-format och analyserade sessioner i JSON-format till tredjepartsprogram. Användningen av PCAP-formatet förenklar integrationen med befintliga trafikanalysatorer som Wireshark avsevärt.

Moloch består av tre grundläggande komponenter:

• Trafikfångningssystemet är en flertrådad C-applikation för att övervaka trafik, skriva PCAP-dumpar till disk, tolka infångade paket och skicka stateful packet inspection (SPI) och protokollmetadata till ett Elasticsearch-kluster. Det är möjligt att lagra PCAP-filer i krypterad form.
• Ett webbgränssnitt baserat på Node.js-plattformen, som körs på varje trafikfångstserver och behandlar förfrågningar relaterade till åtkomst av indexerad data och överföring av PCAP-filer via API.
• Metadatalagring baserad på Elasticsearch.

Webbgränssnittet tillhandahåller flera visningslägen - från allmän statistik, anslutningskartor och visuella grafer med data om förändringar i nätverksaktivitet till verktyg för att studera enskilda sessioner, analysera aktivitet i samband med de protokoll som används och analysera data från PCAP-dumpar.

В nya utgåvan:

• En övergång har gjorts till att använda ett typlöst format för indexering i Elasticsearch.
• Lade till exempel på trafikfångningsfilter i Lua.
• Stöd för versionen med 46 utkast av QUIC-protokollet har implementerats.
• Koden för att analysera protokoll har omarbetats, vilket gör det möjligt att skriva parsers för Ethernet- och IP-nivåprotokoll.
• Nya parsers har föreslagits för arp, bgp, igmp, isis, lldp, ospf och pim-protokollen, såväl som parsers för de okända unkEthernet- och unkIpProtocol-protokollen.
• Lade till ett alternativ för att selektivt inaktivera parsers (disableParsers).
• Möjligheten att visa vilket heltalsfält som helst på diagram, som anges på inställningssidan, har lagts till i webbgränssnittet.
• Grafer och titlar kan nu frysas och inte flyttas när du rullar på sidan.
• De flesta navigeringsfält är dolda eller komprimerade som standard.

Källa: opennet.ru