AOL släpper Moloch 2.3 Web Traffic Indexing System

AOL-företaget släppte lansering av ett system för att fånga, lagra och indexera nätverkspaket Moloch 2.3, som tillhandahåller verktyg för att visuellt bedöma trafikflöden och söka efter information relaterad till nätverksaktivitet. Koden är skriven i C (med ett Node.js/JavaScript-gränssnitt) och levererad av under Apache 2.0-licensen. Arbetet stöds i Linux och FreeBSD. Klar paket förberedd för olika versioner CentOS и Ubuntu.

Projektet skapades 2012 med målet att skapa en öppen ersättning för en kommersiell nätverkspaketbehandlingsplattform som kunde skalas till AOLs trafikvolymer. Implementeringen av det nya systemet hos AOL gjorde det möjligt för dem att uppnå full kontroll över infrastrukturen genom att driftsätta den på sina egna servrar och avsevärt minska kostnaderna - att använda Moloch för att helt fånga trafik över alla AOL-nätverk kostade ungefär lika mycket som att använda kommersiella lösningar tidigare användes för att fånga trafik i endast ett nätverk. Systemet kan skalas för att hantera trafik med hastigheter på tiotals gigabit per sekund. Mängden lagrad data begränsas endast av storleken på den tillgängliga diskmatrisen.
Sessionsmetadata indexeras i det motorbaserade klustret Elasticsearch.

Moloch innehåller verktyg för att samla in och indexera trafik i standard PCAP-format, samt för snabb åtkomst till indexerad data. Ett webbgränssnitt erbjuds för att analysera den ackumulerade informationen, vilket möjliggör navigering, sökning och export av prover. Det tillhandahåller också API, vilket låter dig överföra data om insamlade paket i PCAP-format och parsade sessioner i JSON-format till tredjepartsapplikationer. Att använda PCAP-formatet förenklar integrationen med befintliga trafikanalysatorer, som Wireshark, avsevärt.

Moloch består av tre grundläggande komponenter:

• Traffic Capture System är en flertrådad C-applikation för att övervaka trafik, skriva PCAP-dumpar till disk, analysera infångade paket och skicka sessionsmetadata (SPI, Stateful packet inspection) och protokoll till ett Elasticsearch-kluster. Det är möjligt att lagra PCAP-filer krypterade.
• Ett webbgränssnitt baserat på Node.js-plattformen som körs på varje trafikinsamlingsserver och bearbetar förfrågningar relaterade till åtkomst till indexerad data och överföring av PCAP-filer via API.
• Metadatalagring baserad på Elasticsearch.

Webbgränssnittet erbjuder flera visningslägen - från allmän statistik, en anslutningskarta och visuella grafer med data om förändringar i nätverksaktivitet till verktyg för att studera enskilda sessioner, analysera aktivitet i termer av använda protokoll och analysera data från PCAP-dumpar.

В nya utgåvan:

• Övergången till att använda ett typlöst format för indexering i Elasticsearch har slutförts.
• Lade till exempel på trafikinsamlingsfilter i Lua.
• Stöd för den 46:e utkastversionen av QUIC-protokollet har implementerats.
• Koden för parsningsprotokoll har omarbetats, vilket gör det möjligt att skriva parsers för Ethernet- och IP-protokoll.
• Nya parsers för protokollen arp, bgp, igmp, isis, lldp, ospf och pim, samt parsers för de okända protokollen unkEthernet och unkIpProtocol föreslås.
• Lade till alternativ för att selektivt inaktivera parsers (disableParsers).
• Webbgränssnittet har nu möjlighet att visa vilket heltalsfält som helst i diagram, vilket ställs in på inställningssidan.
• Diagram och rubriker kan nu fästas och inte flyttas när du skrollar på sidan.
• De flesta navigeringsfält är dolda eller hopfällda som standard.

Källa: opennet.ru