Företaget AOL slÀpp av system för fÄngst, lagring och indexering av nÀtverkspaket , som tillhandahÄller verktyg för att visuellt bedöma trafikflöden och söka efter information relaterad till nÀtverksaktiviteter. Koden Àr skriven i C (grÀnssnittet i Node.js/JavaScript) och licensierad under Apache 2.0. Stödjer drift i Linux och FreeBSD. Redo för olika versioner av CentOS och Ubuntu.
Projektet startades 2012 med mĂ„let att skapa ett öppet alternativ till en kommersiell plattform för nĂ€tverkspaketbehandling, kapabel att skala till nivĂ„er av trafikvolymer som AOL hanterar. Implementeringen av det nya systemet i AOL har gjort det möjligt att uppnĂ„ full kontroll över infrastrukturen genom att rulla ut det pĂ„ egna servrar och har avsevĂ€rt minskat kostnaderna â anvĂ€ndningen av Moloch för fullstĂ€ndig trafikfĂ„ngst i alla AOL:s nĂ€tverk kostade en summa som motsvarade den som tidigare spenderades enbart för trafikfĂ„ngst i ett enda nĂ€tverk. Systemet kan skalas för att hantera trafik med hastigheter pĂ„ tiotals gigabit per sekund. Den lagrade datamĂ€ngden begrĂ€nsas bara av storleken pĂ„ den tillgĂ€ngliga diskarrayen.
Metadata om sessioner indexeras i en kluster baserad pÄ motor .
Moloch inkluderar verktyg för fÄngst och indexering av trafik i standardformatet PCAP, samt för snabb Ätkomst till de indexerade data. För att analysera den insamlade informationen erbjuds ett webbgrÀnssnitt som gör det möjligt att navigera, söka och exportera urval. Det finns ocksÄ tillgÀngligt , som gör det möjligt att överföra fÄngade paketinformat till tredje parts applikationer i PCAP-format och analyserade sessioner i JSON-format. AnvÀndningen av PCAP-formatet förenklar avsevÀrt integreringen med existerande trafikanalysatorer som Wireshark.
Moloch bestÄr av tre grundlÀggande komponenter:
- TrafikfĂ„ngstsystemet â en flertrĂ„dad applikation skriven i C för trafikövervakning, inspelning av dumps i PCAP-format pĂ„ disk, analys av fĂ„ngade paket och överföring av metadata om sessioner (SPI, Stateful packet inspection) och protokoll till en Elasticsearch-kluster. Möjlighet att lagra PCAP-filer i krypterad form.
- WebbgrÀnssnitt byggt pÄ Node.js-plattformen, som körs pÄ varje trafikfÄngstserver och hanterar förfrÄgningar relaterade till Ätkomst till de indexerade datan och överföring av PCAP-filer genom .
- Elasticsearch-baserad metadata lagring.
WebgrĂ€nssnittet erbjuder flera visningslĂ€gen â frĂ„n allmĂ€n statistik, kopplingskartor och tydliga diagram med data om nĂ€tverksaktivitet till verktyg för att studera enskilda sessioner, analysera aktivitet baserat pĂ„ anvĂ€nda protokoll och utföra dataanalys frĂ„n PCAP-dumpar.
I :
- ĂvergĂ„ngen till anvĂ€ndning av ett typfritt format för indexering i Elasticsearch har genomförts.
- Exempel pÄ trafikfÄngstfilter pÄ Lua-sprÄket har lagts till.
- Stöd för version 46 av QUIC-protokollet har implementerats.
- Koden för protokolldekodning har omarbetats, vilket möjliggör skrivande av parser för Ethernet- och IP-nivÄprotokoll.
- Nya parsers för protokollen arp, bgp, igmp, isis, lldp, ospf och pim har föreslagits, liksom parsers för okÀnda protokoll unkEthernet och unkIpProtocol.
- Ett alternativ för selektiv inaktivering av parsers (disableParsers) har lagts till.
- WebgrÀnssnittet har fÄtt möjlighet att visa vilket heltal som helst pÄ graferna, som stÀllts in pÄ instÀllningssidan.
- Diagram och rubriker kan nu fÀstas och förblir pÄ plats nÀr sidan rullas.
- Största delen av navigeringspanelerna Àr som standard dolda eller ihopvikta.
KĂ€lla: opennet.ru
