AOL Company utgivelse av et system for å fange, lagre og indeksere nettverkspakker , som gir verktøy for visuelt å vurdere trafikkflyter og søke etter informasjon relatert til nettverksaktivitet. Koden er skrevet på C-språk (grensesnitt i Node.js/JavaScript) og lisensiert under Apache 2.0. Støtter arbeid på Linux og FreeBSD. Klar forberedt for forskjellige versjoner av CentOS og Ubuntu.
Prosjektet ble opprettet i 2012 med mål om å skape en åpen erstatning for en kommersiell nettverkspakkebehandlingsplattform som kan skaleres til AOL-trafikkvolumer. Implementeringen av et nytt system i AOL gjorde det mulig å oppnå full kontroll over infrastrukturen på grunn av utplassering på serverne og redusere kostnadene betydelig - bruk av Moloch for å fullstendig fange opp trafikk i alle AOL-nettverk koster like mye som ved bruk Tidligere ble det brukt på å fange opp trafikk på kun ett nettverk. Systemet kan skaleres for å behandle trafikk med hastigheter på titalls gigabit per sekund. Volumet av lagrede data begrenses kun av størrelsen på den tilgjengelige diskarrayen.
Øktens metadata indekseres i den motorbaserte klyngen .
Moloch inkluderer verktøy for å fange og indeksere trafikk i innebygd PCAP-format, samt for rask tilgang til indekserte data. For å analysere den akkumulerte informasjonen tilbys et webgrensesnitt som lar deg navigere, søke og eksportere prøver. Også gitt , som lar deg overføre data om innfangede pakker i PCAP-format og analyserte økter i JSON-format til tredjepartsapplikasjoner. Bruken av PCAP-formatet forenkler betraktelig integrasjon med eksisterende trafikkanalysatorer som Wireshark.
Moloch består av tre grunnleggende komponenter:
- Trafikkfangstsystemet er en flertråds C-applikasjon for overvåking av trafikk, skriving av dumps i PCAP-format til disk, parsing av fangede pakker og sending av metadata om økter (SPI, Stateful packet inspection) og protokoller til Elasticsearch-klyngen. Det er mulig å lagre PCAP-filer i kryptert form.
- Et nettgrensesnitt basert på Node.js-plattformen, som kjører på hver trafikkfangstserver og behandler forespørsler knyttet til tilgang til indekserte data og overføring av PCAP-filer via .
- Metadatalagring basert på Elasticsearch.
Nettgrensesnittet gir flere visningsmoduser – fra generell statistikk, tilkoblingskart og visuelle grafer med data om endringer i nettverksaktivitet til verktøy for å studere individuelle økter, analysere aktivitet i sammenheng med protokollene som brukes og analysere data fra PCAP-dumper.
В :
- Det er gjort en overgang til å bruke et typeløst format for indeksering i Elasticsearch.
- Lagt til eksempler på trafikkfangstfiltre i Lua.
- Støtte for 46-utkastversjonen av QUIC-protokollen er implementert.
- Koden for parsing-protokoller har blitt omarbeidet, noe som gjør det mulig å skrive parsere for Ethernet- og IP-nivåprotokoller.
- Nye parsere er foreslått for arp-, bgp-, igmp-, isis-, lldp-, ospf- og pim-protokollene, så vel som parsere for de ukjente unkEthernet- og unkIpProtocol-protokollene.
- Lagt til et alternativ for å selektivt deaktivere parsere (disableParsers).
- Muligheten til å vise et hvilket som helst heltallsfelt på diagrammer, angitt på innstillingssiden, er lagt til nettgrensesnittet.
- Grafer og titler kan nå fryses og ikke flyttes når du ruller på siden.
- De fleste navigasjonslinjer er skjult eller skjult som standard.
Kilde: opennet.ru