AOL Company frigivelse af et system til opsamling, lagring og indeksering af netværkspakker , som giver værktøjer til visuel vurdering af trafikstrømme og søgning efter information relateret til netværksaktivitet. Koden er skrevet i C-sprog (grænseflade i Node.js/JavaScript) og licenseret under Apache 2.0. Understøtter arbejde på Linux og FreeBSD. Parat forberedt til forskellige versioner af CentOS og Ubuntu.
Projektet blev oprettet i 2012 med det mål at skabe en åben erstatning for en kommerciel netværkspakkebehandlingsplatform, der kunne skaleres til AOL-trafikmængder. Implementeringen af et nyt system i AOL gjorde det muligt at opnå fuldstændig kontrol over infrastrukturen på grund af udrulning på dets servere og reducere omkostningerne markant - at bruge Moloch til fuldstændig at fange trafik i alle AOL-netværk koster det samme som ved brug Tidligere blev det brugt på kun at fange trafik på ét netværk. Systemet kan skaleres til at behandle trafik med hastigheder på snesevis af gigabit i sekundet. Mængden af lagrede data er kun begrænset af størrelsen af det tilgængelige diskarray.
Sessionsmetadata indekseres i den motorbaserede klynge .
Moloch inkluderer værktøjer til at fange og indeksere trafik i native PCAP-format, samt til hurtig adgang til indekserede data. For at analysere den akkumulerede information tilbydes en webgrænseflade, der giver dig mulighed for at navigere, søge og eksportere prøver. Også leveret , som giver dig mulighed for at overføre data om optagne pakker i PCAP-format og parsede sessioner i JSON-format til tredjepartsapplikationer. Brugen af PCAP-formatet forenkler integrationen med eksisterende trafikanalysatorer som Wireshark.
Moloch består af tre grundlæggende komponenter:
- Trafikregistreringssystemet er en multi-threaded C-applikation til overvågning af trafik, skrivning af dumps i PCAP-format til disk, parsing af fangede pakker og afsendelse af metadata om sessioner (SPI, Stateful packet inspection) og protokoller til Elasticsearch-klyngen. Det er muligt at gemme PCAP-filer i krypteret form.
- En webgrænseflade baseret på Node.js-platformen, som kører på hver trafikfangstserver og behandler anmodninger relateret til adgang til indekserede data og overførsel af PCAP-filer via .
- Metadatalagring baseret på Elasticsearch.
Webgrænsefladen giver flere visningstilstande - fra generel statistik, forbindelseskort og visuelle grafer med data om ændringer i netværksaktivitet til værktøjer til at studere individuelle sessioner, analyse af aktivitet i sammenhæng med de anvendte protokoller og parsing af data fra PCAP-dumps.
В :
- Der er lavet en overgang til at bruge et typeløst format til indeksering i Elasticsearch.
- Tilføjet eksempler på trafikfangstfiltre i Lua.
- Understøttelse af 46-draft-versionen af QUIC-protokollen er blevet implementeret.
- Koden til parsing af protokoller er blevet omarbejdet, hvilket gør det muligt at skrive parsere til Ethernet- og IP-niveauprotokoller.
- Nye parsere til arp-, bgp-, igmp-, isis-, lldp-, ospf- og pim-protokollerne samt parsere til de ukendte unkEthernet- og unkIpProtocol-protokoller er blevet foreslået.
- Tilføjet en mulighed for selektivt at deaktivere parsere (disableParsers).
- Muligheden for at vise ethvert heltalsfelt på diagrammer, der er angivet på indstillingssiden, er blevet tilføjet til webgrænsefladen.
- Grafer og titler kan nu fryses og ikke flytte sig, når du ruller på siden.
- De fleste navigationsbjælker er skjult eller skjult som standard.
Kilde: opennet.ru