AOL Company system release for capturing, storing, and indexing network packets , providing tools for visual assessment of traffic flows and searching for information related to network activity. The code is written in C (interface in Node.js/JavaScript) and is licensed under Apache 2.0. It supports operation in Linux and FreeBSD. Ready-made are prepared for different versions of CentOS and Ubuntu.
The project was created in 2012 with the aim of developing an open replacement for commercial network packet processing platforms, capable of scaling to the traffic volumes of AOL. Implementing the new system at AOL allowed for complete infrastructure control through deployment on their own servers and significantly reduced costs — using Moloch for full traffic capture across all AOL networks cost an amount similar to what was previously spent which was only used for traffic capture in one network. The system can scale to handle traffic speeds of tens of gigabits per second. The volume of stored data is limited only by the size of the available disk array.
Session metadata is indexed in a cluster based on the engine .
Moloch includes tools for capturing and indexing traffic in standard PCAP format, as well as for quick access to indexed data. A web interface is offered for analyzing the accumulated information, allowing navigation, searching, and exporting samples. It also provides , enabling the transfer of captured packet data to external applications in PCAP format and analyzed sessions in JSON format. The use of PCAP format significantly simplifies integration with existing traffic analyzers such as Wireshark.
Moloch consists of three basic components:
- Trafikopsamlingssystemet — en multitrådet applikation skrevet i C til overvågning af trafik, optagelse af dumps i PCAP-format på disk, nedbrydning af opsamlede pakker og sending af metadata om sessioner (SPI, Stateful packet inspection) og protokoller til en Elasticsearch-kluster. PCAP-filer kan opbevares i krypteret form.
- A web interface based on the Node.js platform, which runs on each traffic capture server and processes requests related to accessing indexed data and transferring PCAP files through .
- Metadata-lager baseret på Elasticsearch.
Webgrænsefladen tilbyder flere visningsmuligheder - fra generel statistik, netværkskort og illustrative grafer med data om ændringer i netværksaktiviteten til værktøjer til at undersøge individuelle sessioner, analysere aktivitet efter anvendte protokoller og analysere data fra PCAP-dumps.
I :
- Der er sket en overgang til brug af et fraværsformat til indeksering i Elasticsearch.
- Der er tilføjet eksempler på trafikfangstfiltre på Lua.
- Understøttelse af 46. udkast af QUIC-protokollen er implementeret.
- Koden til protokolparsing er blevet revideret, hvilket muliggør skrivning af parsere til Ethernet- og IP-niveau protokoller.
- Nye parsere til protokoller som arp, bgp, igmp, isis, lldp, ospf og pim er blevet foreslået, ligesom parsere til ukendte protokoller unkEthernet og unkIpProtocol.
- Der er tilføjet en mulighed for selektivt at deaktivere parsere (disableParsers).
- Webgrænsefladen har fået mulighed for at vise ethvert heltalsfelt på graferne, sat op på indstillingssiden.
- Graferne og overskrifterne kan nu fastgøres, så de ikke flytter sig ved rulning af siden.
- Størstedelen af navigationspanelerne er som standard skjult eller sammenfoldet.
Kilde: opennet.ru
