Azienda AOL rilascio di un sistema per l'acquisizione, la memorizzazione e l'indicizzazione dei pacchetti di rete , che fornisce strumenti per valutare visivamente i flussi di traffico e cercare informazioni relative all'attività di rete. Il codice è scritto in linguaggio C (interfaccia in Node.js/JavaScript) e concesso in licenza con Apache 2.0. Supporta il lavoro su Linux e FreeBSD. Pronto preparato per diverse versioni di CentOS e Ubuntu.
Il progetto è stato creato nel 2012 con l'obiettivo di creare un sostituto aperto per una piattaforma di elaborazione dei pacchetti di rete commerciale in grado di adattarsi ai volumi di traffico AOL. L'implementazione di un nuovo sistema in AOL ha permesso di ottenere il controllo completo sull'infrastruttura grazie alla distribuzione sui propri server e di ridurre significativamente i costi: l'utilizzo di Moloch per acquisire completamente il traffico in tutte le reti AOL costa lo stesso importo di quando si utilizza In precedenza, veniva speso per acquisire traffico su una sola rete. Il sistema può scalare per elaborare il traffico a velocità di decine di gigabit al secondo. Il volume dei dati archiviati è limitato solo dalla dimensione dell'array di dischi disponibile.
I metadati della sessione sono indicizzati nel cluster basato sul motore .
Moloch include strumenti per acquisire e indicizzare il traffico in formato PCAP nativo, nonché per un rapido accesso ai dati indicizzati. Per analizzare le informazioni accumulate, viene offerta un'interfaccia web che consente di navigare, cercare ed esportare campioni. Fornito anche , che consente di trasferire i dati sui pacchetti catturati in formato PCAP e sulle sessioni analizzate in formato JSON ad applicazioni di terze parti. L'uso del formato PCAP semplifica notevolmente l'integrazione con gli analizzatori di traffico esistenti come Wireshark.
Moloch è costituito da tre componenti fondamentali:
- Il sistema di acquisizione del traffico è un'applicazione C multi-thread per il monitoraggio del traffico, la scrittura di dump in formato PCAP su disco, l'analisi dei pacchetti catturati e l'invio di metadati sulle sessioni (SPI, Stateful Packet Inspection) e sui protocolli al cluster Elasticsearch. È possibile archiviare file PCAP in forma crittografata.
- Un'interfaccia web basata sulla piattaforma Node.js, che gira su ciascun server di acquisizione del traffico ed elabora le richieste relative all'accesso ai dati indicizzati e al trasferimento dei file PCAP tramite .
- Archiviazione di metadati basata su Elasticsearch.
L'interfaccia web offre diverse modalità di visualizzazione: da statistiche generali, mappe di connessione e grafici visivi con dati sui cambiamenti nell'attività di rete a strumenti per studiare sessioni individuali, analizzare l'attività nel contesto dei protocolli utilizzati e analizzare i dati dai dump PCAP.
В :
- È stata effettuata una transizione all'utilizzo di un formato senza tipo per l'indicizzazione in Elasticsearch.
- Aggiunti esempi di filtri di acquisizione del traffico in Lua.
- È stato implementato il supporto per la versione a 46 bozze del protocollo QUIC.
- Il codice per l'analisi dei protocolli è stato rielaborato, rendendo possibile scrivere parser per protocolli a livello Ethernet e IP.
- Sono stati proposti nuovi parser per i protocolli arp, bgp, igmp, isis, lldp, ospf e pim, nonché parser per i protocolli sconosciuti unkEthernet e unkIpProtocol.
- Aggiunta un'opzione per disabilitare selettivamente i parser (disableParsers).
- All'interfaccia web è stata aggiunta la possibilità di visualizzare qualsiasi campo intero sui grafici, impostata nella pagina delle impostazioni.
- Grafici e titoli ora possono essere congelati e non spostati durante lo scorrimento della pagina.
- La maggior parte delle barre di navigazione sono nascoste o compresse per impostazione predefinita.
Fonte: opennet.ru