AOL rilascio del sistema per la cattura, archiviazione e indicizzazione dei pacchetti di rete , che offre strumenti per una valutazione visiva dei flussi di traffico e per la ricerca di informazioni relative all'attività di rete. Il codice è scritto in C (interfaccia in Node.js/JavaScript) e distribuito con licenza Apache 2.0. Supporta il funzionamento su Linux e FreeBSD. I pacchetti pronti sono preparati per diverse versioni di CentOS e Ubuntu.
Il progetto è stato creato nel 2012 con l'obiettivo di sviluppare un'alternativa open source a una piattaforma commerciale di elaborazione dei pacchetti di rete, in grado di scalare ai volumi di traffico di AOL. L'implementazione del nuovo sistema in AOL ha consentito di ottenere un controllo completo dell'infrastruttura attraverso il dispiegamento sui propri server e ha significativamente ridotto i costi: l'uso di Moloch per la cattura totale del traffico in tutte le reti AOL ha comportato spese simili a quelle precedentemente sostenute per la cattura del traffico in una sola rete. che prima veniva spesa per catturare il traffico solo in una rete. Il sistema può scalare per gestire il traffico a velocità fino a decine di gigabit al secondo. La quantità di dati archiviati è limitata solo dalle dimensioni del sistema di archiviazione disponibile.
I metadati delle sessioni vengono indicizzati in un cluster basato sul motore .
Moloch include strumenti per la cattura e l'indicizzazione del traffico nel formato standard PCAP, nonché per l'accesso rapido ai dati indicizzati. Per analizzare le informazioni accumulate è disponibile un'interfaccia web, che consente di navigare, cercare ed esportare campioni. Sono inoltre forniti , che permettono di trasferire a applicazioni di terze parti i dati sui pacchetti catturati nel formato PCAP e sulle sessioni analizzate nel formato JSON. L'uso del formato PCAP semplifica notevolmente l'integrazione con gli analizzatori di traffico esistenti, come Wireshark.
Moloch è composto da tre componenti fondamentali:
- Il sistema di cattura del traffico è un'applicazione multi-thread sviluppata in C per il monitoraggio del traffico, la registrazione di dump in formato PCAP su disco, l'analisi dei pacchetti catturati e l'invio di metadati sulle sessioni (SPI, Stateful Packet Inspection) e sui protocolli a un cluster Elasticsearch. È possibile memorizzare i file PCAP in forma cifrata.
- Un'interfaccia web basata sulla piattaforma Node.js, che viene eseguita su ciascun server di cattura del traffico e gestisce le richieste relative all'accesso ai dati indicizzati e alla trasmissione dei file PCAP tramite .
- Un'archiviazione di metadati basata su Elasticsearch.
Nell'interfaccia web sono previste diverse modalità di visualizzazione: dalla statistica generale, alla mappa delle connessioni e ai grafici visivi con dati sulle variazioni dell'attività di rete, fino agli strumenti per esaminare singole sessioni, analizzare l'attività in base ai protocolli utilizzati e decifrare i dati dai dump PCAP.
In :
- È stato effettuato il passaggio all'utilizzo di un formato tipeless per l'indicizzazione in Elasticsearch.
- Aggiunti esempi di filtri per la cattura del traffico in linguaggio Lua.
- Implementato il supporto per la bozza del protocollo QUIC 46.
- Rivisitato il codice per l'analisi dei protocolli, ora è possibile scrivere parser per i protocolli a livello Ethernet e IP.
- Proposti nuovi parser per i protocolli arp, bgp, igmp, isis, lldp, ospf e pim, oltre a parser per protocolli sconosciuti unkEthernet e unkIpProtocol.
- Aggiunta un'opzione per disabilitare selettivamente i parser (disableParsers).
- Nell'interfaccia web è stata aggiunta la possibilità di visualizzare qualsiasi campo intero nei grafici, impostato nella pagina delle impostazioni.
- Grafici e intestazioni ora possono essere fissati e non spostarsi durante lo scorrimento della pagina.
- La maggior parte dei pannelli di navigazione è nascosta o ridotta per impostazione predefinita.
Fonte: opennet.ru
