Azienda AOL rilascio del sistema per la cattura, archiviazione e indicizzazione dei pacchetti di rete , fornendo strumenti per una valutazione visiva dei flussi di traffico e per la ricerca di informazioni correlate all'attività di rete. Il codice è scritto in linguaggio C (interfaccia in Node.js/JavaScript) e sotto licenza Apache 2.0. Supporta il funzionamento su Linux e FreeBSD. I pacchetti preparati per diverse versioni di CentOS e Ubuntu.
Il progetto è stato creato nel 2012 con l'obiettivo di realizzare un'alternativa open-source alla piattaforma commerciale di elaborazione dei pacchetti di rete, capace di scalare ai volumi di traffico di AOL. L'implementazione del nuovo sistema in AOL ha consentito di ottenere un controllo completo sull'infrastruttura grazie al deployment sui propri server e ha significativamente ridotto i costi — l'utilizzo di Moloch per la cattura totale del traffico in tutte le reti AOL ha comportato spese simili a quelle sostenute per la che prima venivano spese solo per la cattura del traffico in una singola rete. Il sistema può scalare per gestire il traffico a velocità di decine di gigabit al secondo. La quantità di dati memorizzati è limitata solo dalle dimensioni dell'array di dischi disponibile.
I metadati sulle sessioni vengono indicizzati in un cluster basato sul motore .
Moloch include strumenti per la cattura e l'indicizzazione del traffico nel formato PCAP standard, oltre per un rapido accesso ai dati indicizzati. Per analizzare le informazioni accumulate è disponibile un'interfaccia web che permette di eseguire navigazione, ricerca ed esportazione dei campioni. È fornito anche , che consente di inviare a applicazioni esterne dati sui pacchetti catturati nel formato PCAP e sulle sessioni analizzate nel formato JSON. L'uso del formato PCAP semplifica notevolmente l'integrazione con gli analizzatori di traffico esistenti, come Wireshark.
Moloch è composto da tre elementi base:
- Il sistema di cattura del traffico è un'applicazione multithreading in linguaggio C per il monitoraggio del traffico, la registrazione dei dump in formato PCAP su disco, l'analisi dei pacchetti catturati e l'invio dei metadati sulle sessioni (SPI, Stateful packet inspection) e sui protocolli a un cluster Elasticsearch. È possibile memorizzare i file PCAP in forma crittografata.
- Interfaccia web basata sulla piattaforma Node.js, che viene eseguita su ciascun server di cattura del traffico e gestisce le richieste relative all'accesso ai dati indicizzati e alla trasmissione di file PCAP tramite .
- Archiviazione dei metadati basata su Elasticsearch.
Nell'interfaccia web sono previsti diversi modi di visualizzazione: dalla statistica generale, alla mappa delle connessioni e grafici esplicativi con dati sulle variazioni dell'attività di rete, fino a strumenti per analizzare singole sessioni, esaminare l'attività in relazione ai protocolli utilizzati e analizzare i dati dai dump PCAP.
In :
- È stato effettuato il passaggio all'uso di un formato senza tipo per l'indicizzazione in Elasticsearch.
- Aggiunti esempi di filtri per la cattura del traffico in linguaggio Lua.
- Implementato il supporto per la revisione 46 del protocollo QUIC.
- Il codice per l'analisi dei protocolli è stato rielaborato, è ora possibile scrivere parser per protocolli a livello di Ethernet e IP.
- Proposti nuovi parser per i protocolli arp, bgp, igmp, isis, lldp, ospf e pim, così come parser per protocolli sconosciuti unkEthernet e unkIpProtocol.
- Aggiunta un'opzione per disabilitare selettivamente i parser (disableParsers).
- Nell'interfaccia web è stata aggiunta la possibilità di visualizzare qualsiasi campo intero sui grafici, impostato nella pagina delle impostazioni.
- I grafici e i titoli ora possono essere fissati e non si sposteranno durante lo scorrimento della pagina.
- La maggior parte delle barre di navigazione è di default nascosta o ridotta.
Fonte: opennet.ru
