Companyia AOL llançament d'un sistema per capturar, emmagatzemar i indexar paquets de xarxa , que ofereix eines per avaluar visualment els fluxos de trànsit i cercar informació relacionada amb l'activitat de la xarxa. El codi està escrit en llenguatge C (interfície a Node.js/JavaScript) i amb llicència d'Apache 2.0. Admet el treball a Linux i FreeBSD. A punt preparat per a diferents versions de CentOS i Ubuntu.
El projecte es va crear el 2012 amb l'objectiu de crear un substitut obert per a una plataforma comercial de processament de paquets de xarxa que pogués escalar els volums de trànsit d'AOL. La implementació d'un nou sistema a AOL va permetre aconseguir un control complet de la infraestructura gràcies al desplegament als seus servidors i reduir significativament els costos: l'ús de Moloch per capturar completament el trànsit a totes les xarxes d'AOL costava el mateix que quan s'utilitzava. Anteriorment, es destinava a capturar trànsit en una sola xarxa. El sistema pot escalar per processar el trànsit a velocitats de desenes de gigabits per segon. El volum de dades emmagatzemades només està limitat per la mida de la matriu de discs disponible.
Les metadades de la sessió s'indexen al clúster basat en el motor .
Moloch inclou eines per capturar i indexar trànsit en format PCAP natiu, així com per accedir ràpidament a les dades indexades. Per analitzar la informació acumulada, s'ofereix una interfície web que permet navegar, cercar i exportar mostres. També proporcionat , que us permet transferir dades sobre paquets capturats en format PCAP i sessions analitzades en format JSON a aplicacions de tercers. L'ús del format PCAP simplifica enormement la integració amb analitzadors de trànsit existents com Wireshark.
Moloch consta de tres components bàsics:
- El sistema de captura de trànsit és una aplicació C multifil per supervisar el trànsit, escriure bolcats en format PCAP al disc, analitzar paquets capturats i enviar metadades sobre sessions (SPI, inspecció de paquets amb estat) i protocols al clúster Elasticsearch. És possible emmagatzemar fitxers PCAP en forma xifrada.
- Una interfície web basada en la plataforma Node.js, que s'executa a cada servidor de captura de trànsit i processa les sol·licituds relacionades amb l'accés a dades indexades i la transferència de fitxers PCAP mitjançant .
- Emmagatzematge de metadades basat en Elasticsearch.
La interfície web ofereix diversos modes de visualització: des d'estadístiques generals, mapes de connexió i gràfics visuals amb dades sobre els canvis en l'activitat de la xarxa fins a eines per estudiar sessions individuals, analitzar l'activitat en el context dels protocols utilitzats i analitzar dades dels abocadors de PCAP.
В :
- S'ha fet una transició a l'ús d'un format sense tipus per a la indexació a Elasticsearch.
- S'han afegit exemples de filtres de captura de trànsit a Lua.
- S'ha implementat el suport per a la versió de 46 esborranys del protocol QUIC.
- El codi dels protocols d'anàlisi s'ha reelaborat, fent possible escriure analitzadors per a protocols de nivell Ethernet i IP.
- S'han proposat nous analitzadors per als protocols arp, bgp, igmp, isis, lldp, ospf i pim, així com analitzadors per als protocols desconeguts unkEthernet i unkIpProtocol.
- S'ha afegit una opció per desactivar selectivament els analitzadors (disableParsers).
- S'ha afegit a la interfície web la possibilitat de mostrar qualsevol camp enter als gràfics, establert a la pàgina de configuració.
- Els gràfics i els títols ara es poden congelar i no moure's en desplaçar-se per la pàgina.
- La majoria de les barres de navegació s'amaguen o es repleguen per defecte.
Font: opennet.ru