AOL-bedrijf release van een systeem voor het vastleggen, opslaan en indexeren van netwerkpakketten , dat hulpmiddelen biedt voor het visueel beoordelen van verkeersstromen en het zoeken naar informatie over netwerkactiviteit. De code is geschreven in C-taal (interface in Node.js/JavaScript) en gelicentieerd onder Apache 2.0. Ondersteunt werk op Linux en FreeBSD. Klaar voorbereid voor verschillende versies van CentOS en Ubuntu.
Het project werd in 2012 opgericht met als doel een open vervanging te creëren voor een commercieel netwerkpakketverwerkingsplatform dat zou kunnen schalen naar AOL-verkeersvolumes. De implementatie van een nieuw systeem in AOL maakte het mogelijk om volledige controle over de infrastructuur te verkrijgen dankzij de implementatie op de servers en de kosten aanzienlijk te verlagen - het gebruik van Moloch om het verkeer in alle AOL-netwerken volledig vast te leggen kostte hetzelfde bedrag als bij het gebruik van Voorheen werd het besteed aan het vastleggen van verkeer op slechts één netwerk. Het systeem kan worden geschaald om verkeer te verwerken met snelheden van tientallen gigabits per seconde. Het volume aan opgeslagen gegevens wordt alleen beperkt door de grootte van de beschikbare schijfarray.
Metagegevens van sessies worden geïndexeerd in het engine-gebaseerde cluster .
Moloch bevat tools voor het vastleggen en indexeren van verkeer in het oorspronkelijke PCAP-formaat, en voor snelle toegang tot geïndexeerde gegevens. Om de verzamelde informatie te analyseren, wordt een webinterface aangeboden waarmee u kunt navigeren, zoeken en monsters kunt exporteren. Ook voorzien , waarmee u gegevens over vastgelegde pakketten in PCAP-indeling en geparseerde sessies in JSON-indeling kunt overbrengen naar toepassingen van derden. Het gebruik van het PCAP-formaat vereenvoudigt de integratie met bestaande verkeersanalysatoren zoals Wireshark aanzienlijk.
Moloch bestaat uit drie basiscomponenten:
- Het traffic capture-systeem is een multi-threaded C-applicatie voor het monitoren van verkeer, het schrijven van dumps in PCAP-formaat naar schijf, het parseren van vastgelegde pakketten en het verzenden van metagegevens over sessies (SPI, Stateful packet inspection) en protocollen naar het Elasticsearch-cluster. Het is mogelijk om PCAP-bestanden gecodeerd op te slaan.
- Een webinterface gebaseerd op het Node.js-platform, dat op elke traffic capture-server draait en verzoeken verwerkt met betrekking tot toegang tot geïndexeerde gegevens en het overbrengen van PCAP-bestanden via .
- Metadata-opslag op basis van Elasticsearch.
De webinterface biedt verschillende weergavemodi - van algemene statistieken, verbindingskaarten en visuele grafieken met gegevens over veranderingen in netwerkactiviteit tot tools voor het bestuderen van individuele sessies, het analyseren van activiteit in de context van de gebruikte protocollen en het parseren van gegevens uit PCAP-dumps.
В :
- Er is een overstap gemaakt naar het gebruik van een typeloos formaat voor indexering in Elasticsearch.
- Voorbeelden toegevoegd van filters voor het vastleggen van verkeer in Lua.
- Ondersteuning voor de 46-conceptversie van het QUIC-protocol is geïmplementeerd.
- De code voor het parseren van protocollen is herwerkt, waardoor het mogelijk is parsers te schrijven voor protocollen op Ethernet- en IP-niveau.
- Er zijn nieuwe parsers voorgesteld voor de arp-, bgp-, igmp-, isis-, lldp-, ospf- en pim-protocollen, evenals parsers voor de onbekende unkEthernet- en unkIpProtocol-protocollen.
- Een optie toegevoegd om parsers selectief uit te schakelen (disableParsers).
- De mogelijkheid om elk geheel getalveld in diagrammen weer te geven, ingesteld op de instellingenpagina, is aan de webinterface toegevoegd.
- Grafieken en titels kunnen nu worden bevroren en niet bewegen tijdens het scrollen op de pagina.
- De meeste navigatiebalken zijn standaard verborgen of samengevouwen.
Bron: opennet.ru