Compania AOL lansarea unui sistem pentru capturarea, stocarea și indexarea pachetelor de rețea , oferind instrumente pentru evaluarea vizuală a fluxurilor de trafic și căutarea informațiilor legate de activitatea de rețea. Codul este scris în limbajul C (interfața pe Node.js/JavaScript) și sub licența Apache 2.0. Este suportată funcționarea pe Linux și FreeBSD. Pachetele Proiectul a fost creat în 2012 cu scopul de a dezvolta o alternativă deschisă la platformele comerciale de procesare a pachetelor de rețea, capabilă să se scaleze la nivelul volumelor de trafic AOL. Implementarea noului sistem în AOL a permis obținerea unui control complet asupra infrastructurii prin desfășurarea pe serverele proprii și a redus semnificativ costurile — utilizarea Moloch pentru capturarea completă a traficului în toate rețelele AOL a costat o sumă similară cu cea cheltuită anterior pe capturarea traficului într-o singură rețea.
Sistemul poate fi scalat pentru a procesa traficul la viteze de zeci de gigabiți pe secundă. Volumul de date stocate este limitat doar de dimensiunea array-ului de discuri existente. Moloch include instrumente pentru capturarea și indexarea traficului în formatul standard PCAP, precum și pentru acces rapid la datele indexate. Pentru analiza informațiilor acumulate se oferă o interfață web, care permite navigarea, căutarea și exportarea selecțiilor. De asemenea, se furnizează
, care permite transferul datelor despre pachetele capturate în aplicații externe în format PCAP și sesiunile analizate în format JSON. Utilizarea formatului PCAP facilitează semnificativ integrarea cu analisatori de trafic existenți, cum ar fi Wireshark. .
Moloch constă din trei componente de bază: Interfața web bazată pe platforma Node.js, care rulează pe fiecare server de captare a traficului și procesează cererile legate de accesul la datele indexate și transferul fișierelor PCAP prin
Moloch este format din trei componente de bază:
- Sistemul de captare a traficului este o aplicație multi-thread în C pentru monitorizarea traficului, înregistrarea dump-urilor în format PCAP pe disc, despachetarea pachetelor captate și trimiterea metadatelor despre sesiuni (SPI, Stateful packet inspection) și protocoale către un cluster Elasticsearch. Este posibilă stocarea fișierelor PCAP în formă criptată.
- Interfața web bazată pe platforma Node.js, care rulează pe fiecare server de captare a traficului și procesează cererile legate de accesul la datele indexate și transferul fișierelor PCAP prin .
- Stocare de metadate bazată pe Elasticsearch.
Interfața web oferă mai multe moduri de vizualizare — de la statistici generale, harta conexiunilor și grafice vizuale cu date privind variațiile activității de rețea, până la instrumente pentru studierea sesiunilor individuale, analiza activității pe baza protocoalelor utilizate și analiza datelor din dump-uri PCAP.
În :
- A fost realizată trecerea la utilizarea unui format fără tip pentru indexarea în Elasticsearch.
- Au fost adăugate exemple de filtre de captare a traficului în limbajul Lua.
- A fost implementat suportul pentru versiunea 46 preliminară a protocolului QUIC.
- Codul pentru analiza protocoalelor a fost reproiectat, oferind posibilitatea scrierii de parseuri pentru protocoalele de nivel Ethernet și IP.
- Au fost propuse noi parseuri pentru protocoalele arp, bgp, igmp, isis, lldp, ospf și pim, precum și parseuri pentru protocoalele necunoscute unkEthernet și unkIpProtocol.
- A fost adăugată opțiunea de dezactivare selectivă a parseurilor (disableParsers).
- Interfața web a primit posibilitatea de a afișa orice câmp întreg pe grafice, setat pe pagina de configurare.
- Graficele și titlurile pot fi acum fixate și nu se mai mișcă la derularea paginii.
- Majoritatea panourilor de navigație sunt ascunse sau pliate în mod implicit.
Sursa: opennet.ro
