AOL publică sistemul de indexare a traficului de rețea Moloch 2.3

Compania AOL a lansat lansarea unui sistem pentru captarea, stocarea și indexarea pachetelor de rețea Moloch 2.3, care oferă instrumente pentru evaluarea vizuală a fluxurilor de trafic și căutarea informațiilor legate de activitatea în rețea. Codul este scris în limbaj C (interfață în Node.js/JavaScript) și distribuit de licențiat sub Apache 2.0. Acceptă lucrul pe Linux și FreeBSD. Gata pachete pregătit pentru diferite versiuni de CentOS și Ubuntu.

Proiectul a fost creat în 2012 cu scopul de a crea un înlocuitor deschis pentru o platformă comercială de procesare a pachetelor de rețea care ar putea scala la volumele de trafic AOL. Implementarea unui nou sistem în AOL a făcut posibilă obținerea unui control complet asupra infrastructurii datorită implementării pe serverele sale și reducerea semnificativă a costurilor - utilizarea Moloch pentru a capta complet traficul în toate rețelele AOL costă aceeași sumă ca atunci când se utilizează solutie comerciala Anterior, era cheltuit pentru captarea traficului pe o singură rețea. Sistemul se poate scala pentru a procesa traficul la viteze de zeci de gigabiți pe secundă. Volumul datelor stocate este limitat doar de dimensiunea matricei de discuri disponibile.
Metadatele sesiunii sunt indexate în clusterul bazat pe motor Elasticsearch.

Moloch include instrumente pentru captarea și indexarea traficului în format nativ PCAP, precum și pentru acces rapid la datele indexate. Pentru a analiza informațiile acumulate, este oferită o interfață web care vă permite să navigați, să căutați și să exportați mostre. De asemenea, furnizate API, care vă permite să transferați date despre pachetele capturate în format PCAP și sesiunile analizate în format JSON către aplicații terțe. Utilizarea formatului PCAP simplifică foarte mult integrarea cu analizoarele de trafic existente, cum ar fi Wireshark.

Moloch este format din trei componente de bază:

• Sistemul de captare a traficului este o aplicație C multi-threaded pentru monitorizarea traficului, scrierea dump-urilor în format PCAP pe disc, parsarea pachetelor capturate și trimiterea de metadate despre sesiuni (SPI, Stateful packet inspection) și protocoale către clusterul Elasticsearch. Este posibil să stocați fișiere PCAP în formă criptată.
• O interfață web bazată pe platforma Node.js, care rulează pe fiecare server de captare a traficului și procesează cererile legate de accesarea datelor indexate și transferul fișierelor PCAP prin API.
• Stocarea metadatelor bazată pe Elasticsearch.

Interfața web oferă mai multe moduri de vizualizare - de la statistici generale, hărți de conexiune și grafice vizuale cu date privind modificările activității în rețea până la instrumente pentru studierea sesiunilor individuale, analiza activității în contextul protocoalelor utilizate și analizarea datelor din depozitele PCAP.

В problemă nouă:

• S-a făcut o tranziție la utilizarea unui format fără tip pentru indexare în Elasticsearch.
• S-au adăugat exemple de filtre de captare a traficului în Lua.
• A fost implementat suportul pentru versiunea de 46 de schițe a protocolului QUIC.
• Codul pentru protocoalele de analiză a fost reproiectat, făcând posibilă scrierea de parsere pentru protocoale de nivel Ethernet și IP.
• Au fost propuși noi analizatori pentru protocoalele arp, bgp, igmp, isis, lldp, ospf și pim, precum și pentru protocoalele necunoscute unkEthernet și unkIpProtocol.
• S-a adăugat o opțiune pentru dezactivarea selectivă a parserilor (disableParsers).
• Capacitatea de a afișa orice câmp întreg pe diagrame, setat în pagina de setări, a fost adăugată la interfața web.
• Graficele și titlurile pot fi acum înghețate și nu pot fi mutate atunci când derulați pagina.
• Majoritatea barelor de navigare sunt ascunse sau restrânse implicit.

Sursa: opennet.ru