AOL je objavio Moloch 2.3 sustav indeksiranja mrežnog prometa

Tvrtka AOL pušten izdanje sustava za hvatanje, pohranjivanje i indeksiranje mrežnih paketa Moloh 2.3, koji pruža alate za vizualnu procjenu tokova prometa i traženje informacija povezanih s mrežnom aktivnošću. Kod je napisan u jeziku C (sučelje u Node.js/JavaScript) i distribuira licenciran pod Apache 2.0. Podržava rad na Linuxu i FreeBSD-u. Spreman paketi pripremljen za različite verzije CentOS-a i Ubuntu-a.

Projekt je nastao 2012. godine s ciljem stvaranja otvorene zamjene za komercijalnu mrežnu platformu za obradu paketa koja bi se mogla prilagoditi AOL prometu. Implementacija novog sustava u AOL-u omogućila je postizanje potpune kontrole nad infrastrukturom zbog postavljanja na njegove poslužitelje i značajno smanjenje troškova - korištenje Molocha za potpuno hvatanje prometa u svim AOL mrežama koštalo je jednako kao i kod korištenja komercijalno rješenje Ranije se trošilo na hvatanje prometa na samo jednoj mreži. Sustav se može skalirati za obradu prometa brzinama od desetaka gigabita u sekundi. Količina pohranjenih podataka ograničena je samo veličinom raspoloživog diskovnog polja.
Metapodaci sesije indeksirani su u klasteru koji se temelji na motoru Elasticsearch.

Moloch uključuje alate za snimanje i indeksiranje prometa u izvornom PCAP formatu, kao i za brzi pristup indeksiranim podacima. Za analizu prikupljenih informacija nudi se web sučelje koje vam omogućuje navigaciju, pretraživanje i izvoz uzoraka. Također osigurano API, koji vam omogućuje prijenos podataka o snimljenim paketima u PCAP formatu i raščlanjenim sesijama u JSON formatu aplikacijama trećih strana. Korištenje PCAP formata uvelike pojednostavljuje integraciju s postojećim analizatorima prometa kao što je Wireshark.

Moloch se sastoji od tri osnovne komponente:

• Sustav za hvatanje prometa je C aplikacija s više niti za praćenje prometa, pisanje ispisa u PCAP formatu na disk, raščlanjivanje snimljenih paketa i slanje metapodataka o sesijama (SPI, Stateful packet inspekcija) i protokola u Elasticsearch klaster. Moguće je pohraniti PCAP datoteke u šifriranom obliku.
• Web sučelje temeljeno na Node.js platformi, koje radi na svakom poslužitelju za snimanje prometa i obrađuje zahtjeve koji se odnose na pristup indeksiranim podacima i prijenos PCAP datoteka putem API.
• Pohranjivanje metapodataka temeljeno na Elasticsearchu.

Web sučelje nudi nekoliko načina pregleda - od općih statistika, mapa povezivanja i vizualnih grafikona s podacima o promjenama mrežne aktivnosti do alata za proučavanje pojedinačnih sesija, analiziranje aktivnosti u kontekstu korištenih protokola i raščlanjivanje podataka iz PCAP dumpova.

В novo izdanje:

• Napravljen je prijelaz na korištenje formata bez tipa za indeksiranje u Elasticsearchu.
• Dodani primjeri filtara za snimanje prometa u Lua.
• Implementirana je podrška za 46-draft verziju QUIC protokola.
• Kod za raščlanjivanje protokola je prerađen, što omogućuje pisanje raščlanjivača za protokole Ethernet i IP razine.
• Predloženi su novi parseri za protokole arp, bgp, igmp, isis, lldp, ospf i pim, kao i parseri za nepoznate protokole unkEthernet i unkIpProtocol.
• Dodana opcija za selektivno onemogućavanje parsera (disableParsers).
• Mogućnost prikaza bilo kojeg polja cijelog broja na grafikonima, postavljenog na stranici s postavkama, dodana je na web sučelje.
• Grafikoni i naslovi sada se mogu zamrznuti i ne pomicati prilikom pomicanja stranice.
• Većina navigacijskih traka prema zadanim je postavkama skrivena ili sažeta.

Izvor: opennet.ru