AOL objavljuje Moloch 2.3 sistem indeksiranja mrežnog saobraćaja

AOL Company pušten oslobađanje sistema za hvatanje, skladištenje i indeksiranje mrežnih paketa Moloch 2.3, koji pruža alate za vizualnu procjenu tokova prometa i traženje informacija vezanih za mrežnu aktivnost. Kod je napisan u jeziku C (interfejs u Node.js/JavaScript) i distribuira licenciran pod Apache 2.0. Podržava rad na Linuxu i FreeBSD-u. Spreman paketi pripremljeno za različite verzije CentOS-a i Ubuntu-a.

Projekat je kreiran 2012. godine s ciljem stvaranja otvorene zamjene za komercijalnu mrežnu platformu za obradu paketa koja bi se mogla skalirati na obim prometa AOL-a. Implementacija novog sistema u AOL-u omogućila je postizanje potpune kontrole nad infrastrukturom zbog postavljanja na njegove servere i značajno smanjenje troškova - korištenje Moloch-a za potpuno hvatanje prometa u svim AOL mrežama koštalo je isti iznos kao i pri korištenju komercijalno rješenje Ranije se trošilo na hvatanje prometa na samo jednoj mreži. Sistem se može skalirati da obrađuje promet brzinom od desetina gigabita u sekundi. Količina pohranjenih podataka ograničena je samo veličinom dostupnog diskovnog niza.
Metapodaci sesije su indeksirani u klasteru baziranom na mašini Elasticsearch.

Moloch uključuje alate za hvatanje i indeksiranje saobraćaja u izvornom PCAP formatu, kao i za brz pristup indeksiranim podacima. Za analizu akumuliranih informacija, nudi se web sučelje koje vam omogućava navigaciju, pretraživanje i izvoz uzoraka. Takođe obezbeđeno API, koji vam omogućava da prenesete podatke o uhvaćenim paketima u PCAP formatu i raščlanjenim sesijama u JSON formatu u aplikacije treće strane. Upotreba PCAP formata uvelike pojednostavljuje integraciju sa postojećim analizatorima saobraćaja kao što je Wireshark.

Moloch se sastoji od tri osnovne komponente:

• Sistem za hvatanje saobraćaja je višenitna C aplikacija za praćenje saobraćaja, pisanje dumpova u PCAP formatu na disk, raščlanjivanje uhvaćenih paketa i slanje metapodataka o sesijama (SPI, Stateful packet inspection) i protokola u Elasticsearch klaster. Moguće je pohraniti PCAP datoteke u šifriranom obliku.
• Web sučelje bazirano na Node.js platformi, koje radi na svakom serveru za snimanje prometa i obrađuje zahtjeve koji se odnose na pristup indeksiranim podacima i prijenos PCAP datoteka putem API.
• Skladištenje metapodataka bazirano na Elasticsearch-u.

Web sučelje pruža nekoliko načina pregleda - od općih statistika, mapa konekcija i vizualnih grafova sa podacima o promjenama mrežne aktivnosti do alata za proučavanje pojedinačnih sesija, analize aktivnosti u kontekstu korištenih protokola i parsiranja podataka iz PCAP deponija.

В novo izdanje:

• Napravljen je prijelaz na korištenje formata bez tipa za indeksiranje u Elasticsearch.
• Dodati primjeri filtera za hvatanje prometa u Lua.
• Implementirana je podrška za verziju QUIC protokola sa 46 nacrta.
• Kod za raščlanjivanje protokola je prerađen, što omogućava pisanje parsera za Ethernet i IP protokole na nivou.
• Predloženi su novi parseri za arp, bgp, igmp, isis, lldp, ospf i pim protokole, kao i parseri za nepoznate unkEthernet i unkIpProtocol protokole.
• Dodata opcija za selektivno onemogućavanje parsera (disableParsers).
• Web interfejsu je dodata mogućnost prikaza bilo kojeg celobrojnog polja na grafikonima, postavljena na stranici podešavanja.
• Grafikoni i naslovi sada se mogu zamrznuti i ne pomicati prilikom pomicanja po stranici.
• Većina navigacijskih traka je prema zadanim postavkama skrivena ili skupljena.

izvor: opennet.ru