AOL je objavio sustav indeksiranja mrežnog prometa Moloch 2.3

Tvrtka AOL izdala izdanje sustava za hvatanje, pohranu i indeksiranje mrežnih paketa Moloch 2.3, pružajući alate za vizualnu procjenu protoka prometa i pronalaženje informacija povezanih s mrežnom aktivnošću. Kod je napisan na jeziku C (sučelje na Node.js/JavaScript) i distribuira se pod licencom Apache 2.0. Podržana je korist u Linuxu i FreeBSD. Spremni paketi pripremljeni su za različite verzije CentOS-a i Ubuntua.

Projekt je pokrenut 2012. godine s ciljem stvaranja otvorene zamjene za komercijalnu platformu za obradu mrežnih paketa, sposobne za skaliranje na razinu prometa AOL-a. Implementacija novog sustava u AOL omogućila je potpunu kontrolu nad infrastrukturom putem implementacije na vlastitim poslužiteljima i znatno smanjila troškove — korištenje Molocha za potpuno hvatanje prometa u svim mrežama AOL koštalo je iznos sličan onome koji je ranije trošen na hvatanje prometa samo u jednoj mreži. komercijalnog rješenja Sustav se može skalirati za obradu prometa brzinama od desetaka gigabita u sekundi. Obujam pohranjenih podataka ograničen je samo veličinom postojećeg diskovnog niza.
Metapodaci o sesijama indeksiraju se u klasteru na temelju motora Elasticsearch.

Moloch uključuje alate za hvatanje i indeksiranje prometa u standardnom formatu PCAP, kao i za brzi pristup indeksiranim podacima. Za analizu prikupljenih informacija nudi se web-sućelje koje omogućuje navigaciju, pretraživanje i izvoz uzoraka. Također se pruža API, omogućujući prijenos podataka o uhvaćenim paketima u vanjske aplikacije u formatu PCAP i razrađenim sesijama u formatu JSON. Korištenje formata PCAP značajno pojednostavljuje integraciju s postojećim analizatorima prometa, poput Wiresharka.

Moloch se sastoji od tri osnovna komponenata:

• Sustav za hvatanje prometa — višestruka aplikacija napisano na jeziku C za praćenje prometa, pohranjivanje snimaka u formatu PCAP na disk, analizu uhvaćenih paketa i slanje metapodataka o sesijama (SPI, Stateful packet inspection) i protokolima u klaster Elasticsearch. Moguće je pohranjivanje PCAP-datoteka u šifriranom obliku.
• Web sučelje temeljen na Node.js platformi, koje se pokreće na svakom serveru za prikupljanje prometa i obrađuje zahtjeve vezane uz pristup indeksiranim podacima i prijenos PCAP datoteka kroz API.
• Skladište metapodataka temeljeno na Elasticsearchu.

U web sučelju postoji nekoliko načina prikaza — od opće statistike, karte veza i preglednih grafikona sa podacima o promjeni mrežne aktivnosti do alata za proučavanje pojedinačnih sesija, analize aktivnosti prema korištenim protokolima i razrade podataka iz PCAP dumpova.

U novom izdanju:

• Proveden je prijelaz na korištenje format bez tipa za indeksiranje u Elasticsearchu.
• Dodani su primjeri filtara za prikupljanje prometa u Lua jeziku.
• Implementirana je podrška za 46. radni nacrt QUIC protokola.
• Preuređen je kod za razradu protokola, omogućena je izrada parsera za Ethernet i IP razinu protokola.
• Predloženi su novi parseri za protokole arp, bgp, igmp, isis, lldp, ospf i pim, kao i parseri za nepoznate protokole unkEthernet i unkIpProtocol.
• Dodana je opcija za selektivno isključivanje parsera (disableParsers).
• U web sučelje dodana je mogućnost prikazivanja bilo kojeg cijelog broja na grafikonima, postavljenih na stranici s postavkama.
• Grafikoni i naslovi sada se mogu fiksirati i ne pomjerati prilikom pomicanja stranice.
• Većina navigacijskih panela po defaultu je skrivena ili smanjena.

Izvor: opennet.ru