AOL je objavil sistem indeksiranja omrežnega prometa Moloch 2.3

Podjetje AOL izpuščen izid sistema za zajem, shranjevanje in indeksiranje omrežnih paketov Moloh 2.3, ki ponuja orodja za vizualno ocenjevanje prometnih tokov in iskanje informacij, povezanih z omrežno aktivnostjo. Koda je napisana v jeziku C (vmesnik v Node.js/JavaScript) in distributer licenciran pod Apache 2.0. Podpira delo na Linuxu in FreeBSD. pripravljena pakete pripravljeno za različne različice CentOS in Ubuntu.

Projekt je bil ustvarjen leta 2012 s ciljem ustvariti odprto zamenjavo za komercialno omrežno platformo za obdelavo paketov, ki bi se lahko prilagodila obsegu prometa AOL. Implementacija novega sistema v AOL je omogočila popoln nadzor nad infrastrukturo zaradi namestitve na njegove strežnike in občutno zmanjšala stroške – uporaba Molocha za popoln zajem prometa v vseh omrežjih AOL je stala enako kot pri uporabi komercialna rešitev Prej so ga porabili za zajem prometa samo v enem omrežju. Sistem se lahko poveča za obdelavo prometa s hitrostjo več deset gigabitov na sekundo. Količina shranjenih podatkov je omejena le z velikostjo razpoložljivega diskovnega polja.
Metapodatki seje so indeksirani v gruči, ki temelji na motorju Elastično iskanje.

Moloch vključuje orodja za zajem in indeksiranje prometa v izvornem formatu PCAP ter za hiter dostop do indeksiranih podatkov. Za analizo zbranih informacij je na voljo spletni vmesnik, ki omogoča navigacijo, iskanje in izvoz vzorcev. Zagotovljeno tudi API, ki omogoča prenos podatkov o zajetih paketih v formatu PCAP in razčlenjenih sejah v formatu JSON v aplikacije tretjih oseb. Uporaba formata PCAP močno poenostavi integracijo z obstoječimi analizatorji prometa, kot je Wireshark.

Moloch je sestavljen iz treh osnovnih komponent:

• Sistem za zajem prometa je večnitna aplikacija C za spremljanje prometa, pisanje izpiskov v formatu PCAP na disk, razčlenjevanje zajetih paketov in pošiljanje metapodatkov o sejah (SPI, Stateful packet inspection) in protokolih v gručo Elasticsearch. Datoteke PCAP je mogoče shraniti v šifrirani obliki.
• Spletni vmesnik, ki temelji na platformi Node.js, ki deluje na vsakem strežniku za zajem prometa in obdeluje zahteve, povezane z dostopom do indeksiranih podatkov in prenosom datotek PCAP prek API.
• Shranjevanje metapodatkov, ki temelji na Elasticsearch.

Spletni vmesnik omogoča več načinov pregledovanja – od splošne statistike, zemljevidov povezav in vizualnih grafov s podatki o spremembah omrežne aktivnosti do orodij za preučevanje posameznih sej, analiziranje aktivnosti v kontekstu uporabljenih protokolov in razčlenjevanje podatkov iz PCAP odlagališč.

В nova izdaja:

• Izveden je bil prehod na uporabo breztipske oblike za indeksiranje v Elasticsearch.
• Dodani primeri filtrov za zajem prometa v Lua.
• Izvedena je bila podpora za 46-osnutno različico protokola QUIC.
• Koda za razčlenjevanje protokolov je bila predelana, kar omogoča pisanje razčlenjevalnikov za protokole na ravni Ethernet in IP.
• Predlagani so bili novi razčlenjevalniki za protokole arp, bgp, igmp, isis, lldp, ospf in pim ter razčlenjevalniki za neznana protokola unkEthernet in unkIpProtocol.
• Dodana možnost za selektivno onemogočanje razčlenjevalcev (disableParsers).
• Spletnemu vmesniku je dodana možnost prikaza poljubnega polja celih števil na grafikonih, ki je nastavljeno na strani z nastavitvami.
• Grafe in naslove je zdaj mogoče zamrzniti in se med premikanjem po strani ne premikajo.
• Večina navigacijskih vrstic je privzeto skritih ali strnjenih.

Vir: opennet.ru