Kumpanya ng AOL paglabas ng isang sistema para sa pagkuha, pag-iimbak at pag-index ng mga packet ng network , na nagbibigay ng mga tool para sa biswal na pagtatasa ng mga daloy ng trapiko at paghahanap ng impormasyong nauugnay sa aktibidad ng network. Ang code ay nakasulat sa wikang C (interface sa Node.js/JavaScript) at lisensyado sa ilalim ng Apache 2.0. Sinusuportahan ang trabaho sa Linux at FreeBSD. handa na inihanda para sa iba't ibang bersyon ng CentOS at Ubuntu.
Ang proyekto ay nilikha noong 2012 na may layuning lumikha ng isang bukas na kapalit para sa isang komersyal na network packet processing platform na maaaring masukat sa dami ng trapiko ng AOL. Ang pagpapatupad ng isang bagong sistema sa AOL ay naging posible upang makamit ang kumpletong kontrol sa imprastraktura dahil sa pag-deploy sa mga server nito at makabuluhang bawasan ang mga gastos - gamit ang Moloch upang ganap na makuha ang trapiko sa lahat ng AOL network ay nagkakahalaga ng parehong halaga kapag gumagamit Dati, ginugol ito sa pagkuha ng trapiko sa isang network lamang. Ang system ay maaaring mag-scale upang iproseso ang trapiko sa bilis na sampu-sampung gigabit bawat segundo. Ang dami ng nakaimbak na data ay limitado lamang sa laki ng available na disk array.
Ang metadata ng session ay ini-index sa engine-based cluster .
Kasama sa Moloch ang mga tool para sa pagkuha at pag-index ng trapiko sa katutubong format ng PCAP, pati na rin para sa mabilis na pag-access sa na-index na data. Upang pag-aralan ang naipon na impormasyon, nag-aalok ng web interface na nagbibigay-daan sa iyong mag-navigate, maghanap at mag-export ng mga sample. Ibinigay din , na nagbibigay-daan sa iyong maglipat ng data tungkol sa mga nakuhang packet sa PCAP na format at mga na-parse na session sa JSON na format sa mga third-party na application. Ang paggamit ng format ng PCAP ay lubos na nagpapadali sa pagsasama sa mga kasalukuyang traffic analyzer gaya ng Wireshark.
Ang Moloch ay binubuo ng tatlong pangunahing sangkap:
- Ang traffic capture system ay isang multi-threaded C application para sa pagsubaybay sa trapiko, pagsulat ng mga dump sa PCAP na format sa disk, pag-parse ng mga nakuhang packet at pagpapadala ng metadata tungkol sa mga session (SPI, Stateful packet inspection) at mga protocol sa Elasticsearch cluster. Posibleng mag-imbak ng mga PCAP file sa naka-encrypt na anyo.
- Isang web interface batay sa platform ng Node.js, na tumatakbo sa bawat traffic capture server at nagpoproseso ng mga kahilingang nauugnay sa pag-access ng naka-index na data at paglilipat ng mga PCAP file sa pamamagitan ng .
- Imbakan ng metadata batay sa Elasticsearch.
Nagbibigay ang web interface ng ilang viewing mode - mula sa mga pangkalahatang istatistika, mga mapa ng koneksyon at mga visual na graph na may data sa mga pagbabago sa aktibidad ng network hanggang sa mga tool para sa pag-aaral ng mga indibidwal na session, pagsusuri ng aktibidad sa konteksto ng mga protocol na ginamit at pag-parse ng data mula sa mga dump ng PCAP.
Π :
- Isang transition ang ginawa sa paggamit ng walang type na format para sa pag-index sa Elasticsearch.
- Nagdagdag ng mga halimbawa ng mga filter sa pagkuha ng trapiko sa Lua.
- Naipatupad na ang suporta para sa 46-draft na bersyon ng QUIC protocol.
- Ang code para sa pag-parse ng mga protocol ay muling ginawa, na ginagawang posible na magsulat ng mga parser para sa Ethernet at IP na mga protocol sa antas.
- Ang mga bagong parser ay iminungkahi para sa arp, bgp, igmp, isis, lldp, ospf at pim protocol, pati na rin ang mga parser para sa hindi kilalang unkEthernet at unkIpProtocol na mga protocol.
- Nagdagdag ng opsyon upang piliing huwag paganahin ang mga parser (disableParsers).
- Ang kakayahang magpakita ng anumang integer na field sa mga chart, na itinakda sa pahina ng mga setting, ay naidagdag sa web interface.
- Ang mga graph at pamagat ay maaari na ngayong i-freeze at hindi ilipat kapag nag-i-scroll sa pahina.
- Karamihan sa mga navigation bar ay nakatago o na-collapse bilang default.
Pinagmulan: opennet.ru