AOL nerbitake sistem indeks lalu lintas jaringan Moloch 2.3

Perusahaan AOL dirilis release saka sistem kanggo njupuk, nyimpen lan ngindeks paket jaringan Molok 2.3, sing nyedhiyakake alat kanggo ngevaluasi arus lalu lintas kanthi visual lan nggoleki informasi sing ana gandhengane karo aktivitas jaringan. Kode ditulis ing basa C (antarmuka ing Node.js/JavaScript) lan disebarake dening dilisensi ing Apache 2.0. Ndhukung karya ing Linux lan FreeBSD. siyap paket disiapake kanggo macem-macem versi CentOS lan Ubuntu.

Proyèk iki digawe ing 2012 kanthi tujuan nggawe panggantos mbukak kanggo platform pangolahan paket jaringan komersial sing bisa ukuran volume lalu lintas AOL. Implementasi sistem anyar ing AOL ndadekake bisa entuk kontrol lengkap babagan infrastruktur amarga penyebaran ing server lan nyuda biaya kanthi signifikan - nggunakake Moloch kanggo njupuk lalu lintas ing kabeh jaringan AOL kanthi biaya sing padha nalika nggunakake. solusi komersial Sadurunge, iki digunakake kanggo njupuk lalu lintas mung siji jaringan. Sistem kasebut bisa skala kanggo ngolah lalu lintas kanthi kecepatan puluhan gigabit per detik. Volume data sing disimpen mung diwatesi karo ukuran array disk sing kasedhiya.
Metadata sesi diindeks ing kluster adhedhasar mesin Elasticsearch.

Moloch kalebu alat kanggo njupuk lan ngindeks lalu lintas ing format PCAP asli, uga kanggo akses cepet menyang data sing diindeks. Kanggo nganalisa informasi akumulasi, antarmuka web ditawakake sing ngidini sampeyan navigasi, telusuran lan ngekspor conto. Uga kasedhiya API, sing ngidini sampeyan nransfer data babagan paket sing dijupuk ing format PCAP lan sesi parsed ing format JSON menyang aplikasi pihak katelu. Panggunaan format PCAP nyederhanakake integrasi karo penganalisa lalu lintas sing wis ana kayata Wireshark.

Moloch kasusun saka telung komponen dhasar:

• Sistem panangkepan lalu lintas minangka aplikasi C multi-Utas kanggo ngawasi lalu lintas, nulis dumps ing format PCAP menyang disk, parsing paket sing dijupuk lan ngirim metadata babagan sesi (SPI, inspeksi paket Stateful) lan protokol menyang kluster Elasticsearch. Sampeyan bisa nyimpen file PCAP ing wangun ndhelik.
• Antarmuka web adhedhasar platform Node.js, sing lumaku ing saben server panangkepan lalu lintas lan ngolah panjaluk sing ana gandhengane karo ngakses data sing diindeks lan nransfer file PCAP liwat API.
• Panyimpenan metadata adhedhasar Elasticsearch.

Antarmuka web nyedhiyakake sawetara mode tampilan - saka statistik umum, peta sambungan lan grafik visual kanthi data babagan owah-owahan aktivitas jaringan kanggo alat kanggo sinau sesi individu, nganalisa kegiatan ing konteks protokol sing digunakake lan data parsing saka dumps PCAP.

В release anyar:

• Transisi wis digawe kanggo nggunakake format tanpa jinis kanggo indeksasi ing Elasticsearch.
• Nambahake conto filter lalu lintas ing Lua.
• Dhukungan kanggo versi 46-draf protokol QUIC wis dileksanakake.
• Kode kanggo protokol parsing wis digarap maneh, supaya bisa nulis parser kanggo protokol tingkat Ethernet lan IP.
• Parser anyar kanggo protokol arp, bgp, igmp, isis, lldp, ospf lan pim, uga parser kanggo protokol unkEthernet lan unkIpProtocol sing ora dingerteni, wis diusulake.
• Nambahake pilihan kanggo mateni parser kanthi selektif (disableParsers).
• Kemampuan kanggo nampilake kolom integer ing grafik, disetel ing kaca setelan, wis ditambahake menyang antarmuka web.
• Grafik lan judhul saiki bisa beku lan ora obah nalika nggulung kaca.
• Umume garis navigasi didhelikake utawa ambruk minangka standar.

Source: opennet.ru