Perusahaan AOL rilis sistem untuk menangkap, menyimpan dan mengindeks paket jaringan , yang menyediakan alat untuk menilai arus lalu lintas secara visual dan mencari informasi terkait aktivitas jaringan. Kode ditulis dalam bahasa C (antarmuka di Node.js/JavaScript) dan berlisensi di bawah Apache 2.0. Mendukung pekerjaan di Linux dan FreeBSD. Siap disiapkan untuk berbagai versi CentOS dan Ubuntu.
Proyek ini dibuat pada tahun 2012 dengan tujuan menciptakan pengganti terbuka untuk platform pemrosesan paket jaringan komersial yang dapat disesuaikan dengan volume lalu lintas AOL. Penerapan sistem baru di AOL memungkinkan untuk mencapai kontrol penuh atas infrastruktur melalui penerapan di servernya dan secara signifikan mengurangi biaya - menggunakan Moloch untuk sepenuhnya menangkap lalu lintas di semua jaringan AOL membutuhkan biaya yang sama seperti saat menggunakan Sebelumnya, ini dihabiskan untuk menangkap lalu lintas hanya di satu jaringan. Sistem ini dapat diskalakan untuk memproses lalu lintas dengan kecepatan puluhan gigabit per detik. Volume data yang disimpan hanya dibatasi oleh ukuran array disk yang tersedia.
Metadata sesi diindeks di klaster berbasis mesin .
Moloch menyertakan alat untuk menangkap dan mengindeks lalu lintas dalam format PCAP asli, serta untuk akses cepat ke data yang diindeks. Untuk menganalisis akumulasi informasi, antarmuka web ditawarkan yang memungkinkan Anda menavigasi, mencari, dan mengekspor sampel. Juga disediakan , yang memungkinkan Anda mentransfer data tentang paket yang diambil dalam format PCAP dan sesi yang diurai dalam format JSON ke aplikasi pihak ketiga. Penggunaan format PCAP sangat menyederhanakan integrasi dengan penganalisis lalu lintas yang ada seperti Wireshark.
Moloch terdiri dari tiga komponen dasar:
- Sistem penangkapan lalu lintas adalah aplikasi C multi-utas untuk memantau lalu lintas, menulis dump dalam format PCAP ke disk, mengurai paket yang ditangkap, dan mengirim metadata tentang sesi (SPI, Inspeksi paket Stateful) dan protokol ke cluster Elasticsearch. Dimungkinkan untuk menyimpan file PCAP dalam bentuk terenkripsi.
- Antarmuka web berdasarkan platform Node.js, yang berjalan di setiap server penangkapan lalu lintas dan memproses permintaan terkait akses data yang diindeks dan mentransfer file PCAP melalui .
- Penyimpanan metadata berdasarkan Elasticsearch.
Antarmuka web menyediakan beberapa mode tampilan - mulai dari statistik umum, peta koneksi dan grafik visual dengan data tentang perubahan aktivitas jaringan hingga alat untuk mempelajari sesi individual, menganalisis aktivitas dalam konteks protokol yang digunakan, dan menguraikan data dari dump PCAP.
Π :
- Transisi telah dilakukan untuk menggunakan format tanpa tipe untuk pengindeksan di Elasticsearch.
- Menambahkan contoh filter penangkapan lalu lintas di Lua.
- Dukungan untuk protokol QUIC versi 46-draft telah diterapkan.
- Kode untuk parsing protokol telah dikerjakan ulang, sehingga memungkinkan untuk menulis parser untuk protokol tingkat Ethernet dan IP.
- Parser baru telah diusulkan untuk protokol arp, bgp, igmp, isis, lldp, ospf dan pim, serta parser untuk protokol unkEthernet dan unkIpProtocol yang tidak diketahui.
- Menambahkan opsi untuk menonaktifkan parser secara selektif (disableParsers).
- Kemampuan untuk menampilkan bidang bilangan bulat apa pun pada grafik, yang diatur pada halaman pengaturan, telah ditambahkan ke antarmuka web.
- Grafik dan judul kini dapat dibekukan dan tidak dipindahkan saat menggulir halaman.
- Sebagian besar bilah navigasi disembunyikan atau diciutkan secara default.
Sumber: opennet.ru