AOL menerbitkan sistem pengindeksan trafik rangkaian Moloch 2.3

Syarikat AOL dibebaskan pelepasan sistem untuk menangkap, menyimpan dan mengindeks paket rangkaian Moloch 2.3, yang menyediakan alat untuk menilai aliran trafik secara visual dan mencari maklumat yang berkaitan dengan aktiviti rangkaian. Kod ini ditulis dalam bahasa C (antara muka dalam Node.js/JavaScript) dan diedarkan oleh berlesen di bawah Apache 2.0. Menyokong kerja pada Linux dan FreeBSD. sedia pakej disediakan untuk versi CentOS dan Ubuntu yang berbeza.

Projek ini telah dicipta pada tahun 2012 dengan matlamat untuk mencipta penggantian terbuka untuk platform pemprosesan paket rangkaian komersial yang boleh menskalakan kepada volum trafik AOL. Pelaksanaan sistem baharu dalam AOL memungkinkan untuk mencapai kawalan penuh ke atas infrastruktur disebabkan penggunaan pada pelayannya dan mengurangkan kos dengan ketara - menggunakan Moloch untuk menangkap trafik sepenuhnya dalam semua rangkaian AOL dengan kos yang sama seperti semasa menggunakan penyelesaian komersial Sebelum ini, ia dibelanjakan untuk menangkap trafik pada satu rangkaian sahaja. Sistem ini boleh berskala untuk memproses trafik pada kelajuan berpuluh-puluh gigabit sesaat. Jumlah data yang disimpan dihadkan hanya oleh saiz tatasusunan cakera yang tersedia.
Metadata sesi diindeks dalam kelompok berasaskan enjin Elasticsearch.

Moloch termasuk alatan untuk menangkap dan mengindeks trafik dalam format PCAP asli, serta untuk akses pantas kepada data yang diindeks. Untuk menganalisis maklumat terkumpul, antara muka web ditawarkan yang membolehkan anda menavigasi, mencari dan mengeksport sampel. Juga disediakan API, yang membolehkan anda memindahkan data tentang paket yang ditangkap dalam format PCAP dan sesi yang dihuraikan dalam format JSON ke aplikasi pihak ketiga. Penggunaan format PCAP sangat memudahkan penyepaduan dengan penganalisis trafik sedia ada seperti Wireshark.

Moloch terdiri daripada tiga komponen asas:

  • Sistem tangkapan trafik ialah aplikasi C berbilang benang untuk memantau trafik, menulis pembuangan dalam format PCAP ke cakera, menghuraikan paket yang ditangkap dan menghantar metadata tentang sesi (SPI, pemeriksaan paket Stateful) dan protokol kepada kelompok Elasticsearch. Anda boleh menyimpan fail PCAP dalam bentuk yang disulitkan.
  • Antara muka web berdasarkan platform Node.js, yang berjalan pada setiap pelayan tangkapan trafik dan memproses permintaan yang berkaitan dengan mengakses data yang diindeks dan memindahkan fail PCAP melalui API.
  • Storan metadata berdasarkan Elasticsearch.

Antara muka web menyediakan beberapa mod tontonan - daripada statistik umum, peta sambungan dan graf visual dengan data tentang perubahan dalam aktiviti rangkaian kepada alatan untuk mengkaji sesi individu, menganalisis aktiviti dalam konteks protokol yang digunakan dan menghuraikan data daripada pembuangan PCAP.

AOL menerbitkan sistem pengindeksan trafik rangkaian Moloch 2.3

AOL menerbitkan sistem pengindeksan trafik rangkaian Moloch 2.3

AOL menerbitkan sistem pengindeksan trafik rangkaian Moloch 2.3

AOL menerbitkan sistem pengindeksan trafik rangkaian Moloch 2.3

Π’ Keluaran baru:

  • Peralihan telah dibuat kepada menggunakan format tanpa taip untuk pengindeksan dalam Elasticsearch.
  • Menambahkan contoh penapis tangkapan trafik dalam Lua.
  • Sokongan untuk versi 46 draf protokol QUIC telah dilaksanakan.
  • Kod untuk protokol penghuraian telah diolah semula, membolehkan untuk menulis penghurai untuk protokol peringkat Ethernet dan IP.
  • Penghurai baharu telah dicadangkan untuk protokol arp, bgp, igmp, isis, lldp, ospf dan pim, serta penghurai untuk protokol unkEthernet dan unkIpProtocol yang tidak diketahui.
  • Menambah pilihan untuk melumpuhkan parser secara selektif (disableParsers).
  • Keupayaan untuk memaparkan sebarang medan integer pada carta, ditetapkan pada halaman tetapan, telah ditambahkan pada antara muka web.
  • Graf dan tajuk kini boleh dibekukan dan tidak bergerak apabila menatal halaman.
  • Kebanyakan bar navigasi disembunyikan atau diruntuhkan secara lalai.

Sumber: opennet.ru

Tambah komen