AOL เผยแพร่ระบบการจัดทำดัชนีการรับส่งข้อมูลเครือข่าย Moloch 2.3

บริษัทเอโอแอล ปล่อยออกมา การเปิดตัวระบบสำหรับการจับ จัดเก็บ และจัดทำดัชนีแพ็กเก็ตเครือข่าย โมลอช 2.3ซึ่งมีเครื่องมือสำหรับประเมินกระแสการรับส่งข้อมูลด้วยภาพและค้นหาข้อมูลที่เกี่ยวข้องกับกิจกรรมเครือข่าย รหัสเขียนด้วยภาษา C (อินเทอร์เฟซใน Node.js/JavaScript) และ จัดจำหน่ายโดย ได้รับอนุญาตภายใต้ Apache 2.0 รองรับการทำงานบน Linux และ FreeBSD พร้อม แพคเกจ เตรียมไว้สำหรับ CentOS และ Ubuntu เวอร์ชันต่างๆ

โครงการนี้ถูกสร้างขึ้นในปี 2012 โดยมีเป้าหมายในการสร้างการทดแทนแบบเปิดสำหรับแพลตฟอร์มการประมวลผลแพ็กเก็ตเครือข่ายเชิงพาณิชย์ที่สามารถปรับขนาดตามปริมาณการรับส่งข้อมูล AOL การใช้งานระบบใหม่ใน AOL ทำให้สามารถควบคุมโครงสร้างพื้นฐานได้อย่างสมบูรณ์เนื่องจากการปรับใช้บนเซิร์ฟเวอร์และลดต้นทุนได้อย่างมาก - การใช้ Moloch เพื่อจับการรับส่งข้อมูลในเครือข่าย AOL ทั้งหมดมีค่าใช้จ่ายเท่ากับเมื่อใช้ โซลูชันเชิงพาณิชย์ ก่อนหน้านี้มีการใช้ไปกับการรับส่งข้อมูลบนเครือข่ายเดียวเท่านั้น ระบบสามารถปรับขนาดเพื่อประมวลผลการรับส่งข้อมูลด้วยความเร็วหลายสิบกิกะบิตต่อวินาที ปริมาณข้อมูลที่จัดเก็บจะถูกจำกัดด้วยขนาดของอาร์เรย์ดิสก์ที่มีอยู่เท่านั้น
ข้อมูลเมตาของเซสชันได้รับการจัดทำดัชนีในคลัสเตอร์ที่ใช้กลไก ElasticSearch.

Moloch มีเครื่องมือสำหรับบันทึกและจัดทำดัชนีการรับส่งข้อมูลในรูปแบบ PCAP ดั้งเดิม รวมถึงการเข้าถึงข้อมูลที่จัดทำดัชนีอย่างรวดเร็ว เพื่อวิเคราะห์ข้อมูลที่สะสม มีการเสนออินเทอร์เฟซเว็บที่ให้คุณนำทาง ค้นหา และส่งออกตัวอย่าง จัดให้อีกด้วย APIซึ่งช่วยให้คุณถ่ายโอนข้อมูลเกี่ยวกับแพ็กเก็ตที่บันทึกไว้ในรูปแบบ PCAP และเซสชันที่แยกวิเคราะห์ในรูปแบบ JSON ไปยังแอปพลิเคชันบุคคลที่สาม การใช้รูปแบบ PCAP ช่วยลดความยุ่งยากในการผสานรวมกับเครื่องวิเคราะห์การรับส่งข้อมูลที่มีอยู่ เช่น Wireshark

Moloch ประกอบด้วยองค์ประกอบพื้นฐานสามประการ:

• ระบบบันทึกการรับส่งข้อมูลเป็นแอปพลิเคชัน C แบบมัลติเธรดสำหรับตรวจสอบการรับส่งข้อมูล เขียนดัมพ์ในรูปแบบ PCAP ลงดิสก์ แยกวิเคราะห์แพ็กเก็ตที่ดักจับ และส่งข้อมูลเมตาเกี่ยวกับเซสชัน (SPI, การตรวจสอบแพ็กเก็ตเก็บสถานะ) และโปรโตคอลไปยังคลัสเตอร์ Elasticsearch สามารถจัดเก็บไฟล์ PCAP ในรูปแบบที่เข้ารหัสได้
• เว็บอินเตอร์เฟสที่ใช้แพลตฟอร์ม Node.js ซึ่งทำงานบนเซิร์ฟเวอร์จับปริมาณข้อมูลแต่ละเซิร์ฟเวอร์ และประมวลผลคำขอที่เกี่ยวข้องกับการเข้าถึงข้อมูลที่จัดทำดัชนีและการถ่ายโอนไฟล์ PCAP ผ่าน API.
• ที่จัดเก็บข้อมูลเมตาตาม Elasticsearch

เว็บอินเทอร์เฟซมีโหมดการดูหลายโหมด ตั้งแต่สถิติทั่วไป แผนที่การเชื่อมต่อ และกราฟภาพพร้อมข้อมูลเกี่ยวกับการเปลี่ยนแปลงกิจกรรมเครือข่าย ไปจนถึงเครื่องมือสำหรับศึกษาแต่ละเซสชัน การวิเคราะห์กิจกรรมในบริบทของโปรโตคอลที่ใช้ และแยกวิเคราะห์ข้อมูลจากการถ่ายโอนข้อมูล PCAP

В ปัญหาใหม่:

• มีการเปลี่ยนแปลงไปใช้รูปแบบไร้พิมพ์สำหรับการจัดทำดัชนีใน Elasticsearch
• เพิ่มตัวอย่างตัวกรองการรับส่งข้อมูลใน Lua
• มีการรองรับโปรโตคอล QUIC เวอร์ชัน 46 ร่างแล้ว
• รหัสสำหรับโปรโตคอลการแยกวิเคราะห์ได้รับการปรับปรุงใหม่ ทำให้สามารถเขียนตัวแยกวิเคราะห์สำหรับโปรโตคอลระดับอีเทอร์เน็ตและ IP ได้
• มีการเสนอตัวแยกวิเคราะห์ใหม่สำหรับโปรโตคอล arp, bgp, igmp, isis, lldp, ospf และ pim รวมถึงตัวแยกวิเคราะห์สำหรับโปรโตคอล unkEthernet และ unkIpProtocol ที่ไม่รู้จัก
• เพิ่มตัวเลือกในการปิดการใช้งาน parsers แบบเลือก (disableParsers)
• เพิ่มความสามารถในการแสดงช่องจำนวนเต็มบนแผนภูมิที่ตั้งค่าไว้ในหน้าการตั้งค่าแล้วในอินเทอร์เฟซเว็บ
• ขณะนี้กราฟและชื่อเรื่องสามารถหยุดนิ่งได้และไม่เคลื่อนไหวเมื่อเลื่อนหน้า
• แถบนำทางส่วนใหญ่จะซ่อนหรือยุบตามค่าเริ่มต้น

ที่มา: opennet.ru