Công ty AOL phát hành một hệ thống để thu thập, lưu trữ và lập chỉ mục các gói mạng , cung cấp các công cụ để đánh giá trực quan các luồng lưu lượng và tìm kiếm thông tin liên quan đến hoạt động mạng. Mã được viết bằng ngôn ngữ C (giao diện trong Node.js/JavaScript) và được cấp phép theo Apache 2.0. Hỗ trợ hoạt động trên Linux và FreeBSD. Sẵn sàng được chuẩn bị cho các phiên bản khác nhau của CentOS và Ubuntu.
Dự án được tạo ra vào năm 2012 với mục tiêu tạo ra một giải pháp thay thế mở cho nền tảng xử lý gói mạng thương mại có thể mở rộng theo lưu lượng truy cập AOL. Việc triển khai hệ thống mới trong AOL giúp có thể đạt được quyền kiểm soát hoàn toàn đối với cơ sở hạ tầng do triển khai trên các máy chủ của nó và giảm đáng kể chi phí - việc sử dụng Moloch để nắm bắt hoàn toàn lưu lượng truy cập trong tất cả các mạng AOL có chi phí tương đương với khi sử dụng Trước đây, nó chỉ được dùng để thu thập lưu lượng truy cập trên một mạng. Hệ thống có thể mở rộng quy mô để xử lý lưu lượng ở tốc độ hàng chục gigabit mỗi giây. Khối lượng dữ liệu được lưu trữ chỉ bị giới hạn bởi kích thước của mảng đĩa có sẵn.
Siêu dữ liệu phiên được lập chỉ mục trong cụm dựa trên công cụ .
Moloch bao gồm các công cụ để thu thập và lập chỉ mục lưu lượng truy cập ở định dạng PCAP gốc cũng như để truy cập nhanh vào dữ liệu được lập chỉ mục. Để phân tích thông tin tích lũy, một giao diện web được cung cấp cho phép bạn điều hướng, tìm kiếm và xuất các mẫu. Cũng được cung cấp , cho phép bạn truyền dữ liệu về các gói đã bắt ở định dạng PCAP và các phiên được phân tích cú pháp ở định dạng JSON sang các ứng dụng của bên thứ ba. Việc sử dụng định dạng PCAP giúp đơn giản hóa đáng kể việc tích hợp với các máy phân tích lưu lượng truy cập hiện có như Wireshark.
Moloch bao gồm ba thành phần cơ bản:
- Hệ thống thu thập lưu lượng truy cập là một ứng dụng C đa luồng để giám sát lưu lượng, ghi các kết xuất ở định dạng PCAP vào đĩa, phân tích cú pháp các gói đã ghi và gửi siêu dữ liệu về các phiên (SPI, kiểm tra gói trạng thái) và các giao thức tới cụm Elaticsearch. Có thể lưu trữ các tệp PCAP ở dạng được mã hóa.
- Giao diện web dựa trên nền tảng Node.js, chạy trên mỗi máy chủ thu thập lưu lượng truy cập và xử lý các yêu cầu liên quan đến việc truy cập dữ liệu được lập chỉ mục và truyền tệp PCAP qua .
- Lưu trữ siêu dữ liệu dựa trên Elaticsearch.
Giao diện web cung cấp một số chế độ xem - từ thống kê chung, bản đồ kết nối và biểu đồ trực quan với dữ liệu về những thay đổi trong hoạt động mạng đến các công cụ để nghiên cứu các phiên riêng lẻ, phân tích hoạt động trong bối cảnh các giao thức được sử dụng và phân tích dữ liệu từ các kết xuất PCAP.
В :
- Quá trình chuyển đổi đã được thực hiện sang sử dụng định dạng không đánh chữ để lập chỉ mục trong Elaticsearch.
- Đã thêm ví dụ về bộ lọc nắm bắt lưu lượng truy cập trong Lua.
- Hỗ trợ cho phiên bản 46 bản nháp của giao thức QUIC đã được triển khai.
- Mã cho các giao thức phân tích cú pháp đã được làm lại, giúp có thể viết các trình phân tích cú pháp cho các giao thức cấp Ethernet và IP.
- Các trình phân tích cú pháp mới cho các giao thức arp, bgp, igmp, isis, lldp, ospf và pim, cũng như các trình phân tích cú pháp cho các giao thức unkEthernet và unkIpProtocol chưa xác định đã được đề xuất.
- Đã thêm tùy chọn để tắt có chọn lọc các trình phân tích cú pháp (disableParsers).
- Khả năng hiển thị bất kỳ trường số nguyên nào trên biểu đồ, được đặt trên trang cài đặt, đã được thêm vào giao diện web.
- Giờ đây, đồ thị và tiêu đề có thể được cố định và không di chuyển khi cuộn trang.
- Hầu hết các thanh điều hướng đều bị ẩn hoặc thu gọn theo mặc định.
Nguồn: opennet.ru