AOL Moloch 2.3 tarmoq trafigini indekslash tizimini nashr etdi

AOL kompaniyasi ozod etildi tarmoq paketlarini olish, saqlash va indekslash tizimini chiqarish Moloch 2.3, bu trafik oqimlarini vizual baholash va tarmoq faoliyati bilan bog'liq ma'lumotlarni qidirish uchun vositalarni taqdim etadi. Kod C tilida yozilgan (interfeys Node.js/JavaScript) va tarqaladi Apache 2.0 ostida litsenziyalangan. Linux va FreeBSD-da ishlashni qo'llab-quvvatlaydi. Tayyor paketlar CentOS va Ubuntu ning turli versiyalari uchun tayyorlangan.

Loyiha 2012-yilda AOL trafik hajmiga qadar kengayishi mumkin bo'lgan tijorat tarmoq paketlarini qayta ishlash platformasini ochiq almashtirishni yaratish maqsadida yaratilgan. AOL-da yangi tizimning joriy etilishi uning serverlarida joylashtirilishi tufayli infratuzilma ustidan to'liq nazoratga erishish va xarajatlarni sezilarli darajada kamaytirish imkonini berdi - Moloch-dan foydalanib, barcha AOL tarmoqlarida trafikni to'liq qo'lga kiritish uchun foydalanilgandagi kabi bir xil xarajat bor. tijorat yechimi Ilgari u faqat bitta tarmoqdagi trafikni olish uchun sarflangan. Tizim sekundiga o'nlab gigabit tezlikda trafikni qayta ishlashga mo'ljallangan. Saqlangan ma'lumotlarning hajmi faqat mavjud disk massivining o'lchami bilan cheklangan.
Seans meta-ma'lumotlari dvigatelga asoslangan klasterda indekslanadi Elasticsearch.

Moloch mahalliy PCAP formatida trafikni yozib olish va indekslash, shuningdek indekslangan ma'lumotlarga tezkor kirish uchun vositalarni o'z ichiga oladi. Yig'ilgan ma'lumotlarni tahlil qilish uchun navigatsiya qilish, qidirish va namunalarni eksport qilish imkonini beruvchi veb-interfeys taklif etiladi. Shuningdek, taqdim etilgan API, bu sizga PCAP formatida olingan paketlar va JSON formatidagi tahlil qilingan seanslar haqidagi ma'lumotlarni uchinchi tomon ilovalariga o'tkazish imkonini beradi. PCAP formatidan foydalanish Wireshark kabi mavjud trafik analizatorlari bilan integratsiyani sezilarli darajada osonlashtiradi.

Moloch uchta asosiy komponentdan iborat:

• Trafikni yozib olish tizimi trafikni kuzatish, diskka PCAP formatida dumplarni yozish, olingan paketlarni tahlil qilish va sessiyalar (SPI, Stateful paket tekshiruvi) va protokollar haqidagi metama'lumotlarni Elasticsearch klasteriga jo'natish uchun mo'ljallangan ko'p tarmoqli C ilovasidir. PCAP fayllarini shifrlangan shaklda saqlash mumkin.
• Node.js platformasiga asoslangan veb-interfeys, u har bir trafikni yozib olish serverida ishlaydi va indekslangan ma'lumotlarga kirish va PCAP fayllarini uzatish bilan bog'liq so'rovlarni qayta ishlaydi. API.
• Elasticsearch-ga asoslangan metama'lumotlarni saqlash.

Veb-interfeys bir nechta ko'rish rejimlarini taqdim etadi - umumiy statistika, ulanish xaritalari va tarmoq faolligidagi o'zgarishlar to'g'risidagi ma'lumotlarga ega vizual grafiklardan tortib, individual seanslarni o'rganish, foydalanilgan protokollar kontekstida faoliyatni tahlil qilish va PCAP dumplaridan ma'lumotlarni tahlil qilish vositalarigacha.

В yangi nashr:

• Elasticsearch-da indekslash uchun tipsiz formatdan foydalanishga o'tish amalga oshirildi.
• Luadagi trafikni qayd etish filtrlariga misollar qo'shildi.
• QUIC protokolining 46 ta qoralama versiyasini qo'llab-quvvatlash amalga oshirildi.
• Protokollarni tahlil qilish uchun kod qayta ishlandi, bu Ethernet va IP darajasidagi protokollar uchun parserlarni yozish imkonini beradi.
• arp, bgp, igmp, isis, lldp, ospf va pim protokollari uchun yangi parserlar, shuningdek, noma'lum unkEthernet va unkIpProtocol protokollari uchun parserlar taklif qilingan.
• Tahlil qiluvchilarni tanlab o'chirish imkoniyati qo'shildi (disableParsers).
• Sozlamalar sahifasida o'rnatilgan har qanday butun son maydonini diagrammalarda ko'rsatish imkoniyati veb-interfeysga qo'shildi.
• Grafiklar va sarlavhalar endi muzlatilishi mumkin va sahifani aylantirganda harakatlanmaydi.
• Ko'pgina navigatsiya panellari yashirin yoki sukut bo'yicha yopilgan.

Manba: opennet.ru