AOL سیستم نمایه سازی ترافیک شبکه Moloch 2.3 را منتشر کرد

شرکت AOL منتشر شد انتشار یک سیستم برای گرفتن، ذخیره و نمایه سازی بسته های شبکه Moloch 2.3، که ابزارهایی را برای ارزیابی بصری جریان ترافیک و جستجوی اطلاعات مربوط به فعالیت شبکه فراهم می کند. کد به زبان C نوشته شده است (رابط در Node.js/JavaScript) و توزیع شده توسط تحت مجوز آپاچی 2.0. از کار بر روی لینوکس و FreeBSD پشتیبانی می کند. آماده بسته ها برای نسخه های مختلف CentOS و Ubuntu آماده شده است.

این پروژه در سال 2012 با هدف ایجاد یک جایگزین باز برای یک پلت فرم پردازش بسته شبکه تجاری که می تواند به حجم ترافیک AOL برسد، ایجاد شد. پیاده سازی یک سیستم جدید در AOL امکان دستیابی به کنترل کامل بر زیرساخت را به دلیل استقرار در سرورهای آن و کاهش قابل توجه هزینه ها - استفاده از Moloch برای ضبط کامل ترافیک در تمام شبکه های AOL به همان میزان هزینه در هنگام استفاده راه حل تجاری پیش از این، فقط برای گرفتن ترافیک در یک شبکه هزینه می شد. این سیستم می تواند برای پردازش ترافیک با سرعت ده ها گیگابیت در ثانیه مقیاس شود. حجم داده های ذخیره شده تنها با اندازه آرایه دیسک موجود محدود می شود.
فراداده جلسه در خوشه مبتنی بر موتور نمایه می شود ارزیابی جستجو.

Moloch شامل ابزارهایی برای ضبط و نمایه سازی ترافیک در قالب PCAP بومی و همچنین برای دسترسی سریع به داده های نمایه شده است. برای تجزیه و تحلیل اطلاعات انباشته شده، یک رابط وب ارائه شده است که به شما امکان می دهد نمونه ها را پیمایش، جستجو و صادر کنید. نیز ارائه شده است API، که به شما امکان می دهد داده های مربوط به بسته های ضبط شده را در قالب PCAP و جلسات تجزیه شده در قالب JSON را به برنامه های شخص ثالث منتقل کنید. استفاده از قالب PCAP ادغام با تحلیلگرهای ترافیک موجود مانند Wireshark را بسیار ساده می کند.

Moloch از سه جزء اصلی تشکیل شده است:

• سیستم ضبط ترافیک یک برنامه C چند رشته ای برای نظارت بر ترافیک، نوشتن Dump ها با فرمت PCAP روی دیسک، تجزیه بسته های ضبط شده و ارسال ابرداده در مورد جلسات (SPI، بازرسی بسته Stateful) و پروتکل ها به خوشه Elasticsearch است. امکان ذخیره فایل های PCAP به صورت رمزگذاری شده وجود دارد.
• یک رابط وب مبتنی بر پلت فرم Node.js که روی هر سرور جذب ترافیک اجرا می شود و درخواست های مربوط به دسترسی به داده های فهرست شده و انتقال فایل های PCAP را از طریق پردازش می کند. API.
• ذخیره سازی ابرداده بر اساس Elasticsearch.

رابط وب چندین حالت مشاهده را فراهم می کند - از آمار کلی، نقشه های اتصال و نمودارهای بصری با داده های مربوط به تغییرات فعالیت شبکه گرفته تا ابزارهایی برای مطالعه جلسات فردی، تجزیه و تحلیل فعالیت در زمینه پروتکل های مورد استفاده و تجزیه داده ها از زباله های PCAP.

В نسخه جدید:

• انتقال به استفاده از قالب بدون نوع برای نمایه سازی در Elasticsearch انجام شده است.
• نمونه هایی از فیلترهای ضبط ترافیک در Lua اضافه شد.
• پشتیبانی از نسخه 46 پیش نویس پروتکل QUIC اجرا شده است.
• کد برای تجزیه پروتکل ها دوباره کار شده است و امکان نوشتن تجزیه کننده برای پروتکل های اترنت و سطح IP را فراهم می کند.
• تجزیه کننده های جدیدی برای پروتکل های arp، bgp، igmp، isis، lldp، ospf و pim و همچنین تجزیه کننده هایی برای پروتکل های unkEthernet و unkIpProtocol ناشناخته پیشنهاد شده است.
• گزینه ای برای غیرفعال کردن انتخابی تجزیه کننده ها (disableParsers) اضافه شده است.
• قابلیت نمایش هر فیلد عدد صحیح در نمودارها که در صفحه تنظیمات تنظیم شده است به رابط وب اضافه شده است.
• اکنون می توان نمودارها و عناوین را ثابت کرد و هنگام پیمایش صفحه حرکت نکنند.
• اکثر نوارهای پیمایش به طور پیش فرض پنهان یا جمع می شوند.

منبع: opennet.ru