AOL го објавува системот за индексирање на мрежниот сообраќај Moloch 2.3

Компанијата AOL ослободен ослободување на систем за фаќање, складирање и индексирање мрежни пакети Молох 2.3, кој обезбедува алатки за визуелно оценување на сообраќајните текови и пребарување на информации поврзани со мрежната активност. Кодот е напишан на јазик C (интерфејс во Node.js/JavaScript) и дистрибуирани од лиценциран под Apache 2.0. Поддржува работа на Linux и FreeBSD. Подготвени пакети подготвени за различни верзии на CentOS и Ubuntu.

Проектот е создаден во 2012 година со цел да се создаде отворена замена за комерцијална мрежна платформа за обработка на пакети која би можела да достигне обем на сообраќај на AOL. Имплементацијата на нов систем во AOL овозможи да се постигне целосна контрола врз инфраструктурата поради распоредувањето на неговите сервери и значително да се намалат трошоците - користењето на Moloch за целосно снимање на сообраќајот во сите мрежи на AOL чини исто колку и при користење комерцијално решение Претходно се трошеше за снимање сообраќај само на една мрежа. Системот може да се размери за да го обработува сообраќајот со брзина од десетици гигабити во секунда. Обемот на складирани податоци е ограничен само од големината на достапната низа на дискови.
Метаподатоците за сесиите се индексирани во кластерот базиран на мотор Еластична пребарување.

Moloch вклучува алатки за снимање и индексирање на сообраќајот во мајчин PCAP формат, како и за брз пристап до индексирани податоци. За да се анализираат акумулираните информации, се нуди веб-интерфејс кој ви овозможува да се движите, пребарувате и извезувате примероци. Исто така обезбедени API, кој ви овозможува да пренесувате податоци за снимени пакети во формат PCAP и анализирани сесии во JSON формат на апликации од трети страни. Употребата на форматот PCAP во голема мера ја поедноставува интеграцијата со постоечките сообраќајни анализатори како што е Wireshark.

Молох се состои од три основни компоненти:

• Системот за фаќање сообраќај е апликација C со повеќе нишки за следење на сообраќајот, запишување депонии во формат PCAP на дискот, парсирање на заробени пакети и испраќање метаподатоци за сесиите (SPI, инспекција на државни пакети) и протоколи до кластерот Elasticsearch. Можно е да се складираат PCAP-датотеки во шифрирана форма.
• Веб интерфејс базиран на платформата Node.js, кој работи на секој сервер за снимање сообраќај и обработува барања поврзани со пристап до индексирани податоци и пренос на датотеки PCAP преку API.
• Складирање на метаподатоци базирано на Elasticsearch.

Веб-интерфејсот обезбедува неколку начини на гледање - од општа статистика, мапи за поврзување и визуелни графикони со податоци за промените во мрежната активност до алатки за проучување на поединечни сесии, анализа на активноста во контекст на користените протоколи и парсирање на податоци од депонии на PCAP.

В ново издание:

• Направена е транзиција кон користење формат без типови за индексирање во Elasticsearch.
• Додадени примери на филтри за снимање сообраќај во Луа.
• Поддршката за верзијата со 46 нацрти на протоколот QUIC е имплементирана.
• Кодот за парсирање на протоколи е преработен, со што е можно да се пишуваат парсери за протоколи на етернет и IP ниво.
• Предложени се нови парсери за протоколите arp, bgp, igmp, isis, lldp, ospf и pim, како и парсери за непознатите протоколи unkEthernet и unkIpProtocol.
• Додадена е опција за селективно оневозможување на парсери (disableParsers).
• На веб-интерфејсот е додадена можноста да се прикаже кое било поле со цел број на графиконите, поставени на страницата за поставки.
• Графиконите и насловите сега може да се замрзнат и да не се движат при лизгање на страницата.
• Повеќето ленти за навигација се стандардно скриени или склопени.

Извор: opennet.ru