Spoločnosť AOL vydanie systému na zachytávanie, ukladanie a indexovanie sieťových paketov , ktorá poskytuje nástroje na vizuálne hodnotenie dopravných tokov a vyhľadávanie informácií súvisiacich s aktivitou siete. Kód je napísaný v jazyku C (rozhranie v Node.js/JavaScript) a licencovaný pod Apache 2.0. Podporuje prácu na Linuxe a FreeBSD. Pripravený pripravené pre rôzne verzie CentOS a Ubuntu.
Projekt bol vytvorený v roku 2012 s cieľom vytvoriť otvorenú náhradu za komerčnú sieťovú platformu na spracovanie paketov, ktorá by sa mohla škálovať na objemy prevádzky AOL. Implementácia nového systému v AOL umožnila dosiahnuť úplnú kontrolu nad infraštruktúrou vďaka nasadeniu na jej servery a výrazne znížiť náklady - použitie Molocha na úplné zachytenie prevádzky vo všetkých sieťach AOL stojí rovnakú sumu ako pri použití Predtým sa míňalo na zachytenie prevádzky iba v jednej sieti. Systém sa môže škálovať tak, aby spracoval prevádzku rýchlosťou desiatok gigabitov za sekundu. Objem uložených dát je limitovaný len veľkosťou dostupného diskového poľa.
Metadáta relácie sú indexované v klastri založenom na motore .
Moloch obsahuje nástroje na zachytávanie a indexovanie prevádzky v natívnom formáte PCAP, ako aj na rýchly prístup k indexovaným údajom. Na analýzu nahromadených informácií sa ponúka webové rozhranie, ktoré umožňuje navigáciu, vyhľadávanie a export vzoriek. Tiež poskytnuté , ktorý umožňuje prenášať údaje o zachytených paketoch vo formáte PCAP a analyzovaných reláciách vo formáte JSON do aplikácií tretích strán. Použitie formátu PCAP výrazne zjednodušuje integráciu s existujúcimi analyzátormi premávky, ako je Wireshark.
Moloch pozostáva z troch základných komponentov:
- Systém zachytávania prevádzky je viacvláknová C aplikácia na monitorovanie prevádzky, zapisovanie výpisov vo formáte PCAP na disk, analýzu zachytených paketov a odosielanie metadát o reláciách (SPI, Stateful packet inspection) a protokoloch do klastra Elasticsearch. Súbory PCAP je možné ukladať v zašifrovanej podobe.
- Webové rozhranie založené na platforme Node.js, ktoré beží na každom serveri na zachytávanie návštevnosti a spracováva požiadavky súvisiace s prístupom k indexovaným údajom a prenosom súborov PCAP cez .
- Ukladanie metadát na základe Elasticsearch.
Webové rozhranie poskytuje niekoľko režimov zobrazenia – od všeobecných štatistík, máp pripojení a vizuálnych grafov s údajmi o zmenách sieťovej aktivity až po nástroje na štúdium jednotlivých relácií, analýzu aktivity v kontexte použitých protokolov a analýzu dát z PCAP výpisov.
В :
- Prešiel sa prechod na používanie beztypového formátu na indexovanie v Elasticsearch.
- Pridané príklady filtrov zachytávania návštevnosti v Lua.
- Bola implementovaná podpora pre 46-návrhovú verziu protokolu QUIC.
- Kód pre protokoly analýzy bol prepracovaný, čo umožňuje písať syntaktické analyzátory pre protokoly na úrovni Ethernet a IP.
- Boli navrhnuté nové analyzátory pre protokoly arp, bgp, igmp, isis, lldp, ospf a pim, ako aj analyzátory pre neznáme protokoly unkEthernet a unkIpProtocol.
- Pridaná možnosť selektívneho zakázania syntaktických analyzátorov (disableParsers).
- Do webového rozhrania pribudla možnosť zobraziť na grafoch ľubovoľné celočíselné pole, nastavené na stránke nastavení.
- Grafy a nadpisy je teraz možné zmraziť a nehýbať sa pri posúvaní stránky.
- Väčšina navigačných panelov je predvolene skrytá alebo zbalená.
Zdroj: opennet.ru