Uzņēmums AOL sistēmas izlaišana tīkla pakešu uztveršanai, glabāšanai un indeksēšanai , kas nodrošina rīkus satiksmes plūsmu vizuālai novērtēšanai un ar tīkla darbību saistītas informācijas meklēšanai. Kods ir uzrakstīts C valodā (interfeiss Node.js/JavaScript) un licencēts saskaņā ar Apache 2.0. Atbalsta darbu uz Linux un FreeBSD. Gatavs sagatavots dažādām CentOS un Ubuntu versijām.
Projekts tika izveidots 2012. gadā ar mērķi izveidot atvērtu aizstājēju komerciālā tīkla pakešu apstrādes platformai, kas varētu pielāgoties AOL trafika apjomam. Jaunas sistēmas ieviešana AOL ļāva sasniegt pilnīgu kontroli pār infrastruktūru, pateicoties izvietošanai tās serveros, un ievērojami samazināt izmaksas - Moloch izmantošana, lai pilnībā uztvertu trafiku visos AOL tīklos, maksāja tādu pašu summu kā izmantojot Iepriekš tas tika tērēts trafika uztveršanai tikai vienā tīklā. Sistēma var mērogot, lai apstrādātu trafiku ar ātrumu desmitiem gigabitu sekundē. Uzglabājamo datu apjomu ierobežo tikai pieejamā diska masīva lielums.
Sesijas metadati tiek indeksēti uz programmu balstītā klasterī .
Moloch ietver rīkus trafika uztveršanai un indeksēšanai vietējā PCAP formātā, kā arī ātrai piekļuvei indeksētiem datiem. Uzkrātās informācijas analīzei tiek piedāvāta tīmekļa saskarne, kas ļauj orientēties, meklēt un eksportēt paraugus. Nodrošināts arī , kas ļauj pārsūtīt datus par uzņemtajām paketēm PCAP formātā un parsētajām sesijām JSON formātā uz trešo pušu lietojumprogrammām. PCAP formāta izmantošana ievērojami vienkāršo integrāciju ar esošajiem trafika analizatoriem, piemēram, Wireshark.
Moloch sastāv no trim pamata sastāvdaļām:
- Datplūsmas uztveršanas sistēma ir daudzpavedienu C lietojumprogramma trafika uzraudzībai, izgāztuvju ierakstīšanai PCAP formātā diskā, uztverto pakešu parsēšanai un sesijas metadatu (SPI, Stateful pakešu pārbaude) un protokolu nosūtīšanai Elasticsearch klasterim. Ir iespējams saglabāt PCAP failus šifrētā veidā.
- Tīmekļa saskarne, kuras pamatā ir Node.js platforma, kas darbojas katrā trafika uztveršanas serverī un apstrādā pieprasījumus, kas saistīti ar piekļuvi indeksētiem datiem un PCAP failu pārsūtīšanu, izmantojot .
- Metadatu glabāšana, pamatojoties uz Elasticsearch.
Tīmekļa saskarne nodrošina vairākus skatīšanās režīmus - no vispārīgas statistikas, savienojumu kartēm un vizuāliem grafikiem ar datiem par izmaiņām tīkla darbībā līdz rīkiem atsevišķu sesiju izpētei, darbības analīzei izmantoto protokolu kontekstā un datu parsēšanai no PCAP izgāztuvēm.
В :
- Ir veikta pāreja uz beztipa formāta izmantošanu indeksēšanai programmā Elasticsearch.
- Pievienoti Lua satiksmes uztveršanas filtru piemēri.
- Ir ieviests atbalsts QUIC protokola 46 melnrakstu versijai.
- Parsēšanas protokolu kods ir pārstrādāts, ļaujot rakstīt parsētājus Ethernet un IP līmeņa protokoliem.
- Ir ierosināti jauni parsētāji arp, bgp, igmp, isis, lldp, ospf un pim protokoliem, kā arī parsētāji nezināmajiem unkEthernet un unkIpProtocol protokoliem.
- Pievienota iespēja selektīvi atspējot parsētājus (disableParsers).
- Tīmekļa saskarnei ir pievienota iespēja diagrammās attēlot jebkuru veselu skaitļu lauku, kas iestatīts iestatījumu lapā.
- Grafikus un virsrakstus tagad var iesaldēt un nekustēties, ritinot lapu.
- Lielākā daļa navigācijas joslu pēc noklusējuma ir paslēptas vai sakļautas.
Avots: opennet.ru