AOL kompanija tinklo paketų fiksavimo, saugojimo ir indeksavimo sistemos išleidimas , kuriame pateikiami įrankiai vizualiai įvertinti eismo srautus ir ieškoti informacijos, susijusios su tinklo veikla. Kodas parašytas C kalba (sąsaja Node.js/JavaScript) ir licencijuota pagal Apache 2.0. Palaiko darbą Linux ir FreeBSD. Paruošta paruošta skirtingoms CentOS ir Ubuntu versijoms.
Projektas buvo sukurtas 2012 m., siekiant sukurti atvirą komercinio tinklo paketų apdorojimo platformos pakaitalą, kuris galėtų apimti AOL srautą. Naujos sistemos įdiegimas AOL leido pasiekti visišką infrastruktūros kontrolę dėl įdiegimo jos serveriuose ir žymiai sumažinti sąnaudas – naudojant Moloch, kad būtų galima visiškai užfiksuoti srautą visuose AOL tinkluose, kainuoja tiek pat, kiek naudojant Anksčiau jis buvo išleistas srautui užfiksuoti tik viename tinkle. Sistema gali apdoroti srautą dešimčių gigabitų per sekundę greičiu. Saugomų duomenų kiekį riboja tik turimo disko masyvo dydis.
Seanso metaduomenys indeksuojami variklio pagrindu veikiančiame klasteryje .
„Moloch“ apima įrankius, skirtus srautui fiksuoti ir indeksuoti vietiniu PCAP formatu, taip pat greitai pasiekti indeksuotus duomenis. Sukauptai informacijai analizuoti siūloma internetinė sąsaja, leidžianti naršyti, ieškoti ir eksportuoti pavyzdžius. Taip pat numatyta , kuri leidžia perkelti duomenis apie užfiksuotus paketus PCAP formatu ir išanalizuotas sesijas JSON formatu į trečiųjų šalių programas. PCAP formato naudojimas labai supaprastina integraciją su esamais srauto analizatoriais, tokiais kaip Wireshark.
Moloch susideda iš trijų pagrindinių komponentų:
- Srauto fiksavimo sistema yra kelių gijų C programa, skirta stebėti srautą, įrašyti ištraukas PCAP formatu į diską, analizuoti užfiksuotus paketus ir siųsti metaduomenis apie seansus (SPI, Stateful paketų tikrinimas) ir protokolus į Elasticsearch klasterį. Galima saugoti PCAP failus šifruota forma.
- Žiniatinklio sąsaja, pagrįsta Node.js platforma, kuri veikia kiekviename srauto fiksavimo serveryje ir apdoroja užklausas, susijusias su prieiga prie indeksuotų duomenų ir PCAP failų perkėlimu per .
- Metaduomenų saugykla, pagrįsta Elasticsearch.
Žiniatinklio sąsaja suteikia keletą peržiūros režimų – nuo bendrosios statistikos, ryšio žemėlapių ir vaizdinių grafikų su duomenimis apie tinklo veiklos pokyčius iki įrankių, skirtų atskirų seansų tyrimui, veiklos analizei naudojamų protokolų kontekste ir duomenų iš PCAP sąvartynų analizavimui.
В :
- Pereita prie betipio formato indeksavimui Elasticsearch.
- Pridėta Lua srauto fiksavimo filtrų pavyzdžių.
- Įdiegtas 46 juodraščio QUIC protokolo versijos palaikymas.
- Protokolų analizavimo kodas buvo perdarytas, kad būtų galima rašyti eterneto ir IP lygio protokolų analizatorius.
- Buvo pasiūlyti nauji arp, bgp, igmp, isis, lldp, ospf ir pim protokolų analizatoriai, taip pat nežinomų unkEthernet ir unkIpProtocol protokolų analizatoriai.
- Pridėta parinktis pasirinktinai išjungti analizatorius (disableParsers).
- Prie žiniatinklio sąsajos buvo pridėta galimybė diagramose rodyti bet kokį sveikųjų skaičių lauką, nustatytą nustatymų puslapyje.
- Dabar diagramas ir pavadinimus galima užšaldyti ir nejudėti slenkant puslapiu.
- Pagal numatytuosius nustatymus dauguma naršymo juostų yra paslėptos arba sutrauktos.
Šaltinis: opennet.ru