AOL ettevõte võrgupakettide hõivamise, salvestamise ja indekseerimise süsteemi väljalaskmine , mis pakub tööriistu liiklusvoogude visuaalseks hindamiseks ja võrgutegevusega seotud teabe otsimiseks. Kood on kirjutatud C-keeles (liides keeles Node.js/JavaScript) ja litsentsitud Apache 2.0 alusel. Toetab tööd Linuxis ja FreeBSD-s. Valmis ette valmistatud erinevatele CentOS-i ja Ubuntu versioonidele.
Projekt loodi 2012. aastal eesmärgiga luua avatud asendus kommertsvõrgu pakettide töötlemise platvormile, mis võiks ulatuda AOL-i liikluse mahuni. Uue süsteemi juurutamine AOL-is võimaldas saavutada täieliku kontrolli infrastruktuuri üle tänu selle serverites juurutamisele ja oluliselt vähendada kulusid - Molochi kasutamine liikluse täielikuks hõivamiseks kõigis AOL-i võrkudes maksab sama palju kui kasutades Varem kulus see liikluse hõivamiseks ainult ühes võrgus. Süsteemi saab skaleerida, et töödelda liiklust kiirusega kümneid gigabitte sekundis. Salvestatud andmete mahtu piirab ainult saadaoleva kettamassiivi suurus.
Seansi metaandmed indekseeritakse mootoripõhises klastris .
Moloch sisaldab tööriistu liikluse hõivamiseks ja indekseerimiseks natiivses PCAP-vormingus, samuti kiireks juurdepääsuks indekseeritud andmetele. Kogunenud teabe analüüsimiseks pakutakse veebiliidest, mis võimaldab navigeerida, otsida ja eksportida näidiseid. Samuti ette nähtud , mis võimaldab edastada andmeid PCAP-vormingus jäädvustatud pakettide ja JSON-vormingus sõelutud seansside kohta kolmandate osapoolte rakendustesse. PCAP-vormingu kasutamine lihtsustab oluliselt integreerimist olemasolevate liiklusanalüsaatoritega, nagu Wireshark.
Moloch koosneb kolmest põhikomponendist:
- Liiklushõivesüsteem on mitme lõimega C-rakendus liikluse jälgimiseks, PCAP-vormingus tõmmiste kettale kirjutamiseks, jäädvustatud pakettide sõelumiseks ning seansside metaandmete (SPI, Stateful pakettide kontroll) ja protokollide saatmiseks Elasticsearchi klastrisse. PCAP-faile on võimalik salvestada krüpteeritud kujul.
- Node.js platvormil põhinev veebiliides, mis töötab igas liiklushõiveserveris ja töötleb päringuid, mis on seotud indekseeritud andmetele juurdepääsu ja PCAP-failide edastamisega .
- Elasticsearchil põhinev metaandmete salvestamine.
Veebiliides pakub mitmeid vaatamisrežiime – alates üldisest statistikast, ühenduskaartidest ja visuaalsetest graafikutest võrgutegevuse muutuste andmetega kuni tööriistadeni üksikute seansside uurimiseks, aktiivsuse analüüsimiseks kasutatavate protokollide kontekstis ja andmete sõelumiseks PCAP-i prügimägedest.
В :
- Elasticsearchis on indekseerimiseks üle viidud tüübivaba vormingu kasutamisele.
- Lisatud on Lua liiklushõivefiltrite näited.
- Rakendatud on QUIC-protokolli 46 mustandi versiooni tugi.
- Parsimisprotokollide kood on ümber töötatud, võimaldades kirjutada parsereid Etherneti ja IP-taseme protokollidele.
- Arp-, bgp-, igmp-, isis-, lldp-, ospf- ja pim-protokollidele on pakutud uusi parsereid, aga ka tundmatute protokollide unkEthernet ja unkIpProtocol jaoks parsereid.
- Lisatud parserite valikulise keelamise võimalus (disableParsers).
- Veebiliidesele on lisatud võimalus kuvada diagrammidel mis tahes täisarvuvälja, mis on seadistatud seadete lehel.
- Graafikuid ja pealkirju saab nüüd külmutada ja lehe kerimisel mitte liikuda.
- Enamik navigeerimisribasid on vaikimisi peidetud või ahendatud.
Allikas: opennet.ru