AOL võrgupakettide salvestamise, hoiustamise ja indekseerimise süsteemi väljaanne , pakkudes tööriistu liikluse voogude visualiseerimiseks ja võrguaktiivsusega seotud teabe leidmiseks. Kood on kirjutatud C keeles (liidese jaoks Node.js/JavaScript) ja avaldatakse Apache 2.0 litsentsi all. Töö toetamine Linuxis ja FreeBSD-s. Valmis paketid on ette valmistatud erinevate CentOS ja Ubuntu versioonide jaoks.
Projekt loodi 2012. aastal eesmärgiga luua avatud alternatiiv kaubanduslikule võrgu paketiprotsessimise platvormile, mis suudab skaleeruda AOL-i liiklusmahtude tasemele. Uue süsteemi juurutamine AOL-is võimaldas saavutada täielikku kontrolli infrastruktuuri üle, paigaldades selle nende serveritesse ja vähendas märgatavalt kulusid — Molochi rakendamine kõikide AOL-i võrkude liikluse täielikuks talletamiseks maksis sama palju, kui varasem kulutus ainult ühe võrgu liikluse talletamiseks. Süsteem suudab skaleeruda liikluse töötlemiseks kiirusel kümneid gigabitte sekundis. Salvestatud andmete mahtu piirab ainult olemasoleva salvestusseadmestiku suurus. varem kulutati liikluse haaramiseks ainult ühes võrgus. Süsteem suudab skaleeruda, et töötleda liiklust kiirusel kümneid gigabite sekundis. Salvestatavate andmete maht on piiratud vaid olemasoleva kettamahtuvusega.
Seansside metainfo indekseeritakse klastris, mis põhineb .
Moloch sisaldab tööriistu liikluse talletamiseks ja indekseerimiseks standardses PCAP formaadis, samuti kiireks ligipääsuks indekseeritud andmetele. Kogutud teabe analüüsimiseks pakutakse veebiliidest, mis võimaldab navigeerimist, otsimist ja valikute eksportimist. Samuti on saadaval , mis võimaldab edastada kolmandate osapoolte rakendustele salvestatud paketide andmeid PCAP formaadis ja dekodeeritud seansside andmeid JSON formaadis. PCAP formaadi kasutamine lihtsustab oluliselt integreerimist olemasolevate liikluse analüsaatoritega, nagu Wireshark.
Moloch koosneb kolmest põhikomponendist:
- Traffic capture system — a multithreaded application written in C for monitoring traffic, recording PCAP dumps to disk, parsing captured packets, and sending metadata about sessions (SPI, Stateful Packet Inspection) and protocols to an Elasticsearch cluster. It is possible to store PCAP files in encrypted form.
- Node.js platvormil põhinev veebiliides, mis töötab igas liikluse talletamise serveris ja haldab päringuid, mis on seotud indekseeritud andmete ligipääsu ja PCAP-failide edastamisega .
- Metadata storage based on Elasticsearch.
Veebiliideses on mitu vaaterežiimi — alates üldstatistikast, ühenduste kaardist ja visuaalsetest graafikutest, mis näitavad võrgutegevuse muutumise andmeid, kuni tööriistadeni üksikute seansside uurimiseks, protokollide analüüsimiseks ja PCAP-dumpide andmete dekodeerimiseks.
V :
- On tehtud üleminek tüübivabal formaadile Elasticsearchis indekseerimiseks.
- Lisatud liikluse salvestamise filtrite näidised Lua keeles.
- Toetatakse 46-eelnõu versiooni QUIC protokollist.
- Kood on ümber töötatud protokollide dekodeerimiseks, võimaldades protokollide tasemel Ethernet ja IP parsereid kirjutada.
- Uued parserid on pakutud protokollidele arp, bgp, igmp, isis, lldp, ospf ja pim ning samuti tundmatute protokollide unkEthernet ja unkIpProtocol parserid.
- Lisatud valik parserite valikulise väljalülitamise võimaldamiseks (disableParsers).
- Veebiliidesesse on lisatud võimalus näidata igasuguseid täisarvupunkte graafikutes, mida on seaded leheküljel.
- Graafikud ja pealkirjad võivad nüüd jääda fikseeritud ja mitte nihkuda lehe kerimisel.
- Enamik navigeerimispaneele on vaikimisi varjatud või kokku volditud.
Allikas: opennet.ru
