AOL Kompanio liberigo de sistemo por kapti, stoki kaj indeksi retajn pakaĵetojn , kiu disponigas ilojn por vide taksi trafikfluojn kaj serĉi informojn ligitajn al reto-agado. La kodo estas skribita en C-lingvo (interfaco en Node.js/JavaScript) kaj licencita sub Apache 2.0. Subtenas laboron en Linukso kaj FreeBSD. Preta preta por malsamaj versioj de CentOS kaj Ubuntu.
La projekto estis kreita en 2012 kun la celo de kreado de malferma anstataŭaĵo por komerca retpakaĵeto pretigplatformo kiu povis grimpi al AOL-trafikvolumoj. La efektivigo de nova sistemo en AOL ebligis atingi kompletan kontrolon de la infrastrukturo pro deplojo sur ĝiaj serviloj kaj signife redukti kostojn - uzi Moloch por tute kapti trafikon en ĉiuj AOL-retoj kostas la saman kvanton kiel kiam oni uzas. Antaŭe, ĝi estis elspezita por kapti trafikon en nur unu reto. La sistemo povas grimpi por prilabori trafikon je rapidoj de dekoj da gigabitoj je sekundo. La volumo de stokitaj datumoj estas limigita nur de la grandeco de la disponebla disko-tabelo.
Sesiaj metadatenoj estas indeksitaj en la motor-bazita areto .
Moloch inkluzivas ilojn por kapti kaj indeksi trafikon en indiĝena PCAP-formato, same kiel por rapida aliro al indeksitaj datumoj. Por analizi la amasigitajn informojn, retinterfaco estas ofertita, kiu ebligas al vi navigi, serĉi kaj eksporti specimenojn. Ankaŭ provizita , kiu ebligas al vi transdoni datumojn pri kaptitaj pakaĵoj en PCAP-formato kaj analizitajn sesiojn en JSON-formato al triapartaj aplikaĵoj. La uzo de la PCAP-formato multe simpligas integriĝon kun ekzistantaj trafikanaliziloj kiel ekzemple Wireshark.
Moloch konsistas el tri bazaj komponentoj:
- La trafikkapta sistemo estas plurfadena C-aplikaĵo por monitorado de trafiko, skribado de PCAP-ruboj al disko, analizado de kaptitaj pakaĵetoj kaj sendado de ŝtata paka inspektado (SPI) kaj protokolmetadatenoj al Elasticsearch-areto. Eblas stoki PCAP-dosierojn en ĉifrita formo.
- Reta interfaco bazita sur la platformo Node.js, kiu funkcias sur ĉiu trafika kapta servilo kaj prilaboras petojn rilatajn al aliro indeksitaj datumoj kaj translokado de PCAP-dosieroj per .
- Stokado de metadatenoj bazita sur Elasticsearch.
La TTT-interfaco disponigas plurajn spektadreĝimojn - de ĝeneralaj statistikoj, konektmapoj kaj vidaj grafikaĵoj kun datumoj pri ŝanĝoj en reto-agado ĝis iloj por studi individuajn sesiojn, analizi agadon en la kunteksto de la uzataj protokoloj kaj analizado de datumoj de PCAP-ruboj.
В :
- Transiro estis farita al uzado de sentipa formato por indeksado en Elasticsearch.
- Aldonitaj ekzemploj de trafika kaptofiltriloj en Lua.
- Subteno por la 46-skiza versio de la QUIC-protokolo estis efektivigita.
- La kodo por analizaj protokoloj estis reverkita, ebligante verki analizilojn por Ethernet- kaj IP-nivelaj protokoloj.
- Novaj analiziloj estis proponitaj por la protokoloj arp, bgp, igmp, isis, lldp, ospf kaj pim, same kiel analiziloj por la nekonataj protokoloj unkEthernet kaj unkIpProtocol.
- Aldonita opcio por elekte malebligi analizantojn (disableParsers).
- La kapablo montri ajnan entjeran kampon sur diagramoj, agordita sur la agorda paĝo, estis aldonita al la retinterfaco.
- Grafikaĵoj kaj titoloj nun povas esti frostigitaj kaj ne movitaj dum rulumado de la paĝo.
- Plej multaj navigaj stangoj estas kaŝitaj aŭ kolapsitaj defaŭlte.
fonto: opennet.ru