Kumpanija AOL rilaxx ta' sistema għall-qbid, il-ħażna u l-indiċjar ta' pakketti tan-netwerk , li tipprovdi għodod għall-valutazzjoni viżwali tal-flussi tat-traffiku u t-tiftix għal informazzjoni relatata mal-attività tan-netwerk. Il-kodiċi huwa miktub bil-lingwa C (interface f'Node.js/JavaScript) u liċenzjat taħt Apache 2.0. Jappoġġja xogħol fuq Linux u FreeBSD. Lest ippreparat għal verżjonijiet differenti ta 'CentOS u Ubuntu.
Il-proġett inħoloq fl-2012 bil-għan li jinħoloq sostitut miftuħ għal pjattaforma tal-ipproċessar tal-pakketti tan-netwerk kummerċjali li tista 'skala għal volumi ta' traffiku AOL. L-implimentazzjoni ta' sistema ġdida f'AOL għamlitha possibbli li jinkiseb kontroll sħiħ fuq l-infrastruttura minħabba l-iskjerament fuq is-servers tagħha u tnaqqas b'mod sinifikanti l-ispejjeż - bl-użu ta' Moloch biex jinqabad kompletament it-traffiku fin-netwerks AOL kollha jiswa l-istess ammont bħal meta jintuża. Preċedentement, kien jintefaq biex jinqabad it-traffiku fuq netwerk wieħed biss. Is-sistema tista 'skala biex tipproċessa t-traffiku b'veloċitajiet ta' għexieren ta 'gigabits kull sekonda. Il-volum tad-dejta maħżuna huwa limitat biss mid-daqs tal-firxa tad-disk disponibbli.
Il-metadejta tas-sessjoni hija indiċjata fil-cluster ibbażat fuq il-magna .
Moloch jinkludi għodod għall-qbid u l-indiċjar tat-traffiku fil-format nattiv tal-PCAP, kif ukoll għal aċċess rapidu għal data indiċjata. Biex tanalizza l-informazzjoni akkumulata, tiġi offruta interface tal-web li tippermettilek tinnaviga, tfittex u tesporta kampjuni. Ipprovdut ukoll , li jippermettilek tittrasferixxi data dwar pakketti maqbuda f'format PCAP u sessjonijiet parsed f'format JSON għal applikazzjonijiet ta 'partijiet terzi. L-użu tal-format PCAP jissimplifika ħafna l-integrazzjoni ma 'analizzaturi tat-traffiku eżistenti bħal Wireshark.
Moloch jikkonsisti fi tliet komponenti bażiċi:
- Is-sistema ta 'qbid tat-traffiku hija applikazzjoni C multi-threaded għall-monitoraġġ tat-traffiku, tikteb dumps fil-format PCAP fuq disk, parsing pakketti maqbuda u tibgħat metadata dwar sessjonijiet (SPI, Spezzjoni ta' pakkett Stateful) u protokolli lill-cluster Elasticsearch. Huwa possibbli li jinħażnu fajls PCAP f'forma kriptata.
- Interfaċċja tal-web ibbażata fuq il-pjattaforma Node.js, li taħdem fuq kull server tal-qbid tat-traffiku u tipproċessa talbiet relatati mal-aċċess ta' dejta indiċjata u t-trasferiment ta' fajls PCAP permezz .
- Ħażna ta' metadejta bbażata fuq Elasticsearch.
L-interface tal-web tipprovdi diversi modi ta 'wiri - minn statistika ġenerali, mapep ta' konnessjoni u graffs viżwali b'dejta dwar bidliet fl-attività tan-netwerk għal għodod għall-istudju ta 'sessjonijiet individwali, analiżi tal-attività fil-kuntest tal-protokolli użati u parsing tad-dejta minn miżbliet PCAP.
В :
- Saret transizzjoni għall-użu ta' format bla tip għall-indiċjar f'Elasticsearch.
- Eżempji miżjuda ta 'filtri tal-qbid tat-traffiku fil-Lua.
- Ġie implimentat appoġġ għall-verżjoni 46-abbozz tal-protokoll QUIC.
- Il-kodiċi għall-parsing protokolli ġie maħdum mill-ġdid, li jagħmilha possibbli li jinkitbu parsers għall-protokolli tal-livell Ethernet u IP.
- Ġew proposti parsers ġodda għall-protokolli arp, bgp, igmp, isis, lldp, ospf u pim, kif ukoll parsers għall-protokolli mhux magħrufa unkEthernet u unkIpProtocol.
- Miżjud għażla biex tiddiżattiva b'mod selettiv parsers (disableParsers).
- Il-ħila li turi kwalunkwe qasam numru sħiħ fuq charts, issettjat fuq il-paġna tas-settings, ġiet miżjuda mal-interface tal-web.
- Grafiċi u titoli issa jistgħu jiġu ffriżati u ma jiċċaqilqux meta tiskrollja l-paġna.
- Il-biċċa l-kbira tal-vireg tan-navigazzjoni huma moħbija jew iġġarrab awtomatikament.
Sors: opennet.ru