AOL Co tso tawm ib qho system rau ntes, khaws cia thiab indexing network packets , uas muab cov cuab yeej rau kev pom kev ntsuas cov tsheb khiav thiab tshawb nrhiav cov ntaub ntawv ntsig txog kev ua haujlwm hauv network. Cov cai sau ua lus C (interface hauv Node.js/JavaScript) thiab muaj ntawv tso cai nyob rau hauv Apache 2.0. Txhawb kev ua haujlwm ntawm Linux thiab FreeBSD. Npaj txhij npaj rau txawv versions ntawm CentOS thiab Ubuntu.
Qhov project tau tsim nyob rau hauv 2012 nrog lub hom phiaj ntawm kev tsim ib qho qhib kev hloov pauv rau kev lag luam network packet processing platform uas tuaj yeem ntsuas rau AOL tsheb thauj khoom. Kev siv cov txheej txheem tshiab hauv AOL ua rau nws muaj peev xwm ua tiav kev tswj hwm kev tsim kho vaj tse vim kev xa tawm ntawm nws cov servers thiab txo cov nqi - siv Moloch kom ntes tag nrho cov tsheb khiav hauv txhua lub network AOL raug nqi tib yam li thaum siv. Yav dhau los, nws tau siv los ntes cov tsheb khiav ntawm ib lub network nkaus xwb. Lub kaw lus tuaj yeem ntsuas kev khiav tsheb ntawm qhov nrawm ntawm kaum tawm gigabits ib ob. Qhov ntim ntawm cov ntaub ntawv khaws cia tsuas yog txwv los ntawm qhov loj ntawm qhov muaj disk array.
Session metadata yog indexed nyob rau hauv lub cav-raws li pawg .
Moloch suav nrog cov cuab yeej rau kev ntes thiab ntsuas cov tsheb khiav hauv hom PCAP ib txwm, nrog rau kev nkag mus ceev rau cov ntaub ntawv txheeb xyuas. Txhawm rau txheeb xyuas cov ntaub ntawv khaws tseg, muaj lub vev xaib interface uas tso cai rau koj mus rau, tshawb nrhiav thiab xa tawm cov qauv. Kuj muab , uas tso cai rau koj hloov cov ntaub ntawv hais txog kev ntes cov pob ntawv hauv PCAP hom thiab parsed zaug hauv JSON hom ntawv rau cov ntawv thov thib peb. Kev siv PCAP hom ntawv ua kom yooj yim rau kev sib koom ua ke nrog cov kws tshuaj ntsuam xyuas tsheb uas twb muaj lawm xws li Wireshark.
Moloch muaj peb yam tseem ceeb:
- Lub kaw lus ntes tsheb yog ntau txoj xov C rau kev saib xyuas kev khiav tsheb, sau cov ntaub ntawv pov tseg hauv PCAP hom rau disk, txheeb xyuas cov pob ntawv ntes thiab xa cov metadata txog ntu (SPI, Stateful pob ntawv tshuaj xyuas) thiab cov txheej txheem rau Elasticsearch pawg. Nws muaj peev xwm khaws cov ntaub ntawv PCAP hauv daim ntawv encrypted.
- Lub vev xaib cuam tshuam raws li Node.js platform, uas khiav ntawm txhua lub tsheb ntes neeg rau zaub mov thiab cov txheej txheem thov cuam tshuam txog kev nkag mus rau cov ntaub ntawv txheeb xyuas thiab xa cov ntaub ntawv PCAP ntawm .
- Metadata cia raws li Elasticsearch.
Lub vev xaib interface muab ntau hom kev saib - los ntawm kev txheeb cais dav dav, daim duab qhia kev sib txuas thiab cov duab kos duab nrog cov ntaub ntawv ntawm kev hloov pauv hauv kev ua haujlwm hauv network rau cov cuab yeej rau kev kawm ib tus neeg sib tham, tshuaj xyuas kev ua ub no hauv cov ntsiab lus ntawm cov txheej txheem siv thiab txheeb xyuas cov ntaub ntawv los ntawm PCAP dumps.
Π :
- Ib qho kev hloov pauv tau ua rau siv hom ntawv tsis zoo rau kev ntsuas hauv Elasticsearch.
- Ntxiv piv txwv ntawm kev ntes cov lim dej hauv Lua.
- Kev them nyiaj yug rau 46-draft version ntawm QUIC raws tu qauv tau ua tiav.
- Cov cai rau parsing raws tu qauv tau rov ua haujlwm, ua rau nws muaj peev xwm sau parsers rau Ethernet thiab IP qib raws tu qauv.
- Cov parsers tshiab tau raug npaj rau arp, bgp, igmp, isis, lldp, ospf thiab pim raws tu qauv, nrog rau cov parsers rau cov tsis paub unkEthernet thiab unkIpProtocol raws tu qauv.
- Ntxiv ib qho kev xaiv los xaiv lov tes taw parsers (disableParsers).
- Lub peev xwm los tso saib ib qho integer teb ntawm kab kos, teem rau ntawm nplooj ntawv teeb tsa, tau ntxiv rau hauv lub vev xaib interface.
- Cov kab kos thiab cov npe tam sim no tuaj yeem khov thiab tsis txav thaum scrolling nplooj ntawv.
- Feem ntau cov bar navigation tau muab zais los yog tsoo los ntawm lub neej ntawd.
Tau qhov twg los: opennet.ru