Kamupani AOL fa'amatu'u mai se faiga mo le pu'eina, teuina ma le fa'asinomaga o pusa feso'otaiga , lea e maua ai meafaigaluega mo le suʻesuʻeina o vaʻaiga o feoaiga ma suʻesuʻeina faʻamatalaga e fesoʻotaʻi ma le gaioiga o fesoʻotaʻiga. O le code o loʻo tusia i le gagana C (interface in Node.js/JavaScript) ma laiseneina i lalo o Apache 2.0. Lagolago galuega i Linux ma FreeBSD. Sauni saunia mo ituaiga eseese o CentOS ma Ubuntu.
O le poloketi na faia i le 2012 ma le sini o le fausiaina o se avanoa avanoa mo se faʻasalalauga faʻasalalauga faʻapipiʻi faʻasalalauga e mafai ona fua i le aofaʻi o feoaiga a le AOL. O le faʻatinoina o se faiga fou i le AOL na mafai ai ona ausia le pulea atoatoa o atinaʻe ona o le faʻapipiʻiina i luga o ana 'auʻaunaga ma faʻaitiitia ai le tau - faʻaaogaina Moloch e puʻeina atoa ai fefaʻatauaiga i fesoʻotaʻiga AOL uma tau tutusa ma le taimi e faʻaaoga ai. I le taimi muamua, na faʻaalu i le puʻeina o feoaiga i luga o le tasi fesoʻotaʻiga. E mafai ona fua le faiga e fa'agasolo ai feoaiga i le saoasaoa o le sefulu gigabits i le sekone. Ole tele o fa'amaumauga o lo'o teuina e fa'atapula'aina ile tele ole fa'asologa o tisiki avanoa.
O metadata o sauniga o lo'o fa'asinoina i totonu ole fuifui fa'avae afi .
Moloch e aofia ai meafaigaluega mo le pu'eina ma le faasinoupuina o felauaiga i le PCAP masani, faʻapea foʻi ma le vave maua i faʻamatalaga faʻasino. Ina ia au'ili'ili fa'amatalaga fa'aputu, ua tu'uina atu se 'upega tafa'ilagi e mafai ai ona e fa'atautaia, su'esu'e ma fa'atau atu fa'ata'ita'iga. Ua saunia foi , lea e mafai ai ona e faʻafeiloaʻi faʻamatalaga e uiga i pusa puʻeina i le PCAP faʻasologa ma faʻasalalauga i le JSON faʻasologa i talosaga a isi vaega. O le fa'aogaina o le PCAP e fa'afaigofieina ai le tu'ufa'atasia ma tagata su'esu'e o lo'o iai nei e pei ole Wireshark.
Moloch e aofia ai vaega autu e tolu:
- O le auala e puʻeina ai taavale o se talosaga C tele-filo mo le mataʻituina o feoaiga, tusia o otaota i le PCAP format i le tisiki, faʻasalalau pepa puʻeina ma auina atu metadata e uiga i sauniga (SPI, Stateful packet inspection) ma protocols i le Elasticsearch cluster. E mafai ona teuina faila PCAP i faiga fa'ailoga.
- O se 'upega tafaʻilagi e faʻavae i luga o le Node.js platform, lea e faʻatautaia i luga o taʻavale taʻavale taʻavale taʻitasi ma faʻagasolo talosaga e fesoʻotaʻi ma le mauaina o faʻamatalaga faʻasinomaga ma le fesiitaiga o faila PCAP e ala i .
- Metadata teuina faʻavae ile Elasticsearch.
O le upega tafa'ilagi e maua ai le tele o auala e matamata ai - mai fa'amaumauga lautele, fa'afanua feso'ota'iga ma kalafi va'aia fa'atasi ai ma fa'amatalaga i suiga i gaioiga feso'otaiga i mea faigaluega mo le su'esu'eina o vasega ta'ito'atasi, su'esu'eina gaioiga i le tulaga o tulafono fa'aaogaina ma fa'asoa fa'amaumauga mai le PCAP dumps.
В :
- Ua faia se suiga i le fa'aogaina o se faiga e leai se ituaiga mo le fa'asino igoa ile Elasticsearch.
- Fa'aopoopoina fa'ata'ita'iga o filiga pu'e ta'avale i Lua.
- Lagolago mo le 46-draft version o le QUIC protocol ua faʻatinoina.
- O le tulafono mo le fa'avasegaina o fa'asalalauga ua toe fa'aleleia, ua mafai ai ona tusia fa'asalalauga mo Ethernet ma IP tulaga fa'atonu.
- Ua fa'ailoa mai fo'i fa'asalalauga fou mo le arp, bgp, igmp, isis, lldp, ospf ma pim protocols, fa'apea fo'i ma parsers mo le le iloa unkEthernet ma unkIpProtocol protocols.
- Faʻaopoopoina se filifiliga e faʻamalo filifili parsers (disableParsers).
- Le mafai ona faʻaalia soʻo se fanua numera i luga o siata, seti i luga o le itulau faʻatulagaina, ua faʻaopoopoina i luga o le upega tafaʻilagi.
- O kalafi ma ulutala ua mafai nei ona fa'aaisa ma le gaioi pe a ta'ai le itulau.
- O le tele o fa'aoga fa'amau e natia pe solo i lalo ona o le fa'aletonu.
puna: opennet.ru