Khamphani ea AOL ho lokolloa ha mokhoa oa ho hapa, ho boloka le ho hlahisa lipakete tsa marang-rang , e fanang ka lisebelisoa tsa ho hlahloba ka mahlo ho phalla ha sephethephethe le ho batla tlhahisoleseding e amanang le mosebetsi oa marang-rang. Khoutu e ngotsoe ka puo ea C (interface ho Node.js/JavaScript) le e nang le tumello tlas'a Apache 2.0. E tšehetsa mosebetsi ho Linux le FreeBSD. E lokile e lokiselitsoeng liphetolelo tse fapaneng tsa CentOS le Ubuntu.
Morero o thehiloe ka 2012 ka sepheo sa ho theha sebaka se bulehileng sa sethala sa ts'ebetso ea lipakete tsa marang-rang se ka fihlang ho bongata ba sephethephethe sa AOL. Ts'ebetsong ea tsamaiso e ncha ho AOL e entse hore ho khonehe ho finyella taolo e feletseng holim'a lisebelisoa tsa motheo ka lebaka la ho romelloa ho li-server tsa eona le ho fokotsa litšenyehelo haholo - ho sebelisa Moloch ho hapa sephethephethe ka ho feletseng ho marang-rang a AOL ho lefella chelete e lekanang le ha u sebelisa. Pele, e ne e sebelisetsoa ho hapa sephethephethe ho marang-rang a le mong feela. Sistimi e ka hola ho sebetsa sephethephethe ka lebelo la li-gigabit tse mashome motsotsoana. Bophahamo ba data e bolokiloeng bo lekantsoe feela ke boholo ba pokello ea disk e fumanehang.
Metadata ea Session e thathamisitsoe ka har'a sehlopha se thehiloeng ho enjene .
Moloch e kenyelletsa lisebelisoa tsa ho ts'oara le ho supa sephethephethe ka sebopeho sa matsoalloa sa PCAP, hammoho le phihlello e potlakileng ea data e ngolisitsoeng. Ho sekaseka tlhahisoleseling e bokelletsoeng, ho fanoa ka sehokelo sa webo se u lumellang ho tsamaea, ho batla le ho romela lisampole. E fanoe hape , e u lumellang ho fetisetsa data mabapi le lipakete tse hapiloeng ka sebopeho sa PCAP le linako tse arotsoeng ka mokhoa oa JSON ho ea ho likopo tsa motho oa boraro. Ts'ebeliso ea sebopeho sa PCAP e nolofatsa haholo kopanyo le bahlahlobisisi ba sephethephethe ba teng joalo ka Wireshark.
Moloch e na le likarolo tse tharo tsa motheo:
- Sistimi ea ho ts'oara sephethephethe ke ts'ebeliso ea C e nang le likhoele tse ngata bakeng sa ho lekola sephethephethe, ho ngola litšila ka sebopeho sa PCAP ho disk, ho fetisa lipakete tse hapiloeng le ho romella metadata mabapi le linako (SPI, tlhahlobo ea pakete ea Stateful) le liprothokholo ho sehlopha sa Elasticsearch. Hoa khoneha ho boloka lifaele tsa PCAP ka mokhoa o patiloeng.
- Sebopeho sa marang-rang se thehiloeng sethaleng sa Node.js, se sebetsang ho seva se seng le se seng sa sephethephethe sa sephethephethe le ho sebetsana le likōpo tse amanang le ho fumana lintlha tse ngolisitsoeng le ho fetisetsa lifaele tsa PCAP ka tsela. .
- Polokelo ea metadata e thehiloeng ho Elasticsearch.
Sehokelo sa marang-rang se fana ka mekhoa e mengata ea ho shebella - ho tloha ho lipalo-palo tse akaretsang, limmapa tsa khokahano le lirafshoa tse bonoang tse nang le data mabapi le liphetoho tsa ts'ebetso ea marang-rang ho ea ho lisebelisoa tsa ho ithuta mananeo a motho ka mong, ho sekaseka ts'ebetso maemong a liprothokholo tse sebelisitsoeng le ho arola data ho tsoa litsing tsa PCAP.
В :
- Ho entsoe phetoho ea ho sebelisa sebopeho se sa thaepeeng bakeng sa indexing ho Elasticsearch.
- Mehlala e ekelitsoeng ea lihloela tsa sephethephethe ho Lua.
- Ts'ehetso ea mofuta oa 46-draft ea protocol ea QUIC e kentsoe ts'ebetsong.
- Khoutu ea li-protocol e hlophisitsoe bocha, e etsa hore ho khonehe ho ngola li-parsers bakeng sa liprothokholo tsa Ethernet le IP.
- Ho hlahisitsoe li-parser tse ncha bakeng sa liprothokholo tsa arp, bgp, igmp, isis, lldp, ospf le pim, hammoho le li-protocol tse sa tsejoeng tsa unkEthernet le unkIpProtocol.
- E kentse khetho ea ho tima li-parers (disableParsers).
- Bokhoni ba ho bonts'a karolo efe kapa efe e felletseng lichateng, e behiloeng leqepheng la litlhophiso, e kentsoe sebopehong sa webo.
- Hona joale li-graph le litlotla li ka hoamisoa 'me tsa se ke tsa sisinyeha ha u tsamaisa leqephe.
- Bongata ba libaka tsa ho sesa li patiloe kapa li putsitsoe ka ho sa feleng.
Source: opennet.ru