Companaidh AOL sgaoileadh siostam airson a bhith a’ glacadh, a’ stòradh agus a’ clàradh phasganan lìonraidh , a bheir seachad innealan airson sruthan trafaic a mheasadh gu fradharcach agus a bhith a’ lorg fiosrachadh co-cheangailte ri gnìomhachd lìonra. Tha an còd sgrìobhte ann an cànan C (eadar-aghaidh ann an Node.js/JavaScript) agus le cead fo Apache 2.0. A’ toirt taic do dh’ obair air Linux agus FreeBSD. Ready ullaichte airson diofar dhreachan de CentOS agus Ubuntu.
Chaidh am pròiseact a chruthachadh ann an 2012 leis an amas àite fosgailte a chruthachadh airson àrd-ùrlar giullachd pacaid lìonra malairteach a dh’ fhaodadh sgèile gu meud trafaic AOL. Le bhith a’ buileachadh siostam ùr ann an AOL bha e comasach smachd iomlan a choileanadh air a’ bhun-structar mar thoradh air cleachdadh air na frithealaichean aige agus lughdaich e cosgaisean gu mòr - le bhith a’ cleachdadh Moloch gus trafaic a ghlacadh gu tur anns a h-uile lìonra AOL a’ cosg an aon uiread ri nuair a thathar a’ cleachdadh. Roimhe sin, chaidh a chosg air trafaig a ghlacadh air aon lìonra a-mhàin. Faodaidh an siostam sgèile gus trafaic a làimhseachadh aig astaran deichean gigabits gach diog. Tha meud an dàta a tha air a stòradh air a chuingealachadh a-mhàin le meud an t-sreath diosc a tha ri fhaighinn.
Tha meata-dàta seisean air a chlàr-amais anns a’ bhuidheann stèidhichte air einnsean .
Tha Moloch a’ toirt a-steach innealan airson trafaic a ghlacadh agus a chlàradh ann an cruth PCAP dùthchasach, a bharrachd air airson faighinn gu luath air dàta clàr-amais. Gus mion-sgrùdadh a dhèanamh air an fhiosrachadh cruinnichte, tha eadar-aghaidh lìn air a thabhann a leigeas leat sampaill a sheòladh, a lorg agus às-mhalairt. Cuideachd air a thoirt seachad , a leigeas leat dàta mu phasgan glacte a ghluasad ann an cruth PCAP agus seiseanan parsed ann an cruth JSON gu tagraidhean treas-phàrtaidh. Tha cleachdadh cruth PCAP gu mòr a’ sìmpleachadh amalachadh le sgrùdairean trafaic a th’ ann mar Wireshark.
Tha trì pàirtean bunaiteach ann am Moloch:
- Tha an siostam glacaidh trafaic na thagradh C ioma-snàthainn airson sùil a chumail air trafaic, a’ sgrìobhadh chnapan-starra ann an cruth PCAP gu diosc, a’ parsadh phasganan glacte agus a’ cur meata-dàta mu sheiseanan (SPI, sgrùdadh pacaid stàiteil) agus protocalan chun bhuidheann Elasticsearch. Tha e comasach faidhlichean PCAP a stòradh ann an cruth crioptaichte.
- Eadar-aghaidh lìn stèidhichte air an àrd-ùrlar Node.js, a bhios a’ ruith air gach frithealaiche glacaidh trafaic agus a’ pròiseasadh iarrtasan co-cheangailte ri faighinn gu dàta clàraichte agus a’ gluasad fhaidhlichean PCAP tro .
- Stòradh meata-dàta stèidhichte air Elasticsearch.
Tha an eadar-aghaidh lìn a’ toirt seachad grunn mhodhan seallaidh - bho staitistig choitcheann, mapaichean ceangail agus grafaichean lèirsinneach le dàta mu atharrachaidhean ann an gnìomhachd lìonra gu innealan airson seiseanan fa leth a sgrùdadh, mion-sgrùdadh gnìomhachd ann an co-theacsa nam protocalan a thathar a’ cleachdadh agus parsadh dàta bho thumaichean PCAP.
В :
- Chaidh eadar-ghluasad a dhèanamh gu bhith a’ cleachdadh cruth gun sheòrsa airson clàr-amais ann an Elasticsearch.
- Chaidh eisimpleirean a chur ris de shìoltachain glacaidh trafaic ann an Lua.
- Tha taic airson an dreach 46-dreach de phròtacal QUIC air a bhuileachadh.
- Chaidh an còd airson protocolaidhean parsaidh ath-obrachadh, ga dhèanamh comasach parsers a sgrìobhadh airson protocolaidhean ìre Ethernet agus IP.
- Chaidh parsairean ùra a mholadh airson na protocolaidhean arp, bgp, igmp, isis, lldp, ospf agus pim, a bharrachd air parsers airson na protocolaidhean unkEthernet agus unkIpProtocol neo-aithnichte.
- Chuir sinn ris roghainn gus parsers a dhì-cheadachadh gu roghnach (disableParsers).
- Chaidh an comas raon iomlanachd sam bith a thaisbeanadh air clàran, suidhichte air duilleag nan roghainnean, a chur ris an eadar-aghaidh lìn.
- Faodar grafaichean agus cinn a chuir air acair a-nis agus gun a bhith a’ gluasad nuair a sgrolaicheas tu an duilleag.
- Tha a’ mhòr-chuid de bhàraichean seòlaidh falaichte no air tuiteam às a chèile gu bunaiteach.
Source: fosgailtenet.ru