I whakaputaina e AOL a Moloch 2.3 te punaha tohu tohu waka whatunga

Kamupene AOL i tukuna te tukunga o te punaha mo te hopu, te penapena me te tohu i nga paatete whatunga Moloka 2.3, e whakarato ana i nga taputapu mo te tirohanga tirohanga i nga rerenga waka me te rapu korero e pa ana ki nga mahi whatunga. Ka tuhia te waehere ki te reo C (atanga i Node.js/JavaScript) me tohaina e kua raihanatia i raro i te Apache 2.0. Ka tautokohia nga mahi i runga i te Linux me te FreeBSD. Kua reri putea kua rite mo nga putanga rereke o CentOS me Ubuntu.

I hangaia te kaupapa i te tau 2012 me te whainga kia hanga he whakakapinga tuwhera mo te papaaa tukatuka paatete whatunga arumoni ka taea te tauine ki nga pukapuka hokohoko AOL. Ko te whakatinanatanga o tetahi punaha hou i roto i te AOL i taea ai te whakatutuki i te mana whakahaere katoa mo nga hanganga na te tukunga ki runga i ana kaitoro me te tino whakaiti i nga utu - ma te whakamahi i a Moloch ki te hopu katoa i nga waka i roto i nga whatunga AOL katoa he rite te utu ki te wa e whakamahi ana. otinga arumoni I mua, i whakapaua ki te hopu waka i runga i te whatunga kotahi anake. Ka taea e te punaha te tauine ki te tukatuka waka i te tere o te tekau gigabits ia hekona. Ko te rōrahi o ngā raraunga penapena ka whakawhāitihia e te rahi o te huinga kōpae e wātea ana.
Ko nga metadata o te huihuinga kua tohua ki roto i te kahui miihini Te rangahau elastic.

Kei a Moloch nga taputapu mo te hopu me te tohu i nga waka i roto i te whakatakotoranga PCAP taketake, me te uru tere ki nga raraunga kua tohua. Hei tātari i nga korero kua kohia, ka tukuna he atanga tukutuku e taea ai e koe te whakatere, te rapu me te kaweake tauira. Ka whakaratohia ano API, ka taea e koe te whakawhiti raraunga mo nga paatete kua mau i roto i te whakatakotoranga PCAP me nga waahi kua tohua ki te whakatakotoranga JSON ki nga tono tuatoru. Ko te whakamahi i te whakatakotoranga PCAP ka tino whakangwari te whakaurunga ki nga kaitirotiro waka o naianei penei i a Wireshark.

E toru nga waahanga matua o Moloch:

  • Ko te punaha hopu waka he tono C miro-maha mo te aro turuki i nga waka, te tuhi i nga putunga i roto i te whakatakotoranga PCAP ki te kopae, te parai i nga paatete kua mau me te tuku metadata mo nga huihuinga (SPI, Stateful packet inspection) me nga tikanga ki te roopu Elasticsearch. Ka taea te penapena i nga konae PCAP ki te ahua whakamunatia.
  • He atanga tukutuku i runga i te turanga Node.js, e rere ana i runga i ia tūmau hopu waka me te tukatuka i nga tono e pa ana ki te uru ki nga raraunga kua taurangi me te whakawhiti i nga konae PCAP ma API.
  • Te rokiroki metadata i runga i te Elasticsearch.

Ka whakaratohia e te atanga tukutuku etahi momo tirohanga - mai i nga tatauranga whanui, nga mapi hononga me nga kauwhata tirohanga me nga raraunga mo nga huringa o nga mahi whatunga ki nga taputapu mo te ako i nga waahi takitahi, te tātari i nga mahi i roto i te horopaki o nga kawa e whakamahia ana me te tarai raraunga mai i nga putunga PCAP.

I whakaputaina e AOL a Moloch 2.3 te punaha tohu tohu waka whatunga

I whakaputaina e AOL a Moloch 2.3 te punaha tohu tohu waka whatunga

I whakaputaina e AOL a Moloch 2.3 te punaha tohu tohu waka whatunga

I whakaputaina e AOL a Moloch 2.3 te punaha tohu tohu waka whatunga

В take hou:

  • Kua mahia he whakawhitinga ki te whakamahi i te whakatakotoranga kore momo mo te tohu tohu i roto i te Elasticsearch.
  • He tauira taapiri mo nga whiriwhiringa hopu waka i Lua.
  • Ko te tautoko mo te putanga 46-draft o te kawa QUIC kua whakatinanahia.
  • Ko te waehere mo te poroporo kawa kua mahia ano, ka taea te tuhi parser mo nga kawa taumata Ethernet me te IP.
  • Kua whakatakotohia nga korero hou mo nga kawa arp, bgp, igmp, isis, lldp, ospf me pim, tae atu ki nga parser mo nga tikanga unkEthernet me te unkIpProtocol e mohiotia ana.
  • Kua taapirihia he whiringa ki te whakakore i nga parsers (disableParsers).
  • Ko te kaha ki te whakaatu i tetahi mara tauoti i runga i nga tūtohi, kua whakatakotoria ki te wharangi tautuhinga, kua taapirihia ki te atanga tukutuku.
  • Ko nga kauwhata me nga pane ka taea te punga me te kore e neke i te wa e panuku ana te wharangi.
  • Ko te nuinga o nga pae whakaterenga kua huna, kua tiango ranei na te taunoa.

Source: opennet.ru

Tāpiri i te kōrero