AOL-ek Moloch 2.3 sareko trafikoa indexatzeko sistema argitaratu zuen

AOL konpainia kaleratu sareko paketeak atzemateko, gordetzeko eta indexatzeko sistemaren kaleratzea Moloch 2.3, trafiko-fluxuak bisualki ebaluatzeko eta sareko jarduerarekin lotutako informazioa bilatzeko tresnak eskaintzen dituena. Kodea C hizkuntzan idatzita dago (interfazea Node.js/JavaScript-en) eta arabera banatuta Apache 2.0 lizentziapean. Linux eta FreeBSD-en lana onartzen du. Prest paketeak CentOS eta Ubunturen bertsio ezberdinetarako prestatua.

Proiektua 2012an sortu zen AOL trafiko-bolumenetara eskala dezakeen sare-pakete prozesatzeko plataforma komertzialen ordezko ireki bat sortzeko helburuarekin. AOL-en sistema berri bat ezartzeak ahalbidetu zuen azpiegituraren kontrol osoa lortzea bere zerbitzarietan hedatzearen ondorioz eta kostuak nabarmen murriztea - Moloch erabiltzeak AOL sare guztietan trafikoa guztiz harrapatzeko erabiltzean bezainbeste kostatzen da. irtenbide komertziala Aurretik, sare bakarrean trafikoa harrapatzen gastatzen zen. Sistemak eskala dezake trafikoa prozesatzeko, segundoko hamarnaka gigabiteko abiaduran. Biltegiratutako datuen bolumena eskuragarri dagoen disko-matrizearen tamainak soilik mugatzen du.
Saioko metadatuak motor-oinarritutako klusterrean indexatzen dira Elasticsearch.

Moloch-ek trafikoa berezko PCAP formatuan atzemateko eta indexatzeko tresnak biltzen ditu, baita indexatutako datuetara azkar sartzeko ere. Metatutako informazioa aztertzeko, laginak nabigatzeko, bilatu eta esportatzeko aukera ematen duen web interfaze bat eskaintzen da. Ere emana API, PCAP formatuan harrapatutako paketeei eta JSON formatuan analizatutako saioei buruzko datuak hirugarrenen aplikazioetara transferitzeko aukera ematen duena. PCAP formatua erabiltzeak asko errazten du lehendik dauden trafiko analizatzaileekin integratzea, hala nola Wireshark.

Moloch oinarrizko hiru osagai ditu:

  • Trafikoa harrapatzeko sistema hari anitzeko C aplikazio bat da trafikoa monitorizatzeko, PCAP formatuan iraulketak diskoan idazteko, harrapatutako paketeak analizatzeko eta saioei buruzko metadatuak (SPI, Stateful packet inspection) eta protokoloak Elasticsearch klusterera bidaltzeko. Posible da PCAP fitxategiak zifratuta gordetzea.
  • Node.js plataforman oinarritutako web interfazea, trafikoa harrapatzeko zerbitzari bakoitzean exekutatzen dena eta indexatutako datuak atzitzearekin eta PCAP fitxategiak transferitzearekin lotutako eskaerak prozesatzen dituena. API.
  • Elasticsearch-en oinarritutako metadatuen biltegiratzea.

Web-interfazeak hainbat ikusteko modu eskaintzen ditu: estatistika orokorrak, konexio-mapak eta sareko jarduera-aldaketei buruzko datuak dituzten grafiko bisualetatik, saio indibidualak aztertzeko tresnak, erabilitako protokoloen testuinguruan jarduera aztertzeko eta PCAP-eko hondakindegietako datuak analizatzeko.

AOL-ek Moloch 2.3 sareko trafikoa indexatzeko sistema argitaratu zuen

AOL-ek Moloch 2.3 sareko trafikoa indexatzeko sistema argitaratu zuen

AOL-ek Moloch 2.3 sareko trafikoa indexatzeko sistema argitaratu zuen

AOL-ek Moloch 2.3 sareko trafikoa indexatzeko sistema argitaratu zuen

Π’ kaleratze berria:

  • Elasticsearch-en indexatzeko formarik gabeko formatua erabiltzeko trantsizioa egin da.
  • Luan trafikoa harrapatzeko iragazkien adibideak gehitu dira.
  • QUIC protokoloaren 46 zirriborrorako euskarria ezarri da.
  • Protokoloak analizatzeko kodea berritu egin da, Ethernet eta IP mailako protokoloetarako analizatzaileak idazteko aukera emanez.
  • Analizatzaile berriak proposatu dira arp, bgp, igmp, isis, lldp, ospf eta pim protokoloetarako, baita unkEthernet eta unkIpProtocol protokolo ezezagunetarako analizatzaile berriak ere.
  • Analizatzaileak selektiboki desgaitzeko aukera bat gehitu da (disableParsers).
  • Ezarpen-orrian ezarrita dagoen diagrametan edozein eremu oso bistaratzeko gaitasuna gehitu da web-interfazean.
  • Grafikoak eta izenburuak orain izoztu egin daitezke eta ez dira mugitu orrialdean mugitzean.
  • Nabigazio-barra gehienak ezkutatuta edo tolestuta daude lehenespenez.

Iturria: opennet.ru

Gehitu iruzkin berria