Kompania AOL lëshimi i një sistemi për kapjen, ruajtjen dhe indeksimin e paketave të rrjetit , i cili ofron mjete për vlerësimin vizual të flukseve të trafikut dhe kërkimin e informacionit në lidhje me aktivitetin e rrjetit. Kodi është shkruar në gjuhën C (ndërfaqja në Node.js/JavaScript) dhe licencuar sipas Apache 2.0. Mbështet punën në Linux dhe FreeBSD. Gati përgatitur për versione të ndryshme të CentOS dhe Ubuntu.
Projekti u krijua në 2012 me qëllimin për të krijuar një zëvendësim të hapur për një platformë të përpunimit të paketave të rrjetit komercial që mund të shkallëzohej në vëllimet e trafikut AOL. Zbatimi i një sistemi të ri në AOL bëri të mundur arritjen e një kontrolli të plotë mbi infrastrukturën për shkak të vendosjes në serverët e tij dhe uljen e ndjeshme të kostove - përdorimi i Moloch për të kapur plotësisht trafikun në të gjitha rrjetet AOL kushton të njëjtën sasi si kur përdorni. Më parë, shpenzohej për kapjen e trafikut vetëm në një rrjet. Sistemi mund të shkallëzohet për të përpunuar trafikun me shpejtësi prej dhjetëra gigabit për sekondë. Vëllimi i të dhënave të ruajtura kufizohet vetëm nga madhësia e grupit të diskut të disponueshëm.
Të dhënat meta të sesionit indeksohen në grupin e bazuar në motor .
Moloch përfshin mjete për kapjen dhe indeksimin e trafikut në formatin origjinal PCAP, si dhe për qasje të shpejtë në të dhënat e indeksuara. Për të analizuar informacionin e grumbulluar, ofrohet një ndërfaqe në internet që ju lejon të lundroni, kërkoni dhe eksportoni mostra. Gjithashtu ofrohet , i cili ju lejon të transferoni të dhëna për paketat e kapura në formatin PCAP dhe seancat e analizuara në formatin JSON te aplikacionet e palëve të treta. Përdorimi i formatit PCAP thjeshton shumë integrimin me analizuesit ekzistues të trafikut si Wireshark.
Moloch përbëhet nga tre komponentë bazë:
- Sistemi i kapjes së trafikut është një aplikacion C me shumë fije për monitorimin e trafikut, shkrimin e deponive në formatin PCAP në disk, analizimin e paketave të kapura dhe dërgimin e meta të dhënave për sesionet (SPI, inspektim i paketave shtetërore) dhe protokolle në grupin Elasticsearch. Është e mundur të ruhen skedarët PCAP në formë të koduar.
- Një ndërfaqe në internet e bazuar në platformën Node.js, e cila funksionon në çdo server të kapjes së trafikut dhe përpunon kërkesat që lidhen me aksesin në të dhënat e indeksuara dhe transferimin e skedarëve PCAP nëpërmjet .
- Ruajtja e meta të dhënave bazuar në Elasticsearch.
Ndërfaqja e uebit ofron disa mënyra shikimi - nga statistikat e përgjithshme, hartat e lidhjeve dhe grafikët vizualë me të dhëna për ndryshimet në aktivitetin e rrjetit deri te mjetet për studimin e sesioneve individuale, analizimin e aktivitetit në kontekstin e protokolleve të përdorura dhe analizimin e të dhënave nga deponitë PCAP.
В :
- Është bërë një kalim në përdorimin e një formati pa tip për indeksimin në Elasticsearch.
- U shtuan shembuj të filtrave të kapjes së trafikut në Lua.
- Mbështetja për versionin 46-draft të protokollit QUIC është zbatuar.
- Kodi për analizimin e protokolleve është ripunuar, duke bërë të mundur shkrimin e analizuesve për protokollet e nivelit Ethernet dhe IP.
- Janë propozuar analizues të rinj për protokollet arp, bgp, igmp, isis, lldp, ospf dhe pim, si dhe analizues për protokollet e panjohura unkEthernet dhe unkIpProtocol.
- U shtua një opsion për të çaktivizuar në mënyrë selektive analizuesit (disableParsers).
- Aftësia për të shfaqur çdo fushë të numrit të plotë në grafikët, e vendosur në faqen e cilësimeve, është shtuar në ndërfaqen e internetit.
- Grafikët dhe titujt tani mund të ngrihen dhe të mos lëvizin kur lëvizni faqen.
- Shumica e shiritave të navigimit fshihen ose shemben si parazgjedhje.
Burimi: opennet.ru