Kompania AOL lëshimi i sistemit për kapjen, ruajtjen dhe indekson e paketave rrjetës , që ofron mjete për një vlerësim vizual të flukseve të trafikut dhe për gjetjen e informacionit të lidhur me aktivitetin në rrjet. Kodi është shkruar në gjuhën C (interfaci në Node.js/JavaScript) dhe me licencën Apache 2.0. Mbështetet përdorimi në Linux dhe FreeBSD. Paketat e gatshme janë përgatitur për versione të ndryshme të CentOS dhe Ubuntu.
Projekti u krijua në vitin 2012 me qëllimin e krijimit të një zëvendësimi të hapur për platformën tregtare të përpunimit të paketave rrjetës, e cila mund të shkallëzohet deri në nivele të trafikëve të AOL. Zbatimi i sistemit të ri në AOL lejoji arritjen e kontrollit të plotë mbi infrastrukturën përmes një implementimi në serverët e saj dhe reduktimin e shpenzimeve — përdorimi i Moloch për kapjen e plotë të trafikut në të gjitha rrjetet e AOL i kushtoi një shumë, e cila është e ngjashme me atë që shpenzohej më parë për kapjen e trafikut vetëm në një rrjet. Sistemi mund të shkallëzohet për përpunimin e trafikut me shpejtësi deri në dhjetëra gigabit në sekondë. Vëllimi i të dhënave të ruajtura është i kufizuar vetëm nga madhësia e masës disk. më parë shpenzohej për të kapur trafikun vetëm në një rrjet. Sistemi mund të shkallëzohet për të trajtuar trafik me shpejtësi në dhjetëra gigabit në sekondë. Vëllimi i të dhënave të magazinuara kufizohet vetëm nga madhësia e grumbullit të diskëve të disponueshëm.
Meta të dhënat në lidhje me seancat indeksohen në një klaster bazuar në motorin .
Moloch përfshin mjete për kapjen dhe indeksimin e trafikut në formatin e zakonshëm PCAP, si dhe për qasje të shpejtë në të dhënat e indeksuara. Për analizën e informacionit të mbledhur ofrohet një ndërfaqe web, që mundëson navigimin, kërkimin dhe eksportimin e mostrave. Po ashtu ofrohet , që lejon transferimin e të dhënave rreth paketuara të kapura në formatin PCAP dhe seancave të analizuar në formatin JSON. Përdorimi i formatit PCAP e thjeshton në masë të madhe integrimin me analizatorët ekzistues të trafikut, si Wireshark.
Moloch përbëhet nga tre komponentë bazë:
- Sistemi i kapjes së trafikut — një aplikacion me shumë thread në gjuhën C për monitorimin e trafikut, regjistrimin e dump-eve në formatin PCAP në disk, analizimin e paketave të kapura dhe dërgimin e metadates për seancat (SPI, Inspektimi i paketave me gjendje) dhe protokollet në një grup Elasticsearch. Është e mundur ruajtja e skedarëve PCAP në formë të enkriptuar.
- Ndërfaqja web, e ndërtuar mbi platformën Node.js, e cila nisi në çdo server të kapjes së trafikut dhe trajton kërkesat në lidhje me qasjen në të dhënat e indeksuara dhe transfertën e skedarëve PCAP përmes .
- Depozita e metadatos në bazë të Elasticsearch.
Në ndërfaqen web janë parashikuar disa moda shikimi — nga statistikat e përgjithshme, mapa e lidhjeve dhe grafikët vizualë me të dhëna mbi ndryshimin e aktivitetit rrjetës deri te mjetet për shqyrtimin e seancave individuale, analizimin e aktivitetit në përputhje me protokollet e përdorura dhe interpretimin e të dhënave nga dump-et PCAP.
Në :
- Kaluar në përdorimin e formatit pa tip për indeksimin në Elasticsearch.
- U shtuan shembuj filtrash për kapjen e trafikut në gjuhën Lua.
- U realizua mbështetje për revizionin 46-të të protokollit QUIC.
- Kodi për analizimin e protokolleve është rishikuar, duke e bërë të mundur krijimin e parserëve për protokollet e nivelit Ethernet dhe IP.
- U propozuan parserë të rinj për protokollet arp, bgp, igmp, isis, lldp, ospf dhe pim, si dhe parserë për protokollet e panjohura unkEthernet dhe unkIpProtocol.
- U shtua një opsion për çaktivizimin selektiv të parserëve (disableParsers).
- Në ndërfaqen web u shtua mundësia për të shfaqur çdo fushë të numrave në grafikë, të vendosur në faqen e cilësimeve.
- Grafikët dhe titujt tani mund të fiksohen dhe të mos lëvizin gjatë rrotullimit të faqes.
- Shumica e paneleve të navigimit janë të fshehura ose të zvogëluara si pikë e parazgjedhur.
Burimi: opennet.ru
