AOL компаниясы тармак пакеттерин басып алуу, сактоо жана индекстөө системасын чыгаруу , ал трафик агымын визуалдык баалоо жана тармактын активдүүлүгүнө байланыштуу маалыматты издөө үчүн куралдар менен камсыз кылат. Код Си тилинде жазылган (Node.js/JavaScript интерфейси) жана Apache 2.0 астында лицензияланган. Linux жана FreeBSDде иштөөнү колдойт. Даяр CentOS жана Ubuntu ар кандай версиялары үчүн даярдалган.
Долбоор 2012-жылы AOL трафигинин көлөмүн кеңейте ала турган коммерциялык тармак пакеттерин иштетүү платформасынын ачык алмаштырууну түзүү максатында түзүлгөн. AOLда жаңы системаны ишке ашыруу анын серверлеринде жайгаштыруунун эсебинен инфраструктураны толук көзөмөлдөөгө жана чыгымдарды олуттуу кыскартууга мүмкүндүк берди - Molochтун жардамы менен бардык AOL тармактарында трафикти толугу менен басып алуу, колдонуудагыдай эле сумманы түзөт. Буга чейин ал бир гана тармактагы трафикти тартууга жумшалган. Система секундасына ондогон гигабит ылдамдыкта трафикти иштетүү үчүн масштабдалышы мүмкүн. Сакталган маалыматтардын көлөмү жеткиликтүү диск массивинин өлчөмү менен гана чектелет.
Сеанстын метадайындары кыймылдаткычка негизделген кластерде индекстелет .
Moloch жергиликтүү PCAP форматында трафикти басып алуу жана индекстөө, ошондой эле индекстелген маалыматтарга тез жетүү үчүн куралдарды камтыйт. Топтолгон маалыматты талдоо үчүн веб-интерфейс сунушталат, ал навигациялоого, издөөгө жана үлгүлөрдү экспорттоого мүмкүндүк берет. Ошондой эле каралган PCAP форматындагы басып алынган пакеттер жана JSON форматындагы талданган сеанстар жөнүндө маалыматтарды үчүнчү тараптын тиркемелерине өткөрүүгө мүмкүндүк берет. PCAP форматын колдонуу Wireshark сыяктуу учурдагы трафик анализаторлору менен интеграцияны абдан жөнөкөйлөтөт.
Moloch үч негизги компоненттен турат:
- Трафикти тартуу системасы трафикти көзөмөлдөө, дискке PCAP форматында дамптарды жазуу, басып алынган пакеттерди талдоо жана сеанстар (SPI, Stateful пакет текшерүүсү) жана Elasticsearch кластерине протоколдор жөнүндө метаберилиштерди жөнөтүү үчүн көп агымдуу C тиркемеси. PCAP файлдарын шифрленген түрдө сактоого болот.
- Node.js платформасына негизделген веб-интерфейс, ал ар бир трафикти кармоо серверинде иштейт жана индекстелген маалыматтарга жетүү жана PCAP файлдарын өткөрүү менен байланышкан суроо-талаптарды иштетет. .
- Elasticsearch негизинде метадайындарды сактоо.
Веб-интерфейс бир нече көрүү режимдерин камсыздайт - жалпы статистикадан, туташуулар карталарынан жана тармактык активдүүлүктүн өзгөрүшү жөнүндө маалыматтар менен визуалдык графиктерден жеке сеанстарды изилдөө, колдонулган протоколдордун контекстинде активдүүлүктү талдоо жана PCAP таштандыларынан маалыматтарды талдоо куралдарына чейин.
В :
- Elasticsearchте индекстөө үчүн типсиз форматты колдонууга өтүү жасалды.
- Луада трафикти тартуу чыпкаларынын мисалдары кошулду.
- QUIC протоколунун 46 долбоор версиясын колдоо ишке ашырылды.
- Протоколдорду талдоо үчүн код кайра иштелип чыкты, бул Ethernet жана IP деңгээлиндеги протоколдор үчүн талдоочуларды жазууга мүмкүндүк берет.
- arp, bgp, igmp, isis, lldp, ospf жана pim протоколдору үчүн жаңы талдоочулар, ошондой эле белгисиз unkEthernet жана unkIpProtocol протоколдору үчүн талдоочулар сунушталды.
- Талдоочуларды тандап өчүрүү опциясы кошулду (disableParsers).
- Жөндөөлөр бетинде коюлган диаграммаларда каалаган бүтүн сан талаасын көрсөтүү мүмкүнчүлүгү веб-интерфейске кошулду.
- Графиктерди жана аталыштарды эми тоңдурса болот жана баракты сыдырганда жылбайт.
- Көпчүлүк навигация тилкелери демейки боюнча жашырылган же жыйылган.
Source: opennet.ru