Кампанія AOL рэліз сістэмы для захопу, захоўванні і індэксацыі сеткавых пакетаў , якая прадстаўляе прылады для нагляднай ацэнкі патокаў трафіку і пошуку звязанай з сеткавай актыўнасцю інфармацыі. Код напісаны на мове Сі (інтэрфейс на Node.js/JavaScript) і пад ліцэнзіяй Apache 2.0. Падтрымліваецца праца ў Linux і FreeBSD. Гатовыя падрыхтаваны для розных версій CentOS і Ubuntu.
Праект быў створаны ў 2012 годзе з мэтай стварэння адкрытай замены камерцыйнай платформы апрацоўкі сеткавых пакетаў, здольнай маштабавацца да ўзроўню аб'ёмаў трафіку AOL. Укараненне новай сістэмы ў AOL дазволіла дабіцца поўнага кантролю за інфраструктурай за кошт разгортвання на сваіх серверах і значна знізіць выдаткі - прымяненне Moloch для поўнага захопу трафіку ва ўсіх сетках AOL па затратах абышлося ў суму, аналагічную той, што пры прымяненні раней марнавалася на захоп трафіку толькі ў адной сетцы. Сістэма можа маштабавацца для апрацоўкі трафіку на хуткасцях у дзясяткі гігабіт у секунду. Аб'ём захоўваемых дадзеных абмяжоўваецца толькі памерам наяўнага дыскавага масіва.
Метададзеныя аб сеансах індэксуюцца ў кластары на базе рухавічка .
Moloch уключае прылады для захопу і індэксацыі трафіку ў штатным фармаце PCAP, а таксама для хуткага доступу да праіндэксаваных дадзеных. Для аналізу назапашанай інфармацыі прапануецца web-інтэрфейс, які дазваляе выконваць навігацыю, пошук і экспарт выбарак. Таксама прадастаўляецца , які дазваляе перадаваць у іншыя прыкладанні дадзеныя аб захопленых пакетах у фармаце PCAP і разабраных сеансах у фармаце JSON. Ужыванне фармату PCAP істотна спрашчае інтэграцыю з існуючымі аналізатарамі трафіку, такімі як Wireshark.
Moloch складаецца з трох базавых кампанентаў:
- Сістэма захопу трафіку – шматструменнае прыкладанне на мове Сі для маніторынгу трафіку, запісы дампаў у фармаце PCAP на дыск, разбору захопленых пакетаў і адпраўкі метададзеных аб сеансах (SPI, Stateful packet inspection) і пратаколах у кластар Elasticsearch. Магчыма захоўванне PCAP-файлаў у зашыфраваным выглядзе.
- Web-інтэрфейс на базе платформы Node.js, які запускаецца на кожным серверы захопу трафіку і апрацоўвае запыты, звязаныя з доступам да праіндэксаваных дадзеных і перадачай PCAP-файлаў праз .
- Сховішча метададзеных на базе Elasticsearch.
У web-інтэрфейсе прадугледжана некалькі рэжымаў прагляду - ад агульнай статыстыкі, карты злучэнняў і наглядных графікаў з дадзенымі аб змене сеткавай актыўнасці да інструментаў для вывучэння асобных сеансаў, аналізу актыўнасці ў разрэзе выкарыстоўваных пратаколаў і разбору дадзеных з PCAP-дампаў.
В :
- Ажыццёўлены пераход на выкарыстанне бестыпавага фармату для індэксацыі ў Elasticsearch.
- Дададзены прыклады фільтраў захопу трафіку на мове Lua.
- Рэалізаваная падтрымка 46-чарнавой рэдакцыі пратаколу QUIC.
- Перапрацаваны код для разбору пратаколаў, з'явілася магчымасць напісання парсераў для пратаколаў узроўня Ethernet і IP.
- Прапанаваны новыя персеры для пратаколаў arp, bgp, igmp, isis, lldp, ospf і pim, а таксама персеры невядомых пратаколаў unkEthernet і unkIpProtocol.
- Дададзена опцыя для выбарачнага адключэння парсераў (disableParsers).
- У web-інтэрфейс дададзена магчымасць паказу любога цэлалікавага поля на графіках, выстаўленага на старонцы з наладамі.
- Графікі і загалоўкі зараз могуць замацоўвацца і не ссоўвацца пры пракрутцы старонкі.
- Вялікая частка навігацыйных панэляў па змаўчанні ўтоена або згорнутая.
Крыніца: opennet.ru