AOL pibliye sistèm Indexing trafik rezo Moloch 2.3

Konpayi AOL lage lage yon sistèm pou kaptire, estoke ak endèks pake rezo Moloch 2.3, ki bay zouti pou evalye vizyèlman sikilasyon ak chèche enfòmasyon ki gen rapò ak aktivite rezo a. Kòd la ekri nan lang C (koòdone nan Node.js/JavaScript) ak distribiye pa ki gen lisans anba Apache 2.0. Sipòte travay sou Linux ak FreeBSD. Pare pakè prepare pou diferan vèsyon CentOS ak Ubuntu.

Pwojè a te kreye an 2012 ak objektif pou kreye yon ranplasman ouvè pou yon platfòm pwosesis rezo komèsyal ki ta ka monte nan volim trafik AOL. Aplikasyon yon nouvo sistèm nan AOL te fè li posib pou reyalize kontwòl konplè sou enfrastrikti a akòz deplwaman sou sèvè li yo ak siyifikativman redwi depans yo - lè l sèvi avèk Moloch pou totalman kaptire trafik nan tout rezo AOL yo koute menm kantite lajan ak lè w ap itilize. solisyon komèsyal yo Précédemment, li te depanse nan kaptire trafik sou yon sèl rezo. Sistèm nan ka echèl pou trete trafik nan vitès plizyè dizèn gigabit pou chak segonn. Volim nan done ki estoke limite sèlman pa gwosè a nan etalaj la ki gen kapasite ki disponib.
Metadata sesyon yo endis nan gwoup ki baze sou motè a Elasticsearch.

Moloch gen ladan zouti pou kaptire ak endèks trafik nan fòma natif natal PCAP, osi byen ke pou aksè rapid nan done endis. Pou analize enfòmasyon yo akimile, yo ofri yon koòdone entènèt ki pèmèt ou navige, rechèch ak ekspòtasyon echantiyon. Yo bay tou API, ki pèmèt ou transfere done sou pake kaptire yo nan fòma PCAP ak analize sesyon yo nan fòma JSON nan aplikasyon pou twazyèm pati. Itilizasyon fòma PCAP la anpil senplifye entegrasyon ak analizè trafik ki egziste deja tankou Wireshark.

Moloch konsiste de twa eleman debaz:

• Sistèm kaptire trafik la se yon aplikasyon C milti-fil pou kontwole trafik, ekri pil fatra nan fòma PCAP sou disk, analize pake kaptire yo epi voye metadata sou sesyon yo (SPI, enspeksyon pake Stateful) ak pwotokòl nan gwoup Elasticsearch la. Li posib pou estoke fichye PCAP yo nan fòm chiffres.
• Yon koòdone entènèt ki baze sou platfòm Node.js, ki kouri sou chak sèvè kaptire trafik ak trete demann ki gen rapò ak aksè nan done endis ak transfere fichye PCAP atravè API.
• Depo metadone ki baze sou Elasticsearch.

Koòdone entènèt la bay plizyè mòd gade - soti nan estatistik jeneral, kat koneksyon ak graf vizyèl ak done sou chanjman nan aktivite rezo a zouti pou etidye sesyon endividyèl yo, analize aktivite nan kontèks pwotokòl yo itilize ak analiz done ki soti nan pil fatra PCAP.

В nouvo lage:

• Yo te fè yon tranzisyon pou itilize yon fòma ki san tip pou endèks nan Elasticsearch.
• Te ajoute egzanp sou filtè kaptire trafik nan Lua.
• Yo te aplike sipò pou vèsyon 46-bouyon pwotokòl QUIC la.
• Kòd pou analiz pwotokòl yo te retravay, sa ki fè li posib yo ekri analizeur pou Ethernet ak pwotokòl nivo IP.
• Nouvo analizè yo te pwopoze pou pwotokòl arp, bgp, igmp, isis, lldp, ospf ak pim, ansanm ak analizè pou pwotokòl unkEthernet ak unkIpProtocol enkoni.
• Te ajoute yon opsyon pou enfim oaza analizeur (disableParsers).
• Kapasite pou montre nenpòt jaden nonb antye relatif sou tablo, mete sou paj paramèt la, yo te ajoute nan koòdone entènèt la.
• Kounye a, graf ak tit yo ka jele epi yo pa deplase lè w ap defile paj la.
• Pifò ba navigasyon yo kache oswa efondre pa default.

Sous: opennet.ru