AOL-ը հրապարակել է Moloch 2.3 ցանցային տրաֆիկի ինդեքսավորման համակարգը

AOL ընկերություն ազատ է արձակվել ցանցային փաթեթների հավաքագրման, պահպանման և ինդեքսավորման համակարգի թողարկում Մոլոք 2.3, որն ապահովում է երթևեկության հոսքերի տեսողական գնահատման և ցանցի գործունեության հետ կապված տեղեկատվության որոնման գործիքներ։ Կոդը գրված է C լեզվով (ինտերֆեյսը Node.js/JavaScript-ում) և տարածվում է լիցենզավորված Apache 2.0-ի համաձայն: Աջակցում է աշխատել Linux-ի և FreeBSD-ի վրա: Պատրաստ փաթեթներ պատրաստված CentOS-ի և Ubuntu-ի տարբեր տարբերակների համար:

Նախագիծը ստեղծվել է 2012 թվականին՝ նպատակ ունենալով ստեղծել կոմերցիոն ցանցային փաթեթների մշակման հարթակի բաց փոխարինում, որը կարող է չափել AOL տրաֆիկի ծավալները: AOL-ում նոր համակարգի ներդրումը հնարավորություն տվեց հասնել ամբողջական վերահսկողության ենթակառուցվածքի վրա՝ դրա սերվերների վրա տեղակայվելու շնորհիվ և զգալիորեն նվազեցնել ծախսերը. Moloch-ի օգտագործումը AOL-ի բոլոր ցանցերում երթևեկությունն ամբողջությամբ գրավելու համար արժե նույնքան, որքան օգտագործելիս: կոմերցիոն լուծում Նախկինում այն ​​ծախսվում էր միայն մեկ ցանցի թրաֆիկը գրավելու վրա։ Համակարգը կարող է սանդղակ մշակել երթևեկությունը վայրկյանում տասնյակ գիգաբիթ արագությամբ: Պահպանված տվյալների ծավալը սահմանափակվում է միայն առկա սկավառակի զանգվածի չափով:
Աշխատաշրջանի մետատվյալները ինդեքսավորվում են շարժիչի վրա հիմնված կլաստերում Elasticsearch- ը.

Moloch-ը ներառում է թրաֆիկի ֆիքսման և ինդեքսավորման գործիքներ հայրենի PCAP ձևաչափով, ինչպես նաև ինդեքսավորված տվյալներին արագ մուտք գործելու համար: Կուտակված տեղեկատվությունը վերլուծելու համար առաջարկվում է վեբ ինտերֆեյս, որը թույլ է տալիս նավարկել, որոնել և արտահանել նմուշներ: Նաև տրամադրվում է API, որը թույլ է տալիս փոխանցել նկարահանված փաթեթների մասին տվյալները PCAP ձևաչափով և վերլուծված նիստերը JSON ձևաչափով երրորդ կողմի հավելվածներին: PCAP ձևաչափի օգտագործումը մեծապես հեշտացնում է ինտեգրումը գոյություն ունեցող երթևեկության անալիզատորների հետ, ինչպիսին է Wireshark-ը:

Moloch-ը բաղկացած է երեք հիմնական բաղադրիչներից.

• Երթևեկության գրավման համակարգը բազմաշերտ C ծրագիր է՝ երթևեկությունը մոնիտորինգի, PCAP ձևաչափով աղբարկղեր սկավառակի վրա գրելու, գրաված փաթեթները վերլուծելու և նիստերի մասին մետատվյալներ (SPI, Stateful փաթեթների ստուգում) և արձանագրություններ ուղարկելու համար Elasticsearch կլաստերին: Հնարավոր է պահպանել PCAP ֆայլերը կոդավորված տեսքով:
• Վեբ ինտերֆեյս, որը հիմնված է Node.js հարթակի վրա, որն աշխատում է յուրաքանչյուր երթևեկության գրավման սերվերի վրա և մշակում է ինդեքսավորված տվյալների մուտք գործելու և PCAP ֆայլեր փոխանցելու հետ կապված հարցումները։ API.
• Մետատվյալների պահեստավորում՝ հիմնված Elasticsearch-ի վրա:

Վեբ ինտերֆեյսը տրամադրում է դիտման մի քանի ռեժիմներ՝ ընդհանուր վիճակագրությունից, կապի քարտեզներից և տեսողական գրաֆիկներից՝ ցանցի գործունեության փոփոխության վերաբերյալ տվյալներից մինչև առանձին նիստերի ուսումնասիրության գործիքներ, օգտագործված արձանագրությունների համատեքստում գործունեությունը վերլուծելու և PCAP աղբավայրերի տվյալների վերլուծություն:

В նոր թողարկում:

• Անցում է կատարվել Elasticsearch-ում ինդեքսավորման համար անտիպ ձևաչափի օգտագործմանը:
• Ավելացվել են Lua-ում երթևեկության գրավման ֆիլտրերի օրինակներ:
• Իրականացվել է QUIC արձանագրության 46-սևագիր տարբերակի աջակցությունը:
• Արձանագրությունների վերլուծման կոդը վերամշակվել է, ինչը հնարավորություն է տալիս գրել վերլուծիչներ Ethernet և IP մակարդակի արձանագրությունների համար:
• Նոր վերլուծիչներ են առաջարկվել arp, bgp, igmp, isis, lldp, ospf և pim արձանագրությունների համար, ինչպես նաև վերլուծիչներ անհայտ unkEthernet և unkIpProtocol արձանագրությունների համար։
• Ավելացվեց վերլուծիչները ընտրողաբար անջատելու տարբերակ (disableParsers):
• Վեբ ինտերֆեյսին ավելացվել է կարգավորումների էջում տեղադրված ցանկացած ամբողջ դաշտ գծապատկերների վրա ցուցադրելու հնարավորությունը:
• Գրաֆիկները և վերնագրերն այժմ կարող են սառեցվել և չշարժվել էջը ոլորելիս:
• Նավիգացիոն գծերի մեծ մասը լռելյայն թաքնված կամ ծալված է:

Source: opennet.ru