AOL-მა გამოაქვეყნა Moloch 2.3 ქსელური ტრაფიკის ინდექსირების სისტემა

AOL კომპანია გაათავისუფლეს ქსელის პაკეტების აღების, შენახვისა და ინდექსირების სისტემის გამოშვება მოლოქი 2.3, რომელიც უზრუნველყოფს ინსტრუმენტებს ტრაფიკის ნაკადების ვიზუალურად შესაფასებლად და ქსელის აქტივობასთან დაკავშირებული ინფორმაციის მოსაძიებლად. კოდი დაწერილია C ენაზე (ინტერფეისი Node.js/JavaScript-ში) და ვრცელდება ლიცენზირებულია Apache 2.0-ით. მხარს უჭერს მუშაობას Linux-ზე და FreeBSD-ზე. მზადაა პაკეტები მომზადებულია CentOS და Ubuntu-ს სხვადასხვა ვერსიებისთვის.

პროექტი შეიქმნა 2012 წელს, რომლის მიზანი იყო შექმნას ღია ჩანაცვლება კომერციული ქსელის პაკეტების დამუშავების პლატფორმისთვის, რომელიც შეიძლება მასშტაბური იყოს AOL ტრაფიკის მოცულობამდე. AOL-ში ახალი სისტემის დანერგვამ შესაძლებელი გახადა ინფრასტრუქტურის სრული კონტროლის მიღწევა მის სერვერებზე განლაგების გამო და მნიშვნელოვნად შეამცირა ხარჯები - Moloch-ის გამოყენება AOL-ის ყველა ქსელში ტრაფიკის სრულად დასაჭერად იგივე ღირდა, როგორც გამოყენებისას. კომერციული გადაწყვეტა ადრე ის იხარჯებოდა მხოლოდ ერთ ქსელზე ტრაფიკის აღებაზე. სისტემას შეუძლია ტრაფიკის დამუშავება წამში ათობით გიგაბიტი სიჩქარით. შენახული მონაცემების მოცულობა შემოიფარგლება მხოლოდ ხელმისაწვდომი დისკის მასივის ზომით.
სესიის მეტამონაცემები ინდექსირებულია ძრავზე დაფუძნებულ კლასტერში ელასტიური ძებნა.

Moloch მოიცავს ინსტრუმენტებს ტრაფიკის აღრიცხვისა და ინდექსაციისთვის მშობლიურ PCAP ფორმატში, ასევე ინდექსირებულ მონაცემებზე სწრაფი წვდომისთვის. დაგროვილი ინფორმაციის გასაანალიზებლად, შემოთავაზებულია ვებ ინტერფეისი, რომელიც საშუალებას გაძლევთ ნავიგაცია, მოძიება და ნიმუშების ექსპორტი. ასევე უზრუნველყოფილი API, რომელიც საშუალებას გაძლევთ გადაიტანოთ მონაცემები დაჭერილი პაკეტების შესახებ PCAP ფორმატში და გაანალიზებული სესიები JSON ფორმატში მესამე მხარის აპლიკაციებში. PCAP ფორმატის გამოყენება მნიშვნელოვნად ამარტივებს ინტეგრაციას არსებულ ტრაფიკის ანალიზატორებთან, როგორიცაა Wireshark.

მოლოქი შედგება სამი ძირითადი კომპონენტისგან:

• ტრაფიკის დაჭერის სისტემა არის მრავალ ხრახნიანი C აპლიკაცია ტრაფიკის მონიტორინგისთვის, დისკზე PCAP ფორმატში ჩასაწერად, დაჭერილი პაკეტების ანალიზისა და სესიების შესახებ მეტამონაცემების (SPI, Stateful პაკეტის შემოწმება) და პროტოკოლების გაგზავნისთვის Elasticsearch კლასტერში. შესაძლებელია PCAP ფაილების შენახვა დაშიფრული ფორმით.
• Node.js პლატფორმაზე დაფუძნებული ვებ ინტერფეისი, რომელიც მუშაობს თითოეულ ტრაფიკის დაჭერის სერვერზე და ამუშავებს მოთხოვნებს, რომლებიც დაკავშირებულია ინდექსირებულ მონაცემებთან წვდომასთან და PCAP ფაილების გადაცემასთან. API.
• მეტამონაცემების შენახვა Elasticsearch-ზე დაფუძნებული.

ვებ ინტერფეისი უზრუნველყოფს ნახვის რამდენიმე რეჟიმს - ზოგადი სტატისტიკიდან, კავშირის რუქებიდან და ვიზუალური გრაფიკებიდან ქსელის აქტივობის ცვლილებების მონაცემებით დამთავრებული ინდივიდუალური სესიების შესასწავლად, აქტივობის ანალიზით, გამოყენებული პროტოკოლების კონტექსტში და მონაცემთა ანალიზით PCAP-დან.

В ახალი ნომერი:

• განხორციელდა გადასვლა Elasticsearch-ში ინდექსაციისთვის უტიპი ფორმატის გამოყენებაზე.
• დამატებულია ტრაფიკის დაჭერის ფილტრების მაგალითები ლუაში.
• განხორციელდა QUIC პროტოკოლის 46-დრაფტიანი ვერსიის მხარდაჭერა.
• პროტოკოლების გარჩევის კოდი გადამუშავებულია, რაც შესაძლებელს გახდის Ethernet და IP დონის პროტოკოლებისთვის პარსერების დაწერას.
• შემოთავაზებულია ახალი პარსერები arp, bgp, igmp, isis, lldp, ospf და pim პროტოკოლებისთვის, ასევე პარსერები უცნობი unkEthernet და unkIpProtocol პროტოკოლებისთვის.
• დამატებულია პარსერის შერჩევით გამორთვის ვარიანტი (disableParsers).
• ვებ ინტერფეისს დაემატა დიაგრამებზე ნებისმიერი მთელი რიცხვის ველის ჩვენების შესაძლებლობა, დაყენებული პარამეტრების გვერდზე.
• გრაფიკები და სათაურები ახლა შეიძლება გაიყინოს და არ გადავიდეს გვერდის გადახვევისას.
• ნავიგაციის ზოლების უმეტესობა დამალულია ან იშლება ნაგულისხმევად.

წყარო: opennet.ru