Εταιρεία AOL απελευθέρωση ενός συστήματος για τη σύλληψη, αποθήκευση και ευρετηρίαση πακέτων δικτύου , το οποίο παρέχει εργαλεία για την οπτική αξιολόγηση των ροών κυκλοφορίας και την αναζήτηση πληροφοριών που σχετίζονται με τη δραστηριότητα του δικτύου. Ο κώδικας είναι γραμμένος σε γλώσσα C (διεπαφή στο Node.js/JavaScript) και άδεια σύμφωνα με το Apache 2.0. Υποστηρίζει εργασία σε Linux και FreeBSD. Ετοιμος προετοιμάστηκε για διαφορετικές εκδόσεις του CentOS και του Ubuntu.
Το έργο δημιουργήθηκε το 2012 με στόχο τη δημιουργία μιας ανοιχτής αντικατάστασης μιας εμπορικής πλατφόρμας επεξεργασίας πακέτων δικτύου που θα μπορούσε να κλιμακωθεί σε όγκους κίνησης της AOL. Η εφαρμογή ενός νέου συστήματος στην AOL κατέστησε δυνατή την επίτευξη πλήρους ελέγχου της υποδομής λόγω της ανάπτυξης στους διακομιστές της και τη σημαντική μείωση του κόστους - η χρήση του Moloch για την πλήρη καταγραφή της κίνησης σε όλα τα δίκτυα της AOL κοστίζει το ίδιο ποσό με τη χρήση Προηγουμένως, δαπανούνταν για την καταγραφή κίνησης μόνο σε ένα δίκτυο. Το σύστημα μπορεί να επεξεργάζεται την κυκλοφορία με ταχύτητες δεκάδων gigabit ανά δευτερόλεπτο. Ο όγκος των αποθηκευμένων δεδομένων περιορίζεται μόνο από το μέγεθος της διαθέσιμης συστοιχίας δίσκων.
Τα μεταδεδομένα περιόδου λειτουργίας ευρετηριάζονται στο σύμπλεγμα που βασίζεται στον κινητήρα .
Το Moloch περιλαμβάνει εργαλεία για την καταγραφή και την ευρετηρίαση της κυκλοφορίας σε εγγενή μορφή PCAP, καθώς και για γρήγορη πρόσβαση σε ευρετηριασμένα δεδομένα. Για την ανάλυση των συσσωρευμένων πληροφοριών, προσφέρεται μια διεπαφή ιστού που σας επιτρέπει να πλοηγηθείτε, να αναζητήσετε και να εξάγετε δείγματα. Παρέχεται επίσης , το οποίο σας επιτρέπει να μεταφέρετε δεδομένα σχετικά με τα ληφθέντα πακέτα σε μορφή PCAP και τις αναλυμένες περιόδους λειτουργίας σε μορφή JSON σε εφαρμογές τρίτων. Η χρήση της μορφής PCAP απλοποιεί σημαντικά την ενσωμάτωση με υπάρχοντες αναλυτές κυκλοφορίας όπως το Wireshark.
Το Moloch αποτελείται από τρία βασικά συστατικά:
- Το σύστημα καταγραφής κίνησης είναι μια εφαρμογή C πολλαπλών νημάτων για παρακολούθηση της κυκλοφορίας, εγγραφή dumps σε μορφή PCAP στο δίσκο, ανάλυση πακέτων που έχουν συλληφθεί και αποστολή μεταδεδομένων σχετικά με συνεδρίες (SPI, Stateful packet inspection) και πρωτόκολλα στο σύμπλεγμα Elasticsearch. Είναι δυνατή η αποθήκευση αρχείων PCAP σε κρυπτογραφημένη μορφή.
- Μια διεπαφή ιστού που βασίζεται στην πλατφόρμα Node.js, η οποία εκτελείται σε κάθε διακομιστή καταγραφής κίνησης και επεξεργάζεται αιτήματα που σχετίζονται με την πρόσβαση σε ευρετηριασμένα δεδομένα και τη μεταφορά αρχείων PCAP μέσω .
- Αποθήκευση μεταδεδομένων με βάση το Elasticsearch.
Η διεπαφή ιστού παρέχει διάφορους τρόπους προβολής - από γενικά στατιστικά στοιχεία, χάρτες σύνδεσης και οπτικά γραφήματα με δεδομένα για αλλαγές στη δραστηριότητα του δικτύου έως εργαλεία για τη μελέτη μεμονωμένων περιόδων σύνδεσης, την ανάλυση δραστηριότητας στο πλαίσιο των πρωτοκόλλων που χρησιμοποιούνται και την ανάλυση δεδομένων από χωματερές PCAP.
В :
- Έχει γίνει μια μετάβαση στη χρήση μιας μορφής χωρίς τύπο για την ευρετηρίαση στο Elasticsearch.
- Προστέθηκαν παραδείγματα φίλτρων καταγραφής κίνησης στο Lua.
- Έχει υλοποιηθεί η υποστήριξη για την έκδοση 46 πρόχειρων του πρωτοκόλλου QUIC.
- Ο κώδικας για τα πρωτόκολλα ανάλυσης έχει επεξεργαστεί εκ νέου, καθιστώντας δυνατή την εγγραφή αναλυτών για πρωτόκολλα επιπέδου Ethernet και IP.
- Έχουν προταθεί νέοι αναλυτές για τα πρωτόκολλα arp, bgp, igmp, isis, lldp, ospf και pim, καθώς και αναλυτές για τα άγνωστα πρωτόκολλα unkEthernet και unkIpProtocol.
- Προστέθηκε μια επιλογή για την επιλεκτική απενεργοποίηση των αναλυτών (disableParsers).
- Η δυνατότητα εμφάνισης οποιουδήποτε ακέραιου πεδίου σε γραφήματα, που έχει οριστεί στη σελίδα ρυθμίσεων, έχει προστεθεί στη διεπαφή ιστού.
- Τα γραφήματα και οι τίτλοι μπορούν πλέον να παγώσουν και να μην μετακινηθούν κατά την κύλιση της σελίδας.
- Οι περισσότερες γραμμές πλοήγησης είναι κρυφές ή σύμπτυκτες από προεπιλογή.
Πηγή: opennet.ru