Διατίθεται σύστημα φιλτραρίσματος ανεπιθύμητων μηνυμάτων Rspamd 2.0

Εισήχθη απελευθέρωση του συστήματος φιλτραρίσματος ανεπιθύμητων μηνυμάτων Rspamd 2.0, το οποίο παρέχει εργαλεία για την αξιολόγηση μηνυμάτων με βάση διάφορα κριτήρια, συμπεριλαμβανομένων κανόνων, στατιστικών μεθόδων και μαύρων λιστών, βάσει των οποίων σχηματίζεται ένα τελικό βάρος μηνύματος, το οποίο χρησιμοποιείται για να αποφασίσει εάν θα αποκλειστεί. Το Rspamd υποστηρίζει σχεδόν όλες τις δυνατότητες που εφαρμόζονται στο SpamAssassin και διαθέτει μια σειρά από λειτουργίες που σας επιτρέπουν να φιλτράρετε την αλληλογραφία κατά μέσο όρο 10 φορές πιο γρήγορα από το SpamAssassin, καθώς και να παρέχουν καλύτερη ποιότητα φιλτραρίσματος. Ο κωδικός συστήματος είναι γραμμένος σε C και διανέμονται από άδεια σύμφωνα με το Apache 2.0.

Το Rspamd έχει δημιουργηθεί χρησιμοποιώντας μια αρχιτεκτονική που βασίζεται σε συμβάντα και έχει σχεδιαστεί αρχικά για χρήση σε συστήματα υψηλής φόρτωσης, επιτρέποντάς του να επεξεργάζεται εκατοντάδες μηνύματα ανά δευτερόλεπτο. Οι κανόνες για τον εντοπισμό σημαδιών ανεπιθύμητης αλληλογραφίας είναι εξαιρετικά ευέλικτοι και στην απλούστερη μορφή τους μπορούν να περιέχουν κανονικές εκφράσεις και σε πιο σύνθετες καταστάσεις μπορούν να γραφτούν σε Lua. Η επέκταση της λειτουργικότητας και η προσθήκη νέων τύπων ελέγχων υλοποιείται μέσω ενοτήτων που μπορούν να δημιουργηθούν στις γλώσσες C και Lua. Για παράδειγμα, είναι διαθέσιμες λειτουργικές μονάδες για την επαλήθευση του αποστολέα χρησιμοποιώντας SPF, την επιβεβαίωση του τομέα του αποστολέα μέσω DKIM και τη δημιουργία αιτημάτων σε λίστες DNSBL. Για την απλοποίηση της διαμόρφωσης, τη δημιουργία κανόνων και την παρακολούθηση στατιστικών στοιχείων, παρέχεται μια διαχειριστική διεπαφή ιστού.

Βασικές καινοτομίες:

  • Έγινε μετάβαση σε ένα νέο σχήμα αρίθμησης εκδόσεων. Δεδομένου ότι ο πρώτος αριθμός στον αριθμό έκδοσης δεν έχει αλλάξει εδώ και αρκετά χρόνια και ο πραγματικός δείκτης έκδοσης είναι ο δεύτερος αριθμός, αποφασίστηκε να μεταβείτε στη μορφή "yz" αντί για το σχήμα "xyz".
  • Αντ' αυτού για τον βρόχο συμβάντος Libevent εμπλεκόμενη βιβλιοθήκη λίββ, το οποίο καταργεί ορισμένους από τους περιορισμούς του libevent και επιτρέπει καλύτερη απόδοση. Χρήση
    Το libev κατέστησε δυνατή την απλοποίηση του κώδικα, τη βελτίωση του χειρισμού του σήματος και του χρονικού ορίου λήξης και την ενοποίηση της παρακολούθησης αλλαγών αρχείων χρησιμοποιώντας τον μηχανισμό inotify (δεν θα μπορούσαν να λειτουργήσουν με το inotify όλες οι εκδόσεις libevent που αποστέλλονται για υποστηριζόμενες πλατφόρμες).

  • Η υποστήριξη για τη μονάδα ταξινόμησης μηνυμάτων που χρησιμοποιεί τη βιβλιοθήκη βαθιάς μηχανικής εκμάθησης Torch έχει διακοπεί. Ο λόγος που αναφέρεται είναι η υπερβολική πολυπλοκότητα του Torch και η υψηλή πολυπλοκότητα της διατήρησης του ενημερωμένου. Προτείνεται μια πλήρως ξαναγραμμένη ενότητα ως αντικατάσταση της ταξινόμησης χρησιμοποιώντας μεθόδους μηχανικής μάθησης Νευρικός, στην οποία χρησιμοποιείται βιβλιοθήκη για να διασφαλιστεί η λειτουργία του νευρωνικού δικτύου μπορεί, το οποίο περιλαμβάνει μόνο 4000 γραμμές κώδικα C. Η νέα εφαρμογή λύνει πολλά προβλήματα με την εμφάνιση αδιέξοδων κατά τη διάρκεια της εκπαίδευσης.
  • Ενότητα RBL αντικατέστησε τις ενότητες SURBL και Emails, οι οποίες κατέστησαν δυνατή την ενοποίηση της επεξεργασίας όλων των ελέγχων της μαύρης λίστας. Οι δυνατότητες της RBL έχουν επεκταθεί για να περιλαμβάνουν υποστήριξη για πρόσθετους τύπους, όπως επιλογείς, και εργαλεία για την εύκολη επέκταση των υπαρχόντων κανόνων. Οι κανόνες αποκλεισμού email που βασίζονται σε λίστες χαρτών αντί για DNS RBL δεν υποστηρίζονται πλέον· συνιστάται η χρήση πολλαπλών χαρτών με επιλογείς.
  • Για τον προσδιορισμό των τύπων αρχείων με βάση το περιεχόμενο, χρησιμοποιείται μια νέα βιβλιοθήκη Lua Magic, χρησιμοποιώντας Lua και Hyperscan αντί για libmagic.
    Οι λόγοι για τη δημιουργία της δικής σας βιβλιοθήκης περιλαμβάνουν την επιθυμία να επιτύχετε υψηλότερες επιδόσεις, να απαλλαγείτε από αποτυχίες κατά τον εντοπισμό αρχείων docx, να αποκτήσετε ένα πιο κατάλληλο API και να προσθέσετε νέους τύπους ευρετικών που δεν περιορίζονται από αυστηρούς κανόνες.

  • Βελτιωμένη μονάδα αποθήκευσης δεδομένων στο DBMS clickhouse. Προστέθηκαν πεδία LowCardinality και σημαντικά βελτιστοποιημένη κατανάλωση μνήμης.
  • Οι δυνατότητες της μονάδας επεκτάθηκαν Multimap, στο οποίο εμφανίστηκε υποστήριξη σε συνδυασμό и εξαρτώμενος συγκρίσεις?
  • Η ενότητα Maillist έχει βελτιώσει τον ορισμό των λιστών αλληλογραφίας.
  • Οι διεργασίες εργασίας έχουν πλέον τη δυνατότητα να στέλνουν μηνύματα καρδιακού παλμού στην κύρια διαδικασία, επιβεβαιώνοντας την κανονική λειτουργία. Εάν δεν υπάρχουν τέτοια μηνύματα για ορισμένο χρονικό διάστημα, η κύρια διαδικασία μπορεί να τερματίσει αναγκαστικά τη διαδικασία εργασίας. Από προεπιλογή, αυτή η λειτουργία είναι απενεργοποιημένη προς το παρόν.
  • Προστέθηκε μια σειρά νέων σαρωτών στη γλώσσα Lua. Για παράδειγμα, έχουν προστεθεί μονάδες για τη σάρωση μηνυμάτων στο Kaspersky ScanEngine, Trend Micro IWSVA (μέσω icap) και
    F-Secure Internet Gatekeeper (μέσω icap), και προσφέρει επίσης εξωτερικούς σαρωτές για Razor, oletools και P0F.

  • Προστέθηκε η δυνατότητα αλλαγής μηνυμάτων μέσω του Lua API. Έχει προταθεί μια ενότητα για την πραγματοποίηση αλλαγών σε μπλοκ MIME lib_mime;
  • Έχει παρασχεθεί χωριστή επεξεργασία των ρυθμίσεων που ορίζονται μέσω του "Settings-Id:", για παράδειγμα, τώρα μπορείτε να δεσμεύετε κανόνες μόνο σε ορισμένα αναγνωριστικά ρυθμίσεων.
  • Έχουν γίνει βελτιστοποιήσεις για την απόδοση του κινητήρα Lua, την αποκωδικοποίηση base64 και την ανίχνευση γλώσσας για κείμενο. Προστέθηκε υποστήριξη για την προσωρινή αποθήκευση σύνθετων χαρτών. Υλοποιήθηκε υποστήριξη
    Το HTTP διατηρείται ζωντανό.

Πηγή: opennet.ru

Προσθέστε ένα σχόλιο