release van spamfiltersysteem , dat hulpmiddelen biedt voor het evalueren van berichten aan de hand van verschillende criteria, waaronder regels, statistische methoden en zwarte lijsten, op basis waarvan een definitief berichtgewicht wordt gevormd, dat wordt gebruikt om te beslissen of het moet worden geblokkeerd. Rspamd ondersteunt bijna alle functies die in SpamAssassin zijn geïmplementeerd en heeft een aantal functies waarmee u e-mail gemiddeld 10 keer sneller kunt filteren dan SpamAssassin, en die een betere filterkwaliteit bieden. De systeemcode is geschreven in C en gelicentieerd onder Apache 2.0.
Rspamd is gebouwd met behulp van een gebeurtenisgestuurde architectuur en is in eerste instantie ontworpen voor gebruik in zwaarbelaste systemen, waardoor het honderden berichten per seconde kan verwerken. Regels voor het identificeren van tekenen van spam zijn zeer flexibel en kunnen in hun eenvoudigste vorm reguliere expressies bevatten, en in complexere situaties kunnen ze in Lua worden geschreven. Het uitbreiden van de functionaliteit en het toevoegen van nieuwe soorten controles wordt geïmplementeerd via modules die kunnen worden gemaakt in de talen C en Lua. Zo zijn er modules beschikbaar voor het verifiëren van de afzender met SPF, het bevestigen van het domein van de afzender via DKIM en het genereren van verzoeken aan DNSBL-lijsten. Om de configuratie te vereenvoudigen, regels te creëren en statistieken bij te houden, is er een administratieve webinterface aanwezig.
Belangrijkste innovaties:
- Er heeft een overgang plaatsgevonden naar een nieuw uitgiftenummeringsschema. Omdat het eerste nummer in het versienummer al enkele jaren niet is gewijzigd en de echte versie-indicator het tweede nummer is, werd besloten om over te schakelen naar het “yz”-formaat in plaats van het “xyz”-schema;
- Voor de gebeurtenislus in plaats daarvan bibliotheek betrokken , wat een aantal beperkingen van libevent opheft en betere prestaties mogelijk maakt. Gebruik
libev maakte het mogelijk om de code te vereenvoudigen, de afhandeling van signalen en time-outs te verbeteren en het volgen van bestandswijzigingen te verenigen met behulp van het inotify-mechanisme (niet alle libevent-releases die voor ondersteunde platforms zijn verzonden, konden met inotify werken); - Ondersteuning voor de berichtclassificatiemodule die gebruikmaakt van de Torch deep machine learning-bibliotheek is stopgezet. De genoemde reden is de buitensporige complexiteit van Torch en de hoge complexiteit van het up-to-date houden ervan. Er wordt een volledig herschreven module voorgesteld ter vervanging van classificatie met behulp van machine learning-methoden , waarin een bibliotheek wordt gebruikt om de werking van het neurale netwerk te garanderen , dat slechts 4000 regels C-code bevat. De nieuwe implementatie lost veel problemen op met het optreden van impasses tijdens trainingen;
- Module verving de SURBL- en Emails-modules, waardoor het mogelijk werd om de verwerking van alle blacklist-controles te uniformeren. De mogelijkheden van RBL zijn uitgebreid met ondersteuning voor extra typen, zoals selectors, en tools voor het eenvoudig uitbreiden van bestaande regels. Regels voor het blokkeren van e-mail op basis van kaartlijsten in plaats van DNS RBL worden niet langer ondersteund; het wordt aanbevolen om in plaats daarvan multimap met selectors te gebruiken;
- Om bestandstypen op basis van inhoud te bepalen, wordt een nieuwe Lua Magic-bibliotheek gebruikt, die Lua en Hyperscan gebruikt in plaats van libmagic.
De redenen voor het creëren van uw eigen bibliotheek zijn onder meer de wens om betere prestaties te bereiken, fouten bij het identificeren van docx-bestanden weg te nemen, een geschiktere API te krijgen en nieuwe soorten heuristieken toe te voegen die niet beperkt zijn door strikte regels; - Verbeterde module voor het opslaan van gegevens in het DBMS . LowCardinality-velden toegevoegd en het geheugengebruik aanzienlijk geoptimaliseerd;
- Modulemogelijkheden uitgebreid , waarin steun verscheen и vergelijkingen;
- De Maillist-module heeft de definitie van mailinglijsten verbeterd;
- Werkprocessen hebben nu de mogelijkheid om hartslagberichten naar het hoofdproces te sturen, waarmee de normale werking wordt bevestigd. Als er gedurende een bepaalde tijd geen dergelijke berichten zijn, kan het hoofdproces het werkproces met geweld beëindigen. Standaard is deze modus voorlopig uitgeschakeld;
- Er is een reeks nieuwe scanners in de Lua-taal toegevoegd. Zo zijn er modules toegevoegd voor het scannen van berichten in de Kaspersky ScanEngine, Trend Micro IWSVA (via icap) en
F-Secure Internet Gatekeeper (via icap), en biedt ook externe scanners voor Razor, oletools en P0F; - De mogelijkheid toegevoegd om berichten te wijzigen via de Lua API. Er is een module voorgesteld om wijzigingen aan te brengen in MIME-blokken ;
- Er is voorzien in een aparte verwerking van de instellingen die zijn ingesteld via “Settings-Id:”, zodat u nu bijvoorbeeld alleen regels kunt binden aan bepaalde instellingen-ID's;
- Er zijn optimalisaties doorgevoerd voor de prestaties van de Lua-engine, base64-decodering en taaldetectie voor tekst. Ondersteuning toegevoegd voor het cachen van complexe kaarten. Ondersteuning geïmplementeerd
HTTP-keep-alive.
Bron: opennet.ru