release van het spamfilteringssysteem , die middelen biedt voor het beoordelen van berichten op verschillende criteria, waaronder regels, statistische methoden en zwarte lijsten, op basis waarvan het uiteindelijke gewicht van het bericht wordt berekend, dat wordt gebruikt om te beslissen of blokkeren nodig is. Rspamd ondersteunt vrijwel alle mogelijkheden die in SpamAssassin zijn geĆÆmplementeerd en heeft verschillende kenmerken die het mogelijk maken om e-mail gemiddeld tot 10 keer sneller te filteren dan SpamAssassin, terwijl de kwaliteit van de filtering beter is. De code van het systeem is geschreven in de programmeertaal C en onder de Apache 2.0-licentie.
Rspamd is gebouwd met behulp van een event-driven architectuur en is oorspronkelijk ontworpen voor gebruik in systemen met hoge belasting, waardoor honderden berichten per seconde kunnen worden verwerkt. De regels voor het detecteren van spamkenmerken zijn zeer flexibel en kunnen in hun eenvoudigste vorm reguliere expressies bevatten, terwijl ze in meer geavanceerde situaties kunnen worden geschreven in de programmeertaal Lua. Uitbreiding van functionaliteit en het toevoegen van nieuwe soorten controles wordt uitgevoerd via modules die kunnen worden gemaakt in de talen C en Lua. Bijvoorbeeld, er zijn modules beschikbaar voor het controleren van de afzender met behulp van SPF, bevestiging van het domein van de afzender via DKIM, en het genereren van verzoeken naar DNSBL-lijsten. Voor eenvoudigere configuratie, het creƫren van regels en het volgen van statistieken is er een administratieve webinterface beschikbaar.
Belangrijkste vernieuwingen:
- Er is een overschakeling naar een nieuw releaseschema geweest. Aangezien het eerste cijfer in het versienummer al enkele jaren niet gewijzigd is, terwijl het tweede cijfer feitelijk de indicator van de versie is, is besloten om van het schema 'x.y.z' over te stappen naar het formaat 'y.z';
- Voor de gebeurtenisverwerkingscyclus in plaats van is de bibliotheek , die bevrijd is van enkele beperkingen van libevent en een hogere prestatie mogelijk maakt. Het gebruik van
libev heeft het mogelijk gemaakt om de code te vereenvoudigen, de verwerking van signalen en time-outs te verbeteren, en ook de monitoring van bestandsveranderingen te uniformeren met behulp van het inotify-mechanisme (niet alle versies van libevent die voor ondersteunde platforms worden geleverd, konden met inotify werken); - De ondersteuning voor de module voor het classificeren van berichten, die de deep learning-bibliotheek Torch gebruikt, is stopgezet. Als reden wordt de overmatige complexiteit van Torch en de grote werklast voor het up-to-date houden genoemd. Als vervanging voor classificatie met machine learning-methodes is een volledig herschreven module voorgesteld. , waarin de bibliotheek wordt gebruikt voor het verzekeren van de werking van het neuraal netwerk , omvat slechts 4000 regels code in de programmeertaal C. In de nieuwe implementatie zijn veel problemen met wederzijdse blokkeringen tijdens de training opgelost;
- Module heeft de modules SURBL en Emails vervangen, wat heeft geleid tot de uniformering van de verwerking van alle controles op zwarte lijsten. De mogelijkheden van RBL zijn uitgebreid met ondersteuning voor extra typen, zoals selectors, en middelen voor het vereenvoudigen van de uitbreiding van bestaande regels. E-mail blokkering regels op basis van map-lijsten in plaats van DNS RBL worden niet langer ondersteund; in plaats daarvan wordt aanbevolen om multimap met selectors te gebruiken;
- Voor het bepalen van bestandstypen op basis van inhoud is een nieuwe bibliotheek Lua Magic ingeschakeld, die Lua en Hyperscan gebruikt in plaats van libmagic.
Als reden voor het creƫren van een eigen bibliotheek wordt de wens genoemd om hogere prestaties te bereiken, storingen bij het identificeren van docx-bestanden te vermijden, een geschiktere API te verkrijgen en nieuwe soorten heuristiek toe te voegen, die niet beperkt zijn door strikte regels; - De module voor het opslaan van gegevens in de DBMS is verbeterd . Velden voor LowCardinality zijn toegevoegd en het geheugenverbruik is aanzienlijk geoptimaliseerd;
- De mogelijkheden van de module zijn uitgebreid , die nu ondersteuning heeft voor en toewijzingen;
- In de Maillist-module is de identificatie van mailinglijsten verbeterd;
- In de werkprocessen is de mogelijkheid toegevoegd om heartbeat-berichten naar het hoofdproces te sturen, die bevestigen dat de werking normaal is. Bij het ontbreken van dergelijke berichten gedurende een bepaalde tijd kan het hoofdproces het werkproces geforceerd beƫindigen. Deze modus is voorlopig standaard uitgeschakeld;
- Er is een serie nieuwe scanners in de programmeertaal Lua toegevoegd. Bijvoorbeeld, modules zijn toegevoegd voor het scannen van berichten in antiviruspakketten Kaspersky ScanEngine, Trend Micro IWSVA (via icap) en
F-Secure Internet Gatekeeper (via icap), evenals externe scanners voor Razor, oletools en P0F; - De mogelijkheid toegevoegd om berichten via de Lua API te wijzigen. Een module is voorgesteld voor wijzigingen in MIME-blokken. ;
- Er is een gescheiden behandeling van instellingen geĆÆmplementeerd die via 'Settings-Id:' zijn ingesteld; bijvoorbeeld, nu kunnen regels alleen aan specifieke instellingen worden gekoppeld.
- Er zijn prestatie-optimalisaties doorgevoerd voor de Lua-engine, het decoderen van base64, en de taalbepaling voor tekst. Ondersteuning voor caching van complexe mappingen is toegevoegd.
HTTP keep-alive.
Bron: opennet.ru
