Systemet för skräpfilttering Rspamd 2.0 är tillgängligt

Presenteras utgivning av antispamfilterssystemet Rspamd 2.0, som tillhandahåller verktyg för att utvärdera meddelanden baserat på olika kriterier, inklusive regler, statistiska metoder och svarta listor, varifrån ett slutligt viktvärde av meddelandet bildas, vilket används för att avgöra om det behöver blockeras. Rspamd stöder praktiskt taget alla funktioner som finns i SpamAssassin och har flera funktioner som gör att det kan filtrera e-post i genomsnitt tio gånger snabbare än SpamAssassin och dessutom säkerställa bättre filtreringskvalitet. Systemets kod är skriven i C och sprids är licensierad under Apache 2.0.

Rspamd är byggt med en händelsedriven arkitektur och är ursprungligen avsedd för användning i högt belastade system, vilket gör att det kan hantera hundratals meddelanden per sekund. Regler för att identifiera spamsignaler har hög flexibilitet och kan i enklaste form innehålla reguljära uttryck, medan mer komplexa situationer kan formuleras på Lua-språket. Utvidgning av funktionalitet och tillägg av nya typer av kontroller utförs via moduler som kan skapas på C- och Lua-språken. Till exempel finns det moduler för att kontrollera avsändare med SPF, bekräftelse av avsändardomän via DKIM och för att generera förfrågningar i DNSBL-listor. För att förenkla konfigurering, skapa regler och spåra statistik finns det ett administrativt webbgränssnitt.

Huvudsakliga nyheter:

• Övergången till ett nytt versionsnummer-system har genomförts. Eftersom det första numret i versionsnumret inte har ändrats på flera år och det verkliga indikatorsiffran för versionen är det andra numret, har beslut fattats att istället för systemet "x.y.z" övergå till formatet "y.z";
• För evenemangshanteringscykeln används istället Libevent identifierad bibliotek libev, avskuren från vissa begränsningar i libevent, och gör det möjligt att uppnå högre prestanda. Användningen av
  libev har gjort det möjligt att förenkla koden, förbättra signal- och timeout-hanteringen samt enhetlig spårning av filändringar genom mekanismen inotify (inte alla versioner av libevent som tillhandahålls för de stödda plattformarna kunde fungera med inotify);
• Stödet för meddelandeklassificeringsmodulen som använder djupinlärningsbiblioteket Torch har avbrutits. Orsaken anges vara den överdrivna komplexiteten hos Torch och den stora arbetsinsatsen för att hålla det aktuellt. Som ersättning för klassificering med hjälp av maskininlärningsmetoder har en helt omskriven modul föreslagits. Neural, där biblioteket kann, som omfattar endast 4000 rader kod i C, används för att säkerställa funktionen hos det neurala nätverket. I den nya implementationen har många problem med dödlägen under träning lösts;
• Modul RBL har ersatt modulerna SURBL och Emails, vilket har möjliggjort en enhetlig hantering av alla kontroller i svarta listor. RBL:s funktionalitet har utvidgats med stöd för ytterligare typer, såsom urvalare, och verktyg för att förenkla utvidgningen av befintliga regler. Regler för att blockera e-post baserat på map-listor stöds inte längre, istället rekommenderas det att använda multimap med urvalare;
• För att identifiera filtyper baserat på innehåll har ett nytt bibliotek, Lua Magic, använts, som använder Lua och Hyperscan istället för libmagic.
  Som anledning till skapandet av ett eget bibliotek nämns önskan att uppnå högre prestanda, eliminera krascher vid identifiering av docx-filer, få ett mer lämpligt API och lägga till nya typer av heuristik utan strikta regler;
• Modulen för data lagring i databashanteringssystemet Clickhouse. Fälten LowCardinality har lagts till och minnesanvändningen har avsevärt optimerats;
• Funktionerna i modulen har utvidgats Multimap, där stöd för kombinerade och beroende mappningar har lagts till;
• I modulen Maillist har definitionen av distributionslistor förbättrats;
• I arbetsflödena har möjlighet att skicka heartbeat-meddelanden till huvudprocessen lagts till, vilket bekräftar att allt fungerar normalt. Om sådana meddelanden inte erhålls under en viss tid, kan huvudprocessen tvingas avsluta arbetsflödet. Som standard är detta läge ännu avstängt;
• En serie nya skannrar i Lua har lagts till. Till exempel har moduler för scanning av meddelanden i antiviruspaketen Kaspersky ScanEngine, Trend Micro IWSVA (via icap) och
  F-Secure Internet Gatekeeper (via icap) lagts till, liksom externa skannrar för Razor, oletools och P0F;
• Möjligheten att ändra meddelanden via Lua API har lagts till. En modul föreslås för att göra ändringar i MIME-block. lib_mime;
• Separat hantering av inställningar som ställts in via "Settings-Id:" har säkerställts; till exempel kan regler nu kopplas endast till specifika inställningsidentifierare.
• Prestandaoptimeringar har genomförts för Lua-motorn, base64-dekodning och språkbestämning för text. Stöd för caching av komplexa matcher (maps) har lagts till.
  HTTP keep-alive.

Källa: opennet.ru