Налична е система за филтриране на спам Rspamd 2.0

Изпратено от пускане на система за филтриране на спам Rspamd 2.0, който предоставя инструменти за оценка на съобщенията по различни критерии, включително правила, статистически методи и черни списъци, на базата на които се формира окончателно тегло на съобщението, което се използва за решение дали да се блокира. Rspamd поддържа почти всички функции, внедрени в SpamAssassin, и има редица функции, които ви позволяват да филтрирате пощата средно 10 пъти по-бързо от SpamAssassin, както и да осигурите по-добро качество на филтриране. Системният код е написан на C и разпространява се от лицензиран под Apache 2.0.

Rspamd е изграден с помощта на управлявана от събития архитектура и първоначално е проектиран за използване в силно натоварени системи, което му позволява да обработва стотици съобщения в секунда. Правилата за идентифициране на признаци на спам са много гъвкави и в най-простата си форма могат да съдържат регулярни изрази, а в по-сложни ситуации могат да бъдат написани на Lua. Разширяването на функционалността и добавянето на нови видове проверки се осъществява чрез модули, които могат да бъдат създадени на езиците C и Lua. Например, налични са модули за проверка на подателя с помощта на SPF, потвърждаване на домейна на изпращача чрез DKIM и генериране на заявки към DNSBL списъци. За опростяване на конфигурацията, създаване на правила и проследяване на статистика е предоставен административен уеб интерфейс.

Основни иновации:

• Извършен е преход към нова схема за номериране на емисии. Тъй като първото число в номера на версията не се е променило от няколко години, а индикаторът за реалната версия е второто число, беше решено да се премине към формата „yz“ вместо схемата „xyz“;
• Вместо това за цикъла на събитията Либевент ангажирана библиотека либев, което премахва някои от ограниченията на libevent и позволява по-добра производителност. Използване
  libev направи възможно опростяването на кода, подобряването на обработката на сигнала и времето за изчакване и уеднаквяването на проследяването на промяната на файла с помощта на механизма inotify (не всички версии на libevent, изпратени за поддържани платформи, могат да работят с inotify);

• Поддръжката за модула за класификация на съобщения, който използва библиотеката за дълбоко машинно обучение Torch, е преустановена. Посочената причина е прекомерната сложност на Torch и високата сложност на поддържането му актуален. Предлага се изцяло пренаписан модул като заместител на класификацията с помощта на методи за машинно обучение нервен, в който се използва библиотека за осигуряване на работата на невронната мрежа Кан, който включва само 4000 реда C код. Новата реализация решава много проблеми с възникването на задънени блокировки по време на обучение;
• Модул RBL замени модулите SURBL и Emails, което направи възможно унифицирането на обработката на всички проверки в черния списък. Възможностите на RBL са разширени, за да включват поддръжка за допълнителни типове, като селектори и инструменти за лесно разширяване на съществуващи правила. Правилата за блокиране на имейли, базирани на списъци с карти вместо DNS RBL, вече не се поддържат; препоръчва се вместо това да използвате multimap със селектори;
• За определяне на типове файлове въз основа на съдържанието се използва нова библиотека Lua Magic, използваща Lua и Hyperscan вместо libmagic.
  Причините за създаване на собствена библиотека включват желанието да постигнете по-висока производителност, да се отървете от неуспехите при идентифициране на docx файлове, да получите по-подходящ API и да добавите нови видове евристики, които не са ограничени от строги правила;

• Подобрен модул за съхранение на данни в СУБД clickhouse. Добавени полета LowCardinality и значително оптимизирана консумация на памет;
• Възможностите на модула са разширени Multimap, в който се появи подкрепа комбинирани и зависим сравнения;
• Модулът Maillist подобри дефиницията на пощенските списъци;
• Работните процеси вече имат способността да изпращат сърдечни съобщения до основния процес, потвърждавайки нормалната работа. Ако няма такива съобщения за определено време, основният процес може принудително да прекрати работния процес. По подразбиране този режим засега е деактивиран;
• Добавена е поредица от нови скенери на езика Lua. Например, добавени са модули за сканиране на съобщения в Kaspersky ScanEngine, Trend Micro IWSVA (чрез icap) и
  F-Secure Internet Gatekeeper (чрез icap), а също така предлага външни скенери за Razor, oletools и P0F;

• Добавена е възможност за промяна на съобщения чрез Lua API. Предложен е модул за извършване на промени в MIME блокове lib_mime;
• Предоставена е отделна обработка на настройките, зададени чрез „Settings-Id:“, например сега можете да обвързвате правила само към определени идентификатори на настройки;
• Направени са оптимизации за производителността на Lua двигателя, декодирането на base64 и откриването на език за текст. Добавена е поддръжка за кеширане на сложни карти. Реализирана поддръжка
  HTTP поддържане.

Източник: opennet.ru