Достапен е систем за филтрирање на спам Rspamd 2.0

Воведени ослободување на системот за филтрирање на спам Rspamd 2.0, кој обезбедува алатки за евалуација на пораките според различни критериуми, вклучувајќи правила, статистички методи и црни листи, врз основа на кои се формира конечна тежина на пораката, која се користи за да се одлучи дали да се блокира. Rspamd ги поддржува речиси сите функции имплементирани во SpamAssassin и има голем број функции кои ви овозможуваат да ја филтрирате поштата во просек 10 пати побрзо од SpamAssassin, како и да обезбедите подобар квалитет на филтрирање. Системскиот код е напишан во C и дистрибуирани од лиценциран под Apache 2.0.

Rspamd е изграден со помош на архитектура управувана од настани и првично е дизајниран за употреба во високо оптоварени системи, овозможувајќи му да обработува стотици пораки во секунда. Правилата за идентификација на знаци на спам се многу флексибилни и во нивната наједноставна форма можат да содржат регуларни изрази, а во посложени ситуации можат да бидат напишани на Луа. Проширувањето на функционалноста и додавањето нови типови на проверки се имплементира преку модули кои можат да се креираат на јазиците C и Lua. На пример, достапни се модули за потврдување на испраќачот со помош на SPF, потврдување на доменот на испраќачот преку DKIM и генерирање барања до списоците DNSBL. За да се поедностави конфигурацијата, да се креираат правила и да се следи статистиката, обезбеден е административен веб-интерфејс.

Главните иновации:

• Направена е транзиција кон нова шема за нумерирање на изданија. Бидејќи првиот број во бројот на верзијата не е променет неколку години, а вистинскиот индикатор за верзија е вториот број, беше одлучено да се префрли на формат „yz“ наместо шемата „xyz“;
• Наместо тоа, за циклусот на настани Либевент вклучена библиотека либев, што отстранува некои од ограничувањата на libevent и овозможува подобри перформанси. Употреба
  libev овозможи да се поедностави кодот, да се подобри ракувањето со сигналот и истекот на времето и да се обедини следењето на промените на датотеките користејќи го механизмот inotify (не сите изданија на libevent испорачани за поддржаните платформи може да работат со inotify);

• Поддршката за модулот за класификација на пораки што ја користи библиотеката за длабоко машинско учење Torch е прекината. Причината наведена е прекумерната сложеност на Torch и високата сложеност на неговото ажурирање. Целосно препишан модул е ​​предложен како замена за класификација користејќи методи на машинско учење Неврален, во која се користи библиотека за да се обезбеди функционирање на невронската мрежа може, кој вклучува само 4000 линии C код. Новата имплементација решава многу проблеми со појавата на ќор-сокак за време на обуката;
• Модул RBL ги замени модулите SURBL и Emails, што овозможи да се обедини обработката на сите проверки на црната листа. Можностите на RBL се проширени за да вклучат поддршка за дополнителни типови, како што се селектори и алатки за лесно проширување на постоечките правила. Правилата за блокирање на е-пошта базирани на списоци со мапи наместо DNS RBL повеќе не се поддржани; наместо тоа, се препорачува да се користи мултимапа со избирачи;
• За да се одредат типовите на датотеки врз основа на содржината, се користи нова библиотека Lua Magic, користејќи Lua и Hyperscan наместо libmagic.
  Причините за создавање сопствена библиотека ја вклучуваат желбата да постигнете повисоки перформанси, да се ослободите од неуспеси при идентификување на датотеките docx, да добиете посоодветен API и да додадете нови типови на хеуристика кои не се ограничени со строги правила;

• Подобрен модул за складирање податоци во DBMS кликхаус. Додадени полиња LowCardinality и значително оптимизирана потрошувачка на меморија;
• Способностите на модулите се проширија Multimap, во која се појави поддршка комбинирано и зависни споредби;
• Модулот Maillist ја подобри дефиницијата за мејлинг листи;
• Работничките процеси сега имаат можност да испраќаат пораки за чукање на срцето до главниот процес, потврдувајќи ја нормалната работа. Ако нема такви пораки одредено време, главниот процес може насилно да го прекине работниот процес. Стандардно, овој режим засега е оневозможен;
• Додадени се серија нови скенери на јазикот Луа. На пример, додадени се модули за скенирање пораки во Kaspersky ScanEngine, Trend Micro IWSVA (преку icap) и
  F-Secure Internet Gatekeeper (преку icap), а нуди и надворешни скенери за Razor, oletools и P0F;

• Додадена е можност за менување пораки преку Lua API. Предложен е модул за правење промени во MIME блоковите lib_mime;
• Обезбедена е посебна обработка на поставките поставени преку „Settings-Id:“, на пример, сега можете да ги врзувате правилата само за одредени идентификатори на поставките;
• Направени се оптимизации за перформансите на моторот Lua, декодирањето base64 и откривањето јазик за текст. Додадена е поддршка за кеширање сложени мапи. Поддршка имплементирана
  HTTP останува жив.

Извор: opennet.ru