Zaprezentowano wersję systemu filtrowania spamu Rspamd 3.0, dostarczającego narzędzia do oceny wiadomości według różnych kryteriów, w tym reguł, metod statystycznych i czarnych list, na podstawie których tworzona jest ostateczna waga wiadomości, na podstawie której podejmowana jest decyzja o tym, czy blok. Rspamd obsługuje prawie wszystkie funkcje zaimplementowane w SpamAssassin i posiada szereg funkcji, które pozwalają filtrować pocztę średnio 10 razy szybciej niż SpamAssassin, a także zapewniają lepszą jakość filtrowania. Kod systemu napisany jest w języku C i rozpowszechniany na licencji Apache 2.0.
Rspamd jest zbudowany w oparciu o architekturę sterowaną zdarzeniami i początkowo jest przeznaczony do użytku w mocno obciążonych systemach, umożliwiając przetwarzanie setek wiadomości na sekundę. Reguły identyfikowania oznak spamu są bardzo elastyczne i w najprostszej formie mogą zawierać wyrażenia regularne, a w bardziej skomplikowanych sytuacjach można je zapisać w Lua. Rozszerzanie funkcjonalności i dodawanie nowych typów kontroli realizowane jest poprzez moduły, które można tworzyć w językach C i Lua. Dostępne są na przykład moduły umożliwiające weryfikację nadawcy za pomocą SPF, potwierdzenie domeny nadawcy poprzez DKIM oraz generowanie zapytań do list DNSBL. Aby uprościć konfigurację, tworzyć reguły i śledzić statystyki, udostępniono administracyjny interfejs sieciowy.
Znaczący wzrost liczby wersji wynika ze znacznych zmian w architekturze wewnętrznej, zwłaszcza w częściach analizujących HTML, które zostały całkowicie przepisane. Nowy parser analizuje kod HTML przy użyciu modelu DOM i generuje drzewo znaczników. W nowej wersji wprowadzono także parser CSS, który w połączeniu z nowym parserem HTML umożliwia prawidłowe wyodrębnianie danych z wiadomości e-mail przy użyciu nowoczesnych znaczników HTML, w tym rozróżnianie treści widocznej i niewidocznej. Warto zauważyć, że kod parsera jest napisany nie w języku C, ale w C++17, co wymaga kompilatora obsługującego ten standard do asemblera.
Inne innowacje:
- Dodano obsługę interfejsu API Amazon Web Services (AWS), który umożliwia bezpośredni dostęp do usług chmurowych Amazon z poziomu interfejsu API Lua. Jako przykład zaproponowano wtyczkę, która zapisuje wszystkie wiadomości w pamięci Amazon S3
- Przerobiono kod generowania raportów związanych z wykorzystaniem technologii DMARC. Funkcjonalność wysyłania raportów zawarta jest w oddzielnym poleceniu spamadm dmarc_report.
- W przypadku list mailingowych dodano obsługę „DMARC munging”, zastępując adres Od w wiadomościach adresem pocztowym, jeśli dla wiadomości określono prawidłowe reguły DMARC.
- Dodano wtyczkę external_relay, która rozwiązuje problem z wtyczkami takimi jak SPF wykorzystującymi adres IP zaufanego przekaźnika poczty zamiast adresu nadawcy.
- Dodano polecenie „rspamadm bayes_dump” umożliwiające zapisywanie i pobieranie tokenów Bayesa, umożliwiając ich przesyłanie pomiędzy różnymi instancjami Rspamd.
- Dodano wtyczkę do obsługi wspólnego systemu blokowania spamu Pyzor.
- Przeprojektowano narzędzia monitorujące, które są teraz wywoływane rzadziej i powodują mniejsze obciążenie modułów zewnętrznych.
Źródło: opennet.ru