Dostupan sustav za filtriranje neželjene pošte Rspamd 2.0

Predstavljeno izdanje sustava za filtriranje spama Rspamd 2.0, koji pruža alate za procjenu poruka prema različitim kriterijima, uključujući pravila, statističke metode i crne liste, na temelju kojih se formira konačna težina poruke, koja se koristi za odluku hoće li se blokirati. Rspamd podržava gotovo sve značajke implementirane u SpamAssassin i ima brojne značajke koje vam omogućuju filtriranje pošte u prosjeku 10 puta brže od SpamAssassin, kao i bolju kvalitetu filtriranja. Kod sustava je napisan u C i distribuira licenciran pod Apache 2.0.

Rspamd je izgrađen korištenjem arhitekture vođene događajima i inicijalno je dizajniran za korištenje u visoko opterećenim sustavima, što mu omogućuje obradu stotina poruka u sekundi. Pravila za prepoznavanje znakova neželjene pošte vrlo su fleksibilna i u svom najjednostavnijem obliku mogu sadržavati regularne izraze, au složenijim situacijama mogu biti napisana u Lua. Proširenje funkcionalnosti i dodavanje novih vrsta provjera implementirano je kroz module koji se mogu kreirati u jezicima C i Lua. Na primjer, dostupni su moduli za provjeru pošiljatelja pomoću SPF-a, potvrdu domene pošiljatelja putem DKIM-a i generiranje zahtjeva za DNSBL liste. Za pojednostavljenje konfiguracije, stvaranje pravila i praćenje statistike, dostupno je administrativno web sučelje.

Glavne inovacije:

• Izvršen je prijelaz na novu shemu numeriranja brojeva. Budući da se prvi broj u broju verzije nije mijenjao nekoliko godina, a stvarni pokazatelj verzije je drugi broj, odlučeno je prijeći na format "yz" umjesto sheme "xyz";
• Umjesto petlje događaja Libevent uključena knjižnica libev, koji uklanja neka ograničenja libeventa i omogućuje bolje performanse. Korištenje
  libev je omogućio pojednostavljenje koda, poboljšanje rukovanja signalom i vremenskim ograničenjima te objedinjavanje praćenja promjena datoteke pomoću mehanizma inotify (nisu sva izdanja libeventa isporučena za podržane platforme mogla raditi s inotifyjem);

• Podrška za modul klasifikacije poruka koji koristi biblioteku dubokog strojnog učenja Torch je ukinuta. Kao razlog navodi se pretjerana složenost Torcha i velika složenost njegovog ažuriranja. Predlaže se potpuno prerađeni modul kao zamjena za klasifikaciju pomoću metoda strojnog učenja živčani, u kojem se knjižnica koristi za osiguranje rada neuronske mreže moći, koji uključuje samo 4000 redaka C koda. Nova implementacija rješava mnoge probleme s pojavom zastoja tijekom treninga;
• Modul RBL zamijenio je module SURBL i Emails, što je omogućilo objedinjavanje obrade svih provjera crne liste. Mogućnosti RBL-a proširene su tako da uključuju podršku za dodatne vrste, kao što su selektori i alati za jednostavno proširenje postojećih pravila. Pravila blokiranja e-pošte temeljena na popisima mapa umjesto DNS RBL-a više nisu podržana; umjesto toga preporučuje se korištenje multimapa sa selektorima;
• Za određivanje vrsta datoteka na temelju sadržaja koristi se nova biblioteka Lua Magic, koja koristi Lua i Hyperscan umjesto libmagica.
  Razlozi za stvaranje vlastite biblioteke uključuju želju za postizanjem većih performansi, otklanjanje grešaka pri identificiranju docx datoteka, dobivanje prikladnijeg API-ja i dodavanje novih vrsta heuristike koje nisu ograničene strogim pravilima;

• Poboljšan modul za pohranu podataka u DBMS klikanica. Dodana polja LowCardinality i znatno optimizirana potrošnja memorije;
• Mogućnosti modula proširene Multimap, u kojem se pojavila podrška kombinirano и ovisna usporedbe;
• Modul Maillist poboljšao je definiciju mailing lista;
• Radnički procesi sada imaju mogućnost slanja otkucaja poruka glavnom procesu, potvrđujući normalan rad. Ako nema takvih poruka određeno vrijeme, glavni proces može prisilno prekinuti radni proces. Prema zadanim postavkama, ovaj način je trenutno onemogućen;
• Dodan je niz novih skenera na jeziku Lua. Na primjer, dodani su moduli za skeniranje poruka u Kaspersky ScanEngine, Trend Micro IWSVA (putem icap) i
  F-Secure Internet Gatekeeper (preko icap-a), a nudi i vanjske skenere za Razor, oletools i P0F;

• Dodana je mogućnost mijenjanja poruka putem Lua API-ja. Predložen je modul za izmjene u MIME blokovima lib_mime;
• Omogućena je zasebna obrada postavki postavljenih putem “Settings-Id:”, na primjer, sada možete vezati pravila samo za određene identifikatore postavki;
• Napravljene su optimizacije za performanse Lua motora, base64 dekodiranja i otkrivanja jezika za tekst. Dodana podrška za predmemoriju složenih karata. Podrška implementirana
  HTTP održavanje.

Izvor: opennet.ru