Dostupan je sistem za filtriranje neželjene pošte Rspamd 2.0

Poslao oslobađanje sistema za filtriranje neželjene pošte Rspamd 2.0, koji pruža alate za procjenu poruka prema različitim kriterijima, uključujući pravila, statističke metode i crne liste, na osnovu kojih se formira konačna težina poruke koja se koristi za odlučivanje o blokiranju. Rspamd podržava gotovo sve funkcije implementirane u SpamAssassin, i ima niz funkcija koje vam omogućavaju da filtrirate poštu u prosjeku 10 puta brže od SpamAssassin-a, kao i da pružaju bolji kvalitet filtriranja. Sistemski kod je napisan u C i distribuira licenciran pod Apache 2.0.

Rspamd je izgrađen koristeći arhitekturu vođenu događajima i prvobitno je dizajniran za upotrebu u visoko opterećenim sistemima, omogućavajući mu da obrađuje stotine poruka u sekundi. Pravila za identifikaciju znakova neželjene pošte su vrlo fleksibilna i u svom najjednostavnijem obliku mogu sadržavati regularne izraze, au složenijim situacijama mogu biti napisana u Lua. Proširivanje funkcionalnosti i dodavanje novih tipova provjera implementirano je kroz module koji se mogu kreirati u C i Lua jezicima. Na primjer, dostupni su moduli za verifikaciju pošiljaoca pomoću SPF-a, potvrđivanje domene pošiljaoca putem DKIM-a i generiranje zahtjeva za DNSBL liste. Da bi se pojednostavila konfiguracija, kreirala pravila i pratila statistika, obezbeđen je administrativni web interfejs.

Glavne inovacije:

• Izvršen je prijelaz na novu šemu numeracije izdanja. Budući da se prvi broj u broju verzije nije mijenjao nekoliko godina, a pravi indikator verzije je drugi broj, odlučeno je da se umjesto na shemu "xyz" prebaci na format "yz";
• Umjesto toga, za petlju događaja Libevent uključena biblioteka libev, koji uklanja neka od ograničenja libeventa i omogućava bolje performanse. Upotreba
  libev je omogućio pojednostavljenje koda, poboljšanje rukovanja signalom i timeout-om i objedinjavanje praćenja promjena datoteka koristeći inotify mehanizam (nisu sva izdanja libeventa isporučena za podržane platforme mogla raditi sa inotify);

• Podrška za modul klasifikacije poruka koji koristi Torch biblioteku dubokog mašinskog učenja je ukinuta. Navedeni razlog je prevelika složenost Torch-a i visoka složenost njegovog ažuriranja. Predlaže se potpuno prepisan modul kao zamjena za klasifikaciju korištenjem metoda mašinskog učenja Neuralni, u kojem se biblioteka koristi za osiguranje rada neuronske mreže moći, koji uključuje samo 4000 linija C koda. Nova implementacija rješava mnoge probleme sa pojavom zastoja tokom obuke;
• Modul RBL zamijenjen SURBL i Emails moduli, što je omogućilo objedinjavanje obrade svih provjera crne liste. Mogućnosti RBL-a su proširene tako da uključuju podršku za dodatne tipove, kao što su selektori, i alati za jednostavno proširenje postojećih pravila. Pravila za blokiranje e-pošte zasnovana na listama mapa umjesto na DNS RBL-u više nisu podržana, preporučljivo je koristiti multimap sa selektorima;
• Za određivanje tipova datoteka na osnovu sadržaja, koristi se nova Lua Magic biblioteka, koristeći Lua i Hyperscan umjesto libmagic.
  Razlozi za kreiranje sopstvene biblioteke uključuju želju za postizanjem većih performansi, otklanjanje grešaka pri identifikaciji docx fajlova, dobijanje prikladnijeg API-ja i dodavanje novih tipova heuristike koji nisu ograničeni strogim pravilima;

• Poboljšan modul za pohranjivanje podataka u DBMS clickhouse. Dodata polja LowCardinality i značajno optimizirana potrošnja memorije;
• Proširene mogućnosti modula Multimap, u kojem se pojavila podrška kombinovano и zavisan poređenja;
• Modul Maillist je poboljšao definiciju mailing lista;
• Radnički procesi sada imaju mogućnost slanja poruka o otkucajima srca glavnom procesu, potvrđujući normalan rad. Ako nema takvih poruka određeno vrijeme, glavni proces može prisilno prekinuti radni proces. Podrazumevano, ovaj režim je za sada onemogućen;
• Dodan je niz novih skenera na Lua jeziku. Na primjer, dodani su moduli za skeniranje poruka u Kaspersky ScanEngine, Trend Micro IWSVA (preko icap-a) i
  F-Secure Internet Gatekeeper (preko icap-a), a nudi i eksterne skenere za Razor, oletools i P0F;

• Dodata mogućnost promjene poruka putem Lua API-ja. Predložen je modul za izmjene MIME blokova lib_mime;
• Omogućena je zasebna obrada postavki postavljenih preko “Settings-Id:”, na primjer, sada možete vezati pravila samo za određene identifikatore postavki;
• Napravljene su optimizacije za performanse Lua motora, base64 dekodiranja i detekcije jezika za tekst. Dodata podrška za keširanje složenih mapa. Podrška implementirana
  HTTP održavati u životu.

izvor: opennet.ru