lansarea sistemului de filtrare a spamului , oferind instrumente pentru evaluarea mesajelor conform diverselor criterii, inclusiv reguli, metode statistice și liste negre, pe baza cărora se formează greutatea finală a mesajului, folosită pentru a decide dacă acesta trebuie blocat. Rspamd susține practic toate caracteristicile implementate în SpamAssassin și are o serie de particularități care permit filtrarea e-mailurilor de aproximativ 10 ori mai rapid decât SpamAssassin, precum și asigurarea unei calități mai bune a filtrării. Codul sistemului este scris în limbajul C și sub licența Apache 2.0.
Rspamd este construit utilizând o arhitectură bazată pe evenimente (Event-driven) și este conceput inițial pentru a fi utilizat în sisteme cu încărcare mare, permițând procesarea a sute de mesaje pe secundă. Regulile pentru identificarea semnelor de spam sunt extrem de flexibile și, în cea mai simplă formă, pot conține expresii regulate, iar în situații mai complexe pot fi formulate în limbajul Lua. Extinderea funcționalității și adăugarea de noi tipuri de verificări se realizează prin module care pot fi create în limbajele C și Lua. De exemplu, modulele pentru verificarea expeditorului folosind SPF, confirmarea domeniului expeditorului prin DKIM, generarea de cereri către listele DNSBL sunt disponibile. Pentru simplificarea configurării, creării de reguli și monitorizării statisticilor, este furnizat o interfață web de administrare.
Noutăți principale:
- S-a realizat trecerea la o nouă schemă de numerotare a versiunilor. Deoarece prima cifră din numărul versiunii nu s-a schimbat de câțiva ani, iar indicatorul real al versiunii este a doua cifră, s-a decis să se treacă de la schema „x.y.z” la formatul „y.z”;
- Pentru ciclul de procesare a evenimentelor, în loc de a fost utilizată biblioteca , care a fost eliberată de unele limitări ale libevent și permite obținerea unei performanțe superioare. Utilizarea
libev a permis simplificarea codului, îmbunătățirea procesării semnalelor și a timeout-urilor, precum și unificarea monitorizării modificărilor fișierelor prin mecanismul inotify (nu toate versiunile livrate pentru platformele suportate ale libevent aveau capacitatea de a funcționa cu inotify); - Suportul pentru modulul de clasificare a mesajelor, care utiliza biblioteca de învățare profundă Torch, a fost suspendat. Motivul este complexitatea excesivă a Torch și efortul mare necesar pentru a-l menține la zi. Ca alternativă pentru clasificarea bazată pe metode de învățare automată, a fost propus un modul complet rescris. , în care pentru a asigura funcționarea rețelei neuronale se utilizează biblioteca , care conține doar 4000 de linii de cod în limbajul C. În noua implementare, multe probleme legate de blocajele mutuale în timpul antrenării au fost rezolvate;
- Modulul a înlocuit modulele SURBL și Emails, ceea ce a permis unificarea procesării tuturor verificărilor din listele negre. Funcționalitățile RBL au fost extinse cu suport pentru tipuri suplimentare, cum ar fi selectorii, și instrumente pentru extinderea simplificată a regulilor existente. Regulile de blocare a email-urilor bazate pe listele map nu mai sunt acceptate, fiind recomandat în schimb utilizarea multimap cu selectorii;
- Pentru a determina tipurile de fișiere în funcție de conținut, a fost utilizată o nouă bibliotecă Lua Magic, care utilizează Lua și Hyperscan în loc de libmagic.
Motivul creării unei biblioteci proprii este dorința de a obține o performanță mai ridicată, de a evita erorile la identificarea fișierelor docx, de a obține un API mai potrivit și de a adăuga noi tipuri de euristici, fără a fi constrânse de reguli stricte; - Modulul pentru stocarea datelor în SGBD . Au fost adăugate câmpuri LowCardinality și consumul de memorie a fost substanțial optimizat;
- Funcționalitățile modulului au fost extinse, având acum suport pentru și dependente;
- În modulul Maillist s-a îmbunătățit determinarea listelor de distribuție;
- În fluxurile de lucru a apărut posibilitatea de a trimite mesaje heartbeat principale, confirmând funcționarea normală. În absența acestor mesaje timp de o anumită perioadă, procesul principal poate forța încheierea fluxului de lucru. În mod implicit, acest mod este dezactivat în prezent;
- A fost adăugată o serie de noi scanere în limbajul Lua. De exemplu, au fost adăugate module pentru scanarea mesajelor în pachetele antivirus Kaspersky ScanEngine, Trend Micro IWSVA (prin icap) și
F-Secure Internet Gatekeeper (prin icap), precum și scanere externe pentru Razor, oletools și P0F; - Adăugată opțiunea de a schimba mesajele prin Lua API. Pentru modificarea blocurilor MIME a fost propus un modul ;
- Asigurată procesarea separată a setărilor stabilite prin „Settings-Id:”, de exemplu, acum se pot lega regulile doar de anumite identificatoare de setări;
- Optimizări ale performanței motorului Lua, decodificarea base64 și determinarea limbii pentru text. Adăugată suportul pentru caching-ul asociativ complex (maps). A fost implementat suportul pentru
HTTP keep-alive.
Sursa: opennet.ro
