Pieejama Rspamd 2.0 surogātpasta filtrēšanas sistēma

Iesniedzis surogātpasta filtrēšanas sistēmas atbrīvošana Rspamd 2.0, kas nodrošina rīkus ziņojumu novērtēšanai pēc dažādiem kritērijiem, tostarp noteikumiem, statistikas metodēm un melnajiem sarakstiem, uz kuru pamata tiek veidots galīgais ziņojuma svars, kas tiek izmantots, lai izlemtu, vai bloķēt. Rspamd atbalsta gandrīz visas SpamAssassin ieviestās funkcijas, un tam ir vairākas iespējas, kas ļauj filtrēt pastu vidēji 10 reizes ātrāk nekā SpamAssassin, kā arī nodrošina labāku filtrēšanas kvalitāti. Sistēmas kods ir rakstīts C un izplata licencēts saskaņā ar Apache 2.0.

Rspamd ir izveidots, izmantojot uz notikumu balstītu arhitektūru, un sākotnēji tas ir paredzēts lietošanai ļoti noslogotās sistēmās, ļaujot tai apstrādāt simtiem ziņojumu sekundē. Noteikumi surogātpasta pazīmju identificēšanai ir ļoti elastīgi un vienkāršākajā veidā var saturēt regulāras izteiksmes, un sarežģītākās situācijās tos var rakstīt Lua valodā. Funkcionalitātes paplašināšana un jaunu pārbaužu veidu pievienošana tiek īstenota, izmantojot moduļus, kurus var izveidot C un Lua valodās. Piemēram, ir pieejami moduļi, lai pārbaudītu sūtītāju, izmantojot SPF, apstiprinātu sūtītāja domēnu, izmantojot DKIM, un ģenerētu pieprasījumus DNSBL sarakstiem. Lai vienkāršotu konfigurāciju, izveidotu noteikumus un izsekotu statistiku, tiek nodrošināta administratīvā tīmekļa saskarne.

Galvenie jauninājumi:

  • Ir veikta pāreja uz jaunu izdevumu numerācijas shēmu. Tā kā pirmais numurs versijas numurā nav mainījies jau vairākus gadus, un reālais versijas rādītājs ir otrais cipars, tika nolemts pāriet uz “yz” formātu, nevis “xyz” shēmu;
  • Tā vietā pasākuma cilpai Libevent iesaistītā bibliotēka libevs, kas novērš dažus libevent ierobežojumus un nodrošina labāku veiktspēju. Lietošana
    libev ļāva vienkāršot kodu, uzlabot signālu un taimauta apstrādi un unificēt failu izmaiņu izsekošanu, izmantojot inotify mehānismu (ne visi libevent laidieni, kas piegādāti atbalstītajām platformām, varētu darboties ar inotify);

  • Atbalsts ziņojumu klasifikācijas modulim, kas izmanto Torch dziļās mašīnmācīšanās bibliotēku, ir pārtraukts. Minētais iemesls ir Torch pārmērīgā sarežģītība un tā atjaunināšanas augstā sarežģītība. Tiek piedāvāts pilnībā pārrakstīts modulis, lai aizstātu klasifikāciju, izmantojot mašīnmācīšanās metodes Neirāls, kurā neironu tīkla darbības nodrošināšanai tiek izmantota bibliotēka var, kas ietver tikai 4000 C koda rindiņas. Jaunā ieviešana atrisina daudzas problēmas, kas saistītas ar strupceļu rašanos apmācības laikā;
  • Modulis RBL nomainīja SURBL un Emails moduļus, kas ļāva unificēt visu melnā saraksta pārbaužu apstrādi. RBL iespējas ir paplašinātas, iekļaujot atbalstu papildu veidiem, piemēram, atlasītājiem un rīkiem esošo noteikumu ērtai paplašināšanai. E-pasta bloķēšanas noteikumi, kuru pamatā ir karšu saraksti, nevis DNS RBL, tā vietā ieteicams izmantot multikarti ar atlasītājiem;
  • Lai noteiktu failu tipus, pamatojoties uz saturu, tiek izmantota jauna Lua Magic bibliotēka, izmantojot Lua un Hyperscan, nevis libmagic.
    Iemesli savas bibliotēkas izveidei ietver vēlmi sasniegt augstāku veiktspēju, atbrīvoties no kļūmēm, identificējot docx failus, iegūt piemērotāku API un pievienot jaunus heiristikas veidus, kurus neierobežo stingri noteikumi;

  • Uzlabots modulis datu glabāšanai DBVS Clickhouse. Pievienoti LowCardinality lauki un ievērojami optimizēts atmiņas patēriņš;
  • Moduļa iespējas ir paplašinātas Multimap, kurā parādījās atbalsts kopā и atkarīgi salīdzinājumi;
  • Maillist modulis ir uzlabojis adresātu sarakstu definīciju;
  • Tagad darbinieku procesiem ir iespēja nosūtīt sirdsdarbības ziņojumus galvenajam procesam, apstiprinot normālu darbību. Ja noteiktu laiku šādu ziņojumu nav, galvenais process var piespiedu kārtā pārtraukt darbinieka procesu. Pēc noklusējuma šis režīms pašlaik ir atspējots;
  • Ir pievienota virkne jaunu skeneru Lua valodā. Piemēram, ir pievienoti moduļi ziņojumu skenēšanai programmās Kaspersky ScanEngine, Trend Micro IWSVA (izmantojot icap) un
    F-Secure Internet Gatekeeper (izmantojot icap), kā arī piedāvā ārējos skenerus Razor, oletools un P0F;

  • Pievienota iespēja mainīt ziņojumus, izmantojot Lua API. Ir ierosināts modulis, lai veiktu izmaiņas MIME blokos lib_mime;
  • Ir nodrošināta atsevišķa iestatījumu apstrāde, kas iestatīta caur “Settings-Id:”, piemēram, tagad noteikumus var saistīt tikai ar noteiktiem iestatījumu identifikatoriem;
  • Ir veiktas optimizācijas Lua dzinēja veiktspējai, base64 dekodēšanai un teksta valodas noteikšanai. Pievienots atbalsts sarežģītu karšu saglabāšanai kešatmiņā. Atbalsts īstenots
    HTTP saglabāšana.

Avots: opennet.ru

Pievieno komentāru