Sistem panyaring spam Rspamd 2.0 kasedhiya

Dipuntepangaken release saka sistem spam filtering Rspamd 2.0, sing nyedhiyakake alat kanggo ngevaluasi pesen marang macem-macem kritΓ©ria, kalebu aturan, cara statistik lan daftar ireng, kanthi basis bobot pesen pungkasan dibentuk, sing digunakake kanggo mutusake manawa bakal diblokir. Rspamd ndhukung meh kabeh fitur dipun ginakaken ing SpamAssassin, lan wis sawetara fitur sing ngijini sampeyan kanggo nyaring mail ing rata-rata 10 kaping luwih cepet saka SpamAssassin, uga menehi kualitas nyaring luwih. Kode sistem ditulis ing C lan disebarake dening dilisensi ing Apache 2.0.

Rspamd dibangun nganggo arsitektur sing didorong acara lan wiwitane dirancang kanggo digunakake ing sistem sing akeh dimuat, supaya bisa ngolah atusan pesen per detik. Aturan kanggo ngenali pratandha spam fleksibel banget lan ing wangun sing paling gampang bisa ngemot ekspresi reguler, lan ing kahanan sing luwih rumit bisa ditulis ing Lua. Nggedhekake fungsi lan nambahake jinis mriksa anyar dileksanakake liwat modul sing bisa digawe ing basa C lan Lua. Contone, modul kasedhiya kanggo verifikasi pangirim nggunakake SPF, konfirmasi domain pangirim liwat DKIM, lan nggawe panjalukan kanggo dhaptar DNSBL. Kanggo nyederhanakake konfigurasi, nggawe aturan lan statistik trek, antarmuka web administratif diwenehake.

Inovasi utama:

  • Transisi wis digawe menyang skema nomer masalah anyar. Wiwit nomer pisanan ing nomer versi ora diganti kanggo sawetara taun, lan indikator versi nyata nomer kaloro, iku wis mutusakΓ© kanggo pindhah menyang format "yz" tinimbang "xyz";
  • Kanggo daur ulang acara tinimbang Libevent perpustakaan melu liber, sing mbusak sawetara watesan libevent lan ngidini kinerja sing luwih apik. Panggunaan
    libev digawe iku bisa kanggo menakake kode, nambah sinyal lan wektu entek nangani, lan nyawiji file nelusuri owah-owahan nggunakake mekanisme inotify (ora kabeh rilis libevent dikirim kanggo platform didhukung bisa digunakake karo inotify);

  • Dhukungan kanggo modul klasifikasi pesen sing nggunakake perpustakaan pembelajaran mesin jero Torch wis mandheg. Alesan kasebut yaiku kerumitan Torch sing gedhe banget lan kerumitan sing dhuwur kanggo tetep anyar. A modul rampung ditulis ulang ngajokaken minangka panggantos kanggo klasifikasi nggunakake cara machine learning Neural, ing ngendi perpustakaan digunakake kanggo njamin operasi jaringan saraf bisa, sing kalebu mung 4000 baris kode C. Implementasi anyar ngatasi akeh masalah karo kedadeyan deadlocks sajrone latihan;
  • Modul RBL diganti modul SURBL lan Emails, kang ndadekake iku bisa kanggo nyawiji Processing kabeh mriksa blacklist. Kapabilitas RBL wis ditambahi kanggo kalebu dhukungan kanggo jinis tambahan, kayata pamilih, lan alat kanggo gampang ngluwihi aturan sing wis ana. Aturan pamblokiran email adhedhasar dhaptar peta tinimbang DNS RBL ora didhukung maneh, disaranake nggunakake multimap kanthi pamilih;
  • Kanggo nemtokake jinis file adhedhasar isi, perpustakaan Lua Magic anyar digunakake, nggunakake Lua lan Hyperscan tinimbang libmagic.
    Alasan kanggo nggawe perpustakaan dhewe kalebu kepinginan kanggo entuk kinerja sing luwih dhuwur, nyingkirake kegagalan nalika ngenali file docx, entuk API sing luwih cocok lan nambah jinis heuristik anyar sing ora diwatesi dening aturan sing ketat;

  • Apik modul kanggo nyimpen data ing DBMS clickhouse. Nambahake lapangan LowCardinality lan konsumsi memori sing dioptimalake kanthi signifikan;
  • Kapabilitas modul ditambahi Multimap, ing ngendi dhukungan muncul digabungake ΠΈ gumantung mbandhingake;
  • Modul Maillist wis nambah definisi mailing list;
  • Proses buruh saiki duwe kemampuan kanggo ngirim pesen deg-degan menyang proses utama, ngonfirmasi operasi normal. Yen ora ana pesen kasebut sajrone wektu tartamtu, proses utama bisa kanthi paksa mungkasi proses buruh. Kanthi gawan, mode iki dipateni saiki;
  • Seri scanner anyar ing basa Lua wis ditambahake. Contone, modul wis ditambahake kanggo mindhai pesen ing Kaspersky ScanEngine, Trend Micro IWSVA (liwat icap) lan
    F-Secure Internet Gatekeeper (liwat icap), lan nawakake uga scanner external kanggo Razor, oletools lan P0F;

  • Nambahake kemampuan kanggo ngganti pesen liwat API Lua. Sawijining modul wis diusulake kanggo ngganti blok MIME lib_mime;
  • Pangolahan kapisah saka setelan sing disetel liwat "Setelan-Id:" wis diwenehake, contone, saiki sampeyan bisa ngiket aturan mung kanggo pengenal setelan tartamtu;
  • Optimasi wis digawe kanggo kinerja mesin Lua, dekoding base64 lan deteksi basa kanggo teks. Dhukungan tambahan kanggo caching peta kompleks. Dhukungan ditindakake
    HTTP tetep urip.

Source: opennet.ru

Add a comment