Rspamd 2.0 Sistim nyaring spam sadia

Diwanohkeun sékrési sistem nyaring spam Rspamd 2.0, nu nyadiakeun parabot keur evaluating seratan ngalawan rupa kriteria, kaasup aturan, métode statistik na blacklists, dina dasar nu beurat pesen final kabentuk, nu dipaké pikeun mutuskeun pikeun meungpeuk. Rspamd ngarojong ampir sakabéh fitur dilaksanakeun dina SpamAssassin, sarta ngabogaan sajumlah fitur nu ngidinan Anjeun pikeun nyaring mail rata-rata 10 kali leuwih gancang ti SpamAssassin, kitu ogé nyadiakeun kualitas nyaring hadé. Kode sistem ditulis dina C jeung disebarkeun ku dilisensikeun dina Apache 2.0.

Rspamd diwangun nganggo arsitéktur anu didorong acara sareng mimitina dirancang pikeun dianggo dina sistem anu sarat pisan, ngamungkinkeun pikeun ngolah ratusan pesen per detik. Aturan pikeun ngaidentipikasi tanda spam pisan fleksibel sareng dina bentuk pangbasajanna tiasa ngandung ekspresi biasa, sareng dina kaayaan anu langkung kompleks aranjeunna tiasa ditulis dina Lua. Ngalegaan fungsionalitas jeung nambahkeun tipe anyar cék dilaksanakeun ngaliwatan modul nu bisa dijieun dina basa C jeung Lua. Contona, modul sadia pikeun verifikasi pangirim maké SPF, confirming domain pangirim ngaliwatan DKIM, sarta ngahasilkeun requests kana daptar DNSBL. Pikeun simplify konfigurasi, nyieun aturan jeung statistik lagu, hiji panganteur web administrasi disadiakeun.

Inovasi utama:

  • Transisi parantos dilakukeun kana skéma panomeran masalah énggal. Kusabab nomer kahiji dina nomer versi henteu robih salami sababaraha taun, sareng indikator versi nyata mangrupikeun nomer kadua, éta mutuskeun pikeun ngalih kana format "yz" tinimbang skéma "xyz";
  • Pikeun loop acara gantina Libevent perpustakaan aub liber, anu ngaleungitkeun sababaraha watesan libevent sareng ngamungkinkeun kinerja anu langkung saé. Pamakéan
    libev ngamungkinkeun pikeun nyederhanakeun kode, ningkatkeun sinyal sareng penanganan timeout, sareng ngahijikeun pelacakan parobahan file nganggo mékanisme inotify (henteu sadayana rilis libevent anu dikirimkeun pikeun platform anu dirojong tiasa dianggo sareng inotify);

  • Rojongan pikeun modul klasifikasi pesen anu ngagunakeun perpustakaan pembelajaran mesin jero Torch parantos dileungitkeun. Alesan anu dicutat nyaéta pajeulitna Obor anu kaleuleuwihan sareng pajeulitna anu luhur pikeun tetep diropéa. A modul lengkep ditulis ulang diusulkeun salaku gaganti klasifikasi ngagunakeun métode learning mesin Neural, dimana perpustakaan dianggo pikeun mastikeun operasi jaringan saraf bisa, nu ngawengku ngan 4000 garis kode C. Palaksanaan anyar solves loba masalah jeung lumangsungna deadlocks salila latihan;
  • Modul RBL ngagentos modul SURBL sareng Email, anu ngamungkinkeun pikeun ngahijikeun pangolahan sadaya cek daptar hideung. Kamampuan RBL geus dimekarkeun pikeun ngawengku rojongan pikeun tipe tambahan, kayaning selectors, sarta parabot pikeun gampang manjangkeun aturan nu aya. Aturan meungpeuk email dumasar kana daptar peta tinimbang DNS RBL henteu dirojong deui, disarankeun pikeun nganggo multimap sareng pamilih;
  • Pikeun nangtukeun jenis file dumasar kana eusi, hiji perpustakaan Lua Magic anyar dipaké, ngagunakeun Lua na Hyperscan tinimbang libmagic.
    Alesan pikeun nyiptakeun perpustakaan anjeun nyalira kalebet kahayang pikeun ngahontal prestasi anu langkung luhur, ngaleungitkeun kagagalan nalika ngaidentipikasi file docx, kéngingkeun API anu langkung cocog sareng nambihan jinis heuristik énggal anu henteu diwatesan ku aturan anu ketat;

  • Ningkatkeun modul pikeun nyimpen data dina DBMS clickhouse. Ditambahkeun widang LowCardinality sareng konsumsi mémori anu dioptimalkeun sacara signifikan;
  • Kamampuh modul dimekarkeun Multimap, di mana rojongan mucunghul digabungkeun и gumantung babandingan;
  • Modul Maillist parantos ningkatkeun definisi milis;
  • Prosés pagawé ayeuna gaduh kamampuan pikeun ngirim pesen denyut jantung kana prosés utama, mastikeun operasi normal. Upami teu aya pesen sapertos kitu pikeun waktos anu tangtu, prosés utama tiasa sacara paksa ngeureunkeun prosés pagawé. Sacara standar, mode ieu ditumpurkeun pikeun ayeuna;
  • Runtuyan scanner anyar dina basa Lua geus ditambahkeun. Contona, modul geus ditambahkeun pikeun nyeken talatah dina Kaspersky ScanEngine, Trend Micro IWSVA (via icap) jeung
    F-Secure Internet Gatekeeper (via icap), sarta nawarkeun ogé scanner éksternal pikeun agul, oletools na P0F;

  • Ditambahkeun kamampuan pikeun ngarobih pesen via API Lua. Hiji modul geus diajukeun pikeun nyieun parobahan blok MIME lib_mime;
  • Pamrosésan misah tina setélan diatur ngaliwatan "Setélan-Id:" geus disadiakeun, contona, ayeuna anjeun bisa ngabeungkeut aturan ngan ka identifiers setélan tangtu;
  • Optimasi parantos dilakukeun pikeun kinerja mesin Lua, decoding base64 sareng deteksi basa pikeun téks. Ditambahkeun dukungan pikeun cache peta kompleks. Rojongan dilaksanakeun
    HTTP tetep-hirup.

sumber: opennet.ru

Tambahkeun komentar