Rspamd 2.0 spam filtering system anaa

Gipasa ni pagpagawas sa spam filtering system Rspamd 2.0, nga naghatag og mga himan alang sa pagtimbang-timbang sa mga mensahe batok sa lain-laing mga criteria, lakip na ang mga lagda, mga pamaagi sa estadistika ug mga blacklist, sa basehan nga ang usa ka katapusan nga gibug-aton sa mensahe naporma, nga gigamit sa paghukom kon sa pagbabag. Gisuportahan sa Rspamd ang hapit tanan nga mga bahin nga gipatuman sa SpamAssassin, ug adunay daghang mga bahin nga nagtugot kanimo sa pagsala sa mail sa aberids nga 10 ka beses nga mas paspas kaysa sa SpamAssassin, ingon usab naghatag labi ka maayo nga kalidad sa pagsala. Ang code sa sistema gisulat sa C ug giapod-apod sa lisensyado ubos sa Apache 2.0.

Ang Rspamd gitukod gamit ang usa ka arkitektura nga gipatuyok sa panghitabo ug sa sinugdan gidisenyo alang sa paggamit sa mga sistema nga puno kaayo, nga nagtugot niini sa pagproseso sa gatusan ka mga mensahe kada segundo. Ang mga lagda alang sa pag-ila sa mga timailhan sa spam kay flexible kaayo ug sa ilang pinakasimple nga porma mahimong maglangkob sa mga regular nga ekspresyon, ug sa mas komplikado nga mga sitwasyon mahimo silang isulat sa Lua. Ang pagpalapad sa pagpaandar ug pagdugang sa bag-ong mga matang sa mga tseke gipatuman pinaagi sa mga module nga mahimo sa C ug Lua nga mga pinulongan. Pananglitan, ang mga module anaa alang sa pag-verify sa nagpadala gamit ang SPF, pagkumpirma sa domain sa nagpadala pinaagi sa DKIM, ug pagmugna og mga hangyo sa mga listahan sa DNSBL. Aron mapasayon ​​ang pag-configure, paghimo og mga lagda ug pagsubay sa mga istatistika, usa ka administratibong web interface ang gihatag.

Panguna nga mga inobasyon:

  • Gihimo ang usa ka transisyon ngadto sa bag-ong iskema sa pag-numero sa isyu. Tungod kay ang una nga numero sa numero sa bersyon wala magbag-o sa daghang mga tuig, ug ang tinuud nga indikasyon sa bersyon mao ang ikaduha nga numero, nakahukom nga ibalhin sa format nga "yz" imbis sa laraw nga "xyz";
  • Alang sa loop sa panghitabo hinoon Libevent librarya nga nalambigit libev, nga nagtangtang sa pipila ka mga limitasyon sa libevent ug nagtugot alang sa mas maayo nga performance. Paggamit
    Gihimong posible sa libev nga pasimplehon ang code, mapaayo ang pagdumala sa signal ug timeout, ug paghiusa sa pagsubay sa pagbag-o sa file gamit ang mekanismo sa inotify (dili tanan nga pagpagawas sa libevent nga gipadala alang sa gisuportahan nga mga platform mahimong magamit sa inotify);

  • Ang suporta alang sa module sa klasipikasyon sa mensahe nga naggamit sa Torch deep machine learning library gihunong na. Ang gikutlo nga rason mao ang sobra nga pagkakomplikado sa Torch ug ang taas nga pagkakomplikado sa pagpadayon niini hangtod karon. Ang usa ka hingpit nga gisulat pag-usab nga module gisugyot isip usa ka kapuli sa klasipikasyon gamit ang mga pamaagi sa pagkat-on sa makina Nahiuyon, diin ang usa ka librarya gigamit aron masiguro ang operasyon sa neural network mahimo, nga naglakip lamang sa 4000 ka linya sa C code. Ang bag-ong implementasyon nakasulbad sa daghang mga problema sa pagtungha sa mga deadlock sa panahon sa pagbansay;
  • Modyul RBL gipulihan ang SURBL ug Emails modules, nga nagpaposible sa paghiusa sa pagproseso sa tanang blacklist checks. Ang mga kapabilidad sa RBL gipalapdan aron maglakip sa suporta alang sa dugang nga mga tipo, sama sa mga tigpili, ug mga himan alang sa dali nga pagpalapad sa kasamtangan nga mga lagda. Ang mga lagda sa pag-block sa email base sa mga lista sa mapa imbes sa DNS RBL wala na gisuportahan;
  • Aron mahibal-an ang mga tipo sa file base sa sulud, usa ka bag-ong librarya sa Lua Magic ang gigamit, gamit ang Lua ug Hyperscan imbes nga libmagic.
    Ang mga hinungdan sa paghimo sa imong kaugalingon nga librarya naglakip sa tinguha nga makab-ot ang mas taas nga performance, kuhaa ang mga kapakyasan sa pag-ila sa mga docx file, pagkuha og mas angay nga API ug pagdugang og bag-ong mga matang sa heuristics nga dili limitado sa higpit nga mga lagda;

  • Gipauswag nga module alang sa pagtipig sa datos sa DBMS clickhouse. Gidugang ang LowCardinality nga mga natad ug labi nga na-optimize ang pagkonsumo sa panumduman;
  • Ang mga kapabilidad sa module gipalapdan Multimap, diin mitungha ang suporta gihiusa ΠΈ nagsalig mga pagtandi;
  • Gipauswag sa module sa Maillist ang kahulugan sa mga mailing list;
  • Ang mga proseso sa trabahante karon adunay katakus sa pagpadala sa mga mensahe sa pinitik sa kasingkasing sa panguna nga proseso, nga nagpamatuod sa normal nga operasyon. Kung wala’y ingon nga mga mensahe sa usa ka piho nga oras, ang panguna nga proseso mahimo’g kusog nga tapuson ang proseso sa mamumuo. Sa kasagaran, kini nga mode gi-disable sa pagkakaron;
  • Usa ka serye sa bag-ong mga scanner sa Lua nga pinulongan ang gidugang. Pananglitan, ang mga module gidugang alang sa pag-scan sa mga mensahe sa Kaspersky ScanEngine, Trend Micro IWSVA (pinaagi sa icap) ug
    F-Secure Internet Gatekeeper (pinaagi sa icap), ug nagtanyag usab mga external scanner alang sa Razor, oletools ug P0F;

  • Gidugang ang abilidad sa pag-usab sa mga mensahe pinaagi sa Lua API. Usa ka module ang gisugyot sa paghimo og mga pagbag-o sa mga bloke sa MIME lib_mime;
  • Ang separado nga pagproseso sa mga setting nga gitakda pinaagi sa "Settings-Id:" gihatag, pananglitan, karon mahimo nimong ibugkos ang mga lagda sa pipila ka mga setting identifier;
  • Gihimo ang mga pag-optimize alang sa paghimo sa Lua engine, base64 decoding ug pag-detect sa lengguwahe para sa teksto. Gidugang nga suporta alang sa pag-cache sa mga komplikadong mapa. Gipatuman ang suporta
    Ang HTTP padayon nga buhi.

Source: opennet.ru

Idugang sa usa ka comment