Galima Rspamd 2.0 šiukšlių filtravimo sistema

Įvesta pašto šiukšlių filtravimo sistemos išleidimas Rspamd 2.0, kuriame pateikiami įrankiai žinutėms įvertinti pagal įvairius kriterijus, įskaitant taisykles, statistinius metodus ir juoduosius sąrašus, kurių pagrindu formuojamas galutinis pranešimo svoris, pagal kurį sprendžiama, ar blokuoti. Rspamd palaiko beveik visas SpamAssassin įdiegtas funkcijas ir turi nemažai funkcijų, kurios leidžia filtruoti paštą vidutiniškai 10 kartų greičiau nei SpamAssassin, taip pat užtikrina geresnę filtravimo kokybę. Sistemos kodas parašytas C ir išplatino licencijuota pagal Apache 2.0.

Rspamd sukurtas naudojant įvykiais pagrįstą architektūrą ir iš pradžių sukurtas naudoti labai apkrautose sistemose, leidžiančiose apdoroti šimtus pranešimų per sekundę. Šlamšto ženklų atpažinimo taisyklės yra labai lanksčios ir paprasčiausia forma gali turėti reguliariųjų posakių, o sudėtingesnėse situacijose jas galima parašyti Lua kalba. Funkcionalumo išplėtimas ir naujų patikrinimų tipų įtraukimas įgyvendinamas naudojant modulius, kuriuos galima sukurti C ir Lua kalbomis. Pavyzdžiui, yra moduliai, skirti patikrinti siuntėją naudojant SPF, patvirtinti siuntėjo domeną per DKIM ir generuoti užklausas į DNSBL sąrašus. Siekiant supaprastinti konfigūraciją, kurti taisykles ir sekti statistiką, pateikiama administracinė žiniatinklio sąsaja.

Pagrindinės naujovės:

  • Pereita prie naujos laidų numeravimo schemos. Kadangi pirmasis skaičius versijos numeryje nesikeičia jau keletą metų, o tikrasis versijos rodiklis yra antrasis skaičius, buvo nuspręsta vietoj „xyz“ schemos pereiti prie „yz“ formato;
  • Vietoj to, renginio ciklas Libevent įtraukta biblioteka libev, kuris pašalina kai kuriuos „Libevent“ apribojimus ir užtikrina geresnį veikimą. Naudojimas
    libev leido supaprastinti kodą, pagerinti signalų ir skirtojo laiko tvarkymą bei suvienodinti failų pakeitimų sekimą naudojant pranešimo mechanizmą (ne visi palaikomoms platformoms siunčiami libevent leidimai gali veikti su inotify);

  • Pranešimų klasifikavimo modulio, kuris naudoja „Torch“ giluminio mašininio mokymosi biblioteką, palaikymas buvo nutrauktas. Nurodyta priežastis yra per didelis „Torch“ sudėtingumas ir didelis sudėtingumas jį atnaujinti. Siūlomas visiškai perrašytas modulis kaip klasifikavimo, naudojant mašininio mokymosi metodus, pakaitalas Neuroninis, kurioje neuroninio tinklo veikimui užtikrinti naudojama biblioteka Kann, kuriame yra tik 4000 C kodo eilučių. Naujasis diegimas išsprendžia daugybę problemų, susijusių su aklavietėmis treniruočių metu;
  • Modulis RBL pakeitė SURBL ir Emails modulius, kurie leido suvienodinti visų juodųjų sąrašų patikrų apdorojimą. RBL galimybės buvo išplėstos įtraukiant papildomų tipų palaikymą, pvz., selektorių ir įrankius, leidžiančius lengvai išplėsti esamas taisykles. El. pašto blokavimo taisyklės, pagrįstos žemėlapių sąrašais, o ne DNS RBL, nebepalaikomos; vietoj to rekomenduojama naudoti daugialypį vaizdą su selektoriais;
  • Norint nustatyti failų tipus pagal turinį, naudojama nauja Lua Magic biblioteka, naudojant Lua ir Hyperscan vietoj libmagic.
    Priežastys sukurti savo biblioteką yra noras pasiekti didesnį našumą, atsikratyti klaidų identifikuojant docx failus, gauti tinkamesnę API ir pridėti naujų tipų euristikos, kurių neriboja griežtos taisyklės;

  • Patobulintas duomenų saugojimo DBVS modulis clickhouse. Pridėta LowCardinality laukai ir žymiai optimizuotas atminties suvartojimas;
  • Modulio galimybės išplėstos Multimap, kuriame atsirado parama kartu и priklausomas palyginimai;
  • Maillist modulis pagerino adresų sąrašų apibrėžimą;
  • Darbuotojų procesai dabar turi galimybę pagrindiniam procesui siųsti širdies plakimo pranešimus, patvirtinančius normalų veikimą. Jei tam tikrą laiką tokių pranešimų nėra, pagrindinis procesas gali priverstinai nutraukti darbuotojo procesą. Pagal numatytuosius nustatymus šis režimas kol kas išjungtas;
  • Pridėta naujų skaitytuvų Lua kalba. Pavyzdžiui, buvo pridėti moduliai pranešimų nuskaitymui „Kaspersky ScanEngine“, „Trend Micro IWSVA“ (per icap) ir
    F-Secure Internet Gatekeeper (per icap), taip pat siūlo išorinius skaitytuvus, skirtus Razor, oletools ir P0F;

  • Pridėta galimybė keisti pranešimus per Lua API. MIME blokų pakeitimams atlikti buvo pasiūlytas modulis lib_mime;
  • Buvo numatytas atskiras nustatymų, nustatytų per „Settings-Id:“ apdorojimas, pavyzdžiui, dabar galite susieti taisykles tik su tam tikrais nustatymų identifikatoriais;
  • Buvo optimizuotas „Lua“ variklio veikimas, „base64“ dekodavimas ir teksto kalbos aptikimas. Pridėtas sudėtingų žemėlapių talpyklos palaikymas. Parama įgyvendinta
    HTTP išlikimas gyvas.

Šaltinis: opennet.ru

Добавить комментарий