Elérhető az Rspamd 2.0 spamszűrő rendszer

Által benyújtott spamszűrő rendszer felszabadítása Rspamd 2.0, amely eszközöket biztosít az üzenetek különféle kritériumok alapján történő kiértékeléséhez, beleértve a szabályokat, statisztikai módszereket és feketelistákat, amelyek alapján kialakul egy végső üzenetsúly, amely alapján eldönthető, hogy a blokkolásra kerül sor. Az Rspamd szinte az összes SpamAssassin szolgáltatást támogatja, és számos olyan funkcióval rendelkezik, amelyek lehetővé teszik a levelek átlagosan 10-szer gyorsabb szűrését, mint a SpamAssassin, valamint jobb szűrési minőséget biztosítanak. A rendszerkód C és betűkkel van írva forgalmazza Apache 2.0 licenc alatt.

Az Rspamd eseményvezérelt architektúra felhasználásával készült, és eredetileg erősen terhelt rendszerekben való használatra készült, így másodpercenként több száz üzenetet dolgoz fel. A spam jeleinek azonosítására vonatkozó szabályok rendkívül rugalmasak, és a legegyszerűbb formájukban tartalmazhatnak reguláris kifejezéseket, összetettebb helyzetekben pedig Lua nyelven írhatók. A funkcionalitás bővítése és az új típusú ellenőrzések hozzáadása a C és Lua nyelven létrehozható modulokon keresztül valósul meg. Például modulok állnak rendelkezésre a feladó SPF használatával történő ellenőrzéséhez, a feladó tartományának DKIM-en keresztüli megerősítéséhez, és kérések generálásához DNSBL-listákhoz. A konfiguráció egyszerűsítése, a szabályok létrehozása és a statisztikák nyomon követése érdekében adminisztratív webes felületet biztosítunk.

Főbb újítások:

  • Átállás történt egy új számozási rendszerre. Mivel a verziószám első száma évek óta nem változott, és a valódi verziójelző a második szám, úgy döntöttek, hogy az „xyz” séma helyett „yz” formátumra váltunk;
  • Ehelyett az eseményhurokhoz Libevent könyvtár érintett libev, amely megszünteti a libevent bizonyos korlátait, és jobb teljesítményt tesz lehetővé. Használat
    a libev lehetővé tette a kód egyszerűsítését, a jelek és időtúllépések kezelésének javítását, valamint a fájlváltozások követésének egységesítését az inotify mechanizmus segítségével (nem minden támogatott platformra szállított libevent kiadás működött az inotify funkcióval);

  • A Torch mély gépi tanulási könyvtárat használó üzenetosztályozási modul támogatása megszűnt. Az említett ok a Torch túlzott összetettsége és a naprakészen tartás bonyolultsága. A gépi tanulási módszerekkel történő osztályozás helyettesítésére egy teljesen átírt modult javasolnak ideg-, amelyben egy könyvtárat használnak a neurális hálózat működésének biztosítására tud, amely mindössze 4000 sornyi C kódot tartalmaz. Az új megvalósítás számos problémát megold az edzés közbeni holtpontok előfordulásával kapcsolatban;
  • Modul RBL lecserélte a SURBL és az Emails modulokat, ami lehetővé tette az összes feketelistás ellenőrzés feldolgozásának egységesítését. Az RBL képességei további típusok támogatásával bővültek, például szelektorok és eszközök a meglévő szabályok egyszerű kiterjesztéséhez. A DNS RBL helyett a térképlistákon alapuló e-mail blokkolási szabályok már nem támogatottak, ehelyett a multimap használata javasolt választókkal;
  • A fájltípusok tartalom alapján történő meghatározásához egy új Lua Magic könyvtárat használnak, a libmagic helyett a Lua és a Hyperscan használatával.
    A saját könyvtár létrehozásának okai közé tartozik a nagyobb teljesítmény elérése, a docx fájlok azonosítása során előforduló hibák elkerülése, egy megfelelőbb API beszerzése és új típusú heurisztika hozzáadása, amelyeket nem korlátoznak szigorú szabályok;

  • Továbbfejlesztett modul adatok tárolására a DBMS-ben clickhouse. Hozzáadott LowCardinality mezők és jelentősen optimalizált memóriafogyasztás;
  • A modul képességei bővültek Multimap, amelyben megjelent a támogatás kombinált и függő összehasonlítások;
  • A Maillist modul javította a levelezőlisták meghatározását;
  • A dolgozói folyamatok most már képesek szívverés üzeneteket küldeni a fő folyamatnak, megerősítve a normál működést. Ha egy bizonyos ideig nincsenek ilyen üzenetek, a főfolyamat erőszakkal leállíthatja a dolgozói folyamatot. Alapértelmezés szerint ez a mód egyelőre le van tiltva;
  • Egy sor új, Lua nyelvű szkenner került hozzáadásra. Például modulokat adtak hozzá az üzenetek szkenneléséhez a Kaspersky ScanEngine-ben, a Trend Micro IWSVA-ban (icapen keresztül) és
    F-Secure Internet Gatekeeper (icap-on keresztül), valamint külső szkennereket is kínál Razor, oletools és P0F számára;

  • Lehetőséget adtunk az üzenetek megváltoztatására a Lua API-n keresztül. Javasoltak egy modult a MIME blokkok módosítására lib_mime;
  • A „Settings-Id:”-en keresztül beállított beállítások külön feldolgozása biztosított, például most már csak bizonyos beállításazonosítókhoz köthet szabályokat;
  • Optimalizálták a Lua motor teljesítményét, a base64 dekódolást és a szöveg nyelvészlelését. Hozzáadott támogatás az összetett térképek gyorsítótárazásához. Támogatás megvalósítva
    HTTP életben tartás.

Forrás: opennet.ru

Hozzászólás