Tersedia sistem penyaringan spam Rspamd 2.0

Disampaikan oleh rilis sistem penyaringan spam Rpmd 2.0, yang menyediakan alat untuk mengevaluasi pesan berdasarkan berbagai kriteria, termasuk aturan, metode statistik, dan daftar hitam, yang menjadi dasar pembentukan bobot pesan akhir, yang digunakan untuk memutuskan apakah akan diblokir. Rspamd mendukung hampir semua fitur yang diterapkan di SpamAssassin, dan memiliki sejumlah fitur yang memungkinkan Anda memfilter email rata-rata 10 kali lebih cepat daripada SpamAssassin, serta memberikan kualitas pemfilteran yang lebih baik. Kode sistem ditulis dalam C dan didistribusikan oleh berlisensi di bawah Apache 2.0.

Rspamd dibangun menggunakan arsitektur berbasis peristiwa dan pada awalnya dirancang untuk digunakan dalam sistem dengan muatan tinggi, memungkinkannya memproses ratusan pesan per detik. Aturan untuk mengidentifikasi tanda-tanda spam sangat fleksibel dan dalam bentuknya yang paling sederhana dapat berisi ekspresi reguler, dan dalam situasi yang lebih kompleks aturan tersebut dapat ditulis dalam Lua. Memperluas fungsionalitas dan menambahkan jenis pemeriksaan baru diimplementasikan melalui modul yang dapat dibuat dalam bahasa C dan Lua. Misalnya, modul tersedia untuk memverifikasi pengirim menggunakan SPF, mengonfirmasi domain pengirim melalui DKIM, dan menghasilkan permintaan ke daftar DNSBL. Untuk menyederhanakan konfigurasi, membuat aturan, dan melacak statistik, antarmuka web administratif disediakan.

Inovasi utama:

  • Transisi telah dilakukan ke skema penomoran terbitan baru. Karena angka pertama dalam nomor versi tidak berubah selama beberapa tahun, dan indikator versi sebenarnya adalah angka kedua, diputuskan untuk beralih ke format β€œyz” daripada skema β€œxyz”;
  • Untuk perulangan acara saja bebas perpustakaan yang terlibat gratis, yang menghilangkan beberapa batasan libevent dan memungkinkan kinerja yang lebih baik. Penggunaan
    libev memungkinkan untuk menyederhanakan kode, meningkatkan penanganan sinyal dan batas waktu, dan menyatukan pelacakan perubahan file menggunakan mekanisme inotify (tidak semua rilis libevent yang dikirimkan untuk platform yang didukung dapat bekerja dengan inotify);

  • Dukungan untuk modul klasifikasi pesan yang menggunakan pustaka pembelajaran mesin mendalam Torch telah dihentikan. Alasan yang dikutip adalah kompleksitas Torch yang berlebihan dan tingginya kompleksitas dalam menjaganya tetap mutakhir. Modul yang ditulis ulang sepenuhnya diusulkan sebagai pengganti klasifikasi menggunakan metode pembelajaran mesin saraf, di mana perpustakaan digunakan untuk memastikan pengoperasian jaringan saraf bisa, yang hanya mencakup 4000 baris kode C. Implementasi baru memecahkan banyak masalah dengan terjadinya kebuntuan selama pelatihan;
  • Modul RBL mengganti modul SURBL dan Email, yang memungkinkan untuk menyatukan pemrosesan semua pemeriksaan daftar hitam. Kemampuan RBL telah diperluas untuk mencakup dukungan untuk tipe tambahan, seperti penyeleksi, dan alat untuk memperluas aturan yang ada dengan mudah. Aturan pemblokiran email berdasarkan daftar peta dan bukan DNS RBL tidak lagi didukung; disarankan untuk menggunakan multimap dengan penyeleksi;
  • Untuk menentukan tipe file berdasarkan konten, perpustakaan Lua Magic baru digunakan, menggunakan Lua dan Hyperscan sebagai pengganti libmagic.
    Alasan untuk membuat perpustakaan Anda sendiri termasuk keinginan untuk mencapai kinerja yang lebih tinggi, menghilangkan kegagalan saat mengidentifikasi file docx, mendapatkan API yang lebih sesuai dan menambahkan jenis heuristik baru yang tidak dibatasi oleh aturan ketat;

  • Modul yang ditingkatkan untuk menyimpan data di DBMS clickhouse. Menambahkan bidang Kardinalitas Rendah dan mengoptimalkan konsumsi memori secara signifikan;
  • Kemampuan modul diperluas Multimap, di mana dukungan muncul digabungkan ΠΈ tergantung perbandingan;
  • Modul Maillist telah meningkatkan definisi milis;
  • Proses pekerja sekarang memiliki kemampuan untuk mengirim pesan detak jantung ke proses utama, mengonfirmasi operasi normal. Jika tidak ada pesan seperti itu selama waktu tertentu, proses utama dapat menghentikan proses pekerja secara paksa. Secara default, mode ini dinonaktifkan untuk saat ini;
  • Serangkaian pemindai baru dalam bahasa Lua telah ditambahkan. Misalnya, modul telah ditambahkan untuk memindai pesan di Kaspersky ScanEngine, Trend Micro IWSVA (via icap) dan
    F-Secure Internet Gatekeeper (melalui icap), dan juga menawarkan pemindai eksternal untuk Razor, oletools, dan P0F;

  • Menambahkan kemampuan untuk mengubah pesan melalui Lua API. Sebuah modul telah diusulkan untuk membuat perubahan pada blok MIME lib_mime;
  • Pemrosesan terpisah atas pengaturan yang diatur melalui β€œId-Pengaturan:” telah disediakan, misalnya, sekarang Anda dapat mengikat aturan hanya ke pengidentifikasi pengaturan tertentu;
  • Optimalisasi telah dilakukan untuk kinerja mesin Lua, decoding base64 dan deteksi bahasa untuk teks. Menambahkan dukungan untuk menyimpan cache peta yang kompleks. Dukungan diterapkan
    HTTP tetap hidup.

Sumber: opennet.ru

Tambah komentar