ხელმისაწვდომია Rspamd 2.0 სპამის ფილტრაციის სისტემა

Გააცნო სპამის ფილტრაციის სისტემის გამოშვება Rspamd 2.0, რომელიც უზრუნველყოფს შეტყობინებების შეფასების ინსტრუმენტებს სხვადასხვა კრიტერიუმების მიხედვით, მათ შორის წესები, სტატისტიკური მეთოდები და შავი სიები, რის საფუძველზეც იქმნება შეტყობინებების საბოლოო წონა, რომელიც გამოიყენება დაბლოკვის გადასაწყვეტად. Rspamd მხარს უჭერს SpamAssassin-ში განხორციელებულ თითქმის ყველა ფუნქციას და აქვს რამდენიმე ფუნქცია, რომელიც საშუალებას გაძლევთ გაფილტროთ ფოსტა საშუალოდ 10-ჯერ უფრო სწრაფად ვიდრე SpamAssassin, ასევე უზრუნველყოთ უკეთესი ფილტრაციის ხარისხი. სისტემის კოდი იწერება C და ვრცელდება ლიცენზირებულია Apache 2.0-ით.

Rspamd აგებულია მოვლენებზე ორიენტირებული არქიტექტურის გამოყენებით და თავდაპირველად შექმნილია მაღალ დატვირთულ სისტემებში გამოსაყენებლად, რაც საშუალებას აძლევს მას წამში ასობით შეტყობინების დამუშავება. სპამის ნიშნების იდენტიფიცირების წესები ძალიან მოქნილია და მათი უმარტივესი ფორმით შეიძლება შეიცავდეს რეგულარულ გამონათქვამებს, ხოლო უფრო რთულ სიტუაციებში ისინი შეიძლება დაიწეროს ლუას. ფუნქციების გაფართოება და ახალი ტიპის შემოწმებების დამატება ხორციელდება მოდულების საშუალებით, რომლებიც შეიძლება შეიქმნას C და Lua ენებზე. მაგალითად, მოდულები ხელმისაწვდომია გამგზავნის დასადასტურებლად SPF-ის გამოყენებით, გამგზავნის დომენის დასადასტურებლად DKIM-ის საშუალებით და მოთხოვნების გენერირებისთვის DNSBL სიებში. კონფიგურაციის გასამარტივებლად, წესების შესაქმნელად და სტატისტიკის თვალყურის დევნებისთვის, მოწოდებულია ადმინისტრაციული ვებ ინტერფეისი.

ძირითადი ინოვაციები:

• გადავიდა ახალი ნომრის ნუმერაციის სქემაზე. იმის გამო, რომ ვერსიის ნომერში პირველი ნომერი რამდენიმე წელია არ შეცვლილა, ხოლო რეალური ვერსიის მაჩვენებელი მეორე ნომერია, გადაწყდა „xyz“ სქემის ნაცვლად „yz“ ფორმატზე გადასვლა;
• სანაცვლოდ ღონისძიების მარყუჟისთვის ლიბევენტი ჩართული ბიბლიოთეკა ლიბევი, რომელიც ხსნის libevent-ის ზოგიერთ შეზღუდვას და იძლევა უკეთესი შესრულების საშუალებას. გამოყენება
  libev-მა შესაძლებელი გახადა კოდის გამარტივება, სიგნალის და დროის ამოწურვის დამუშავების გაუმჯობესება და ფაილის ცვლილების თვალყურის დევნის გაერთიანება inotify მექანიზმის გამოყენებით (მხარდაჭერილი პლატფორმებისთვის გაგზავნილი ყველა libevent გამოშვება ვერ მუშაობდა inotify-თან);

• შეტყობინებების კლასიფიკაციის მოდულის მხარდაჭერა, რომელიც იყენებს Torch ღრმა მანქანათმცოდნეობის ბიბლიოთეკას, შეწყვეტილია. დასახელებული მიზეზი არის Torch-ის გადაჭარბებული სირთულე და მისი განახლების მაღალი სირთულე. სრულად გადაწერილი მოდული შემოთავაზებულია კლასიფიკაციის შემცვლელად მანქანური სწავლების მეთოდების გამოყენებით ნერვული, რომელშიც ბიბლიოთეკა გამოიყენება ნერვული ქსელის მუშაობის უზრუნველსაყოფად სისტემაში, რომელიც მოიცავს C კოდის მხოლოდ 4000 ხაზს. ახალი იმპლემენტაცია წყვეტს ბევრ პრობლემას ვარჯიშის დროს ჩიხების წარმოქმნით;
• მოდული RBL შეცვალა SURBL და Emails მოდულები, რამაც შესაძლებელი გახადა ყველა შავი სიის შემოწმების დამუშავების გაერთიანება. RBL-ის შესაძლებლობები გაფართოვდა და მოიცავს დამატებითი ტიპების მხარდაჭერას, როგორიცაა სელექტორები და არსებული წესების ადვილად გაფართოების ინსტრუმენტები. ელ.ფოსტის დაბლოკვის წესები DNS RBL-ის ნაცვლად რუქების სიებზე დაფუძნებული აღარ არის მხარდაჭერილი; ამის ნაცვლად რეკომენდებულია მულტირუკის გამოყენება სელექტორებთან;
• ფაილების ტიპების დასადგენად კონტენტზე დაყრდნობით, გამოიყენება ახალი Lua Magic ბიბლიოთეკა, რომელიც იყენებს Lua-ს და Hyperscan-ს libmagic-ის ნაცვლად.
  საკუთარი ბიბლიოთეკის შექმნის მიზეზები მოიცავს უფრო მაღალი შესრულების მიღწევის სურვილს, წარუმატებლობისგან თავის დაღწევას docx ფაილების იდენტიფიცირებისას, უფრო შესაფერისი API-ს მიღებას და ახალი ტიპის ევრისტიკის დამატებას, რომლებიც არ შემოიფარგლება მკაცრი წესებით;

• გაუმჯობესებული მოდული მონაცემთა DBMS-ში შესანახად clickhouse. დაემატა LowCardinality ველები და მნიშვნელოვნად ოპტიმიზებული მეხსიერების მოხმარება;
• გაფართოვდა მოდულის შესაძლებლობები მრავალმხრივი, რომელშიც მხარდაჭერა გამოჩნდა კომბინირებული и დამოკიდებული შედარებები;
• Maillist მოდულმა გააუმჯობესა დაგზავნის სიების განმარტება;
• მუშა პროცესებს ახლა აქვთ შესაძლებლობა გაუგზავნონ გულისცემის შეტყობინებები მთავარ პროცესზე, რაც ადასტურებს ნორმალურ მუშაობას. თუ ასეთი შეტყობინებები არ არის გარკვეული დროის განმავლობაში, მთავარ პროცესს შეუძლია იძულებით შეწყვიტოს სამუშაო პროცესი. ნაგულისხმევად, ეს რეჟიმი ამჟამად გამორთულია;
• დაემატა ახალი სკანერების სერია ლუას ენაზე. მაგალითად, მოდულები დაემატა შეტყობინებების სკანირებისთვის Kaspersky ScanEngine, Trend Micro IWSVA (icap-ის საშუალებით) და
  F-Secure Internet Gatekeeper (ICAP-ის საშუალებით), ასევე გთავაზობთ გარე სკანერებს Razor-ისთვის, oletools-ისთვის და P0F-ისთვის;

• დაემატა შეტყობინებების შეცვლის შესაძლებლობა Lua API-ით. შემოთავაზებულია მოდული MIME ბლოკებში ცვლილებების შესატანად lib_mime;
• მოწოდებულია „Settings-Id:“-ით დაყენებული პარამეტრების ცალკეული დამუშავება, მაგალითად, ახლა თქვენ შეგიძლიათ წესები დააკავშიროთ მხოლოდ გარკვეული პარამეტრების იდენტიფიკატორებს;
• გაკეთდა ოპტიმიზაცია Lua ძრავის მუშაობისთვის, base64 დეკოდირებისა და ტექსტისთვის ენის ამოცნობისთვის. დამატებულია მხარდაჭერა რთული რუქების ქეშირებისთვის. მხარდაჭერა განხორციელდა
  HTTP-ის შენარჩუნება.

წყარო: opennet.ru