Google ngumumkeun open source tina proyék Magika, dirancang pikeun nangtukeun jenis eusi dumasar kana analisis data sadia dina file. Magika tiasa akurat ngadeteksi basa pamrograman, metode komprési, bungkusan pamasangan, kode anu tiasa dieksekusi, jinis markup, audio, video, dokumén sareng format gambar dina eusi. Toolkit anu aya hubunganana sareng modél pembelajaran mesin réngsé diterbitkeun dina lisénsi Apache 2.0.
Magika bénten sareng proyék-proyék anu sami anu nangtukeun jinis MIME ku eusi ku cara ngagunakeun metode pembelajaran mesin, kinerja anu luhur sareng akurasi deteksi anu saé. Model ieu dilatih nganggo kerangka Keras dina 25 juta file sampel sareng ngadukung pangakuan 116 jinis data kalayan akurasi sahenteuna 99%. Modelna disusun dina format ONNX sareng ukuranna ngan 1 MB. Pamakéan metode pembelajaran mesin jero ngamungkinkeun pikeun ningkatkeun akurasi deteksi ku 50% dibandingkeun sistem anu saacanna dianggo ku Google dumasar kana aturan anu ditangtukeun sacara manual.
Di Google, sistem ieu dianggo pikeun ngagolongkeun file dina Gmail, Drive, Code Insight sareng jasa Browsing Aman nalika ngalakukeun pamariksaan kaamanan sareng patuh kana aturan jasa. Dijalankeun pikeun ngahijikeun Magika kana platform VirusTotal salaku tautan pikeun nyaring file primér sateuacan ngajalankeun analisa khusus. Diterapkeun dina infrastruktur Google, Magika tiasa nyeken sababaraha juta file per detik sareng sababaraha ratus miliar file per minggu. Saatos ngamuat modél, waktos generasi kaluaran nyaéta 5-6 mdet nalika nguji dina inti CPU tunggal. Waktu deteksi ampir henteu gumantung kana ukuran file.
Pikeun ngagunakeun Magika dina proyék anjeun, utilitas garis paréntah, pakét pikeun Python sareng perpustakaan JavaScript parantos disiapkeun anu tiasa dianggo dina browser atanapi dina proyék dumasar kana Node.js. Antarbeungeut garis paréntah sareng dukungan API ngajalankeun operasi dina modeu angkatan, i.e. ngidinan Anjeun pikeun nyeken sababaraha payil dina hiji pamundut. Aya mode pikeun recursively scanning sakabéh eusi diréktori jeung tilu modus prediksi pikeun nyaluyukeun kasabaran kasalahan (kapercayaan tinggi, kapercayaan sedeng jeung tatarucingan pangalusna).
sumber: opennet.ru
