Tvrtka Google je objavila otvoreni kod projekta Magika, koji je namijenjen određivanju vrste sadržaja na temelju analize podataka sadržanih u datoteci. Magika može točno prepoznati programerske jezike korištene u sadržaju, metode kompresije, instalacijske pakete, izvršne kodove, vrste markup-a, formate zvuka, video, dokumenata i slika. Alati povezani s projektom i gotovi modeli strojnog učenja su objavljeni pod licencom Apache 2.0.
Za razliku od sličnih projekata koji određuju MIME tip na temelju sadržaja, Magika se ističe primjenom metoda strojnog učenja, visokom učinkovitošću i izvanrednom točnošću identifikacije. Model je treniran koristeći Keras okvir na 25 milijuna primjera datoteka i podržava prepoznavanje 116 vrsta podataka s točnošću od najmanje 99%. Model je sastavljen u ONNX formatu i ima veličinu od samo 1 MB. Korištenje metoda dubokog strojnog učenja omogućilo je povećanje točnosti prepoznavanja za 50% u odnosu na ranije korišteni sustav u Googleu koji se temeljio na ručno definiranim pravilima.
U Googleu se sustav koristi za klasifikaciju datoteka u uslugama Gmail, Drive, Code Insight i Safe Browsing prilikom obavljanja sigurnosnih provjera i usklađenosti s pravilima usluga. U tijeku su radovi na integraciji Magika u platformu VirusTotal kao prvog koraka za filtriranje datoteka prije izvođenja specifičnih analizatora. Konfiguracija Magika implementirana unutar Googleove infrastrukture omogućuje skeniranje nekoliko milijuna datoteka u sekundi i nekoliko stotina milijardi datoteka tjedno. Nakon učitavanja modela, vrijeme za generiranje izlaza iznosi 5-6 ms tijekom testiranja na jednom CPU jezgri. Vrijeme određivanja gotovo da nije ovisno o veličini datoteke.
Za korištenje Magika u svojim projektima pripremljeni su alat za naredbeni redak, paket za Python i JavaScript biblioteka koja može raditi u pregledniku ili u projektima temeljenim na Node.js. Naredbeni sučelje i API podržavaju izvođenje operacija u seriji, tj. omogućuju provjeru više datoteka u jednom zahtjevu. Tu je i način rekurzivnog skeniranja cjelokupnog sadržaja direktorija te tri načina predikcije za podešavanje otpornosti na pogreške (visoka sigurnost, srednja sigurnost i najbolja pretpostavka).
Izvor: opennet.ru
