Google hà annunziatu a fonte aperta di u prughjettu Magika, cuncepitu per determinà u tipu di cuntenutu basatu annantu à l'analisi di e dati dispunibili in u schedariu. Magika pò detect accuratamente i linguaggi di prugrammazione, i metudi di cumpressione, i pacchetti di installazione, u codice eseguibile, i tipi di marcatura, l'audio, i video, i formati di documentu è di l'imaghjini in u cuntenutu. U toolkit assuciatu à u prughjettu è u mudellu di apprendimentu machine finitu sò publicati sottu a licenza Apache 2.0.
Magika difiere di prughjetti simili chì determinanu u tipu MIME per u cuntenutu utilizendu metudi d'apprendimentu machine, altu rendiment è precisione di rilevazione eccellente. U mudellu hè statu furmatu cù u framework Keras nantu à 25 milioni di schedarii di mostra è sustene a ricunniscenza di 116 tipi di dati cù una precisione di almenu 99%. U mudellu hè cumpilatu in formatu ONNX è hè solu 1 MB in grandezza. L'usu di metudi d'apprendimentu automaticu prufondu hà permessu di aumentà a precisione di a rilevazione di 50% paragunatu à u sistema utilizatu prima da Google basatu nantu à e regule specificate manualmente.
À Google, u sistema hè utilizatu per classificà i fugliali in i servizii Gmail, Drive, Code Insight è Safe Browsing quandu facenu cuntrolli di sicurezza è rispettu di e regule di serviziu. U travagliu hè in corso per integrà Magika in a piattaforma VirusTotal cum'è un ligame per u filtru primariu di i fugliali prima di eseguisce analizatori specifichi. Implantatu nantu à l'infrastruttura di Google, Magika pò scansà parechji milioni di schedari per seconda è parechji centu miliardi di schedari à settimana. Dopu a carica di u mudellu, u tempu di generazione di output hè di 5-6 ms quandu pruvate nantu à un core CPU unicu. U tempu di deteczione hè quasi indipendente da a dimensione di u schedariu.
Per utilizà Magika in i vostri prughjetti, una utilità di linea di cumanda, un pacchettu per Python è una biblioteca JavaScript sò stati preparati chì ponu travaglià in u navigatore o in prughjetti basati in Node.js. L'interfaccia di linea di cummanda è l'API supportanu eseguisce operazioni in modu batch, i.e. permette di scansà parechji schedari in una sola dumanda. Ci hè un modu per scanning recursivamente u cuntenutu sanu sanu di un annuariu è trè modi di predizione per aghjustà a tolleranza à l'errore (alta fiducia, cunfidenza media è megliu guess).
Source: opennet.ru
