Spoločnosť Google oznámila vydanie projektu Magika s otvoreným zdrojovým kódom, ktorý je navrhnutý na identifikáciu typov obsahu na základe analýzy údajov súborov. Magika dokáže presne identifikovať programovacie jazyky, metódy kompresie, inštalačné balíky, spustiteľný kód, typy značiek a formáty zvuku, videa, dokumentov a obrázkov v rámci obsahu. Súvisiaca sada nástrojov a model strojového učenia sú publikované pod licenciou Apache 2.0.
Magika sa odlišuje od podobných projektov, ktoré detekujú typy MIME na základe obsahu, využitím metód strojového učenia, vysokým výkonom a vynikajúcou presnosťou detekcie. Model bol trénovaný pomocou frameworku Keras na 25 miliónoch príkladov súborov a podporuje rozpoznávanie 116 dátových typov s presnosťou najmenej 99 %. Model je zostavený vo formáte ONNX a má veľkosť iba 1 MB. Použitie metód hlbokého učenia viedlo k 50 % nárastu presnosti detekcie v porovnaní s predtým používaným systémom spoločnosti Google, ktorý sa spoliehal na manuálne definované pravidlá.
V spoločnosti Google sa systém používa na klasifikáciu súborov v službách Gmail, Disk, Code Insight a Bezpečné prehliadanie počas bezpečnostných kontrol a kontrol súladu s predpismi. Prebiehajú práce na integrácii Magiky do platformy VirusTotal ako primárnej súčasti filtrovania súborov pred spustením špecifických analyzátorov. Konfigurácia Magiky nasadená v infraštruktúre spoločnosti Google skenuje niekoľko miliónov súborov za sekundu a niekoľko stoviek miliárd súborov za týždeň. Po načítaní modelu je inferenčný čas 5 – 6 ms pri testovaní na jednom jadre CPU. Čas detekcie je prakticky nezávislý od veľkosti súboru.
Pre vaše projekty sme pripravili utilitu príkazového riadka, balík Python a knižnicu JavaScript, ktoré je možné spustiť v prehliadači alebo v projektoch Node.js. Rozhranie príkazového riadka a API podporujú dávkové operácie, čo vám umožňuje skenovať viacero súborov v rámci jednej požiadavky. K dispozícii je rekurzívny režim skenovania pre celý adresár a tri režimy predikcie na nastavenie tolerancie chýb (vysoká spoľahlivosť, stredná spoľahlivosť a najlepší odhad).
Zdroj: opennet.ru
