Společnost Google oznámila otevření zdrojového kódu projektu Magika, určeného k identifikaci typu obsahu na základě analýzy dostupných dat v souboru. Magika dokáže přesně identifikovat používané programovací jazyky, metody komprese, instalační balíčky, spustitelný kód, typy značkování, formáty zvuku, videa, dokumentů a obrázků. Související nástroje a hotový model strojového učení byly zveřejněny pod licencí Apache 2.0.
Na rozdíl od podobných projektů, které určují MIME typ podle obsahu, se Magika vyznačuje použitím metod strojového učení, vysokou výkonností a vynikající přesností určení. Model byl vyškolen pomocí frameworku Keras na 25 milionech příkladech souborů a podporuje rozpoznávání 116 typů dat s přesností minimálně 99 %. Model je sestaven ve formátu ONNX a má velikost pouhých 1 MB. Využití metod hlubokého strojového učení umožnilo zvýšit přesnost určení o 50 % ve srovnání s dříve používaným systémem Google založeným na ručně definovaných pravidlech.
V Google se systém používá pro klasifikaci souborů ve službách Gmail, Drive, Code Insight a Safe Browsing při provádění bezpečnostních kontrol a shody s pravidly služeb. Pracuje se na integraci Magika do platformy VirusTotal jako prvního kroku pro filtrování souborů před provedením specifických analyzátorů. Nasazení Magika v infrastruktuře Google zajišťuje skenování několika milionů souborů za sekundu a stovek miliard souborů týdně. Po načtení modelu činí doba generování výstupu 5-6 ms při testování na jednom jádru CPU. Doba určení téměř nezávisí na velikosti souboru.
Pro využití Magika ve svých projektech byly připraveny utilita příkazového řádku, balíček pro Python a JavaScriptová knihovna, která může fungovat v prohlížeči nebo v projektech na bázi Node.js. Rozhraní příkazového řádku a API podporují provádění operací v dávkovém režimu, tj. umožňují kontrolovat několik souborů v jednom požadavku. Je k dispozici režim rekurzivního skenování veškerého obsahu adresáře a tři režimy předpovědi pro nastavení odolnosti vůči chybám (vysoká jistota, střední jistota a nejlepší odhad).
Zdroj: opennet.ru
