Google har öppnat koden för AI-systemet Magika för att bestämma typ av filinnehåll

Företaget Google har tillkännagivit öppnandet av koden för projektet Magika, som är avsett för att bestämma typ av innehåll baserat på analys av data i filen. Magika kan exakt identifiera programmeringsspråk, komprimeringsmetoder, installationspaket, körbar kod, typer av markup, ljud-, video-, dokument- och bildformat som används i innehållet. Verktygen och den färdiga maskininlärningsmodellen kopplade till projektet har publicerats under licensen Apache 2.0.

Till skillnad från liknande projekt som bestämmer MIME-typ utifrån innehållet, utmärker sig Magika genom att använda maskininlärningsmetoder, hög prestanda och exceptionell precision i identifieringen. Modellen har tränats med hjälp av Keras-ramverket på 25 miljoner exempel på filer och stöder igenkänning av 116 typer data med en noggrannhet på minst 99%. Modellen är sammanställd i ONNX-format och har en storlek på bara 1 MB. Användningen av metoder för djup maskininlärning har ökat precisionen med 50% jämfört med det tidigare systemet som Google använde, som baserades på manuellt angivna regler.

I Google används systemet för klassificering av filer i tjänster som Gmail, Drive, Code Insight och Safe Browsing när säkerhetskontroller och efterlevnad av tjänsternas regler utförs. Det pågår arbete med att integrera Magika i plattformen VirusTotal som en del av den initiala filtreringen av filer före specifika analysmetoder. Den konfiguration av Magika som har implementerats inom Googles infrastruktur möjliggör skanning av flera miljoner filer per sekund och flera hundra miljarder filer per vecka. Efter att modellen har laddats upp är tiden för att generera ett utdata 5-6 ms vid testning på en CPU-kärna. Tiden för identifiering påverkas nästan inte av filens storlek.

För att använda Magika i sina projekt har det förberett ett kommandoradsverktyg, ett paket för Python och ett JavaScript-bibliotek som kan fungera i webbläsaren eller i projekt baserade på Node.js. Kommandoradsgränssnittet och API:t stödjer batchoperationer, vilket innebär att det går att kontrollera flera filer med en enda förfrågan. Det finns ett läge för rekursiv skanning av hela katalogens innehåll och tre förutsägelselägen för att justera felresistensen (hög säkerhet, medelhög säkerhet och bästa gissning).

Källa: opennet.ru