Google отвори кода на AI системата Magika за определяне на типа съдържание на файлове

Компания Google обяви за отвореното кодиране на проекта Magika, предназначен за определяне на типа съдържание въз основа на анализа на данните в файла. Magika може точно да определи използваните програмни езици в съдържанието, методите на компресия, инсталационните пакети, изпълнимия код, типовете маркировка, формати на звук, видео, документи и изображения. Свързаният с проекта инструментарий и готовата машина за обучение са публикувани под лицензия Apache 2.0.

Magika се отличава от подобни проекти, определящи MIME типа по съдържание, с прилагането на методи за машинно обучение, висока производителност и отлична точност на определяне. Моделът е обучен с използване на фреймворка Keras на 25 милиона примера и поддържа разпознаването на 116 типа данни с точност най-малко 99%. Моделът е компилиран във формат ONNX и има размер само 1 MB. Използването на методи за дълбочинно машинно обучение е позволило да се увеличи точността на определяне с 50% в сравнение с предишната система на Google, базирана на ръчно зададени правила.

В Google системата се използва за класификация на файлове в услугите Gmail, Drive, Code Insight и Safe Browsing при проверките за сигурност и спазване на правилата на услугите. В момента се работи по интеграцията на Magika в платформата VirusTotal като елемент за предварителна филтрация на файлове преди специфичните анализатори. Развърната в инфраструктурата на Google конфигурация на Magika осигурява сканиране на милиони файлове в секунда и стотици милиарди файлове на седмица. След зареждането на модела времето за генериране на резултат е 5-6 ms при тестване на един CPU ядро. Времето за определяне почти не зависи от размера на файла.

За внедряване на Magika в своите проекти са подготвени команден ред инструмент, пакет за Python и JavaScript библиотека, способна да работи в браузър или в проекти на базата на Node.js. Интерфейсът на командния ред и API поддържат изпълнението на операции в пакетен режим, т.е. позволяват проверка на няколко файла в един запит. Има режим на рекурсивно сканиране на цялото съдържание на директорията и три режима на прогнозиране за настройка на устойчивостта на грешки (висока увереност, средна увереност и най-добро предположение).

Източник: opennet.ru