Google публикува Magika 1.0, инструментариум за определяне на типа съдържание на файлове

Компания Google представи релиза на инструмента Magika 1.0, предназначен за определяне на типа съдържание въз основа на анализ на наличните данни в файла. Magika може точно да определи използваните езици за програмиране, методи на компресия, инсталационни пакети, изпълняем код, видове маркиране, формати на звук, видео, документи и изображения. Свързаният с проекта инструмент и готовият модел на машинно обучение се разпространяват под лицензия Apache 2.0. Обвивките са подготвени за езиците Rust, Python, JavaScript/TypeScript и Go.

От подобни проекти, определящи MIME типа по съдържание, Magika се отличава с прилагането на методи на машинно обучение, висока производителност и точността на определяне. Моделът е обучен с помощта на рамката Keras на 100 млн примера файлове (размерът на набора от данни е над 3 TB) и поддържа разпознаване на 200 типа данни с точност най-малко 99%. Моделът е компилиран във формат ONNX и има размер от само няколко мегабайта. Използването на методи за дълбочинно машинно обучение е позволило да се повиши точността на определяне с 50% в сравнение с предишната система на Google, основаваща се на ръчно зададени правила.

В Google системата се използва за класификация на файлове в услугите Gmail, Drive, Code Insight и Safe Browsing при извършване на проверки за сигурност и спазване на правилата на услугите. Осигурена е интеграция на Magika в платформите VirusTotal и abuse.ch като звено за първична филтрация на файлове преди изпълнението на специфични анализатори. Развърната в инфраструктурата на Google конфигурация Magika осигурява сканиране на няколко милиона файла в секунда и няколко стотин милиарда файла на седмица. След зареждане на модела, времето за генериране на изхода е 5 мс при тестване на едно ядро CPU. Времето за определяне почти не зависи от размера на файла.

За интегрирането на Magika в своите проекти са подготвени команден инструмент, пакети за Python, Rust и Go, както и JavaScript библиотека, която може да работи в браузъра или в проекти, изградени на базата на Node.js. Интерфейсът на командния ред и API-то поддържат изпълнение на операции в пакетен режим, т.е. позволяват проверка на множество файлове с едно запитване. Има режим за рекурсивно сканиране на цялото съдържание на директория и три режима на прогнозиране, настроени за устойчивост на грешки (висока увереност, средна увереност и най-добро предположение).

Първоначално проектът беше разработен на езика Python, но при подготовката на версия 1.0 механизмът за определяне на типовете съдържание беше пренаписан на Rust, което позволи постигането на по-висока производителност, запазвайки подходящо ниво на защита на кода. За изпълнение на модела на машинно обучение е използван фреймуъркът ONNX Runtime, а за паралелна асинхронна обработка на запитвания – библиотеката Tokio. На MacBook Pro (M4) производителността на механизма позволява обработката на около 1000 файла в секунда.

Освен новия механизм, в промените на версия 1.0 се отбелязва разширяване на поддържаните типове от около 100 до 200; добавяне на нов клиент за командния ред, написан на Rust; повишаване на точността на определяне на текстови формати, като конфигурационни файлове и код; преработка на модулите за Python и TypeScript за опростяване на тяхната интеграция с други проекти. Сред новите поддържани типове съдържание се включват формати, използвани в машинното обучение и AI; програмни езици Swift, Kotlin, TypeScript, Dart, Solidity (solidity), Web Assembly и Zig; компоненти DevOps (Dockerfiles, TOML, HashiCorp, Bazel build файлове и YARA правила); БД SQLite; файлове AutoCAD (dwg, dxf), Adobe Photoshop (psd) и шрифтове (woff, woff2). Подобрено е разделението на кода на C++ и C, JavaScript и TypeScript.

Източник: opennet.ru