Firma Google ogłosiła otwarcie kodu projektu Magika, przeznaczonego do określania typu zawartości na podstawie analizy danych zawartych w pliku. Magika potrafi dokładnie identyfikować języki programowania, metody kompresji, pakiety instalacyjne, kod wykonywalny, rodzaje znaczników, formaty dźwięku, wideo, dokumentów i obrazów używane w zawartości. Powiązane z projektem narzędzia oraz gotowy model uczenia maszynowego zostały opublikowane na licencji Apache 2.0.
W przeciwieństwie do podobnych projektów, które określają typ MIME na podstawie zawartości, Magika wyróżnia się zastosowaniem metod uczenia maszynowego, wysoką wydajnością oraz doskonałą precyzją identyfikacji. Model został wytrenowany z użyciem frameworka Keras na 25 milionach przykładów plików i obsługuje rozpoznawanie 116 typów danych z precyzją nie mniejszą niż 99%. Model został skompilowany w formacie ONNX i ma rozmiar zaledwie 1 MB. Wykorzystanie metod głębokiego uczenia maszynowego pozwoliło na 50% poprawę dokładności identyfikacji w porównaniu do wcześniej stosowanego w Google systemu opartego na ręcznie określonych zasadach.
W Google system jest wykorzystywany do klasyfikacji plików w usługach Gmail, Drive, Code Insight oraz Safe Browsing podczas przeprowadzania kontrolnych sprawdzania bezpieczeństwa i zgodności z zasadami usług. Trwają prace nad integracją Magika z platformą VirusTotal jako ogniwem wstępnego filtrowania plików przed wykonaniem specyficznych analizatorów. Rozwinięta w infrastrukturze Google konfiguracja Magika zapewnia skanowanie kilku milionów plików na sekundę oraz kilkuset miliardów plików tygodniowo. Po załadowaniu modelu czas generowania wyników wynosi 5-6 ms przy testowaniu na jednym rdzeniu CPU. Czas identyfikacji jest prawie niezależny od wielkości pliku.
Aby wykorzystać Magika w swoich projektach, przygotowano narzędzie wiersza poleceń, pakiet dla Pythona oraz bibliotekę JavaScript, która może działać w przeglądarkach lub projektach opartych na Node.js. Interfejs wiersza poleceń oraz API obsługują wykonywanie operacji w trybie wsadowym, co oznacza, że pozwalają na sprawdzenie kilku plików w jednym żądaniu. Dostępny jest tryb rekurencyjnego skanowania całej zawartości katalogu oraz trzy tryby prognozowania, aby dostosować odporność na błędy (wysoka pewność, średnia pewność i najlepsze przypuszczenie).
Źródło: opennet.ru
