Das Unternehmen Google hat die Veröffentlichung des Quellcodes des Projekts Magika angekündigt, das zur Bestimmung des Inhalts based auf der Analyse der im Datei vorhandenen Daten gedacht ist. Magika kann die verwendeten Programmiersprachen, Komprimierungsmethoden, Installationspakete, ausführbaren Code, Markup-Arten sowie Audio-, Video-, Dokument- und Bildformate genau identifizieren. Das zugehörige Toolkit und das fertige Modell für maschinelles Lernen wurden unter der Apache 2.0-Lizenz veröffentlicht.
Im Gegensatz zu ähnlichen Projekten, die den MIME-Typ basierend auf dem Inhalt bestimmen, unterscheidet sich Magika durch den Einsatz von Methoden des maschinellen Lernens, einer hohen Leistung und einer ausgezeichneten Genauigkeit. Das Modell wurde mit dem Keras-Framework an 25 Millionen Beispielen trainiert und unterstützt die Erkennung von 116 Datentypen mit einer Genauigkeit von mindestens 99 %. Das Modell ist im ONNX-Format paketiert und hat eine Größe von nur 1 MB. Der Einsatz von Deep-Learning-Methoden hat die Erkennungsgenauigkeit im Vergleich zu einem zuvor in Google verwendeten System, das auf manuell festgelegten Regeln basierte, um 50 % erhöht.
Bei Google wird das System zur Klassifizierung von Dateien in den Diensten Gmail, Drive, Code Insight und Safe Browsing verwendet, um Sicherheits- und Compliance-Prüfungen durchzuführen. Es wird an der Integration von Magika in die VirusTotal-Plattform gearbeitet, um als erste Filterstufe für Dateien vor der Durchführung spezifischer Analysen zu fungieren. Die in der Google-Infrastruktur implementierte Konfiguration von Magika ermöglicht die Scannung von mehreren Millionen Dateien pro Sekunde und mehreren Hundert Milliarden Dateien pro Woche. Nach dem Laden des Modells beträgt die Auswertungszeit 5-6 ms bei Tests auf einem CPU-Kern. Die Bestimmungszeit hängt kaum von der Dateigröße ab.
Für die Nutzung von Magika in eigenen Projekten wurden ein Kommandozeilentool, ein Paket für Python und eine JavaScript-Bibliothek entwickelt, die sowohl im Browser als auch in Node.js-Projekten verwendet werden kann. Die Kommandozeilenoberfläche und die API unterstützen die Durchführung von Batch-Operationen, d.h. sie ermöglichen die Überprüfung mehrerer Dateien in einem einzigen Anfrage. Es gibt einen rekursiven Scanning-Modus für den gesamten Inhalt eines Verzeichnisses sowie drei Prognosemodi zur Anpassung der Fehlertoleranz (hohe Sicherheit, mittlere Sicherheit und beste Schätzung).
Quelle: opennet.ru
