Das Unternehmen Google hat die Veröffentlichung des Codes des Projekts Magika angekündigt, das darauf abzielt, den Typ des Inhalts anhand der in der Datei vorhandenen Daten zu bestimmen. Magika kann präzise Programme, Komprimierungsmethoden, Installationspakete, ausführbaren Code, Markup-Formate sowie Audio-, Video-, Dokument- und Bildformate erkennen. Die zugehörigen Werkzeuge und das vorgefertigte Modell für maschinelles Lernen wurden unter der Lizenz Apache 2.0 veröffentlicht.
Im Gegensatz zu ähnlichen Projekten, die den MIME-Typ anhand des Inhalts bestimmen, zeichnet sich Magika durch den Einsatz von Methoden des maschinellen Lernens, hohe Leistung und hervorragende Präzision aus. Das Modell wurde mit dem Keras-Framework an 25 Millionen Beispielen trainiert und unterstützt die Erkennung von 116 Datentypen mit einer Genauigkeit von mindestens 99 %. Das Modell ist im ONNX-Format zusammengesetzt und hat eine Größe von nur 1 MB. Der Einsatz von Deep Learning-Methoden hat die Bestimmungsgenauigkeit im Vergleich zum zuvor bei Google verwendeten regelbasierten System um 50 % erhöht.
In Google wird das System verwendet, um Dateien in den Diensten Gmail, Drive, Code Insight und Safe Browsing während Sicherheitsprüfungen und der Einhaltung von Dienstvorschriften zu klassifizieren. Es wird an der Integration von Magika in die VirusTotal-Plattform gearbeitet, um eine erste Filterung von Dateien vor der Ausführung spezifischer Analysatoren zu ermöglichen. Die in der Google-Infrastruktur bereitgestellte Konfiguration von Magika ermöglicht das Scannen von mehreren Millionen Dateien pro Sekunde und mehreren Hundert Milliarden Dateien pro Woche. Nach dem Hochladen des Modells beträgt die Ausgabenbildungszeit bei Tests auf einem CPU-Kern 5-6 ms. Die Erkennungszeit hängt kaum von der Dateigröße ab.
Für die Nutzung von Magika in Ihren Projekten stehen eine Kommandozeilenanwendung, ein Python-Paket und eine JavaScript-Bibliothek zur Verfügung, die sowohl im Browser als auch in Node.js-Projekten eingesetzt werden kann. Die Kommandozeilenoberfläche und die API unterstützen die Durchführung von Batch-Operationen, d.h. sie ermöglichen es, mehrere Dateien mit einer einzigen Anfrage zu überprüfen. Es gibt einen rekursiven Scan-Modus, der den gesamten Inhalt eines Verzeichnisses durchläuft, sowie drei Prognosemodi zur Einstellung der Fehlertoleranz (hohe Genauigkeit, mittlere Genauigkeit und beste Schätzung).
Quelle: opennet.ru
