A Google bejelentette a Magika projekt kódjának megnyitását, amely a fájlban található adatok elemzésén alapuló tartalomtípusok meghatározására szolgál. A Magika pontosan azonosítja a tartalomban használt programozási nyelveket, tömörítési módszereket, telepítőcsomagokat, végrehajtható kódot, a különböző jelöléseket, valamint a hang-, videó-, dokumentum- és képfájlok formátumait. A projekthez kapcsolódó eszközkészlet és a már elkészített gépi tanulási modell az Apache 2.0 licenc alatt került publikálásra.
A Magika különbözik a MIME-típus tartalom alapján történő meghatározására szolgáló hasonló projektektől a gépi tanulási módszerek alkalmazásában, a magas teljesítményben és a kiváló pontosságban. A modellt a Keras keretrendszer segítségével 25 millió fájl példán használva tanították, és 116 különböző adat típust tud azonosítani legalább 99%-os pontossággal. A modell ONNX formátumban készült, és mindössze 1 MB méretű. A mély gépi tanulás módszereinek alkalmazása lehetővé tette a meghatározás pontosságának 50%-os növelését a Google korábban használt, manuálisan megadott szabályokon alapuló rendszeréhez képest.
A Google rendszer használatban van a fájlok osztályozására a Gmail, a Drive, a Code Insight és a Safe Browsing szolgáltatásoknál, amikor biztonsági ellenőrzéseket és a szolgáltatásoknak való megfelelőség vizsgálatát végzik. Jelenleg folyik a Magika integrálása a VirusTotal platformba, mint az elsődleges fájl szűrési lépés a specifikus elemzők futtatása előtt. A Google infrastruktúrájában telepített Magika konfigurációja lehetővé teszi több millió fájl másodpercenkénti átvizsgálását, valamint több száz milliárd fájl hetente. A modell betöltése után a válaszidő 5-6 ms egy CPU magon történő tesztelésnél. A meghatározás ideje szinte nem függ a fájl méretétől.
A Magika használatához a projektekben egy parancssori eszköz, Python csomag és JavaScript könyvtár készült, amely képes működni a böngészőben vagy Node.js alapú projektekben. A parancssori felület és az API támogatja a batch módú műveletek végrehajtását, azaz lehetővé teszi több fájl ellenőrzését egyetlen kérésen keresztül. Van rekurzív bejárási módja a könyvtár teljes tartalmának, valamint három előrejelzési mód a hibaállóság beállításához (magas bizalom, közepes bizalom és legjobb tipp).
Forrás: opennet.ru
