Google avas AI-süsteemi Magika koodi, mis määrab failide sisu tüübi

Google teatas Magika projekti lähtekoodi avamisest, mille eesmärk on sisu tüübi määramine failiandmete analüüsi põhjal. Magika suudab täpselt määrata kasutatavad programmeerimise keeltes, kompressioonimeetodites, installipakettides, täitmisfailides, märgendites, helifailides, videofailides, dokumentides ja piltides. Projekti raames on avaldatud tööriistakomplekt ja valmis masinõppe mudel Apache 2.0 litsentsi all.

Magika eristub sarnastest projektidest, mis määravad MIME-tüübi sisu põhjal, masinõppe meetodite rakendamise, kõrge tootlikkuse ja suure täpsusega määramise poolest. Mudel on väljatöötatud Keras raamistikus 25 miljoni failinäite põhjal ning toetab 116 andmeta tüübi tuvastamist vähemalt 99% täpsusega. Mudel on kompaktne ONNX formaadis ja selle maht on vaid 1 MB. Sügava masinõppe meetodite rakendamine on võimaldanud tõsta täpsust 50% võrreldes varasema Google'i süsteemiga, mis põhines käsitsi määratud reeglitel.

Google'is kasutatakse süsteemi failide klassifitseerimiseks teenustes Gmail, Drive, Code Insight ja Safe Browsing, et teostada turvakontrolli ja teenuste eeskirjadele vastavuse kontrolli. Tööd tehakse Magika integreerimise nimel VirusTotal platvormiga, et serveerida esmase filtrina failide töötlemisel enne spetsiifiliste analüsaatorite rakendamist. Google'i infrastruktuuris rakendatud Magika konfigureerimine võimaldab skaneerida mitu miljonit faili sekundis ja sadu miljardeid faile nädalas. Pärast mudeli laadimist on väljundi genereerimise aeg 5-6 ms ühe CPU tuumaga testimise korral. Tuvastamise aeg sõltub peaaegu mitte faili suurusest.

Magika kasutamiseks oma projektides on ette valmistatud käsurea utiliit, Python pakett ja JavaScripti teek, mis suudab töötada brauseris või Node.js baasil projektides. Käsurea liides ja API toetavad tegevuste teostamist partiirežiimis, st võimaldavad korraga kontrollida mitut faili ühe päringuga. On olemas rekurssiivne skaneerimise režiim, mis katab kogu katalooge ja kolm prognoosimist, et seada veakindluse parameetreid (kõrge kindluse, keskmise kindluse ja parim oletus).

Allikas: opennet.ru