Google teatas Magika projekti koodi avamisest, mis on mõeldud failides olevate andmete analüüsi põhjal sisu tüüpi tuvastama. Magika suudab täpselt kindlaks teha kasutatavad programmeerimiskeeled, kokku surumise meetodid, installeerimispaketid, täidesaatvad koodid, mark-up tüübid, helifailide, video, dokumentide ja piltide formaadid. Seotud tööriistakomplekt ja valmis masinõppe mudel on avaldatud Apache 2.0 litsentsi alusel.
Erinevalt teistest projektidest, mis tuvastavad MIME tüüpi sisu põhjal, eristub Magika masinõppe meetodite kasutamise, kõrge jõudluse ja erakordse täpsuse poolest. Mudel on koolitatud Keras raamistikus 25 miljoni failinäite põhjal ja toetab 116 andme tüübi tuvastamist vähemalt 99% täpsusega. Mudel on koondatud ONNX formaati ja selle suurus on vaid 1 MB. Sügava masinõppe meetodite kasutamine on võimaldanud suurendada tuvastamise täpsust 50% võrreldes varasema Google’i süsteemiga, mis põhines käsitsi määratud reeglitest.
Google'i süsteemis kasutatakse faile klassifitseerimiseks Gmaili, Drive'i, Code Insight'i ja Safe Browsing teenustes, kui tehakse turbe- ja vastavusteste. Täiendatakse tööd Magika integreerimise kallal VirusTotal platvormi, et toimida esmase filtreerimise punktina failide puhul enne spetsiifiliste analüsaatorite kasutamist. Google'i infrastruktuuris rakendatud Magika konfiguratsioon võimaldab skaneerida mitmeid miljoneid faile sekundis ja sadu miljardeid faile nädalas. Pärast mudeli laadimist on väljundi genereerimise aeg 5-6 ms, kui seda testitakse ühel CPU tuumal. Otsustamise aeg ei sõltu praktiliselt faili suurusest.
Magika projekti kasutamiseks on ette valmistatud käsurea utiliidid, Pythonile mõeldud paketid ja JavaScripti raamatukogu, mis suudab töötada brauseris või Node.js projektides. Käsureainterface ja API toetavad toimingute käivitamist grupiviisiliselt, mis tähendab, et saate kontrollida mitmeid faile ühe päringu kaudu. Saadaval on rekurssiivne skaneerimisrežiim, mis katab kogu katalooge ning kolm prognoosimisrežiimi vigadele vastupidavuse seadistamiseks (kõrge usaldusväärsus, keskmine usaldusväärsus ja parim oletus).
Allikas: opennet.ru
