Kompania Google shpalli hapjen e kodit të projektit Magika, i dedikuar për të përcaktuar llojin e përmbajtjes duke analizuar të dhënat e pranishme në skedar. Magika mund të identifikojë saktësisht gjuhët e programimit që përdoren në përmbajtje, metodat e kompresimit, paketat instalues, kodin e ekzekutueshëm, format e shkrimit, formateve të zërit, videos, dokumenteve dhe figurave. Mjetet e lidhura me projektin dhe modeli i gatshëm i mësimit të makinerisë janë publikuar nën licencën Apache 2.0.
Dallimi nga projektet e ngjashme që përcaktojnë tipin MIME sipas përmbajtjes, Magika karakterizohet nga përdorimi i metodave të mësimit të makinerisë, performancës së lartë dhe saktësisë së shkëlqyer të identifikimit. Modeli është trajnuar duke përdorur kuadrin Keras me 25 milion shembuj skedarësh dhe mbështet njohjen e 116 llojeve të të dhënave me saktësi prej të paktën 99%. Modeli është kompozuar në formatin ONNX dhe ka një madhësi prej vetëm 1 MB. Përdorimi i metodave të thelluara të mësimit të makinerisë ka lejuar një rritje prej 50% të saktësisë së identifikimit krahasuar me sistemin e mëparshëm të Google të bazuar në rregullat e përcaktuara manualisht.
Në Google, sistemi përdoret për klasifikimin e skedarëve në shërbimet Gmail, Drive, Code Insight dhe Safe Browsing gjatë kontrollit të sigurisë dhe përputhjes me rregullat e shërbimeve. Është duke u punuar për integrimin e Magika në platformën VirusTotal si një lidhje për filtrimin fillestar të skedarëve para se të kryhen analizat specifike. Konfigurimi i implementuar në infrastrukturën e Google siguron skanimin e disa milion skedarëve në sekondë dhe disa qindra miliardë skedarëve në javë. Pas ngarkimit të modelit, koha e formimit të daljes është 5-6 ms gjatë testimit në një bërthamë CPU. Koha e identifikimit nuk varet pothuajse aspak nga madhësia e skedarit.
Për të përdorur Magika në projektet tuaja, janë përgatitur një utilitar i linjës komandues, një paketë për Python dhe një bibliotekë JavaScript që mund të funksionojë në shfletues ose në projekte në bazë të Node.js. Ndërfaqja e linjës komandues dhe API mbështesin kryerjen e operacioneve në mënyrë të paketuar, dmth ju lejon të kontrolloni disa skedarë me një kërkesë. Ka një mod të skanimit recursiv të të gjithë përmbajteve të katalogut dhe tre modet e parashikimit për të personalizuar qëndrueshmërinë ndaj gabimeve (siguri e lartë, siguri e mesme dhe parashikimi më i mirë).
Burimi: opennet.ru
