Kompania Google shpalli hapjen e kodit të projektit Magika, i dedikuar për të përcaktuar llojin e përmbajtjes duke analizuar të dhënat e pranishme në skedar. Magika mund të identifikojë saktësisht gjuhët e programimit që përdoren në përmbajtje, metodat e kompresimit, paketat instalues, kodin e ekzekutueshëm, format e shkrimit, formateve të zërit, videos, dokumenteve dhe figurave. Mjetet e lidhura me projektin dhe modeli i gatshëm i mësimit të makinerisë janë publikuar nën licencën Apache 2.0.
Dallimi nga projektet e ngjashme që përcaktojnë tipin MIME sipas përmbajtjes, Magika karakterizohet nga përdorimi i metodave të mësimit të makinerisë, performancës së lartë dhe saktësisë së shkëlqyer të identifikimit. Modeli është trajnuar duke përdorur kuadrin Keras me 25 milion shembuj skedarësh dhe mbështet njohjen e 116 llojeve të të dhënave me saktësi prej të paktën 99%. Modeli është kompozuar në formatin ONNX dhe ka një madhësi prej vetëm 1 MB. Përdorimi i metodave të thelluara të mësimit të makinerisë ka lejuar një rritje prej 50% të saktësisë së identifikimit krahasuar me sistemin e mëparshëm të Google të bazuar në rregullat e përcaktuara manualisht.
NĂ« Google, sistemi pĂ«rdoret pĂ«r klasifikimin e skedarĂ«ve nĂ« shĂ«rbimet Gmail, Drive, Code Insight dhe Safe Browsing gjatĂ« kontrollit tĂ« sigurisĂ« dhe pĂ«rputhjes me rregullat e shĂ«rbimeve. ĂshtĂ« duke u punuar pĂ«r integrimin e Magika nĂ« platformĂ«n VirusTotal si njĂ« lidhje pĂ«r filtrimin fillestar tĂ« skedarĂ«ve para se tĂ« kryhen analizat specifike. Konfigurimi i implementuar nĂ« infrastrukturĂ«n e Google siguron skanimin e disa milion skedarĂ«ve nĂ« sekondĂ« dhe disa qindra miliardĂ« skedarĂ«ve nĂ« javĂ«. Pas ngarkimit tĂ« modelit, koha e formimit tĂ« daljes Ă«shtĂ« 5-6 ms gjatĂ« testimit nĂ« njĂ« bĂ«rthamĂ« CPU. Koha e identifikimit nuk varet pothuajse aspak nga madhĂ«sia e skedarit.
Për të përdorur Magika në projektet tuaja, janë përgatitur një utilitar i linjës komandues, një paketë për Python dhe një bibliotekë JavaScript që mund të funksionojë në shfletues ose në projekte në bazë të Node.js. Ndërfaqja e linjës komandues dhe API mbështesin kryerjen e operacioneve në mënyrë të paketuar, dmth ju lejon të kontrolloni disa skedarë me një kërkesë. Ka një mod të skanimit recursiv të të gjithë përmbajteve të katalogut dhe tre modet e parashikimit për të personalizuar qëndrueshmërinë ndaj gabimeve (siguri e lartë, siguri e mesme dhe parashikimi më i mirë).
Burimi: opennet.ru
