Kompania Google njoftoi hapjen e kodit të projektit Magika, i cili është krijuar për të përcaktuar llojin e përmbajtjes në bazë të analizës së të dhënave të pranishme në skedar. Magika mund të përcaktojë me saktësi gjuhët e programimit të përdorura në përmbajtje, metodat e kompresimit, paketat instalimi, kodin ekzekutues, llojet e markup-it, formatet e zërit, videove, dokumenteve dhe imazheve. Veglat e lidhura me projektin dhe modeli i gatshëm i mësimit të makinerive janë publikuar nën licencën Apache 2.0.
Nga projektet e ngjashme që përcaktojnë MIME-tipin sipas përmbajtjes, Magika dallohet për aplikimin e metodave të mësimit të makinerive, performancën e lartë dhe saktësinë të shkëlqyer të përcaktimit. Modeli është trajnuar duke përdorur kornizën Keras me 25 milion shembuj skedari dhe mbështet njohjen e 116 llojeve të të dhënave me një saktësi prej jo më pak se 99%. Modeli është kompaktuar në formatin ONNX dhe ka një madhësi prej vetëm 1 MB. Përdorimi i metodave të thella të mësimit të makinerive ka lejuar një rritje të saktësisë së përcaktimit me 50% krahasuar me sistemin e mëparshëm të përdorur nga Google i bazuar në rregulla të caktuara manualisht.
Në Google, sistemi përdoret për klasifikimin e skedarëve në shërbimet Gmail, Drive, Code Insight dhe Safe Browsing gjatë kryerjes së kontrolleve të sigurisë dhe përputhjes me rregullat e shërbimeve. Po punohet për integrimin e Magika në platformën VirusTotal si një nyje për filtrimin fillestar të skedarëve para kryerjes së analizave specifike. Konfigurimi i zhvilluar në infrastrukturën e Google siguron skanimin e disa milion skedarëve në sekondë dhe disa qindra miliard skedarëve në javë. Pas ngarkimit të modelit, koha e formimit të daljes është 5-6 ms kur testohet në një bërthamë CPU. Koha e përcaktimit pothuajse nuk varet nga madhësia e skedarit.
Për të angazhuar Magika në projektet e saj janë përgatitur një mjet me komandë, një paketë për Python dhe një bibliotekë JavaScript, e cila mund të funksionojë në shfletues ose në projekte të bazuara në Node.js. Interfata e komandës dhe API mbështesin ekzekutimin e operacioneve në mënyrë grupore, që do të thotë se lejojnë kontrollimin e disa skedarëve me një kërkesë të vetme. Ka një mënyrë të skanimit rekurziv të tërë përmbajtjes së katalogut dhe tri mënyra parashikimi për të rregulluar qëndrueshmërinë ndaj gabimeve (siguri e lartë, siguri e mesme dhe më e mira supozim).
Burimi: opennet.ru
