{"id":147635,"date":"2025-11-07T17:12:02","date_gmt":"2025-11-07T15:12:02","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/google-opublikoval-magika-1-0-instrumentarij-dlya-opredeleniya-tipa-soderzhimogo-fajlov"},"modified":"2026-02-26T20:20:26","modified_gmt":"2026-02-26T18:20:26","slug":"google-opublikoval-magika-1-0-instrumentarij-dlya-opredeleniya-tipa-soderzhimogo-fajlov","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/news\/google-opublikoval-magika-1-0-instrumentarij-dlya-opredeleniya-tipa-soderzhimogo-fajlov","title":{"rendered":"Google opublikowa\u0142 Magika 1.0, narz\u0119dzie do okre\u015blania typu zawarto\u015bci plik\u00f3w","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Firma Google zaprezentowa\u0142a wydanie narz\u0119dzia Magika 1.0, kt\u00f3re s\u0142u\u017cy do okre\u015blania rodzaju zawarto\u015bci na podstawie analizy danych znajduj\u0105cych si\u0119 w pliku. Magika potrafi dok\u0142adnie identyfikowa\u0107 u\u017cywane j\u0119zyki programowania, metody kompresji, pakiety instalacyjne, kody wykonywalne, rodzaje znacznik\u00f3w, formaty d\u017awi\u0119ku, wideo, dokument\u00f3w i obraz\u00f3w. Powi\u0105zane z projektem narz\u0119dzie oraz gotowy model uczenia maszynowego s\u0105 dystrybuowane na licencji Apache 2.0. Opracowano interfejsy dla j\u0119zyk\u00f3w Rust, Python, JavaScript\/TypeScript oraz Go. <\/p>\n

W przeciwie\u0144stwie do podobnych projekt\u00f3w, kt\u00f3re okre\u015blaj\u0105 typ MIME na podstawie zawarto\u015bci, Magika wyr\u00f3\u017cnia si\u0119 zastosowaniem metod uczenia maszynowego, wysok\u0105 wydajno\u015bci\u0105<\/a> oraz dok\u0142adno\u015bci\u0105 identyfikacji. Model zosta\u0142 wytrenowany przy u\u017cyciu frameworka Keras na podstawie 100 milion\u00f3w przyk\u0142ad\u00f3w plik\u00f3w (rozmiar zestawu danych przekracza 3 TB) i wspiera rozpoznawanie 200 typ\u00f3w danych z dok\u0142adno\u015bci\u0105 nie mniejsz\u0105 ni\u017c 99%. Model skompilowany jest w formacie ONNX i ma rozmiar zaledwie kilku megabajt\u00f3w. Zastosowanie metod g\u0142\u0119bokiego uczenia maszynowego pozwoli\u0142o na zwi\u0119kszenie dok\u0142adno\u015bci identyfikacji o 50% w por\u00f3wnaniu do wcze\u015bniej stosowanego przez Google systemu opartego na r\u0119cznie okre\u015blonych regu\u0142ach. <\/p>\n

W Google system jest wykorzystywany do klasyfikacji plik\u00f3w w us\u0142ugach Gmail, Drive, Code Insight i Safe Browsing podczas przeprowadzania kontroli bezpiecze\u0144stwa i zgodno\u015bci z zasadami us\u0142ug. Zapewniono integracj\u0119 Magika z platformami VirusTotal i abuse.ch jako elementu wst\u0119pnej filtracji plik\u00f3w przed wykonaniem specyficznych analizator\u00f3w. Rozwini\u0119ta w infrastrukturze Google konfiguracja Magika zapewnia skanowanie kilku milion\u00f3w plik\u00f3w na sekund\u0119 i kilku setek miliard\u00f3w plik\u00f3w tygodniowo. Po za\u0142adowaniu modelu czas generowania wyniku wynosi 5 ms przy testach na jednym rdzeniu CPU. Czas identyfikacji prawie nie zale\u017cy od rozmiaru pliku. <\/p>\n

Aby wykorzysta\u0107 Magika w swoich projektach, przygotowano narz\u0119dzie wiersza polece\u0144, pakiety dla Python, Rust i Go, a tak\u017ce bibliotek\u0119 JavaScript, kt\u00f3ra mo\u017ce dzia\u0142a\u0107 w przegl\u0105darce lub w projektach opartych na Node.js. Interfejs wiersza polece\u0144 i API obs\u0142uguj\u0105 wykonywanie operacji w trybie wsadowym, tj. pozwalaj\u0105 na sprawdzenie kilku plik\u00f3w w jednym \u017c\u0105daniu. Istnieje tryb rekurencyjnego skanowania ca\u0142ej zawarto\u015bci folderu oraz trzy tryby prognozowania dla dostosowania odporno\u015bci na b\u0142\u0119dy (wysoka pewno\u015b\u0107, \u015brednia pewno\u015b\u0107 i najlepsza zgadywanka). <\/p>\n

Pocz\u0105tkowo projekt rozwija\u0142 si\u0119 w j\u0119zyku Python, jednak w trakcie przygotowania wydania 1.0 silnik do okre\u015blania typ\u00f3w tre\u015bci zosta\u0142 przepisany w j\u0119zyku Rust, co umo\u017cliwi\u0142o uzyskanie wy\u017cszej wydajno\u015bci przy zachowaniu odpowiedniego poziomu zabezpiecze\u0144 kodu. Do realizacji modelu uczenia maszynowego wykorzystano framework ONNX Runtime, a do r\u00f3wnoleg\u0142ej asynchronicznej obr\u00f3bki zapyta\u0144 \u2014 bibliotek\u0119 Tokio. Na MacBooku Pro (M4) wydajno\u015b\u0107 silnika pozwala na przetwarzanie oko\u0142o 1000 plik\u00f3w na sekund\u0119. <\/p>\n

Opr\u00f3cz nowego silnika, w zmianach w wersji 1.0 zaznacza si\u0119 zwi\u0119kszenie liczby obs\u0142ugiwanych typ\u00f3w z oko\u0142o 100 do 200; dodanie nowego klienta wiersza polece\u0144, napisanego w Rust; zwi\u0119kszenie dok\u0142adno\u015bci wykrywania format\u00f3w tekstowych, takich jak pliki konfiguracyjne i kod; przerobienie modu\u0142\u00f3w dla Python i TypeScript w celu uproszczenia ich integracji z innymi projektami. W\u015br\u00f3d wspieranych nowych typ\u00f3w zawarto\u015bci znajduj\u0105 si\u0119: formaty stosowane w uczeniu maszynowym i AI; j\u0119zyki programowania Swift, Kotlin, TypeScript, Dart, Solidity (solidity), Web Assembly i Zig; komponenty DevOps (Dockerfiles, TOML, HashiCorp, pliki budowlane Bazel i regu\u0142y YARA); bazy danych SQLite; pliki AutoCAD (dwg, dxf), Adobe Photoshop (psd) i czcionki (woff, woff2). Ulepszono podzia\u0142 kodu na C++ i C, JavaScript i TypeScript.
\n
\u0179r\u00f3d\u0142o: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f Google \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043b\u0430 \u0440\u0435\u043b\u0438\u0437 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f Magika 1.0, \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0442\u0438\u043f\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0433\u043e \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0438\u043c\u0435\u044e\u0449\u0438\u0445\u0441\u044f \u0432 \u0444\u0430\u0439\u043b\u0435 \u0434\u0430\u043d\u043d\u044b\u0445. Magika \u043c\u043e\u0436\u0435\u0442 \u0442\u043e\u0447\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c \u0432 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 \u044f\u0437\u044b\u043a\u0438 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043c\u0435\u0442\u043e\u0434\u044b \u0441\u0436\u0430\u0442\u0438\u044f, \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043e\u0447\u043d\u044b\u0435 \u043f\u0430\u043a\u0435\u0442\u044b, \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u0435\u043c\u044b\u0439 \u043a\u043e\u0434, \u0432\u0438\u0434\u044b \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438, \u0444\u043e\u0440\u043c\u0430\u0442\u044b \u0437\u0432\u0443\u043a\u0430, \u0432\u0438\u0434\u0435\u043e, \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u0421\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0439 \u0441 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u043c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0439 \u0438 \u0433\u043e\u0442\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u044e\u0442\u0441\u044f \u043f\u043e\u0434 \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u0435\u0439 Apache […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-147635","post","type-post","status-publish","format-standard","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Google opublikowa\u0142 Magika 1.0, narz\u0119dzie do okre\u015blania typu zawarto\u015bci plik\u00f3w | ProHoster","description":"Firma Google zaprezentowa\u0142a wydanie narz\u0119dzia Magika 1.0, przeznaczonego do okre\u015blania typu zawarto\u015bci na podstawie analizy danych zawartych w plikach.","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/news\/google-opublikoval-magika-1-0-instrumentarij-dlya-opredeleniya-tipa-soderzhimogo-fajlov","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Google \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b Magika 1.0, \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0439 \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0442\u0438\u043f\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u043e\u0432 | ProHoster","og:description":"\u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f Google \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043b\u0430 \u0440\u0435\u043b\u0438\u0437 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f Magika 1.0, \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0442\u0438\u043f\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0433\u043e \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0438\u043c\u0435\u044e\u0449\u0438\u0445\u0441\u044f \u0432 \u0444\u0430\u0439\u043b\u0435 \u0434\u0430\u043d\u043d\u044b\u0445.","og:url":"https:\/\/prohoster.info\/pl\/blog\/news\/google-opublikoval-magika-1-0-instrumentarij-dlya-opredeleniya-tipa-soderzhimogo-fajlov","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2025-11-07T15:12:02+00:00","article:modified_time":"2026-02-26T18:20:26+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"147635","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":"default","schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-02-26 18:21:29","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2026-01-23 15:49:19","updated":"2026-02-26 18:21:29","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/147635","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=147635"}],"version-history":[{"count":1,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/147635\/revisions"}],"predecessor-version":[{"id":162834,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/147635\/revisions\/162834"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=147635"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=147635"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=147635"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}