{"id":144566,"date":"2025-10-09T17:11:54","date_gmt":"2025-10-09T15:11:56","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/sistema-szhatiya-openzl-operezhayushhaya-zstd-i-xz-po-skorosti-i-urovnyu-szhatiya-strukturirovannyh-dannyh"},"modified":"2025-10-09T17:11:54","modified_gmt":"2025-10-09T15:11:56","slug":"sistema-szhatiya-openzl-operezhayushhaya-zstd-i-xz-po-skorosti-i-urovnyu-szhatiya-strukturirovannyh-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/sistema-szhatiya-openzl-operezhayushhaya-zstd-i-xz-po-skorosti-i-urovnyu-szhatiya-strukturirovannyh-dannyh","title":{"rendered":"Das OpenZL-Kompressionssystem \u00fcbertrifft Zstd und XZ hinsichtlich Geschwindigkeit und Kompressionsrate von strukturierten Daten.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Das Unternehmen Meta* hat ein Toolset zur Kompression und Dekompression von Daten namens OpenZL vorgestellt, das im Vergleich zu den Formaten Zstd und XZ eine h\u00f6here Kompressionsrate und Geschwindigkeit demonstriert. OpenZL wurde entwickelt, um strukturierte Datens\u00e4tze effizient zu komprimieren, die beispielsweise im maschinellen Lernen verwendet werden, sowie f\u00fcr Speicher, die Felder mit verschiedenen sich wiederholenden Informationsarten enthalten. Der Code von OpenZL ist in C\/C++ geschrieben und steht unter der BSD-Lizenz. <\/p>\n

Beim Komprimieren einer Datenbank mit dem astronomischen Katalog der Sterne SAO erm\u00f6glichte das OpenZL-Tool, die Datenmenge um das 2,06-fache zu reduzieren, w\u00e4hrend der zstd-Algorithmus die Informationen um das 1,31-fache komprimierte und XZ um das 1,64-fache. In Bezug auf die Komprimierungsgeschwindigkeit \u00fcbertraf OpenZL zstd um das Doppelte (203 MB\/s gegen\u00fcber 115 MB\/s) und XZ um das 65-fache (203 MB\/s gegen\u00fcber 3,1 MB\/s). Die Dekomprimierung mit OpenZL war geringf\u00fcgig langsamer als bei zstd (822 MB\/s gegen\u00fcber 890 MB\/s) und 27-mal schneller als bei XZ.

\"Das<\/center> <\/p>\n

OpenZL ist kein universeller Algorithmus und zeigt nur bei Daten mit vordefinierter Struktur gute Ergebnisse. Die Funktionsweise von OpenZL basiert auf der adaptiven Generierung eines Packers auf Grundlage der \u00fcbergebenen Datenbeschreibung. Infolgedessen wird ein f\u00fcr das spezifische Datenformat optimierter Kompressionscode erstellt. F\u00fcr die Dekompression kommt ein universeller Dekompressor zum Einsatz, der mit allen generierten Packern kompatibel ist. <\/p>\n

Das Packen und Entpacken erfolgt mit einem einzigen Tool namens \u201ezli\u201c oder der Bibliothek libopenzl. Die Datenstruktur wird in Form von Profilen beschrieben. Bereits enthalten ist eine Reihe vordefinierter Profile, die g\u00e4ngige Speicherformate beschreiben. Zum Beispiel ein Profil f\u00fcr das CSV-Format oder Daten, die in Form eines Arrays aus 64-Bit-Zahlen gespeichert sind. Die Komprimierung erfolgt durch die Auswahl eines Profils mit dem Befehl \u201ezli list-profiles\u201c und dem Start des Packungsprozesses mit dem Befehl \u201ezli compress --profile profil_name\u201c. Zum Entpacken gen\u00fcgt es, \u201ezli decompress\u201c auszuf\u00fchren. <\/p>\n

F\u00fcr spezifische Formate muss ein eigenes Profil erstellt werden, indem der Befehl \u201ezli train\u201c verwendet wird, der Muster in den Daten erkennt und ein Profil mit optimalem Komprimierungsgrad erstellt. Mit der Option \u201e--pareto-frontier\u201c kann das erstellte Profil in Richtung einer schnelleren Verpackung oder Dekomprimierung modernisiert werden, auf Kosten einer geringeren Komprimierungsrate. Zum Beschreiben komplexer Formate mit verschachtelten Strukturen und zur Definition der Anordnung von Datenformaten in Strukturen kann die Sprache SDDL (Simple Data Description Language) verwendet werden. <\/p>\n

Die Methode zur Erstellung optimaler Kompressor basiert auf der Verwendung einer Reihe primitiver Codierer, von denen jeder f\u00fcr bestimmte Datentypen und -folgen am effektivsten ist. F\u00fcr die Komprimierung wird ein gerichteter azyklischer Graph zur Datenverarbeitung gebildet, dessen Knoten die Codecs und dessen Kanten die Variationen der im verarbeiteten Format enthaltenen Daten sind. Abh\u00e4ngig vom eingehenden Datentyp wird eine Reihe von Codecs ausgew\u00e4hlt, die das eingehende Datenelement optimal komprimieren. Bei dieser Organisation wird der Dateikopf von einem Codec komprimiert, das Feld mit ganzzahligen Daten von einem zweiten, das Feld mit dem inkrementierenden Z\u00e4hler von einem dritten und das Feld mit den Zeichenfolgen von einem vierten.

\"Das<\/center>
\n
Quelle: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f Meta* \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043b\u0430 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0439 \u0434\u043b\u044f \u0441\u0436\u0430\u0442\u0438\u044f \u0438 \u0440\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 OpenZL, \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0444\u043e\u0440\u043c\u0430\u0442\u0430\u043c\u0438 Zstd \u0438 XZ \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0449\u0438\u0439 \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0441\u0436\u0430\u0442\u0438\u044f \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b. OpenZL \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d \u0434\u043b\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0441\u0436\u0430\u0442\u0438\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c\u044b\u0445 \u043f\u0440\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0445 \u043f\u043e\u043b\u044f \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044e\u0449\u0438\u043c\u0438\u0441\u044f \u0442\u0438\u043f\u0430\u043c\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u041a\u043e\u0434 OpenZL \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u043d\u0430 C\/C++ \u0438 \u043e\u0442\u043a\u0440\u044b\u0442 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":144567,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-144566","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-novosti-interneta"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Das Kompressionssystem OpenZL \u00fcbertrifft Zstd und XZ in Bezug auf Geschwindigkeit und Kompressionsrate strukturierter Daten | ProHoster","description":"Das Unternehmen Meta* hat ein Toolset zur Kompression und Dekompression von Daten namens OpenZL vorgestellt, das im Vergleich zu den Formaten Zstd und XZ eine h\u00f6here Kompressionsrate und Geschwindigkeit demonstriert. OpenZL wurde entwickelt, um strukturierte Datens\u00e4tze effizient zu komprimieren, die beispielsweise im maschinellen Lernen verwendet werden, sowie f\u00fcr Speicher, die Felder mit verschiedenen sich wiederholenden Informationsarten enthalten. Der Code von OpenZL ist in C\/C++ geschrieben und steht offen.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/sistema-szhatiya-openzl-operezhayushhaya-zstd-i-xz-po-skorosti-i-urovnyu-szhatiya-strukturirovannyh-dannyh","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0421\u0438\u0441\u0442\u0435\u043c\u0430 \u0441\u0436\u0430\u0442\u0438\u044f OpenZL, \u043e\u043f\u0435\u0440\u0435\u0436\u0430\u044e\u0449\u0430\u044f Zstd \u0438 XZ \u043f\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0438 \u0443\u0440\u043e\u0432\u043d\u044e \u0441\u0436\u0430\u0442\u0438\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 | ProHoster","og:description":"\u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f Meta* \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043b\u0430 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0439 \u0434\u043b\u044f \u0441\u0436\u0430\u0442\u0438\u044f \u0438 \u0440\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 OpenZL, \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0444\u043e\u0440\u043c\u0430\u0442\u0430\u043c\u0438 Zstd \u0438 XZ \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0449\u0438\u0439 \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0441\u0436\u0430\u0442\u0438\u044f \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b. OpenZL \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d \u0434\u043b\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0441\u0436\u0430\u0442\u0438\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c\u044b\u0445 \u043f\u0440\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0445 \u043f\u043e\u043b\u044f \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044e\u0449\u0438\u043c\u0438\u0441\u044f \u0442\u0438\u043f\u0430\u043c\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u041a\u043e\u0434 OpenZL \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u043d\u0430 C\/C++ \u0438 \u043e\u0442\u043a\u0440\u044b\u0442","og:url":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/sistema-szhatiya-openzl-operezhayushhaya-zstd-i-xz-po-skorosti-i-urovnyu-szhatiya-strukturirovannyh-dannyh","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2025-10-09T15:11:56+00:00","article:modified_time":"2025-10-09T15:11:56+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"144566","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":"default","schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-23 15:15:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2026-01-23 15:15:19","updated":"2026-01-23 15:15:19"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/144566","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=144566"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/144566\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/144567"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=144566"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=144566"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=144566"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}