{"id":170618,"date":"2026-05-11T18:24:52","date_gmt":"2026-05-11T16:24:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/openzl-0-2-0"},"modified":"2026-05-11T18:24:52","modified_gmt":"2026-05-11T16:24:53","slug":"openzl-0-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/openzl-0-2-0","title":{"rendered":"OpenZL 0.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"OpenZL <\/a> \"OpenZL <\/a> <\/a><\/noindex> <\/a> <\/p>\n

Nach sieben Monaten Entwicklung wurde die Version 0.2.0 des Frameworks ver\u00f6ffentlicht OpenZL<\/a>, das zur Erstellung verlustfreier Datenkompressoren gedacht ist.<\/p>\n

<\/noindex> <\/p>\n

Das Framework besteht aus einer Basisbibliothek und Werkzeugen zur Erstellung spezialisierter Kompressoren, die in der Sprache SDDL<\/a>.
beschrieben sind. Um einen guten spezialisierten Kompressor zu erstellen, gibt es zwei Schritte:<\/p>\n

    \n
  1. Analyse der Daten zur Extraktion der Struktur.<\/li>\n
  2. Einsatz guter Backend-Kompressoren, die die gewonnene Struktur nutzen, um eine gute Kompression zu erreichen.<\/li>\n<\/ol>\n

    OpenZL bietet Werkzeuge f\u00fcr beide Schritte an.<\/p>\n

    Das Projekt ist in C und C++ geschrieben und wird unter der BSD-Lizenz verteilt.<\/p>\n

    Wesentliche \u00c4nderungen<\/h5>\n

    SDDL2<\/strong><\/p>\n

    SDDL wurde von Grund auf neu \u00fcberarbeitet, um die festgelegten Designziele zu erreichen. W\u00e4hrend die urspr\u00fcngliche Demoversion eine vereinfachte Ausf\u00fchrungsumgebung darstellte, ist SDDL2 \u2013 ein vollwertiger Compiler: Der Parser \u00fcbergibt Daten an den semantischen Analyzer, dieser gibt dann den typisierten abstrakten Syntaxbaum (AST) an den Optimierer weiter, und der Optimierer steuert den Codegenerator, der den Bytecode der virtuellen Maschine generiert.<\/p>\n

    Das zentrale Ergebnis ist die sofortige syntaktische Analyse. Wenn der Speicherort eines Datensatzes ausschlie\u00dflich durch Parameter und Konstanten vollst\u00e4ndig bestimmt werden kann, springt die Engine direkt zu einem beliebigen Feld, ohne die vorhergehenden Bytes zu scannen, was (Copy-Free) Zugriff und Bandbreiten von mehreren GB\/s erm\u00f6glicht.<\/p>\n

    Die Sprache hat sich zusammen mit dem Toolsatz weiterentwickelt. Jetzt unterst\u00fctzt sie 'when'-Bl\u00f6cke f\u00fcr bedingte Platzierungen, parametrische und anonyme Datens\u00e4tze, den Zugriff auf Mitglieder der Datensatzfelder sowie bitweise und logische Operatoren.<\/p>\n

    Was die Benutzerfreundlichkeit f\u00fcr Entwickler betrifft, so erkennt der semantische Analyseprozess nun unbestimmte Verweise, Typunvertr\u00e4glichkeiten und Arity-Fehler bereits zur Kompilierzeit \u2013 mit Angabe des Standorts im Quellcode \u2013 und nicht erst zur Laufzeit. Au\u00dferdem wurde eine VS Code-Erweiterung zur Hervorhebung der Syntax von .sddl-Dateien ver\u00f6ffentlicht.<\/p>\n

    Der neue integrierte LZ-Codec<\/strong><\/p>\n

    Bei OpenZL ist jetzt der eigene LZ-Codec integriert, pr\u00e4sentiert als ZL_GRAPH_LZ, sowie ein Profil zur sequentiellen Kompression in der zli-Anwendung. Die Arbeit am Codec geht weiter: Es wird an der Erweiterung der Funktionalit\u00e4ten und der Steigerung der Leistung bei der Verarbeitung kleiner Eingabedaten gearbeitet. Derzeit unterst\u00fctzt er Funktionen, die \u00e4quivalent zu zstd Level 1 sind, mit einer Kompressionsfenstergr\u00f6\u00dfe von 64 KB.<\/p>\n

    <\/p>\n

    OpenZL erm\u00f6glicht die Neugestaltung jeder Phase des LZ-Pipelines zur Geschwindigkeitssteigerung. Seine graphenbasierte Architektur erlaubt zudem die Kombination von Phasen des Entropie-Codierens, anstatt eine einzige Pipeline zu nutzen, die f\u00fcr alle Anwendungsf\u00e4lle gleicherma\u00dfen geeignet ist. Mehrere Phasen k\u00f6nnen dann zu einem einzigen Vorgang zusammengefasst werden, um die Verarbeitungsgeschwindigkeit zu erh\u00f6hen. Dies erm\u00f6glicht OpenZL eine um 10% h\u00f6here Kompressionsgeschwindigkeit und eine um 70% h\u00f6here Dekompressionsgeschwindigkeit im Vergleich zu Zstandard Level 1 beim Silesia-Geh\u00e4use in unseren Tests<\/a>:<\/p>\n

    <\/noindex> <\/p>\n\n\n\n\n\n\n\n
    Kompressor<\/strong><\/th>\nKompressionsverh\u00e4ltnis<\/strong><\/th>\nKompressionsgeschwindigkeit<\/strong><\/th>\nDekompressionsgeschwindigkeit<\/strong><\/th>\n<\/tr>\n<\/thead>\n
    OpenZL LZ Level 1<\/td>\n2.74<\/td>\n466 MB\/s<\/td>\n2288 MB\/s<\/td>\n<\/tr>\n
    Zstd Level 1 mit 64K Fenstergr\u00f6\u00dfe<\/td>\n2.74<\/td>\n419 MB\/s<\/td>\n1254 MB\/s<\/td>\n<\/tr>\n
    Zstd Level 1<\/td>\n2.89<\/td>\n424 MB\/s<\/td>\n1345 MB\/s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

    Unterst\u00fctzung sehr gro\u00dfer Eingabedaten<\/strong><\/p>\n

    zli unterst\u00fctzt jetzt die Verarbeitung gro\u00dfer Eingabedatenmengen (in der Gr\u00f6\u00dfenordnung mehrerer Gigabyte). Vor der Kompression werden diese Daten jetzt automatisch in handhabbare Fragmente (standardm\u00e4\u00dfig etwa 16 MB) aufgeteilt, was die Speichernutzung begrenzt, die Datenlokalit\u00e4t verbessert und die M\u00f6glichkeit f\u00fcr parallele Verarbeitung er\u00f6ffnet. In SDDL2 wurde eine \u00e4hnliche Funktion zur automatischen Fragmentierung bei der Arbeit mit dem Schema implementiert. Dabei wurden neue oder aktualisierte Segmentierer f\u00fcr CSV, Parquet und Standardzahlen erstellt, und alle Segmentierer sind jetzt serialisierbar und konfigurierbar, sodass die gew\u00e4hlte Anordnung im Kompressor gespeichert und sp\u00e4ter erneut verwendet werden kann.<\/p>\n

    Dies wird transparent w\u00e4hrend der Kompression angewendet. Bitte beachten Sie, dass der Trainingspipeline unver\u00e4ndert bleibt, daher ist sie nicht f\u00fcr die Verarbeitung riesiger Eingabedaten als Trainingsmaterial vorgesehen.<\/p>\n

    Verbesserungen im Online-Diagrammvisualisierer (es zu versuchen<\/a>)<\/strong>
    Der Visualisierer erkennt jetzt die Kompressions- und Dekompressionstraces von Anfang bis Ende.<\/p>\n

    Das Vorschaufenster des Streams erm\u00f6glicht die Einsicht in die Byte-Daten, die tats\u00e4chlich \u00fcber jede Kante flie\u00dfen, und dank der Trimmsteuerungen bleibt selbst bei gro\u00dfen Streams die Bedienung komfortabel.<\/p>\n

    Das Einstellungsmen\u00fc vereint alle Anzeigeoptionen an einem Ort, und die vollst\u00e4ndige Reihe von Tastenkombinationen \u2013 Navigation in verschiedene Richtungen, geordnete Durchquerung, Ausklappen und Minimieren, Auswahl von Knoten \u2013 erm\u00f6glicht eine komfortable Bedienung des Tools ohne Maus.<\/p>\n

    Jetzt haben die Tracebacks Versionen, die Blockkompression wird korrekt angezeigt, und zli kann endlich eigene Tracebacks mit den neuen Flags \u2014trace und \u2014trace-streams-dir generieren.<\/p>\n

    Verschiedenes<\/strong><\/p>\n