{"id":170618,"date":"2026-05-11T18:24:52","date_gmt":"2026-05-11T16:24:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/openzl-0-2-0"},"modified":"2026-05-11T18:24:52","modified_gmt":"2026-05-11T16:24:53","slug":"openzl-0-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/news\/openzl-0-2-0","title":{"rendered":"OpenZL 0.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"OpenZL <\/a> \"OpenZL <\/a> <\/a><\/noindex> <\/a> <\/p>\n

Nach sieben Monaten Entwicklung wurde das Framework 0.2.0 ver\u00f6ffentlicht OpenZL<\/a>, das f\u00fcr die Erstellung verlustfreier Datenkompressoren gedacht ist.<\/p>\n

<\/noindex> <\/p>\n

Das Framework besteht aus einer grundlegenden Bibliothek und Werkzeugen zur Erstellung spezialisierter Kompressoren, die in der Sprache SDDL<\/a>.
beschrieben sind. Um einen guten spezialisierten Kompressor zu erstellen, gibt es zwei Phasen:<\/p>\n

    \n
  1. Datenanalyse zur Extraktion der Struktur.<\/li>\n
  2. Einsatz guter Backend-Kompressoren, die die erhaltene Struktur zur Erreichung einer guten Kompression nutzen.<\/li>\n<\/ol>\n

    OpenZL bietet Werkzeuge f\u00fcr beide Phasen.<\/p>\n

    Das Projekt ist in C und C++ geschrieben und wird unter der BSD-Lizenz verbreitet.<\/p>\n

    Wesentliche \u00c4nderungen<\/h5>\n

    SDDL2<\/strong><\/p>\n

    SDDL wurde von Grund auf neu \u00fcberarbeitet, um die festgelegten Designziele zu erreichen. W\u00e4hrend die urspr\u00fcngliche Demoversion eine vereinfachte Ausf\u00fchrungsumgebung darstellte, ist SDDL2 ein vollwertiger Compiler: Der Parser \u00fcbergibt die Daten an den semantischen Analyzer, der wiederum den typisierten abstrakten Syntaxbaum (AST) an den Optimierer weiterleitet, und der Optimierer steuert den Codegenerator, der die Bytecode der virtuellen Maschine generiert.<\/p>\n

    Das entscheidende Ergebnis ist die sofortige Syntaxanalyse. Wenn der Standort eines Eintrags ausschlie\u00dflich anhand von Parametern und Konstanten bestimmt werden kann, springt die Engine direkt zu jedem Feld, ohne vorhergehende Bytes zu scannen, was einen zugriffsfreien Zugriff und eine Bandbreite von mehreren GB\/s erm\u00f6glicht.<\/p>\n

    Die Sprache hat sich zusammen mit dem Werkzeugset weiterentwickelt. Jetzt unterst\u00fctzt sie 'when'-Bl\u00f6cke f\u00fcr bedingte Positionierungen, parametrisierte und anonyme Eintr\u00e4ge, den Zugriff auf Mitglieder von Eintragsfeldern sowie bitweise und logische Operatoren.<\/p>\n

    Was die Benutzerfreundlichkeit f\u00fcr Entwickler betrifft, so erkennt die Phase der semantischen Analyse jetzt unbestimmte Verweise, Typinkonsistenzen und Arity-Fehler bereits w\u00e4hrend der Kompilierung \u2013 mit Angabe des Standorts im Quellcode \u2013 und nicht zur Laufzeit. Zudem wurde eine Erweiterung f\u00fcr VS Code ver\u00f6ffentlicht, die die Syntax von .sddl-Dateien hervorhebt.<\/p>\n

    Der neue integrierte LZ-Codec<\/strong><\/p>\n

    In OpenZL ist jetzt der eigene LZ-Codec integriert, der in Form von ZL_GRAPH_LZ sowie einem Profil f\u00fcr die sequenzielle Kompression in der zli-Utility dargestellt ist. Die Arbeit an dem Codec wird fortgesetzt: Es erfolgt eine Erweiterung der Funktionalit\u00e4ten und eine Leistungssteigerung bei der Verarbeitung kleinerer Eingangsdaten. Momentan unterst\u00fctzt er eine Funktionalit\u00e4t, die dem zstd Level 1 entspricht, mit einer Kompressionsfenstergr\u00f6\u00dfe von 64 KB.<\/p>\n

    <\/p>\n

    OpenZL erm\u00f6glicht es, jede Phase des LZ-Pipelines neu zu gestalten, um die Geschwindigkeit zu erh\u00f6hen. Seine graphbasierte Architektur erlaubt auch die Kombination von Phasen der Entropiecodierung, anstatt einen einheitlichen Pipeline zu verwenden, der f\u00fcr alle Anwendungsf\u00e4lle gleich gut geeignet ist. Mehrere Phasen k\u00f6nnen dann in einem einzigen Vorgang zusammengefasst werden, um die Bearbeitungsgeschwindigkeit zu steigern. Dadurch kann OpenZL eine um 10 % h\u00f6here Kompressionsgeschwindigkeit und eine um 70 % h\u00f6here Dekompressionsgeschwindigkeit im Vergleich zu Zstandard Level 1 auf dem Silesia-Benchmark in unseren Tests<\/a>:<\/p>\n

    <\/noindex> <\/p>\n\n\n\n\n\n\n\n
    Kompressor<\/strong><\/th>\nKompressionsverh\u00e4ltnis<\/strong><\/th>\nKompressionsgeschwindigkeit<\/strong><\/th>\nDekompressionsgeschwindigkeit<\/strong><\/th>\n<\/tr>\n<\/thead>\n
    OpenZL LZ Level 1<\/td>\n2.74<\/td>\n466 MB\/s<\/td>\n2288 MB\/s<\/td>\n<\/tr>\n
    Zstd Level 1 mit 64K Fenstergr\u00f6\u00dfe<\/td>\n2.74<\/td>\n419 MB\/s<\/td>\n1254 MB\/s<\/td>\n<\/tr>\n
    Zstd Level 1<\/td>\n2.89<\/td>\n424 MB\/s<\/td>\n1345 MB\/s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

    Unterst\u00fctzung f\u00fcr sehr gro\u00dfe Eingangsdaten<\/strong><\/p>\n

    zli unterst\u00fctzt jetzt die Verarbeitung enormer Eingabedaten (im Umfang von mehreren Gigabyte). Vor der Komprimierung werden solche Daten automatisch in handhabbare Fragmente aufgeteilt (standardm\u00e4\u00dfig etwa 16 MB), was den Speicherbedarf begrenzt, die Lokalit\u00e4t der Daten verbessert und die M\u00f6glichkeit f\u00fcr parallele Verarbeitung er\u00f6ffnet. In SDDL2 wurde eine \u00e4hnliche Funktion zum automatischen Fragmentieren beim Arbeiten mit Schemata implementiert. Neue oder aktualisierte Segmentierer wurden f\u00fcr CSV, Parquet und Standard-Zahlen-Daten erstellt, und alle Segmentierer sind jetzt serialisierbar und konfigurierbar, sodass die gew\u00e4hlte Konfiguration im Kompressor gespeichert und sp\u00e4ter wiederverwendet werden kann.<\/p>\n

    Dies wird w\u00e4hrend der Kompression transparent angewendet. Beachten Sie, dass die Lernpipeline anders ist und unber\u00fchrt bleibt, sodass sie nicht f\u00fcr die Annahme riesiger Eingangsdaten als Trainingsmaterial gedacht ist.<\/p>\n

    Verbesserungen im Online-Graph-Visualizer (es auszuprobieren<\/a>)<\/strong>
    Jetzt erkennt der Visualizer die Kompressions- und Dekompressionstraces von Anfang bis Ende.<\/p>\n

    Das Vorschaufenster erm\u00f6glicht es, die tats\u00e4chlich \u00fcber jede Kante flie\u00dfenden Bytes zu sehen, und dank der Steuerungselemente zum Trimmen bleiben selbst gro\u00dfe Streams handhabbar.<\/p>\n

    Das Einstellungsfeld vereint alle Anzeigeoptionen an einem Ort, w\u00e4hrend ein umfassender Satz von Tastenkombinationen \u2013 Navigation in Richtung, geordneter Durchlauf, Ausklappen und Einklappen, Auswahl von Knoten \u2013 es erm\u00f6glicht, das Tool bequem ohne Maus zu nutzen.<\/p>\n

    Jetzt haben Trace-Protokolle Versionen, die Blockkompression wird korrekt angezeigt, und zli kann endlich mit den neuen Flags \u2014trace und \u2014trace-streams-dir eigene Traces generieren.<\/p>\n

    Verschiedenes<\/strong><\/p>\n