{"id":170618,"date":"2026-05-11T18:24:52","date_gmt":"2026-05-11T16:24:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/openzl-0-2-0"},"modified":"2026-05-11T18:24:52","modified_gmt":"2026-05-11T16:24:53","slug":"openzl-0-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/news\/openzl-0-2-0","title":{"rendered":"OpenZL 0.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"OpenZL <\/a> \"OpenZL <\/a> <\/a><\/noindex> <\/a> <\/p>\n

Na zeven maanden ontwikkeling is versie 0.2.0 van het framework uitgebracht OpenZL<\/a>, bedoeld voor het maken van verliesvrije datacompressors.<\/p>\n

<\/noindex> <\/p>\n

Het framework bestaat uit een basisbibliotheek en tools voor het maken van gespecialiseerde compressors, beschreven in de taal SDDL<\/a>.
Om een goede gespecialiseerde compressor te maken, zijn er twee stappen:<\/p>\n

    \n
  1. Data-analyse voor het extraheren van structuren.<\/li>\n
  2. Het gebruik van goede backend-compressors, die de verkregen structuur gebruiken voor een goede compressie.<\/li>\n<\/ol>\n

    OpenZL biedt tools voor beide stappen.<\/p>\n

    Het project is geschreven in de talen C en C++ en wordt verspreid onder de BSD-licentie.<\/p>\n

    Belangrijkste wijzigingen<\/h5>\n

    SDDL2<\/strong><\/p>\n

    SDDL is completely redesigned from the ground up to achieve its design goals. While the initial demo version offered a simplified runtime environment, SDDL2 is a full-fledged compiler: the parser passes data to the semantic analyzer, which in turn passes a typed abstract syntax tree (AST) to the optimizer, and the optimizer controls the code generator that produces bytecode for the virtual machine.<\/p>\n

    Een belangrijk resultaat is onmiddellijke syntactische analyse. Wanneer de locatie van een record alleen volledig kan worden bepaald op basis van parameters en constanten, kan de engine direct naar elk veld gaan zonder voorafgaande bytes te scannen, wat on-copy toegang en doorvoersnelheden van meerdere GB\/s biedt.<\/p>\n

    De taal zelf is mee ge\u00ebvolueerd met de set tools. Nu ondersteunt het when-blokken voor voorwaardelijke locaties, geparametriseerde en anonieme records, toegang tot veldleden van records, alsook bitwise en logische operatoren.<\/p>\n

    Regarding developer convenience, the semantic analysis phase now identifies undefined references, type mismatches, and arity errors at compile time\u2014with location details in the source code\u2014rather than at runtime, and a VS Code extension has been released for syntax highlighting of .sddl files.<\/p>\n

    Nieuwe ingebouwde codec LZ<\/strong><\/p>\n

    In OpenZL is nu de eigen LZ-codec opgenomen, gepresenteerd als ZL_GRAPH_LZ, evenals een profiel voor sequenti\u00eble compressie in de zli-tool. Het werk aan de codec gaat door: er wordt gewerkt aan het uitbreiden van de functionaliteit en het verbeteren van de prestaties bij het verwerken van kleine invoergegevens. Tot nu toe ondersteunt het functionaliteit die gelijkwaardig is aan zstd niveau 1, met een compressies venstergrootte van 64 KB.<\/p>\n

    <\/p>\n

    OpenZL biedt de mogelijkheid om elke fase van de LZ-pijplijn opnieuw te ontwerpen om de snelheid te verhogen. De grafische architectuur maakt ook het combineren van entropiecoderingstappen mogelijk, in plaats van een enkele pijplijn te gebruiken die voor alle gebruiksscenario's even goed geschikt is. Meerdere stappen kunnen vervolgens in \u00e9\u00e9n bewerking worden samengevoegd voor een snellere verwerking. Dit stelt OpenZL in staat om 10% hogere compressiesnelheid en 70% hogere decompressiesnelheid te bieden in vergelijking met Zstandard niveau 1 op de Silesia-korpus in onze tests<\/a>:<\/p>\n

    <\/noindex> <\/p>\n\n\n\n\n\n\n\n
    Compressor<\/strong><\/th>\nCompressieverhouding<\/strong><\/th>\nCompressiesnelheid<\/strong><\/th>\nDecompressiesnelheid<\/strong><\/th>\n<\/tr>\n<\/thead>\n
    OpenZL LZ niveau 1<\/td>\n2.74<\/td>\n466 MB\/s<\/td>\n2288 MB\/s<\/td>\n<\/tr>\n
    Zstd niveau 1 met 64K venstergrootte<\/td>\n2.74<\/td>\n419 MB\/s<\/td>\n1254 MB\/s<\/td>\n<\/tr>\n
    Zstd niveau 1<\/td>\n2.89<\/td>\n424 MB\/s<\/td>\n1345 MB\/s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

    Ondersteuning voor zeer grote invoergegevens<\/strong><\/p>\n

    zli now supports the processing of huge input data sets (several gigabytes in size). Before compression, such data is automatically split into managed-size chunks (defaulting to about 16MB), which helps limit memory usage, improves data locality, and opens up possibilities for parallel processing. SDDL2 implements a similar automatic chunking feature when operating in a scheme. During this process, new segmenters were created or updated\u2014for CSV, Parquet, and standard numerical data\u2014and all segmenters are now serializable and configurable, so that the selected layout can be saved in the compressor and reused later.<\/p>\n

    Dit wordt transparant toegepast tijdens de compressie. Let op, de leerpijplijn is anders en blijft onaangeroerd, dus deze is niet bedoeld voor het ontvangen van gigantische invoergegevens als leermateriaal.<\/p>\n

    Verbeteringen in de online grafvisualisator (proberen<\/a>)<\/strong>
    De visualisator herkent nu compressie- en decompressietrails van begin tot eind.<\/p>\n

    De voorvertoningspaneel van de stream maakt het mogelijk om de bytes te bekijken die daadwerkelijk door elke rand gaan, en dankzij de snij-instellingen blijven zelfs grote streams gemakkelijk te hanteren.<\/p>\n

    The settings panel consolidates all display options in one place, and the complete set of keyboard shortcuts\u2014navigation directions, ordered traversal, expanding and collapsing, node selection\u2014allows for easy work with the tool without a mouse.<\/p>\n

    Tracebacks now have versions, block-compressed displays correctly, and zli can finally generate its own tracebacks with new flags \u2014trace and \u2014trace-streams-dir.<\/p>\n

    Diversen<\/strong><\/p>\n