{"id":170618,"date":"2026-05-11T18:24:52","date_gmt":"2026-05-11T16:24:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/openzl-0-2-0"},"modified":"2026-05-11T18:24:52","modified_gmt":"2026-05-11T16:24:53","slug":"openzl-0-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/news\/openzl-0-2-0","title":{"rendered":"OpenZL 0.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"OpenZL <\/a> \"OpenZL <\/a> <\/a><\/noindex> <\/a> <\/p>\n

Apr\u00e8s sept mois de d\u00e9veloppement, la version 0.2.0 du framework a \u00e9t\u00e9 publi\u00e9e OpenZL<\/a>, con\u00e7u pour cr\u00e9er des compresseurs de donn\u00e9es sans perte.<\/p>\n

<\/noindex> <\/p>\n

Le framework se compose d'une biblioth\u00e8que de base et d'outils pour cr\u00e9er des compresseurs sp\u00e9cialis\u00e9s, d\u00e9crits dans le langage SDDL<\/a>.
Pour cr\u00e9er un bon compresseur sp\u00e9cialis\u00e9, il y a deux \u00e9tapes :<\/p>\n

    \n
  1. Analyse des donn\u00e9es pour extraire la structure.<\/li>\n
  2. Utilisation de bons compresseurs backend, qui utilisent la structure obtenue pour atteindre une bonne compression.<\/li>\n<\/ol>\n

    OpenZL fournit des outils pour les deux \u00e9tapes.<\/p>\n

    Le projet est \u00e9crit en C et C++ et est distribu\u00e9 sous la licence BSD.<\/p>\n

    Principales modifications<\/h5>\n

    SDDL2<\/strong><\/p>\n

    SDDL a \u00e9t\u00e9 compl\u00e8tement repens\u00e9 depuis le d\u00e9but pour atteindre les objectifs de conception fix\u00e9s. Alors que la premi\u00e8re version d\u00e9mo repr\u00e9sentait un environnement d'ex\u00e9cution simplifi\u00e9, SDDL2 est un v\u00e9ritable compilateur : l'analyseur syntaxique transmet les donn\u00e9es \u00e0 l'analyseur s\u00e9mantique, qui \u00e0 son tour transmet l'arborescence syntaxique abstraite (AST) typ\u00e9e \u00e0 l'optimiseur, et l'optimiseur contr\u00f4le le g\u00e9n\u00e9rateur de code, qui g\u00e9n\u00e8re le bytecode de la machine virtuelle.<\/p>\n

    Le r\u00e9sultat cl\u00e9 est une analyse syntaxique instantan\u00e9e. Lorsque la position d'un enregistrement peut \u00eatre compl\u00e8tement d\u00e9termin\u00e9e uniquement par les param\u00e8tres et les constantes, le moteur acc\u00e8de directement \u00e0 n'importe quel champ, sans scanner les octets pr\u00e9c\u00e9dents, ce qui permet un acc\u00e8s sans copie et une bande passante de plusieurs Go\/s.<\/p>\n

    Le langage lui-m\u00eame a \u00e9volu\u00e9 avec l'ensemble d'outils. Maintenant, il prend en charge des blocs when pour des emplacements conditionnels, des enregistrements param\u00e9tr\u00e9s et anonymes, l'acc\u00e8s aux membres des champs d'enregistrements, ainsi que des op\u00e9rateurs bit \u00e0 bit et logiques.<\/p>\n

    Concernant la facilit\u00e9 d'utilisation pour les d\u00e9veloppeurs, l'\u00e9tape de l'analyse s\u00e9mantique d\u00e9tecte d\u00e9sormais les r\u00e9f\u00e9rences ind\u00e9finies, les incompatibilit\u00e9s de type et les erreurs d'arit\u00e9 lors de la compilation - avec indication de la localisation dans le code source - et non pas \u00e0 l'ex\u00e9cution, et une extension VS Code pour la coloration syntaxique des fichiers .sddl a \u00e9galement \u00e9t\u00e9 publi\u00e9e.<\/p>\n

    Nouveau codec LZ int\u00e9gr\u00e9<\/strong><\/p>\n

    OpenZL inclut d\u00e9sormais son propre codec LZ, pr\u00e9sent\u00e9 sous la forme de ZL_GRAPH_LZ, ainsi qu'un profil de compression s\u00e9quentielle dans l'outil zli. Le d\u00e9veloppement du codec se poursuit : un ensemble de fonctionnalit\u00e9s est en cours d'expansion et des am\u00e9liorations de performances dans le traitement des petites entr\u00e9es sont en cours. \u00c0 ce jour, il prend en charge une fonctionnalit\u00e9 \u00e9quivalente \u00e0 celle de zstd niveau 1, avec une taille de fen\u00eatre de compression de 64 Ko.<\/p>\n

    <\/p>\n

    OpenZL permet de repenser chaque \u00e9tape du pipeline LZ afin d'augmenter la vitesse. Son architecture en graphe permet \u00e9galement de combiner les \u00e9tapes de codage d'entropie au lieu d'utiliser un seul pipeline qui convient \u00e9galement \u00e0 tous les cas d'utilisation. Ensuite, plusieurs \u00e9tapes peuvent \u00eatre combin\u00e9es en une seule op\u00e9ration pour augmenter la vitesse de traitement. Cela permet \u00e0 OpenZL d'assurer une vitesse de compression 10 % sup\u00e9rieure et une vitesse de d\u00e9compression 70 % plus \u00e9lev\u00e9e par rapport \u00e0 Zstandard de niveau 1 sur la base Silesia dans nos tests<\/a>:<\/p>\n

    <\/noindex> <\/p>\n\n\n\n\n\n\n\n
    Compresseur<\/strong><\/th>\nTaux de compression<\/strong><\/th>\nVitesse de compression<\/strong><\/th>\nVitesse de d\u00e9compression<\/strong><\/th>\n<\/tr>\n<\/thead>\n
    OpenZL LZ niveau 1<\/td>\n2.74<\/td>\n466 Mo\/s<\/td>\n2288 Mo\/s<\/td>\n<\/tr>\n
    Zstd niveau 1 avec taille de fen\u00eatre de 64 Ko<\/td>\n2.74<\/td>\n419 Mo\/s<\/td>\n1254 Mo\/s<\/td>\n<\/tr>\n
    Zstd niveau 1<\/td>\n2.89<\/td>\n424 Mo\/s<\/td>\n1345 Mo\/s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

    Prise en charge de tr\u00e8s grandes entr\u00e9es<\/strong><\/p>\n

    zli prend d\u00e9sormais en charge le traitement d'\u00e9normes volumes de donn\u00e9es d'entr\u00e9e (de plusieurs gigaoctets). Avant la compression, ces donn\u00e9es sont d\u00e9sormais automatiquement segment\u00e9es en morceaux de taille g\u00e9r\u00e9e (par d\u00e9faut environ 16 Mo), ce qui permet de limiter la m\u00e9moire utilis\u00e9e, d'am\u00e9liorer la localit\u00e9 des donn\u00e9es et d'ouvrir des possibilit\u00e9s de traitement parall\u00e8le. SDDL2 impl\u00e9mente une fonctionnalit\u00e9 similaire de fragmentation automatique lors du travail par sch\u00e9ma. De nouveaux segmentateurs ont \u00e9t\u00e9 cr\u00e9\u00e9s ou mis \u00e0 jour - pour CSV, Parquet, et des donn\u00e9es num\u00e9riques standard - et tous les segmentateurs sont d\u00e9sormais s\u00e9rialisables et configurables, de sorte que la mise en page choisie puisse \u00eatre sauvegard\u00e9e dans le compresseur et r\u00e9utilis\u00e9e ult\u00e9rieurement.<\/p>\n

    Cela s'applique de mani\u00e8re transparente lors de la compression. Notez que le pipeline d'apprentissage est diff\u00e9rent et reste inchang\u00e9, il n'est donc pas destin\u00e9 \u00e0 recevoir de gigantesques donn\u00e9es d'entr\u00e9e comme mat\u00e9riel d'apprentissage.<\/p>\n

    Am\u00e9liorations dans le visualiseur de graphe en ligne (essayer<\/a>)<\/strong>
    Le visualiseur reconna\u00eet d\u00e9sormais les trac\u00e9s de compression et de d\u00e9compression du d\u00e9but \u00e0 la fin.<\/p>\n

    Le panneau de pr\u00e9visualisation du flux permet de visualiser les octets passant effectivement par chaque bord, et gr\u00e2ce aux \u00e9l\u00e9ments de contr\u00f4le de recadrage, m\u00eame les flux volumineux restent faciles \u00e0 manipuler.<\/p>\n

    Le panneau de param\u00e8tres regroupe tous les param\u00e8tres d'affichage au m\u00eame endroit, et l'ensemble complet des touches de raccourci - navigation directionnelle, parcours ordonn\u00e9, d\u00e9ploiement et repliement, s\u00e9lection de n\u0153uds - permet d'utiliser l'outil confortablement sans souris.<\/p>\n

    Les traces ont d\u00e9sormais des versions, la compression avec d\u00e9coupage en blocs s'affiche correctement, et zli peut enfin g\u00e9n\u00e9rer ses propres traces gr\u00e2ce aux nouvelles options \u2014trace et \u2014trace-streams-dir.<\/p>\n

    Divers<\/strong><\/p>\n