{"id":170618,"date":"2026-05-11T18:24:52","date_gmt":"2026-05-11T16:24:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/openzl-0-2-0"},"modified":"2026-05-11T18:24:52","modified_gmt":"2026-05-11T16:24:53","slug":"openzl-0-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/news\/openzl-0-2-0","title":{"rendered":"OpenZL 0.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"OpenZL <\/a> \"OpenZL <\/a> <\/a><\/noindex> <\/a> <\/p>\n

Ap\u00f3s sete meses de desenvolvimento, foi lan\u00e7ado o framework 0.2.0 OpenZL<\/a>, destinado \u00e0 cria\u00e7\u00e3o de compress\u00f5es de dados sem perdas.<\/p>\n

<\/noindex> <\/p>\n

O framework consiste em uma biblioteca b\u00e1sica e ferramentas para criar compress\u00f5es especializadas, descritas na linguagem SDDL<\/a>.
Para criar uma boa compress\u00e3o especializada, existem duas etapas:<\/p>\n

    \n
  1. An\u00e1lise de dados para extrair a estrutura.<\/li>\n
  2. Uso de bons compress\u00f5es backend, que utilizam a estrutura obtida para alcan\u00e7ar uma boa compacta\u00e7\u00e3o.<\/li>\n<\/ol>\n

    OpenZL fornece ferramentas para ambas as etapas.<\/p>\n

    O projeto \u00e9 escrito nas linguagens C e C++ e \u00e9 distribu\u00eddo sob a licen\u00e7a BSD.<\/p>\n

    Principais mudan\u00e7as<\/h5>\n

    SDDL2<\/strong><\/p>\n

    O SDDL foi completamente refeito do zero para atingir os objetivos de design estabelecidos. Enquanto a vers\u00e3o de demonstra\u00e7\u00e3o inicial representava um ambiente de execu\u00e7\u00e3o simplificado, o SDDL2 \u00e9 um compilador completo: o analisador sint\u00e1tico passa os dados para o analisador sem\u00e2ntico, que, por sua vez, fornece a \u00e1rvore de sintaxe abstrata (AST) tipificada para o otimizador, e o otimizador gerencia o gerador de c\u00f3digo, que gera bytecode para a m\u00e1quina virtual.<\/p>\n

    O resultado chave \u00e9 a an\u00e1lise sint\u00e1tica instant\u00e2nea. Quando a localiza\u00e7\u00e3o do registro pode ser completamente determinada apenas por par\u00e2metros e constantes, o mecanismo vai diretamente a qualquer campo, sem escanear os bytes anteriores, garantindo acesso sem c\u00f3pia e largura de banda de v\u00e1rios GB\/s.<\/p>\n

    A pr\u00f3pria linguagem evoluiu juntamente com o conjunto de ferramentas. Agora, ela suporta blocos when para locais condicionais, registros parametrizados e an\u00f4nimos, acesso aos membros dos campos de registro, bem como operadores bit a bit e l\u00f3gicos.<\/p>\n

    Quanto \u00e0 conveni\u00eancia do desenvolvedor, a fase de an\u00e1lise sem\u00e2ntica agora identifica refer\u00eancias indefinidas, incompatibilidades de tipo e erros de aridade na fase de compila\u00e7\u00e3o - com a localiza\u00e7\u00e3o indicada no c\u00f3digo-fonte - e n\u00e3o em tempo de execu\u00e7\u00e3o. Tamb\u00e9m foi lan\u00e7ado uma extens\u00e3o para o VS Code para realce de sintaxe em arquivos .sddl.<\/p>\n

    Novo codec LZ embutido<\/strong><\/p>\n

    Agora, o OpenZL inclui seu pr\u00f3prio codec LZ, representado como ZL_GRAPH_LZ, al\u00e9m de um perfil de compress\u00e3o sequencial na ferramenta zli. O trabalho no codec continua: est\u00e1 em andamento a expans\u00e3o do conjunto de fun\u00e7\u00f5es e o aumento da performance no processamento de pequenas entradas. Neste momento, ele suporta funcionalidades equivalentes ao zstd n\u00edvel 1, com um tamanho de janela de compress\u00e3o de 64 KB.<\/p>\n

    <\/p>\n

    O OpenZL permite redesenhar cada etapa do pipeline LZ para aumentar a velocidade. Sua arquitetura gr\u00e1fica tamb\u00e9m permite combinar etapas de codifica\u00e7\u00e3o de entropia, em vez de usar um \u00fanico pipeline que funcione bem para todos os cen\u00e1rios de uso. Em seguida, v\u00e1rias etapas podem ser combinadas em uma \u00fanica opera\u00e7\u00e3o para aumentar a velocidade do processamento. Isso permite que o OpenZL forne\u00e7a uma velocidade de compress\u00e3o 10% maior e uma velocidade de descompress\u00e3o 70% maior em compara\u00e7\u00e3o com o Zstandard n\u00edvel 1 no conjunto de Silesia em nossos testes<\/a>:<\/p>\n

    <\/noindex> <\/p>\n\n\n\n\n\n\n\n
    Compressor<\/strong><\/th>\nTaxa de Compress\u00e3o<\/strong><\/th>\nVelocidade de Compress\u00e3o<\/strong><\/th>\nVelocidade de Descompress\u00e3o<\/strong><\/th>\n<\/tr>\n<\/thead>\n
    OpenZL LZ n\u00edvel 1<\/td>\n2.74<\/td>\n466 MB\/s<\/td>\n2288 MB\/s<\/td>\n<\/tr>\n
    Zstd n\u00edvel 1 com tamanho de janela de 64K<\/td>\n2.74<\/td>\n419 MB\/s<\/td>\n1254 MB\/s<\/td>\n<\/tr>\n
    Zstd n\u00edvel 1<\/td>\n2.89<\/td>\n424 MB\/s<\/td>\n1345 MB\/s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

    Suporte a entradas muito grandes<\/strong><\/p>\n

    O zli agora suporta o processamento de grandes conjuntos de dados de entrada (com volume de v\u00e1rios gigabytes). Antes da compacta\u00e7\u00e3o, esses dados agora s\u00e3o automaticamente fragmentados em partes de tamanho gerenci\u00e1vel (por padr\u00e3o, cerca de 16MB), o que ajuda a limitar o uso de mem\u00f3ria, melhorar a localidade dos dados e abre possibilidades para processamento paralelo. No SDDL2, foi implementada uma fun\u00e7\u00e3o semelhante de fragmenta\u00e7\u00e3o autom\u00e1tica ao trabalhar em esquema. Foram criados ou atualizados novos segmentadores - para CSV, Parquet e dados num\u00e9ricos padr\u00e3o - e todos os segmentadores agora s\u00e3o serializ\u00e1veis e configur\u00e1veis, de modo que a configura\u00e7\u00e3o escolhida possa ser salva no compressor e reutilizada posteriormente.<\/p>\n

    Isso \u00e9 aplicado de forma transparente durante a compress\u00e3o. Observe que o pipeline de aprendizado \u00e9 diferente e permanece inalterado, portanto, n\u00e3o \u00e9 destinado a receber enormes entradas como material de treino.<\/p>\n

    Melhorias no visualizador online de gr\u00e1ficos (tentar<\/a>)<\/strong>
    Agora, o visualizador reconhece rastreamentos de compress\u00e3o e descompress\u00e3o do in\u00edcio ao fim.<\/p>\n

    O painel de visualiza\u00e7\u00e3o de fluxo permite visualizar os bytes que realmente passam por cada aresta, e com os controles de recorte, at\u00e9 mesmo fluxos grandes permanecem gerenci\u00e1veis.<\/p>\n

    O painel de configura\u00e7\u00f5es re\u00fane todas as op\u00e7\u00f5es de exibi\u00e7\u00e3o em um s\u00f3 lugar, e o conjunto completo de teclas de atalho - navega\u00e7\u00e3o direcional, busca ordenada, expans\u00e3o e colapso, sele\u00e7\u00e3o de n\u00f3s - permite trabalhar com a ferramenta de forma conveniente sem mouse.<\/p>\n

    Agora, as trilhas possuem vers\u00f5es, a compress\u00e3o com particionamento \u00e9 exibida corretamente, e o zli finalmente pode gerar suas pr\u00f3prias trilhas usando as novas flags -trace e -trace-streams-dir.<\/p>\n

    Diversos<\/strong><\/p>\n