{"id":170618,"date":"2026-05-11T18:24:52","date_gmt":"2026-05-11T16:24:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/openzl-0-2-0"},"modified":"2026-05-11T18:24:52","modified_gmt":"2026-05-11T16:24:53","slug":"openzl-0-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/es\/blog\/news\/openzl-0-2-0","title":{"rendered":"OpenZL 0.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"OpenZL <\/a> \"OpenZL <\/a> <\/a><\/noindex> <\/a> <\/p>\n

Despu\u00e9s de siete meses de desarrollo, se lanz\u00f3 la versi\u00f3n 0.2.0 del framework OpenZL<\/a>, dise\u00f1ado para crear compresores de datos sin p\u00e9rdidas.<\/p>\n

<\/noindex> <\/p>\n

El framework consta de una biblioteca b\u00e1sica y herramientas para crear compresores especializados, descritos en el lenguaje SDDL<\/a>.
Para crear un buen compresor especializado, hay dos etapas:<\/p>\n

    \n
  1. An\u00e1lisis de datos para extraer la estructura.<\/li>\n
  2. Uso de buenos compresores backend, que utilizan la estructura obtenida para lograr una buena compresi\u00f3n.<\/li>\n<\/ol>\n

    OpenZL proporciona herramientas para ambas etapas.<\/p>\n

    El proyecto est\u00e1 escrito en C y C++ y se distribuye bajo la licencia BSD.<\/p>\n

    Principales cambios<\/h5>\n

    SDDL2<\/strong><\/p>\n

    SDDL ha sido completamente redise\u00f1ado desde cero para alcanzar los objetivos de dise\u00f1o establecidos. Si la versi\u00f3n de demostraci\u00f3n inicial representaba un entorno de ejecuci\u00f3n simplificado, SDDL2 es un compilador completo: el analizador sint\u00e1ctico pasa datos al analizador sem\u00e1ntico, que a su vez entrega un \u00e1rbol de sintaxis abstracta (AST) tipado al optimizador, y el optimizador gestiona el generador de c\u00f3digo, el cual genera bytecode para la m\u00e1quina virtual.<\/p>\n

    El resultado clave es el an\u00e1lisis sint\u00e1ctico instant\u00e1neo. Cuando la ubicaci\u00f3n de un registro puede determinarse completamente solo por par\u00e1metros y constantes, el motor va directamente a cualquier campo, sin escanear los bytes anteriores, lo que proporciona acceso sin copias y un ancho de banda de varios GB\/s.<\/p>\n

    El propio lenguaje ha evolucionado junto con el conjunto de herramientas. Ahora admite bloques when para ubicaciones condicionales, registros parametrizados y an\u00f3nimos, acceso a los miembros de los campos de los registros, as\u00ed como operadores a nivel de bits y l\u00f3gicos.<\/p>\n

    En cuanto a la comodidad del desarrollador, la etapa de an\u00e1lisis sem\u00e1ntico ahora identifica referencias indefinidas, discrepancias de tipos y errores de aridad en tiempo de compilaci\u00f3n \u2014con indicaci\u00f3n de la ubicaci\u00f3n en el c\u00f3digo fuente\u2014 en lugar de durante la ejecuci\u00f3n, y se ha lanzado una extensi\u00f3n para VS Code para la resaltaci\u00f3n de sintaxis de archivos .sddl.<\/p>\n

    Nuevo c\u00f3dec LZ incorporado<\/strong><\/p>\n

    En OpenZL ahora se incluye un c\u00f3dec LZ propio, presentado como ZL_GRAPH_LZ, as\u00ed como un perfil de compresi\u00f3n secuencial en la utilidad zli. El trabajo en el c\u00f3dec contin\u00faa: se est\u00e1 ampliando el conjunto de funciones y mejorando el rendimiento al procesar peque\u00f1os datos de entrada. Hasta el momento, admite funcionalidad equivalente a zstd nivel 1, con un tama\u00f1o de ventana de compresi\u00f3n de 64 KB.<\/p>\n

    <\/p>\n

    OpenZL permite redise\u00f1ar cada etapa del proceso LZ con el fin de aumentar la velocidad. Su arquitectura gr\u00e1fica tambi\u00e9n permite combinar etapas de codificaci\u00f3n de entrop\u00eda en lugar de utilizar un solo proceso que se adapte igualmente a todos los escenarios de uso. Luego, varias etapas se pueden combinar en una sola operaci\u00f3n para aumentar la velocidad de procesamiento. Esto le permite a OpenZL lograr una velocidad de compresi\u00f3n un 10% m\u00e1s alta y una velocidad de descompresi\u00f3n un 70% m\u00e1s alta en comparaci\u00f3n con Zstandard nivel 1 en la prueba de Silesia. nuestros tests<\/a>:<\/p>\n

    <\/noindex> <\/p>\n\n\n\n\n\n\n\n
    Compresor<\/strong><\/th>\nTasa de compresi\u00f3n<\/strong><\/th>\nVelocidad de compresi\u00f3n<\/strong><\/th>\nVelocidad de descompresi\u00f3n<\/strong><\/th>\n<\/tr>\n<\/thead>\n
    OpenZL LZ nivel 1<\/td>\n2.74<\/td>\n466 MB\/s<\/td>\n2288 MB\/s<\/td>\n<\/tr>\n
    Zstd nivel 1 con tama\u00f1o de ventana de 64K<\/td>\n2.74<\/td>\n419 MB\/s<\/td>\n1254 MB\/s<\/td>\n<\/tr>\n
    Zstd nivel 1<\/td>\n2.89<\/td>\n424 MB\/s<\/td>\n1345 MB\/s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

    Soporte para entradas muy grandes<\/strong><\/p>\n

    zli ahora soporta el procesamiento de grandes vol\u00famenes de datos de entrada (de varios gigabytes). Antes de la compresi\u00f3n, estos datos se dividen autom\u00e1ticamente en fragmentos de tama\u00f1o manejable (por defecto, aproximadamente 16MB), lo que permite limitar la cantidad de memoria utilizada, mejorar la localidad de datos y abrir posibilidades para el procesamiento paralelo. SDDL2 implementa una funci\u00f3n similar de fragmentaci\u00f3n autom\u00e1tica al trabajar con esquemas. Se han creado o actualizado nuevos segmentadores para CSV, Parquet y datos num\u00e9ricos est\u00e1ndar, y todos los segmentadores son ahora serializables y configurables, de modo que la configuraci\u00f3n elegida puede ser guardada en el compresor y reutilizada m\u00e1s tarde.<\/p>\n

    Esto se aplica de manera transparente durante la compresi\u00f3n. Cabe se\u00f1alar que el proceso de aprendizaje es diferente y permanece intacto, por lo que no est\u00e1 dise\u00f1ado para aceptar grandes entradas como material de entrenamiento.<\/p>\n

    Mejoras en el visualizador de gr\u00e1ficos en l\u00ednea (probar<\/a>)<\/strong>
    Ahora el visualizador reconoce las trazas de compresi\u00f3n y descompresi\u00f3n de principio a fin.<\/p>\n

    El panel de vista previa de flujo permite ver los bytes que est\u00e1n pasando a trav\u00e9s de cada borde, y gracias a los controles de recorte, incluso los flujos grandes se mantienen manejables.<\/p>\n

    El panel de configuraci\u00f3n re\u00fane todas las opciones de visualizaci\u00f3n en un solo lugar, mientras que un conjunto completo de teclas de acceso r\u00e1pido \u2014navegaci\u00f3n direccional, recorrido ordenado, expansi\u00f3n y contracci\u00f3n, selecci\u00f3n de nodos\u2014 permite utilizar la herramienta c\u00f3modamente sin rat\u00f3n.<\/p>\n

    Ahora las trazas tienen versiones, la compresi\u00f3n con divisi\u00f3n en bloques se muestra correctamente, y zli finalmente puede generar sus propias trazas utilizando las nuevas flags \u2014trace y \u2014trace-streams-dir.<\/p>\n

    Varios<\/strong><\/p>\n