{"id":170618,"date":"2026-05-11T18:24:52","date_gmt":"2026-05-11T16:24:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/openzl-0-2-0"},"modified":"2026-05-11T18:24:52","modified_gmt":"2026-05-11T16:24:53","slug":"openzl-0-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/novosti-interneta\/openzl-0-2-0","title":{"rendered":"OpenZL 0.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"OpenZL <\/a> \"OpenZL <\/a> <\/a><\/noindex> <\/a> <\/p>\n

Dopo sette mesi di sviluppo, \u00e8 stato rilasciato OpenZL 0.2.0 OpenZL<\/a>, progettato per creare compressori di dati senza perdita.<\/p>\n

<\/noindex> <\/p>\n

Il framework \u00e8 composto da una libreria di base e strumenti per la creazione di compressori specializzati, descritti in linguaggio SDDL<\/a>.
Per creare un buon compressore specializzato, ci sono due fasi:<\/p>\n

    \n
  1. Analisi dei dati per estrarre la struttura.<\/li>\n
  2. Utilizzo di buoni compressori backend, che usano la struttura ottenuta per ottenere una buona compressione.<\/li>\n<\/ol>\n

    OpenZL fornisce strumenti per entrambe le fasi.<\/p>\n

    Il progetto \u00e8 scritto in C e C++ e distribuito con licenza BSD.<\/p>\n

    Modifiche principali<\/h5>\n

    SDDL2<\/strong><\/p>\n

    SDDL \u00e8 stato completamente riprogettato da zero per raggiungere gli obiettivi di progettazione stabiliti. Se la versione demo iniziale rappresentava un ambiente di esecuzione semplificato, SDDL2 \u2013 \u00e8 un vero e proprio compilatore: l'analizzatore sintattico passa i dati all'analizzatore semantico, il quale, a sua volta, trasmette l'albero sintattico astratto tipizzato (AST) all'ottimizzatore, e l'ottimizzatore gestisce il generatore di codice, che genera bytecode per la macchina virtuale.<\/p>\n

    Il risultato chiave \u00e8 l'analisi sintattica istantanea. Quando la posizione di un record pu\u00f2 essere determinata completamente solo da parametri e costanti, il motore passa direttamente a qualsiasi campo, senza scansionare i byte precedenti, garantendo accesso senza copia e una larghezza di banda di diversi GB\/s.<\/p>\n

    Il linguaggio si \u00e8 sviluppato insieme all'insieme di strumenti. Ora supporta blocchi when per posizionamenti condizionali, record parametrizzati e anonimi, accesso ai membri dei campi di un record, cos\u00ec come operatori bitwise e logici.<\/p>\n

    Per quanto riguarda la comodit\u00e0 dello sviluppatore, la fase di analisi semantica ora rileva riferimenti non definiti, discrepanze nei tipi e errori di arit\u00e0 gi\u00e0 durante la compilazione \u2013 indicando la posizione nel codice sorgente \u2013 e non durante l'esecuzione, \u00e8 stata anche rilasciata un'estensione per VS Code per l'evidenziazione della sintassi dei file .sddl.<\/p>\n

    Un nuovo codec LZ integrato<\/strong><\/p>\n

    In OpenZL, a custom LZ codec, represented as ZL_GRAPH_LZ, is now included along with a sequential compression profile in the zli utility. Work on the codec is ongoing: the feature set is being expanded, and performance is being improved for small input data. Currently, it supports functionality equivalent to zstd level 1, with a compression window size of 64 KB.<\/p>\n

    <\/p>\n

    OpenZL allows for the redesign of each stage of the LZ pipeline to enhance speed. Its graph architecture also enables the combination of entropy coding stages instead of relying on a single pipeline that works equally well for all use cases. Several stages can then be merged into a single operation to increase processing speed. This allows OpenZL to achieve a 10% higher compression speed and a 70% higher decompression speed compared to Zstandard level 1 on the Silesia dataset in our tests<\/a>:<\/p>\n

    <\/noindex> <\/p>\n\n\n\n\n\n\n\n
    Compressor<\/strong><\/th>\nCompression Ratio<\/strong><\/th>\nCompression Speed<\/strong><\/th>\nDecompression Speed<\/strong><\/th>\n<\/tr>\n<\/thead>\n
    OpenZL LZ level 1<\/td>\n2.74<\/td>\n466 MB\/s<\/td>\n2288 MB\/s<\/td>\n<\/tr>\n
    Zstd level 1 with 64K window size<\/td>\n2.74<\/td>\n419 MB\/s<\/td>\n1254 MB\/s<\/td>\n<\/tr>\n
    Zstd level 1<\/td>\n2.89<\/td>\n424 MB\/s<\/td>\n1345 MB\/s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

    Support for very large input data<\/strong><\/p>\n

    zli ora supporta l'elaborazione di enormi quantit\u00e0 di dati in ingresso (di diversi gigabyte). Prima della compressione, questi dati vengono ora automaticamente suddivisi in frammenti di dimensione gestita (per impostazione predefinita \u2013 circa 16 MB), il che consente di limitare la quantit\u00e0 di memoria utilizzata, migliorare la localit\u00e0 dei dati e apre nuove possibilit\u00e0 per l'elaborazione parallela. In SDDL2 \u00e8 stata implementata una funzione simile di frammentazione automatica per il funzionamento nello schema. Durante il processo sono stati creati o aggiornati nuovi segmentatori \u2013 per CSV, Parquet e dati numerici standard \u2013 e tutti i segmentatori sono ora serializzabili e configurabili, cos\u00ec che la configurazione scelta pu\u00f2 essere salvata nel compressore e riutilizzata successivamente.<\/p>\n

    Questo viene applicato in modo trasparente durante la compressione. Si noti che la pipeline di addestramento \u00e8 diversa e rimane intatta, quindi non \u00e8 progettata per ricevere enormi dati in ingresso come materiale di addestramento.<\/p>\n

    Miglioramenti nell'editor online del grafo (provare<\/a>)<\/strong>
    Ora l'editor riconosce le tracce di compressione e decompressione dalla A alla Z.<\/p>\n

    Il pannello di anteprima del flusso consente di visualizzare i byte che transitano effettivamente su ciascun bordo e, grazie ai controlli di trimming, anche i flussi di grandi dimensioni rimangono facili da gestire.<\/p>\n

    Il pannello delle impostazioni riunisce tutte le opzioni di visualizzazione in un unico luogo, e l'intero set di tasti di scelta rapida \u2013 navigazione tra le direzioni, attraversamento ordinato, espansione e contrazione, selezione dei nodi \u2013 consente di lavorare comodamente con lo strumento senza mouse.<\/p>\n

    Ora le tracciature hanno versioni, la compressione con frammentazione viene visualizzata correttamente, e zli finalmente pu\u00f2 generare le proprie tracciature utilizzando i nuovi flag \u2013trace e \u2013trace-streams-dir.<\/p>\n

    Varie<\/strong><\/p>\n