{"id":170618,"date":"2026-05-11T18:24:52","date_gmt":"2026-05-11T16:24:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/openzl-0-2-0"},"modified":"2026-05-11T18:24:52","modified_gmt":"2026-05-11T16:24:53","slug":"openzl-0-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/news\/openzl-0-2-0","title":{"rendered":"OpenZL 0.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"OpenZL <\/a> \"OpenZL <\/a> <\/a><\/noindex> <\/a> <\/p>\n

Efter syv m\u00e5neders udvikling er version 0.2.0 af rammev\u00e6rket blevet udgivet. OpenZL<\/a>, designet til at oprette tabsfrie datakompressorer.<\/p>\n

<\/noindex> <\/p>\n

Rammev\u00e6rket best\u00e5r af et grundl\u00e6ggende bibliotek og v\u00e6rkt\u00f8jer til at skabe specialiserede kompressorer, beskrevet p\u00e5 sproget SDDL<\/a>.
For at skabe en god specialiseret kompressor er der to trin:<\/p>\n

    \n
  1. Dataanalyse for at udtr\u00e6kke strukturen.<\/li>\n
  2. Brug af gode backend-kompressorer, der anvender den opn\u00e5ede struktur for at opn\u00e5 god kompression.<\/li>\n<\/ol>\n

    OpenZL leverer v\u00e6rkt\u00f8jer til begge trin.<\/p>\n

    Projektet er skrevet i C og C++ og distribueres under BSD-licensen.<\/p>\n

    Vigtige \u00e6ndringer<\/h5>\n

    SDDL2<\/strong><\/p>\n

    SDDL er blevet helt redesignet fra bunden for at opn\u00e5 de fastsatte designm\u00e5l. Hvis den oprindelige demo-version var en forenklet runtime, s\u00e5 er SDDL2 en fuldskala compiler: parseren sender data til semantikkontroll\u00f8ren, som igen sender det typede abstrakte syntakstr\u00e6 (AST) til optimereren, og optimereren styrer kodegeneratoren, der genererer bytecode til den virtuelle maskine.<\/p>\n

    Det n\u00f8glem\u00e6ssige resultat er \u00f8jeblikkelig syntaktisk analyse. N\u00e5r placeringen af en post helt kan bestemmes ud fra parametre og konstanter, springer motoren direkte til et hvilket som helst felt uden at scanne de foreg\u00e5ende bytes, hvilket sikrer adgang uden kopiering og en genneml\u00f8bshastighed p\u00e5 flere GB\/s.<\/p>\n

    Selve sproget har udviklet sig sammen med v\u00e6rkt\u00f8js\u00e6ttet. Nu underst\u00f8tter det blokke n\u00e5r til betingede placeringer, parametriske og anonyme poster, adgang til medlemsfelter i poster, samt bitvise og logiske operatorer.<\/p>\n

    N\u00e5r det kommer til udviklerens bekvemmelighed, s\u00e5 opdager fasen for semantisk analyse nu uafklarede henvisninger, typeafvigelser og aritetfejl p\u00e5 kompileringstidspunktet - med angivelse af placeringen i kildekoden - og ikke under k\u00f8rslen, og der er udgivet en VS Code-udvidelse til synligg\u00f8relse af syntaks i .sddl-filer.<\/p>\n

    Den nye indbyggede codec LZ<\/strong><\/p>\n

    I OpenZL er der nu inkluderet en egen LZ-codec, pr\u00e6senteret som ZL_GRAPH_LZ, samt en profil for sekventiel kompression i v\u00e6rkt\u00f8jet zli. Arbejdet med codec'en forts\u00e6tter: der udvides funktionaliteten, og ydeevnen ved behandling af sm\u00e5 inputdata forbedres. P\u00e5 nuv\u00e6rende tidspunkt underst\u00f8tter den funktionalitet, der svarer til zstd niveau 1, med en kompressionsvindue st\u00f8rrelse p\u00e5 64 KB.<\/p>\n

    <\/p>\n

    OpenZL giver mulighed for at redesignere hvert trin i LZ-pipelines for at \u00f8ge hastigheden. Dets grafbaserede arkitektur muligg\u00f8r ogs\u00e5 kombination af trin for entropikodning i stedet for at anvende en enkelt pipeline, der passer til alle brugsscenarier. Derefter kan flere trin kombineres til en enkelt operation for at forbedre behandlingshastigheden. Dette g\u00f8r det muligt for OpenZL at opn\u00e5 en 10% h\u00f8jere kompressionshastighed og en 70% h\u00f8jere dekompressionshastighed sammenlignet med Zstandard niveau 1 p\u00e5 Silesia-korpus. i vores tests<\/a>:<\/p>\n

    <\/noindex> <\/p>\n\n\n\n\n\n\n\n
    Kompressor<\/strong><\/th>\nKompressionsforhold<\/strong><\/th>\nKompressionshastighed<\/strong><\/th>\nDekompressionshastighed<\/strong><\/th>\n<\/tr>\n<\/thead>\n
    OpenZL LZ niveau 1<\/td>\n2.74<\/td>\n466 MB\/s<\/td>\n2288 MB\/s<\/td>\n<\/tr>\n
    Zstd niveau 1 med 64K vinduesst\u00f8rrelse<\/td>\n2.74<\/td>\n419 MB\/s<\/td>\n1254 MB\/s<\/td>\n<\/tr>\n
    Zstd niveau 1<\/td>\n2.89<\/td>\n424 MB\/s<\/td>\n1345 MB\/s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

    Support til meget store inputdata<\/strong><\/p>\n

    zli underst\u00f8tter nu behandling af enorme inputdata (p\u00e5 flere gigabyte). F\u00f8r komprimering deles s\u00e5danne data nu automatisk op i h\u00e5ndterede st\u00f8rrelse fragmenter (standard er cirka 16MB), hvilket begr\u00e6nser den anvendte hukommelse, \u00f8ger datalokalitet og \u00e5bner muligheder for parallel behandling. I SDDL2 er der implementeret en lignende funktion til automatisk fragmentering, n\u00e5r man arbejder i skema. Nye eller opdaterede segmentatorer er blevet oprettet - for CSV, Parquet og standard numeriske data - og alle segmentatorer er nu serialiserbare og konfigurerbare, s\u00e5 den valgte layout kan gemmes i kompressoren og genbruges senere.<\/p>\n

    Dette anvendes transparent under kompressionen. Bem\u00e6rk, at l\u00e6ringspipeline'en er forskellig og forbliver u\u00e6ndret, s\u00e5 den ikke er beregnet til at modtage gigantiske inputdata som tr\u00e6ningsmateriale.<\/p>\n

    Forbedringer i online graf visualiseringsv\u00e6rkt\u00f8jet (pr\u00f8v<\/a>)<\/strong>
    Nu genkender visualiseringsv\u00e6rkt\u00f8jet kompressions- og dekompressionsspor fra start til slut.<\/p>\n

    Forh\u00e5ndsvisningspanelet giver mulighed for at se de bytes, der faktisk passerer gennem hver kant, og takket v\u00e6re trims kontrollene er selv store streams nemme at arbejde med.<\/p>\n

    Indstillingerpanelet samler alle visningsindstillinger et sted, og det fulde s\u00e6t genvejstaster - navigering i retning, ordnet gennemgang, udvidelse og sammenfoldning, valg af noder - g\u00f8r det nemt at arbejde med v\u00e6rkt\u00f8jet uden mus.<\/p>\n

    Nu har sporinger versioner, komprimering med blokopdeling vises korrekt, og zli kan endelig generere sine egne spor med de nye n\u00f8gler --trace og --trace-streams-dir.<\/p>\n

    Diverse<\/strong><\/p>\n