{"id":170618,"date":"2026-05-11T18:24:52","date_gmt":"2026-05-11T16:24:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/openzl-0-2-0"},"modified":"2026-05-11T18:24:52","modified_gmt":"2026-05-11T16:24:53","slug":"openzl-0-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/no\/blog\/news\/openzl-0-2-0","title":{"rendered":"OpenZL 0.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"OpenZL <\/a> \"OpenZL <\/a> <\/a><\/noindex> <\/a> <\/p>\n

Etter syv m\u00e5neder med utvikling ble versjon 0.2.0 av rammeverket lansert. OpenZL<\/a>, designet for \u00e5 lage tapsfrie datakompressorer.<\/p>\n

<\/noindex> <\/p>\n

Rammeverket best\u00e5r av et grunnleggende bibliotek og verkt\u00f8y for \u00e5 lage spesialiserte kompressorer, beskrevet p\u00e5 spr\u00e5ket SDDL<\/a>.
For \u00e5 lage en god spesialisert kompressor er det to trinn:<\/p>\n

    \n
  1. Analyse av data for \u00e5 utvinne struktur.<\/li>\n
  2. Bruk av gode backend-kompressorer, som benytter den utvunnede strukturen for \u00e5 oppn\u00e5 god kompresjon.<\/li>\n<\/ol>\n

    OpenZL tilbyr verkt\u00f8y for begge trinnene.<\/p>\n

    Prosjektet er skrevet i C og C++ og distribueres under BSD-lisens.<\/p>\n

    Viktige endringer<\/h5>\n

    SDDL2<\/strong><\/p>\n

    SDDL har blitt fullstendig redesignert fra bunnen av for \u00e5 oppn\u00e5 de m\u00e5lsetningene som ble lagt ut i designet. Mens den opprinnelige demoen var et forenklet kj\u00f8ringsmilj\u00f8, er SDDL2 en fullt utviklet kompilator: parseren sender data til den semantiske analysatoren, som deretter sender det typiserte abstrakte syntakstreet (AST) til optimalisatoren, og optimalisatoren styrer kodegeneratoren som genererer bytekode for den virtuelle maskinen.<\/p>\n

    Det viktigste resultatet er umiddelbar syntaktisk analyse. N\u00e5r posisjonen til en post kan bestemmes utelukkende basert p\u00e5 parametere og konstanter, g\u00e5r motoren direkte til ethvert felt uten \u00e5 skanne de foreg\u00e5ende byte, noe som gir tilgang uten kopiering og b\u00e5ndbredde p\u00e5 flere GB\/s.<\/p>\n

    Spr\u00e5ket har utviklet seg sammen med verkt\u00f8ysettet. N\u00e5 st\u00f8tter det when-blokker for betingede plasseringer, parametiserte og anonyme poster, tilgang til felts medlemmer samt bit- og logiske operatorer.<\/p>\n

    N\u00e5r det gjelder utviklerens komfort, identifiserer det semantiske analysetrinnet n\u00e5 usikre referanser, typekonflikter og aritmetikkfeil ved kompilering \u2013 med spesifikasjon av plassering i kildekoden \u2013 og ikke under kj\u00f8ring, i tillegg til at det er utgitt en VS Code-utvidelse for syntaksutheving av .sddl-filer.<\/p>\n

    Den nye innebygde LZ-kodeken<\/strong><\/p>\n

    I OpenZL har n\u00e5 inkludert en egen LZ-kodek, presentert som ZL_GRAPH_LZ, samt en profil for sekvensiell kompresjon i verkt\u00f8yet zli. Arbeidet med kodeken fortsetter: funksjonaliteten utvides og ytelsen forbedres ved behandling av sm\u00e5 inngangsdata. S\u00e5 langt st\u00f8tter den funksjonalitet som tilsvarer zstd niv\u00e5 1, med et kompresjonsvindu p\u00e5 64 KB.<\/p>\n

    <\/p>\n

    OpenZL gir mulighet til \u00e5 omdanne hvert trinn i LZ-pipelinen for \u00e5 \u00f8ke hastigheten. Den grafiske arkitekturen lar ogs\u00e5 kombinere trinnene for entropikoding i stedet for \u00e5 bruke en enkelt pipeline som passer like godt for alle bruksomr\u00e5der. Deretter kan flere trinn sl\u00e5s sammen til \u00e9n operasjon for \u00e5 \u00f8ke behandlingshastigheten. Dette gj\u00f8r det mulig for OpenZL \u00e5 oppn\u00e5 10 % h\u00f8yere kompresjonshastighet og 70 % h\u00f8yere dekompresjonshastighet sammenlignet med Zstandard niv\u00e5 1 p\u00e5 Silesia. i v\u00e5re tester<\/a>:<\/p>\n

    <\/noindex> <\/p>\n\n\n\n\n\n\n\n
    Kompressor<\/strong><\/th>\nKompresjonsforhold<\/strong><\/th>\nKompresjonshastighet<\/strong><\/th>\nDekomprimeringshastighet<\/strong><\/th>\n<\/tr>\n<\/thead>\n
    OpenZL LZ niv\u00e5 1<\/td>\n2.74<\/td>\n466 MB\/s<\/td>\n2288 MB\/s<\/td>\n<\/tr>\n
    Zstd niv\u00e5 1 med 64K vindusst\u00f8rrelse<\/td>\n2.74<\/td>\n419 MB\/s<\/td>\n1254 MB\/s<\/td>\n<\/tr>\n
    Zstd niv\u00e5 1<\/td>\n2.89<\/td>\n424 MB\/s<\/td>\n1345 MB\/s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

    St\u00f8tte for sv\u00e6rt store inngangsdata<\/strong><\/p>\n

    zli st\u00f8tter n\u00e5 behandling av enorme datainnganger (i flere gigabyte). F\u00f8r komprimering deles slike data automatisk opp i h\u00e5ndterbare biter (som standard omtrent 16 MB), noe som bidrar til \u00e5 begrense mengden brukt minne, forbedre datalokaliseringen, og \u00e5pner for muligheter for parallell behandling. I SDDL2 er det implementert en lignende funksjon for automatisk bitering ved arbeid etter plan. Nye eller oppdaterte segmentatorer har blitt laget for CSV, Parquet og standard numeriske data, og alle segmentatorer er n\u00e5 serialiserbare og konfigurerbare, slik at den valgte oppsetningen kan lagres i kompressoren og gjenbrukes senere.<\/p>\n

    Dette brukes s\u00f8ml\u00f8st under komprimering. V\u00e6r oppmerksom p\u00e5 at treningspipen er forskjellig og forblir uendret, s\u00e5 den er ikke ment for \u00e5 ta imot gigantiske inngangsdata som treningsmateriale.<\/p>\n

    Forbedringer i online grafvisualiseringen (pr\u00f8ve<\/a>)<\/strong>
    N\u00e5 gjenkjenner visualiseringen komprimerings- og dekomprimeringstracer fra start til slutt.<\/p>\n

    Str\u00f8mforh\u00e5ndsvisningspanelet lar deg se byte-str\u00f8mmen som faktisk g\u00e5r gjennom hver kant, og med klippkontroller forblir selv store str\u00f8mmer enkle \u00e5 h\u00e5ndtere.<\/p>\n

    Innstillingspanelet samler alle visningsalternativer p\u00e5 ett sted, mens det komplette settet av hurtigtaster \u2013 navigering i retninger, ordnet gjennomgang, utvidelse og sammentrekning, valg av noder \u2013 gj\u00f8r det enkelt \u00e5 bruke verkt\u00f8yet uten mus.<\/p>\n

    N\u00e5 har sporingene versjoner, blokkbasert komprimering vises korrekt, og zli kan endelig generere egne spor med de nye flaggene --trace og --trace-streams-dir.<\/p>\n

    Diverse<\/strong><\/p>\n