{"id":170618,"date":"2026-05-11T18:24:52","date_gmt":"2026-05-11T16:24:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/openzl-0-2-0"},"modified":"2026-05-11T18:24:52","modified_gmt":"2026-05-11T16:24:53","slug":"openzl-0-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/news\/openzl-0-2-0","title":{"rendered":"OpenZL 0.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"OpenZL <\/a> \"OpenZL <\/a> <\/a><\/noindex> <\/a> <\/p>\n

Efter sju m\u00e5naders utveckling lanserades 0.2.0 av ramverket OpenZL<\/a>, avsett f\u00f6r att skapa f\u00f6rlustfria datakompressorer.<\/p>\n

<\/noindex> <\/p>\n

Ramverket best\u00e5r av ett grundl\u00e4ggande bibliotek och verktyg f\u00f6r att skapa specialiserade kompressorer, beskrivna p\u00e5 spr\u00e5ket SDDL<\/a>.
F\u00f6r att skapa en bra specialiserad kompressor finns det tv\u00e5 steg:<\/p>\n

    \n
  1. Analys av data f\u00f6r att extrahera strukturen.<\/li>\n
  2. Anv\u00e4ndning av bra backend-kompressorer som anv\u00e4nder den erh\u00e5llna strukturen f\u00f6r att uppn\u00e5 bra kompression.<\/li>\n<\/ol>\n

    OpenZL tillhandah\u00e5ller verktyg f\u00f6r b\u00e5da stegen.<\/p>\n

    Projektet \u00e4r skrivet i C och C++ och distribueras under BSD-licens.<\/p>\n

    Viktiga \u00e4ndringar<\/h5>\n

    SDDL2<\/strong><\/p>\n

    SDDL har helt omarbetats fr\u00e5n grunden f\u00f6r att n\u00e5 de designm\u00e5l som satts upp. Medan den ursprungliga demoversionen var en f\u00f6renklad k\u00f6rmilj\u00f6, \u00e4r SDDL2 en fullt fungerande kompilator: parsern skickar data till den semantiska analysatorn, som i sin tur skickar det typade abstrakta syntaxtr\u00e4det (AST) till optimeraren, och optimeraren styr kodgeneratorn som genererar bytekod f\u00f6r den virtuella maskinen.<\/p>\n

    Den viktigaste resultaten \u00e4r omedelbar syntaktisk analys. N\u00e4r positionen f\u00f6r en post helt kan fastst\u00e4llas endast utifr\u00e5n parametrar och konstanter, g\u00e5r motorn direkt till vilket f\u00e4lt som helst utan att skanna de f\u00f6reg\u00e5ende byteenheterna, vilket m\u00f6jligg\u00f6r direkt \u00e5tkomst utan kopiering och en bandbredd p\u00e5 flera GB\/s.<\/p>\n

    Sj\u00e4lva spr\u00e5ket har utvecklats tillsammans med verktygen. Det st\u00f6der nu when-block f\u00f6r villkorsbundna placeringar, parameteriserade och anonyma poster, \u00e5tkomst till medlemsf\u00e4lt i poster samt bit- och logiska operatorer.<\/p>\n

    N\u00e4r det g\u00e4ller utvecklarv\u00e4nlighet identifierar den semantiska analysfasen nu os\u00e4kra referenser, typkonflikter och aritmetiska fel vid kompileringssteget \u2013 med angivelse av plats i k\u00e4llkoden \u2013 ist\u00e4llet f\u00f6r vid k\u00f6rning, och en VS Code-till\u00e4gg har sl\u00e4ppts f\u00f6r syntaktisk h\u00f6jdpunktsmarkering av .sddl-filer.<\/p>\n

    Den nya inbyggda codec LZ<\/strong><\/p>\n

    I OpenZL har nu en egen LZ-kodare, presenterad som ZL_GRAPH_LZ, samt en profil f\u00f6r sekventiell kompression i verktyget zli. Arbetet med kodaren forts\u00e4tter: funktioner ut\u00f6kas och prestandan vid bearbetning av sm\u00e5 ing\u00e5ngar f\u00f6rb\u00e4ttras. F\u00f6r n\u00e4rvarande st\u00f6der den funktionalitet som motsvarar zstd niv\u00e5 1, med en kompressionsf\u00f6nsterstorlek p\u00e5 64 KB.<\/p>\n

    <\/p>\n

    OpenZL ger m\u00f6jlighet att omdesigna varje steg i LZ-pipelinen f\u00f6r att \u00f6ka hastigheten. Dess grafarkitektur g\u00f6r det ocks\u00e5 m\u00f6jligt att kombinera steg i entropikodning ist\u00e4llet f\u00f6r att anv\u00e4nda en enda pipeline som passar alla anv\u00e4ndningsscenarier lika bra. Flera steg kan sedan kombineras till en operation f\u00f6r att \u00f6ka bearbetningshastigheten. Detta g\u00f6r att OpenZL kan erbjuda 10% h\u00f6gre kompressionshastighet och 70% h\u00f6gre dekompressionshastighet j\u00e4mf\u00f6rt med Zstandard niv\u00e5 1 p\u00e5 Silesia-datat. v\u00e5ra tester<\/a>:<\/p>\n

    <\/noindex> <\/p>\n\n\n\n\n\n\n\n
    Kompressor<\/strong><\/th>\nKompressionsf\u00f6rh\u00e5llande<\/strong><\/th>\nKompressionshastighet<\/strong><\/th>\nDekompressionshastighet<\/strong><\/th>\n<\/tr>\n<\/thead>\n
    OpenZL LZ niv\u00e5 1<\/td>\n2.74<\/td>\n466 MB\/s<\/td>\n2288 MB\/s<\/td>\n<\/tr>\n
    Zstd niv\u00e5 1 med 64K f\u00f6nsterstorlek<\/td>\n2.74<\/td>\n419 MB\/s<\/td>\n1254 MB\/s<\/td>\n<\/tr>\n
    Zstd niv\u00e5 1<\/td>\n2.89<\/td>\n424 MB\/s<\/td>\n1345 MB\/s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

    St\u00f6d f\u00f6r mycket stora ing\u00e5ngsdata<\/strong><\/p>\n

    zli st\u00f6der nu behandling av enorma ing\u00e5ngsdata (upp till flera gigabyte). Innan komprimering bryts s\u00e5dan data nu automatiskt ner i hanterbara storlekar (standard \u2013 cirka 16 MB), vilket begr\u00e4nsar det anv\u00e4nda minnet, f\u00f6rb\u00e4ttrar datalokaliseringen och \u00f6ppnar m\u00f6jligheter f\u00f6r paralell bearbetning. En liknande funktion f\u00f6r automatisk fragmentering har implementerats i SDDL2 n\u00e4r det g\u00e4ller schemabehandling. Nya eller uppdaterade segmenterare har skapats \u2013 f\u00f6r CSV, Parquet och standardnumeriska data \u2013 och alla segmenterare \u00e4r nu serialiserbara och konfigurerbara, s\u00e5 den valda layouten kan sparas i kompressorn och \u00e5teranv\u00e4ndas senare.<\/p>\n

    Detta till\u00e4mpas transparent under kompressionen. Observera att utbildningspiplinanen \u00e4r of\u00f6r\u00e4ndrad och f\u00f6rblir intakt, s\u00e5 den \u00e4r inte avsedd att ta emot gigantiska ing\u00e5ngar som utbildningsmaterial.<\/p>\n

    F\u00f6rb\u00e4ttringar i den online grafvisualizeraren (prova<\/a>)<\/strong>
    Nu k\u00e4nner visualizeraren igen kompressionens och dekompressionens sp\u00e5r fr\u00e5n b\u00f6rjan till slut.<\/p>\n

    Str\u00f6mf\u00f6rhandsgranskningspanelen g\u00f6r det m\u00f6jligt att se de byte som faktiskt passerar genom varje kant, och tack vare trimningskontrollerna f\u00f6rblir \u00e4ven stora str\u00f6mmar hanterbara.<\/p>\n

    Inst\u00e4llningstpanelen samlar alla visningsalternativ p\u00e5 ett st\u00e4lle, och den kompletta upps\u00e4ttningen kortkommandon \u2013 navigering, ordnad traversering, utvidgning och sammandragning, val av noder \u2013 g\u00f6r det m\u00f6jligt att arbeta bekv\u00e4mt med verktyget utan mus.<\/p>\n

    Nu har sp\u00e5rVersionsnummer, blockbaserad komprimering visas korrekt, och zli kan \u00e4ntligen generera egna sp\u00e5r med de nya flaggorna \u2014trace och \u2014trace-streams-dir.<\/p>\n

    Olika<\/strong><\/p>\n