{"id":170618,"date":"2026-05-11T18:24:52","date_gmt":"2026-05-11T16:24:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/openzl-0-2-0"},"modified":"2026-05-11T18:24:52","modified_gmt":"2026-05-11T16:24:53","slug":"openzl-0-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sl\/blog\/news\/openzl-0-2-0","title":{"rendered":"OpenZL 0.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"OpenZL <\/a> \"OpenZL <\/a> <\/a><\/noindex> <\/a> <\/p>\n

Po sedmih mesecih razvoja je iz\u0161el 0.2.0 okvira. OpenZL<\/a>, namenjen ustvarjanju brezizgubnih podatkovnih kompresorjev.<\/p>\n

<\/noindex> <\/p>\n

Okvir je sestavljen iz osnovne knji\u017enice in orodij za ustvarjanje specializiranih kompresorjev, opisanih v jeziku SDDL<\/a>.
Za ustvarjanje dobrega specializiranega kompresorja sta dva koraka:<\/p>\n

    \n
  1. Analiza podatkov za pridobitev strukture.<\/li>\n
  2. Uporaba dobrih backend kompresorjev, ki uporabljajo pridobljeno strukturo za dosego dobre kompresije.<\/li>\n<\/ol>\n

    OpenZL ponuja orodja za oba koraka.<\/p>\n

    Projekt je napisan v jeziku C in C++ ter je na voljo pod BSD licenco.<\/p>\n

    Glavne promene<\/h5>\n

    SDDL2<\/strong><\/p>\n

    SDDL je bil popolnoma predelan od za\u010detka, da bi dosegel zasnovane cilje. Medtem ko je bila za\u010detna demo razli\u010dica poenostavljena okolica za izvajanje, je SDDL2 - to je polnovreden prevajalnik: sintakti\u010dni analizator predaja podatke semanti\u010dnemu analizatorju, ta pa predaja tipizirano abstraktno sintakti\u010dno drevo (AST) optimizatorju, ki upravlja z generatorjem kode, ki generira bajtno kodo virtualne naprave.<\/p>\n

    Klju\u010dni rezultat je takoj\u0161nja sintakti\u010dna analiza. Ko je mesto zapisa mogo\u010de popolnoma dolo\u010diti le na podlagi parametrov in konstant, motor preide neposredno na katero koli polje, ne da bi skeniral prej\u0161nje bajte, kar omogo\u010da dostop brez kopiranja in \u0161irino pasu ve\u010d gigabajtov\/sekundo.<\/p>\n

    Sam jezik se je razvijal skupaj z naborom orodij. Zdaj podpira bloke when za pogojna mesta, parametri\u010dne in anonimne zapise, dostop do \u010dlanov polj zapisa, pa tudi bitne in logi\u010dne operacije.<\/p>\n

    Kar zadeva udobje razvijalca, faza semanti\u010dne analize zdaj odkrije nejasne reference, nepravilnosti tipov in napake arnosti v fazi prevajanja - z ozna\u010devanjem lokacije v izvorni kodi - ne med izvajanjem, poleg tega pa je bilo izdano raz\u0161iritev za VS Code za osvetlitev sintakse datotek .sddl.<\/p>\n

    Nov vgrajen kodek LZ<\/strong><\/p>\n

    OpenZL zdaj vklju\u010duje lastni LZ kodek, predstavljen kot ZL_GRAPH_LZ, ter profil sekven\u010dne kompresije v orodju zli. Delo na kodeku se nadaljuje: poteka \u0161iritev funkcij in izbolj\u0161anje zmogljivosti ob obdelavi majhnih vhodnih podatkov. Trenutno podpira funkcionalnost, ekvivalentno zstd ravni 1, z velikostjo okna kompresije 64 KB.<\/p>\n

    <\/p>\n

    OpenZL omogo\u010da ponovno na\u010drtovanje vsakega koraka LZ cevovoda za pove\u010danje hitrosti. Njegova grafi\u010dna arhitektura prav tako omogo\u010da kombiniranje korakov entropijskega kodiranja, namesto da bi uporabljali enoten cevovod, ki je enako dober za vse scenarije. Nato lahko ve\u010d korakov zdru\u017eimo v eno operacijo za pove\u010danje hitrosti obdelave. To omogo\u010da, da OpenZL dose\u017ee 10% vi\u0161jo hitrost kompresije in 70% vi\u0161jo hitrost dekompresije v primerjavi z Zstandard ravni 1 na testu Silesia v na\u0161ih testih<\/a>:<\/p>\n

    <\/noindex> <\/p>\n\n\n\n\n\n\n\n
    Kompresor<\/strong><\/th>\nRazmerje kompresije<\/strong><\/th>\nHitrost kompresije<\/strong><\/th>\nHitrost dekompresije<\/strong><\/th>\n<\/tr>\n<\/thead>\n
    OpenZL LZ raven 1<\/td>\n2.74<\/td>\n466 MB\/s<\/td>\n2288 MB\/s<\/td>\n<\/tr>\n
    Zstd raven 1 z velikostjo okna 64K<\/td>\n2.74<\/td>\n419 MB\/s<\/td>\n1254 MB\/s<\/td>\n<\/tr>\n
    Zstd raven 1<\/td>\n2.89<\/td>\n424 MB\/s<\/td>\n1345 MB\/s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

    Podpora za zelo velike vhodne podatke<\/strong><\/p>\n

    zli zdaj podpira obdelavo ogromnih vhodnih podatkov (v obsegu ve\u010d gigabajtov). Pred stiskanjem se ti podatki zdaj samodejno razdelijo na fragmente obvladljive velikosti (privzeto - pribli\u017eno 16MB), kar omogo\u010da omejitev koli\u010dine porabljene pomnilnika, pove\u010duje bli\u017eino podatkov in odpira mo\u017enosti za vzporedno obdelavo. V SDDL2 je implementirana podobna funkcija samodejnega fragmentiranja pri delu s shemo. V postopku so bili ustvarjeni ali posodobljeni novi segmentatorji - za CSV, Parquet in standardne \u0161tevil\u010dne podatke - in vsi segmentatorji so zdaj serializirani in prilagodljivi, tako da se izbrana razporeditev lahko shrani v stiskalniku in ponovno uporabi kasneje.<\/p>\n

    To se prozorno uporablja med kompresijo. Upo\u0161tevajte, da je cevovod za u\u010denje druga\u010den in ostaja nedotaknjen, zato ni namenjen sprejemanju velikih vhodnih podatkov kot u\u010dnega gradiva.<\/p>\n

    Izbolj\u0161ave v spletnem vizualizatorju grafov (preizkusiti<\/a>)<\/strong>
    Zdaj vizualizator prepozna sledi kompresije in dekompresije od za\u010detka do konca.<\/p>\n

    Predogledna plo\u0161\u010da toka omogo\u010da pregledovanje bajtov, ki dejansko potekajo preko vsakega roba, poleg tega pa elementi za obrezovanje zagotavljajo, da ostajajo tudi veliki tokovi enostavni za delo.<\/p>\n

    Nadzorna plo\u0161\u010da za nastavitve zdru\u017euje vse mo\u017enosti prikaza na enem mestu, celoten niz bli\u017enjic na tipkovnici - navigacija v smeri, urejeno obhod, \u0161irjenje in kr\u010denje, izbira vozli\u0161\u010d - omogo\u010da enostavno delo s orodjem brez mi\u0161ke.<\/p>\n

    Sedaj imajo sledi razli\u010dice, stiskanje z razdelitvijo na bloke se pravilno prikazuje, zli pa kon\u010dno lahko generira lastne sledi s pomo\u010djo novih zastavic --trace in --trace-streams-dir.<\/p>\n

    Razno<\/strong><\/p>\n