{"id":170618,"date":"2026-05-11T18:24:52","date_gmt":"2026-05-11T16:24:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/openzl-0-2-0"},"modified":"2026-05-11T18:24:52","modified_gmt":"2026-05-11T16:24:53","slug":"openzl-0-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hr\/blog\/news\/openzl-0-2-0","title":{"rendered":"OpenZL 0.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"OpenZL <\/a> \"OpenZL <\/a> <\/a><\/noindex> <\/a> <\/p>\n

Nakon sedam mjeseci razvoja, objavljena je verzija 0.2.0 frameworka OpenZL<\/a>, namijenjenog za izradu besplatnih kompresora podataka.<\/p>\n

<\/noindex> <\/p>\n

Framework se sastoji od osnovne biblioteke i alata za izradu specijaliziranih kompresora, opisanih na jeziku SDDL<\/a>.
Kako bi se stvorio dobar specijalizirani kompresor, postoje dva koraka:<\/p>\n

    \n
  1. Analiza podataka radi izvla\u010denja strukture.<\/li>\n
  2. Kori\u0161tenje dobrih backend kompresora koji koriste dobivenu strukturu za postizanje dobre kompresije.<\/li>\n<\/ol>\n

    OpenZL pru\u017ea alate za oba koraka.<\/p>\n

    Projekt je napisan na jezicima C i C++ i distribuira se pod BSD licencom.<\/p>\n

    Glavne promjene<\/h5>\n

    SDDL2<\/strong><\/p>\n

    SDDL je potpuno prepravljen od temelja kako bi se postigli zacrtani dizajnerski ciljevi. Ako je prvotna demo verzija predstavljala pojednostavljeno okru\u017eenje za izvo\u0111enje, SDDL2 je punopravni kompajler: sintakti\u010dki analizer proslje\u0111uje podatke semanti\u010dkom analizeru, koji, pak, proslje\u0111uje tipizirano apstraktno sintakti\u010dko stablo (AST) optimizatoru, a optimizator upravlja generatorom koda koji generira bajt kod za virtualnu ma\u0161inu.<\/p>\n

    Klju\u010dni rezultat je trenutna sintakti\u010dka analiza. Kada se lokacija zapisa mo\u017ee potpuno odrediti samo parametrima i konstantama, engine prelazi izravno na bilo koje polje, ne skeniraju\u0107i prethodne bajtove, \u0161to omogu\u0107ava pristup bez kopiranja i propusnost od nekoliko GB\/s.<\/p>\n

    Sam jezik se razvijao zajedno s alatima. Sada podr\u017eava when blokove za uvjetne lokacije, parametrizirane i anonimne zapise, pristup \u010dlanovima polja zapisa, kao i bitovne i logi\u010dke operatore.<\/p>\n

    \u0160to se ti\u010de pogodnosti za programere, faza semanti\u010dke analize sada otkriva neodre\u0111ene reference, nesukladnosti tipova i gre\u0161ke u arnosti u fazi kompajliranja - s naznakom mjesta u izvornom kodu - a ne tijekom izvo\u0111enja, a tako\u0111er je objavljen dodatak za VS Code za isticanje sintakse .sddl datoteka.<\/p>\n

    Novi ugra\u0111eni codec LZ<\/strong><\/p>\n

    U OpenZL sada je uklju\u010den vlastiti LZ kodek, predstavljen kao ZL_GRAPH_LZ, kao i profil sekvencijalne kompresije u alatu zli. Rad na kodeku se nastavlja: \u0161iri se skup funkcija i pobolj\u0161ava performanse prilikom obrade malih ulaznih podataka. Trenutno podr\u017eava funkcionalnost koja je ekvivalentna zstd razini 1, s veli\u010dinom prozora kompresije od 64 KB.<\/p>\n

    <\/p>\n

    OpenZL omogu\u0107uje replaniranje svake faze LZ kanala s ciljem pove\u0107anja brzine. Njegova grafi\u010dka arhitektura tako\u0111er omogu\u0107ava kombiniranje faza entropijskog kodiranja umjesto kori\u0161tenja jedinstvenog kanala koji se jednako dobro prilago\u0111ava svim scenarijima kori\u0161tenja. Tako se vi\u0161e faza mo\u017ee kombinirati u jednu operaciju za pove\u0107anje brzine obrade. To omogu\u0107uje OpenZL da osigura 10% ve\u0107u brzinu kompresije i 70% ve\u0107u brzinu dekompresije u usporedbi sa Zstandard razinom 1 na Silesia skupu u na\u0161im testovima<\/a>:<\/p>\n

    <\/noindex> <\/p>\n\n\n\n\n\n\n\n
    Kompressor<\/strong><\/th>\nOmjer kompresije<\/strong><\/th>\nBrzina kompresije<\/strong><\/th>\nBrzina dekompresije<\/strong><\/th>\n<\/tr>\n<\/thead>\n
    OpenZL LZ razina 1<\/td>\n2.74<\/td>\n466 MB\/s<\/td>\n2288 MB\/s<\/td>\n<\/tr>\n
    Zstd razina 1 s veli\u010dinom prozora 64K<\/td>\n2.74<\/td>\n419 MB\/s<\/td>\n1254 MB\/s<\/td>\n<\/tr>\n
    Zstd razina 1<\/td>\n2.89<\/td>\n424 MB\/s<\/td>\n1345 MB\/s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

    Podr\u0161ka za vrlo velike ulazne podatke<\/strong><\/p>\n

    zli sada podr\u017eava obradu ogromnih ulaznih podataka (obujma nekoliko gigabajta). Prije kompresije, ti se podaci automatski razdvajaju na fragmente upravljane veli\u010dine (po defaultu - otprilike 16 MB), \u0161to omogu\u0107uje ograni\u010davanje iskori\u0161tene memorije, pove\u0107anje lokalnosti podataka i otvara mogu\u0107nosti za paralelnu obradu. U SDDL2 je implementirana sli\u010dna funkcija automatskog fragmentiranja pri radu s shemama. Tijekom procesa stvoreni su ili a\u017eurirani novi segmentatori - za CSV, Parquet i standardne numeri\u010dke podatke - i svi segmentatori su sada serijalizabilni i prilagodljivi, tako da odabrani raspored mo\u017ee biti sa\u010duvan u kompresoru i ponovno kori\u0161ten kasnije.<\/p>\n

    To se bez problema primjenjuje tijekom kompresije. Imajte na umu da se kanal u\u010denja razlikuje i ostaje netaknut, stoga nije namijenjen za prihva\u0107anje gigantskih ulaznih podataka kao materijala za u\u010denje.<\/p>\n

    Pobolj\u0161anja u online vizualizatoru grafa (isprobati<\/a>)<\/strong>
    Sada vizualizator prepoznaje tragove kompresije i dekompresije od po\u010detka do kraja.<\/p>\n

    Panel za pregled protoka omogu\u0107uje pregled bajtova koji zapravo prolaze kroz svaki rub, a zahvaljuju\u0107i kontrolama obrezivanja \u010dak i veliki protoci ostaju jednostavni za rad.<\/p>\n

    Panel postavki okuplja sve opcije prikazivanja na jednom mjestu, a potpuni set tipkovni\u010dkih pre\u010daca - navigacija po smjerovima, sortirano pregledavanje, otvaranje i zatvaranje, odabir \u010dvorova - omogu\u0107uje jednostavan rad s alatom bez mi\u0161a.<\/p>\n

    Sada tragovi imaju verzije, kompresija s razbijanjem na blokove se ispravno prikazuje, a zli kona\u010dno mo\u017ee generirati svoje vlastite tragove s novim oznakama -trace i -trace-streams-dir.<\/p>\n

    Razno<\/strong><\/p>\n