{"id":170618,"date":"2026-05-11T18:24:52","date_gmt":"2026-05-11T16:24:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/openzl-0-2-0"},"modified":"2026-05-11T18:24:52","modified_gmt":"2026-05-11T16:24:53","slug":"openzl-0-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sk\/blog\/news\/openzl-0-2-0","title":{"rendered":"OpenZL 0.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"OpenZL <\/a> \"OpenZL <\/a> <\/a><\/noindex> <\/a> <\/p>\n

Po siedmich mesiacoch v\u00fdvoja bol uvo\u013enen\u00fd framework 0.2.0 OpenZL<\/a>, ur\u010den\u00fd na vytv\u00e1ranie bezstratov\u00fdch kompresorov d\u00e1t.<\/p>\n

<\/noindex> <\/p>\n

Framework sa sklad\u00e1 z z\u00e1kladnej kni\u017enice a n\u00e1strojov na vytv\u00e1ranie \u0161pecializovan\u00fdch kompresorov, pop\u00edsan\u00fdch v jazyku SDDL<\/a>.
Na vytvorenie dobr\u00e9ho \u0161pecializovan\u00e9ho kompresora s\u00fa potrebn\u00e9 dva kroky:<\/p>\n

    \n
  1. Anal\u00fdza \u00fadajov na z\u00edskanie \u0161trukt\u00fary.<\/li>\n
  2. Pou\u017eitie kvalitn\u00fdch backend kompresorov, ktor\u00e9 vyu\u017e\u00edvaj\u00fa z\u00edskan\u00fa \u0161trukt\u00faru na dosiahnutie kvalitn\u00e9ho kompresie.<\/li>\n<\/ol>\n

    OpenZL poskytuje n\u00e1stroje pre oba kroky.<\/p>\n

    Projekt je nap\u00edsan\u00fd v jazykoch C a C++ a je distribuovan\u00fd pod licenciou BSD.<\/p>\n

    Hlavn\u00e9 zmeny<\/h5>\n

    SDDL2<\/strong><\/p>\n

    SDDL bol kompletne prepracovan\u00fd od z\u00e1kladov s cie\u013eom dosiahnu\u0165 stanoven\u00e9 projektov\u00e9 ciele. K\u00fdm p\u00f4vodn\u00e1 demo verzia predstavovala zjednodu\u0161en\u00e9 prostredie vykon\u00e1vania, SDDL2 je plnohodnotn\u00fd kompil\u00e1tor: syntaktick\u00fd analyz\u00e1tor pos\u00fava d\u00e1ta semantick\u00e9mu analyz\u00e1torovi, ten naopak pos\u00fava typizovan\u00fd abstraktn\u00fd syntaktick\u00fd strom (AST) optimaliz\u00e1torovi, a optimaliz\u00e1tor riadi gener\u00e1tor k\u00f3du, ktor\u00fd generuje bajtov\u00fd k\u00f3d virtu\u00e1lnej ma\u0161iny.<\/p>\n

    K\u013e\u00fa\u010dov\u00fdm v\u00fdsledkom je okam\u017eit\u00e1 syntaktick\u00e1 anal\u00fdza. Ke\u010f je umiestnenie z\u00e1znamu mo\u017en\u00e9 \u00faplne ur\u010di\u0165 iba z parametrov a kon\u0161t\u00e1nt, engine prech\u00e1dza priamo k ak\u00e9muko\u013evek po\u013eu, bez skenovania predch\u00e1dzaj\u00facich bajtov, \u010d\u00edm sa zabezpe\u010duje pr\u00edstup bez kop\u00edrovania a priepustnos\u0165 nieko\u013eko GB\/s.<\/p>\n

    Samotn\u00fd jazyk sa vyv\u00edjal spolu so sadou n\u00e1strojov. Teraz podporuje bloky when pre podmienen\u00e9 umiestnenia, parametrov\u00e9 a anonymn\u00e9 z\u00e1znamy, pr\u00edstup k \u010dlenom pol\u00ed z\u00e1znamov, ako aj bitov\u00e9 a logick\u00e9 oper\u00e1tory.<\/p>\n

    Pokia\u013e ide o pohodlie v\u00fdvoj\u00e1ra, f\u00e1za semantickej anal\u00fdzy teraz odha\u013euje neur\u010dit\u00e9 odkazy, nes\u00falad typov a chyby arnosti u\u017e v \u0161t\u00e1diu kompil\u00e1cie \u2013 s uveden\u00edm umiestnenia v \u0438\u0441\u0445\u043e\u0434nom k\u00f3de \u2013 a nie po\u010das vykon\u00e1vania, a taktie\u017e bola vydan\u00e1 roz\u0161\u00edrenie pre VS Code na zv\u00fdraznenie syntaxe s\u00faborov .sddl.<\/p>\n

    Nov\u00fd zabudovan\u00fd kodek LZ<\/strong><\/p>\n

    V OpenZL je teraz zahrnut\u00fd vlastn\u00fd LZ-kodek, predstaven\u00fd vo forme ZL_GRAPH_LZ, ako aj profil sekven\u010dnej kompresie v utilite zli. Pr\u00e1ca na kodeku pokra\u010duje: prebieha roz\u0161irovanie s\u00faboru funkci\u00ed a zvy\u0161ovanie v\u00fdkonu pri spracovan\u00ed mal\u00fdch vstupn\u00fdch \u00fadajov. V s\u00fa\u010dasnosti podporuje funk\u010dnos\u0165 ekvivalentn\u00fa zstd \u00farovne 1, s ve\u013ekos\u0165ou kompresn\u00e9ho okna 64 kB.<\/p>\n

    <\/p>\n

    OpenZL umo\u017e\u0148uje preprojektova\u0165 ka\u017ed\u00fd krok potrubia LZ s cie\u013eom zv\u00fd\u0161i\u0165 r\u00fdchlos\u0165. Jeho grafov\u00e1 architekt\u00fara tie\u017e umo\u017e\u0148uje kombinova\u0165 f\u00e1zy entropn\u00e9ho k\u00f3dovania, namiesto toho, aby sa pou\u017e\u00edvalo jednotn\u00e9 potrubie, ktor\u00e9 je rovnako dobr\u00e9 pre v\u0161etky scen\u00e1re pou\u017eitia. Potom je mo\u017en\u00e9 kombinova\u0165 nieko\u013eko krokov do jednej oper\u00e1cie pre zv\u00fd\u0161enie r\u00fdchlosti spracovania. To umo\u017e\u0148uje OpenZL dosiahnu\u0165 o 10 % vy\u0161\u0161iu r\u00fdchlos\u0165 kompresie a o 70 % vy\u0161\u0161iu r\u00fdchlos\u0165 dekompresie v porovnan\u00ed so Zstandard \u00farovne 1 na skriniach Silesia v na\u0161ich testoch<\/a>:<\/p>\n

    <\/noindex> <\/p>\n\n\n\n\n\n\n\n
    Kompresor<\/strong><\/th>\nKompresn\u00fd pomer<\/strong><\/th>\nR\u00fdchlos\u0165 kompresie<\/strong><\/th>\nR\u00fdchlos\u0165 dekompresie<\/strong><\/th>\n<\/tr>\n<\/thead>\n
    OpenZL LZ \u00farove\u0148 1<\/td>\n2.74<\/td>\n466 MB\/s<\/td>\n2288 MB\/s<\/td>\n<\/tr>\n
    Zstd \u00farove\u0148 1 s ve\u013ekos\u0165ou okna 64K<\/td>\n2.74<\/td>\n419 MB\/s<\/td>\n1254 MB\/s<\/td>\n<\/tr>\n
    Zstd \u00farove\u0148 1<\/td>\n2.89<\/td>\n424 MB\/s<\/td>\n1345 MB\/s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

    Podpora ve\u013emi ve\u013ek\u00fdch vstupn\u00fdch \u00fadajov<\/strong><\/p>\n

    zli teraz podporuje spracovanie obrovsk\u00fdch vstupn\u00fdch d\u00e1t (o objeme nieko\u013ek\u00fdch gigabajtov). Pred kompresiou s\u00fa tieto d\u00e1ta teraz automaticky rozdelen\u00e9 na riaden\u00e9 fragmenty (predvolene \u2013 asi 16MB), \u010do umo\u017e\u0148uje obmedzi\u0165 objem pou\u017e\u00edvan\u00e9 pam\u00e4te, zv\u00fd\u0161i\u0165 lokalitu d\u00e1t a otvori\u0165 mo\u017enosti pre paraleln\u00e9 spracovanie. V SDDL2 je implementovan\u00e1 podobn\u00e1 funkcia automatick\u00e9ho fragmentovania pri pr\u00e1ci so sch\u00e9mou. Po\u010das procesu boli vytvoren\u00e9 alebo aktualizovan\u00e9 nov\u00e9 segment\u00e1tory \u2013 pre CSV, Parquet a \u0161tandardn\u00e9 \u010d\u00edseln\u00e9 d\u00e1ta \u2013 a v\u0161etky segment\u00e1tory s\u00fa teraz serializovate\u013en\u00e9 a prisp\u00f4sobite\u013en\u00e9, tak\u017ee zvolen\u00e1 kompoz\u00edcia m\u00f4\u017ee by\u0165 ulo\u017een\u00e1 v kompresore a znovu pou\u017eit\u00e1 nesk\u00f4r.<\/p>\n

    Toto sa transparentne aplikuje po\u010das kompresie. Upozor\u0148ujeme, \u017ee potrubie u\u010denia je odli\u0161n\u00e9 a zost\u00e1va nedotknut\u00e9, preto nie je ur\u010den\u00e9 na prij\u00edmanie obrovsk\u00fdch vstupn\u00fdch \u00fadajov ako u\u010debn\u00e9ho materi\u00e1lu.<\/p>\n

    Zlep\u0161enia v online vizualiz\u00e1tore grafu (vysk\u00fa\u0161a\u0165<\/a>)<\/strong>
    Teraz vizualiz\u00e1tor rozpozn\u00e1va stopy kompresie a dekompresie od za\u010diatku do konca.<\/p>\n

    Panel na n\u00e1h\u013ead toku umo\u017e\u0148uje prezera\u0165 bajty, ktor\u00e9 skuto\u010dne prech\u00e1dzaj\u00fa ka\u017ed\u00fdm okrajom, a v\u010faka prvkom na orez\u00e1vanie aj ve\u013ek\u00e9 toky zost\u00e1vaj\u00fa jednoduch\u00e9 na pr\u00e1cu.<\/p>\n

    Panel nastaven\u00ed sp\u00e1ja v\u0161etky parametre zobrazenia na jednom mieste, a pln\u00fd s\u00fabor kl\u00e1vesov\u00fdch skratiek \u2013 navig\u00e1cia po smeroch, usporiadan\u00e9 prechody, rozba\u013eovanie a zbalovanie, v\u00fdber uzlov \u2013 umo\u017e\u0148uje pohodln\u00fa pr\u00e1cu s n\u00e1strojom bez my\u0161i.<\/p>\n

    Teraz maj\u00fa trasovania verzie, kompresia s rozdelen\u00edm na bloky je spr\u00e1vne zobrazen\u00e1, a zli kone\u010dne m\u00f4\u017ee generova\u0165 vlastn\u00e9 trasovania pomocou nov\u00fdch pr\u00edznakov \u2013trace a \u2013trace-streams-dir.<\/p>\n

    R\u00f4zne<\/strong><\/p>\n