{"id":170618,"date":"2026-05-11T18:24:52","date_gmt":"2026-05-11T16:24:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/openzl-0-2-0"},"modified":"2026-05-11T18:24:52","modified_gmt":"2026-05-11T16:24:53","slug":"openzl-0-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/cs\/blog\/news\/openzl-0-2-0","title":{"rendered":"OpenZL 0.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"OpenZL <\/a> \"OpenZL <\/a> <\/a><\/noindex> <\/a> <\/p>\n

Po sedmi m\u011bs\u00edc\u00edch v\u00fdvoje byl uvoln\u011bn framework 0.2.0 OpenZL<\/a>, ur\u010den\u00fd k vytv\u00e1\u0159en\u00ed bezztr\u00e1tov\u00fdch datov\u00fdch kompresor\u016f.<\/p>\n

<\/noindex> <\/p>\n

Framework se skl\u00e1d\u00e1 z z\u00e1kladn\u00ed knihovny a n\u00e1stroj\u016f pro vytv\u00e1\u0159en\u00ed specializovan\u00fdch kompresor\u016f, kter\u00e9 jsou pops\u00e1ny v jazyce SDDL<\/a>.
K vytvo\u0159en\u00ed dobr\u00e9ho specializovan\u00e9ho kompresoru jsou pot\u0159eba dv\u011b f\u00e1ze:<\/p>\n

    \n
  1. Anal\u00fdza dat pro extrakci struktury.<\/li>\n
  2. Pou\u017eit\u00ed kvalitn\u00edch backendov\u00fdch kompresor\u016f, kter\u00e9 vyu\u017e\u00edvaj\u00ed z\u00edskanou strukturu pro dosa\u017een\u00ed dobr\u00e9ho zhu\u0161t\u011bn\u00ed.<\/li>\n<\/ol>\n

    OpenZL poskytuje n\u00e1stroje pro ob\u011b f\u00e1ze.<\/p>\n

    Projekt je naps\u00e1n v jazyc\u00edch C a C++ a je distribuov\u00e1n pod licenc\u00ed BSD.<\/p>\n

    Hlavn\u00ed zm\u011bny<\/h5>\n

    SDDL2<\/strong><\/p>\n

    SDDL byl kompletn\u011b p\u0159epracov\u00e1n od z\u00e1klad\u016f za \u00fa\u010delem dosa\u017een\u00ed stanoven\u00fdch designov\u00fdch c\u00edl\u016f. Zat\u00edmco p\u016fvodn\u00ed demo verze p\u0159edstavovala zjednodu\u0161en\u00e9 prost\u0159ed\u00ed pro spu\u0161t\u011bn\u00ed, SDDL2 je plnohodnotn\u00fd kompil\u00e1tor: syntaktick\u00fd analyz\u00e1tor p\u0159ed\u00e1v\u00e1 data semantick\u00e9mu analyz\u00e1toru, ten zase p\u0159ed\u00e1v\u00e1 typizovan\u00fd abstraktn\u00ed syntaktick\u00fd strom (AST) optimaliz\u00e1toru, kter\u00fd \u0159\u00edd\u00ed gener\u00e1tor k\u00f3du, jen\u017e generuje bajtk\u00f3d virtu\u00e1ln\u00ed stroje.<\/p>\n

    Kl\u00ed\u010dov\u00fdm v\u00fdsledkem je okam\u017eit\u00e1 syntaktick\u00e1 anal\u00fdza. Kdy\u017e lze pln\u011b ur\u010dit um\u00edst\u011bn\u00ed z\u00e1znamu pouze na z\u00e1klad\u011b parametr\u016f a konstant, motor p\u0159ech\u00e1z\u00ed p\u0159\u00edmo na jak\u00e9koliv pole, ani\u017e by skenoval p\u0159edchoz\u00ed bajty, co\u017e zaji\u0161\u0165uje p\u0159\u00edstup bez kop\u00edrov\u00e1n\u00ed a propustnost n\u011bkolika GB\/s.<\/p>\n

    Samotn\u00fd jazyk se vyv\u00edjel spolu s n\u00e1stroji. Nyn\u00ed podporuje bloky when pro podm\u00edn\u011bn\u00e1 um\u00edst\u011bn\u00ed, parametrov\u00e9 a anonymn\u00ed z\u00e1znamy, p\u0159\u00edstup k \u010dlen\u016fm pol\u00ed z\u00e1znamu, a tak\u00e9 bitov\u00e9 a logick\u00e9 oper\u00e1tory.<\/p>\n

    Co se t\u00fd\u010de pohodl\u00ed v\u00fdvoj\u00e1\u0159e, f\u00e1ze semantick\u00e9 anal\u00fdzy nyn\u00ed odhaluje nejasn\u00e9 odkazy, typov\u00e9 nesoulady a aritmetick\u00e9 chyby ji\u017e ve f\u00e1zi kompilace \u2013 s uveden\u00edm um\u00edst\u011bn\u00ed v zdrojov\u00e9m k\u00f3du \u2013 a nikoli b\u011bhem spu\u0161t\u011bn\u00ed, a bylo vyd\u00e1no roz\u0161\u00ed\u0159en\u00ed pro VS Code pro zv\u00fdrazn\u011bn\u00ed syntaxe soubor\u016f .sddl.<\/p>\n

    Nov\u00fd integrovan\u00fd kodek LZ<\/strong><\/p>\n

    OpenZL nyn\u00ed zahrnuje vlastn\u00ed LZ kodek, p\u0159edstaven\u00fd jako ZL_GRAPH_LZ, a tak\u00e9 profil sekven\u010dn\u00edho kompresn\u00edho procesu v n\u00e1stroji zli. Pr\u00e1ce na kodeku pokra\u010duje: roz\u0161i\u0159uje se soubor funkc\u00ed a zvy\u0161uje se v\u00fdkon p\u0159i zpracov\u00e1n\u00ed mal\u00fdch vstupn\u00edch dat. V sou\u010dasn\u00e9 dob\u011b podporuje funkcionalitu ekvivalentn\u00ed zstd \u00farovn\u011b 1 s velikost\u00ed okna komprese 64 KB.<\/p>\n

    <\/p>\n

    OpenZL umo\u017e\u0148uje redesignovat ka\u017ed\u00fd krok procesu LZ s c\u00edlem zv\u00fd\u0161it rychlost. Jeho grafov\u00e1 architektura tak\u00e9 umo\u017e\u0148uje kombinovat f\u00e1ze entropick\u00e9 k\u00f3dov\u00e1n\u00ed m\u00edsto pou\u017e\u00edv\u00e1n\u00ed jednotn\u00e9ho procesu, kter\u00fd je stejn\u011b efektivn\u00ed pro v\u0161echny sc\u00e9n\u00e1\u0159e pou\u017eit\u00ed. N\u011bkolik f\u00e1z\u00ed lze pot\u00e9 slou\u010dit do jedn\u00e9 operace pro zv\u00fd\u0161en\u00ed rychlosti zpracov\u00e1n\u00ed. To umo\u017e\u0148uje OpenZL zajistit o 10% vy\u0161\u0161\u00ed rychlost komprese a o 70% rychlej\u0161\u00ed dekompresi ve srovn\u00e1n\u00ed se Zstandard \u00farovn\u011b 1 na vzorku Silesia v na\u0161ich testech<\/a>:<\/p>\n

    <\/noindex> <\/p>\n\n\n\n\n\n\n\n
    Kompressor<\/strong><\/th>\nKompresn\u00ed pom\u011br<\/strong><\/th>\nRychlost komprese<\/strong><\/th>\nRychlost dekomprese<\/strong><\/th>\n<\/tr>\n<\/thead>\n
    OpenZL LZ \u00farove\u0148 1<\/td>\n2.74<\/td>\n466 MB\/s<\/td>\n2288 MB\/s<\/td>\n<\/tr>\n
    Zstd \u00farove\u0148 1 s velikost\u00ed okna 64K<\/td>\n2.74<\/td>\n419 MB\/s<\/td>\n1254 MB\/s<\/td>\n<\/tr>\n
    Zstd \u00farove\u0148 1<\/td>\n2.89<\/td>\n424 MB\/s<\/td>\n1345 MB\/s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

    Podpora velmi velk\u00fdch vstupn\u00edch dat<\/strong><\/p>\n

    zli nyn\u00ed podporuje zpracov\u00e1n\u00ed obrovsk\u00fdch vstupn\u00edch dat (o velikosti n\u011bkolika gigabajt\u016f). P\u0159ed kompres\u00ed jsou tato data nyn\u00ed automaticky rozd\u011blov\u00e1na na fragmenty \u0159\u00edzen\u00e9 velikosti (standardn\u011b p\u0159ibli\u017en\u011b 16 MB), co\u017e umo\u017e\u0148uje omezit objem pou\u017e\u00edvan\u00e9 pam\u011bti, zv\u00fd\u0161it lokalitu dat a otev\u00edr\u00e1 mo\u017enosti pro paraleln\u00ed zpracov\u00e1n\u00ed. V SDDL2 byla implementov\u00e1na podobn\u00e1 funkce automatick\u00e9ho fragmentov\u00e1n\u00ed p\u0159i pr\u00e1ci podle sch\u00e9matu. B\u011bhem procesu byly vytvo\u0159eny nebo aktualizov\u00e1ny nov\u00e9 segment\u00e1tory \u2013 pro CSV, Parquet a standardn\u00ed \u010d\u00edseln\u00e1 data \u2013 a v\u0161echny segment\u00e1tory jsou nyn\u00ed serializovateln\u00e9 a konfigurovateln\u00e9, tak\u017ee vybran\u00e9 uspo\u0159\u00e1d\u00e1n\u00ed m\u016f\u017ee b\u00fdt ulo\u017eeno v kompresoru a pozd\u011bji znovu pou\u017eito.<\/p>\n

    Toto se transparentn\u011b uplat\u0148uje b\u011bhem komprese. Vezm\u011bte pros\u00edm na v\u011bdom\u00ed, \u017ee tr\u00e9ninkov\u00fd proces je odli\u0161n\u00fd a z\u016fst\u00e1v\u00e1 nedot\u010den, tak\u017ee nen\u00ed ur\u010den k p\u0159ij\u00edm\u00e1n\u00ed obrovsk\u00fdch vstupn\u00edch dat jako tr\u00e9ninkov\u00e9ho materi\u00e1lu.<\/p>\n

    Zlep\u0161en\u00ed v online vizualiz\u00e1toru grafu (vyzkou\u0161et<\/a>)<\/strong>
    Nyn\u00ed vizualiz\u00e1tor rozpozn\u00e1v\u00e1 stopy komprese a dekomprese od za\u010d\u00e1tku do konce.<\/p>\n

    Panel pro n\u00e1hled toku umo\u017e\u0148uje prohl\u00ed\u017eet bajty, kter\u00e9 skute\u010dn\u011b proch\u00e1zej\u00ed ka\u017ed\u00fdm okrajem, a d\u00edky prvk\u016fm pro o\u0159ez\u00e1v\u00e1n\u00ed z\u016fst\u00e1vaj\u00ed i velk\u00e9 toky snadno ovladateln\u00e9.<\/p>\n

    Panel nastaven\u00ed sdru\u017euje v\u0161echny mo\u017enosti zobrazen\u00ed na jednom m\u00edst\u011b, zat\u00edmco kompletn\u00ed sada kl\u00e1vesov\u00fdch zkratek \u2013 navigace podle sm\u011br\u016f, se\u0159azen\u00e9 proch\u00e1zen\u00ed, rozbalov\u00e1n\u00ed a sbalov\u00e1n\u00ed, v\u00fdb\u011br uzl\u016f \u2013 umo\u017e\u0148uje pohodlnou pr\u00e1ci s n\u00e1strojem bez my\u0161i.<\/p>\n

    Nyn\u00ed maj\u00ed trasov\u00e1n\u00ed verze, komprese s rozd\u011blen\u00edm na bloky se zobrazuje spr\u00e1vn\u011b a zli kone\u010dn\u011b m\u016f\u017ee generovat vlastn\u00ed trasov\u00e1n\u00ed pomoc\u00ed nov\u00fdch flag\u016f \u2013trace a \u2013trace-streams-dir.<\/p>\n

    R\u016fzn\u00e9<\/strong><\/p>\n