{"id":170618,"date":"2026-05-11T18:24:52","date_gmt":"2026-05-11T16:24:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/openzl-0-2-0"},"modified":"2026-05-11T18:24:52","modified_gmt":"2026-05-11T16:24:53","slug":"openzl-0-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/lv\/blog\/news\/openzl-0-2-0","title":{"rendered":"OpenZL 0.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"OpenZL <\/a> \"OpenZL <\/a> <\/a><\/noindex> <\/a> <\/p>\n

P\u0113c septi\u0146iem izstr\u0101des m\u0113ne\u0161iem tika izlaista 0.2.0 r\u0101mja versija OpenZL<\/a>, kas paredz\u0113ts bezzaud\u0113jumu datu kompresoru izveidei.<\/p>\n

<\/noindex> <\/p>\n

R\u0101mis sast\u0101v no pamata bibliot\u0113kas un r\u012bkiem specializ\u0113tu kompresoru izveidei, kas aprakst\u012bti valod\u0101 SDDL<\/a>.
Lai izveidotu labu specializ\u0113tu kompresoru, ir divi posmi:<\/p>\n

    \n
  1. Datu anal\u012bze strukt\u016bras izvilk\u0161anai.<\/li>\n
  2. Labas aizmugures kompresoru izmanto\u0161ana, kas izmanto ieg\u016bto strukt\u016bru labas saspie\u0161anas sasnieg\u0161anai.<\/li>\n<\/ol>\n

    OpenZL nodro\u0161ina r\u012bkus abiem posmiem.<\/p>\n

    Projekts ir uzrakst\u012bts C un C++ valod\u0101s un tiek izplat\u012bts saska\u0146\u0101 ar BSD licenci.<\/p>\n

    Galven\u0101s izmai\u0146as<\/h5>\n

    SDDL2<\/strong><\/p>\n

    SDDL ir piln\u012bb\u0101 p\u0101rstr\u0101d\u0101ts no nulles, lai sasniegtu projekt\u0113\u0161anas m\u0113r\u0137us. Ja s\u0101kotn\u0113j\u0101 demonstr\u0101cija p\u0101rst\u0101v\u0113ja vienk\u0101r\u0161u izpildes vidi, tad SDDL2 – tas ir pilnv\u0113rt\u012bgs kompilators: sintaktiskais analizators nos\u016bta datus semantiskajam analizatoram, tas, savuk\u0101rt, nos\u016bta tipiz\u0113tu abstrakto sintaktisko koku (AST) optimizatoram, un optimizators kontrol\u0113 koda \u0123eneratoru, kas \u0123ener\u0113 virtu\u0101l\u0101s ma\u0161\u012bnas baitkodu.<\/p>\n

    Pamata rezult\u0101ts ir t\u016bl\u012bt\u0113ja sintakses anal\u012bze. Kad ieraksta atra\u0161an\u0101s vieta var tikt piln\u012bb\u0101 noteikta tikai ar parametriem un konstant\u0113m, meh\u0101nisms p\u0101riet tie\u0161i uz jebkuru lauku, nesken\u0113jot iepriek\u0161\u0113jos baitus, nodro\u0161inot piek\u013cuvi bez kop\u0113\u0161anas un caurlaidsp\u0113ju vair\u0101kos GB\/s.<\/p>\n

    Pa\u0161ai valodai ir bijusi att\u012bst\u012bba kop\u0101 ar r\u012bku komplektu. Tagad t\u0101 atbalsta when blokiem nosac\u012bt\u0101m atra\u0161an\u0101s viet\u0101m, parametriz\u0113tiem un anon\u012bmiem ierakstiem, piek\u013cuvi ierakstu lauku locek\u013ciem, k\u0101 ar\u012b bitu un lo\u0123iskos operatorus.<\/p>\n

    Run\u0101jot par izstr\u0101d\u0101t\u0101ju \u0113rt\u012bb\u0101m, semantisk\u0101s anal\u012bzes posms tagad atkl\u0101j nenoteiktas atsauces, tipu neatbilst\u012bbas un arnosti k\u013c\u016bdas kompil\u0101cijas posm\u0101 – nor\u0101dot atra\u0161anas vietu avota kod\u0101 – nevis izpildes laik\u0101, k\u0101 ar\u012b ir izlaista VS Code papla\u0161in\u0101jums, lai izceltu .sddl failu sintaksi.<\/p>\n

    Jaunais ieb\u016bv\u0113tais LZ kodeks<\/strong><\/p>\n

    OpenZL tagad ietver savu LZ kodeku, kas rea\u0123\u0113 k\u0101 ZL_GRAPH_LZ, k\u0101 ar\u012b sec\u012bgas kompresijas profilu util\u012bt\u0113 zli. Darbs pie kodeka turpin\u0101s: tiek papla\u0161in\u0101ts funkciju kopums un palielin\u0101ta veiktsp\u0113ja nelielu datu apjoma apstr\u0101d\u0113. Pa\u0161laik t\u0101 atbalsta funkcionalit\u0101ti, kas ir ekvivalenta zstd l\u012bmenim 1 ar kompresijas loga izm\u0113ru 64 KB.<\/p>\n

    <\/p>\n

    OpenZL \u013cauj p\u0101rprojekt\u0113t katru LZ cauru\u013cvada posmu, lai uzlabotu \u0101trumu. T\u0101s grafisk\u0101 arhitekt\u016bra ar\u012b \u013cauj apvienot entropijas kod\u0113\u0161anas posmus, nevis izmantot vienu cauru\u013cvadu, kas vien\u0101di labi atbilst visiem lietojuma gad\u012bjumiem. P\u0113c tam vair\u0101kus posmus var apvienot vien\u0101 oper\u0101cij\u0101, lai palielin\u0101tu apstr\u0101des \u0101trumu. Tas \u013cauj OpenZL nodro\u0161in\u0101t par 10% \u0101tr\u0101ku kompresiju un par 70% \u0101tr\u0101ku atpaku\u0161anu sal\u012bdzin\u0101jum\u0101 ar Zstandard l\u012bme\u0146a 1 uz Silesia korpusa testos. m\u016bsu testos<\/a>:<\/p>\n

    <\/noindex> <\/p>\n\n\n\n\n\n\n\n
    Kompresors<\/strong><\/th>\nKompresijas attiec\u012bba<\/strong><\/th>\nKompresijas \u0101trums<\/strong><\/th>\nAtpaku\u0161anas \u0101trums<\/strong><\/th>\n<\/tr>\n<\/thead>\n
    OpenZL LZ l\u012bmenis 1<\/td>\n2.74<\/td>\n466 MB\/s<\/td>\n2288 MB\/s<\/td>\n<\/tr>\n
    Zstd l\u012bmenis 1 ar 64K loga izm\u0113ru<\/td>\n2.74<\/td>\n419 MB\/s<\/td>\n1254 MB\/s<\/td>\n<\/tr>\n
    Zstd l\u012bmenis 1<\/td>\n2.89<\/td>\n424 MB\/s<\/td>\n1345 MB\/s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

    Atbalsts \u013coti lieliem datu apjomiem<\/strong><\/p>\n

    zli tagad atbalsta milz\u012bgu ievades datu apstr\u0101di (se\u0161u gigabaitu apjom\u0101). Pirms saspie\u0161anas \u0161\u0101di dati tagad autom\u0101tiski tiek dal\u012bti fragmentos ar valsts izm\u0113ru (p\u0113c noklus\u0113juma – aptuveni 16MB), kas \u013cauj ierobe\u017eot izmantot\u0101s atmi\u0146as apjomu, paaugstin\u0101t datu lokalit\u0101ti un atver iesp\u0113jas paral\u0113lai apstr\u0101dei. SDDL2 ir ieviesta l\u012bdz\u012bga autom\u0101tisk\u0101s fragment\u0113\u0161anas funkcija, str\u0101d\u0101jot saska\u0146\u0101 ar sh\u0113mu. Proces\u0101 tika izveidoti vai atjaunoti jaunie segment\u0113t\u0101ji \u2013 CSV, Parquet un standarta skaitliskajiem datiem \u2013 un visi segment\u0113t\u0101ji tagad ir serializ\u0113jami un piel\u0101gojami, t\u0101p\u0113c izv\u0113l\u0113t\u0101 kompoz\u012bcija var tikt saglab\u0101ta kompresor\u0101 un izmantota v\u0113l\u0101k.<\/p>\n

    Tas caursp\u012bd\u012bgi tiek pielietots kompresijas laik\u0101. \u0145emiet v\u0113r\u0101, ka m\u0101c\u012bbu cauru\u013cvads ir at\u0161\u0137ir\u012bgs un paliek neskarots, t\u0101p\u0113c tas nav paredz\u0113ts, lai sa\u0146emtu milz\u012bgus datus k\u0101 m\u0101c\u012bbu materi\u0101lu.<\/p>\n

    Uzlabojumi tie\u0161saistes grafika vizualizator\u0101 (izm\u0113\u0123in\u0101t<\/a>)<\/strong>
    Tagad vizualizators atpaz\u012bst kompresijas un atpaku\u0161anas izsekojumus no s\u0101kuma l\u012bdz beig\u0101m.<\/p>\n

    Pl\u016bsmas priek\u0161skat\u012bjuma panelis \u013cauj apskat\u012bt baitus, kas faktiski p\u0101rvietojas pa katru malas, un, pateicoties apgrie\u0161anas kontro\u013cu elementiem, pat lielie pl\u016bsmas paliek viegli apstr\u0101d\u0101jami.<\/p>\n

    Iestat\u012bjumu panelis apvieno visus att\u0113lo\u0161anas parametrus vienuviet, bet pilns \u0101tro tausti\u0146u kopums \u2013 navig\u0101cija pa virzieniem, sec\u012bga p\u0101rl\u016bko\u0161ana, izv\u0113r\u0161ana un saruk\u0161ana, mezglu izv\u0113le \u2013 \u013cauj \u0113rti str\u0101d\u0101t ar r\u012bku bez peles.<\/p>\n

    Tagad izseko\u0161anai ir versijas, bloku saspie\u0161ana tiek att\u0113lota pareizi, un zli beidzot var \u0123ener\u0113t savas izseko\u0161anas ar jaunajiem karogiem \u2014trace un \u2014trace-streams-dir.<\/p>\n

    Da\u017e\u0101di<\/strong><\/p>\n