{"id":170618,"date":"2026-05-11T18:24:52","date_gmt":"2026-05-11T16:24:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/openzl-0-2-0"},"modified":"2026-05-11T18:24:52","modified_gmt":"2026-05-11T16:24:53","slug":"openzl-0-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/news\/openzl-0-2-0","title":{"rendered":"OpenZL 0.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"OpenZL <\/a> \"OpenZL <\/a> <\/a><\/noindex> <\/a> <\/p>\n

P\u00e4rast seitsme kuu arendust\u00f6\u00f6 tehti v\u00e4lja 0.2.0 raamistik OpenZL<\/a>, mis on m\u00f5eldud kaotusteta andmekompressorite loomiseks.<\/p>\n

<\/noindex> <\/p>\n

Raamistik koosneb p\u00f5hikogumist ja t\u00f6\u00f6riistadest spetsialiseeritud kompressorite loomiseks, mis on kirjeldatud keeles SDDL<\/a>.
Hea spetsialiseeritud kompressori loomise protsess koosneb kahest etapist:<\/p>\n

    \n
  1. Andmete anal\u00fc\u00fcs struktuuri v\u00e4ljat\u00f5mbamiseks.<\/li>\n
  2. Heade tagaplaanikompressorite kasutamine, mis kasutavad saadud struktuuri efektiivse tihenduse saavutamiseks.<\/li>\n<\/ol>\n

    OpenZL pakub t\u00f6\u00f6riistu m\u00f5lema etapi jaoks.<\/p>\n

    Projekt on kirjutatud keeltes C ja C++ ning jagatakse BSD litsentsi alusel.<\/p>\n

    Peamised muudatused<\/h5>\n

    SDDL2<\/strong><\/p>\n

    SDDL on t\u00e4ielikult nullist \u00fcmber kujundatud, et saavutada kavandatud projekteerimise eesm\u00e4rke. Kui algne demoversioon oli lihtsustatud t\u00e4itmisreegel, siis SDDL2 \u2013 see on t\u00e4isfunktsionaalne kompilaator: s\u00fcntaksianal\u00fcsaator edastab andmed semantika anal\u00fcsaatorile, kes omakorda edastab t\u00fc\u00fcbistatud abstraktse s\u00fcntakspuu (AST) optimeerijale, ning optimeerija juhib koodigeneraatort, mis genereerib virtuaalmasina baytkoodi.<\/p>\n

    Peamine tulemus on kohene s\u00fcntaksianal\u00fc\u00fcs. Kui kirje asukoht on t\u00e4ielikult m\u00e4\u00e4ratletav ainult parameetrite ja konstantide kaudu, suundub mootor otse igale v\u00e4ljal, skaneerimata eelnevaid baitide, mis tagab juurdep\u00e4\u00e4su ilma kopeerimise ja GB\/s \u00fclekandekiirus.<\/p>\n

    Ise keel on arenenud koos t\u00f6\u00f6riistade kogumiga. N\u00fc\u00fcd toetab see when-blokke tingimuslike asukohtade jaoks, parameetrilisi ja anon\u00fc\u00fcmseid kirjeid, kirjev\u00e4ljade liikmete juurdep\u00e4\u00e4su ning bititaseme ja loogilisi operaatorit.<\/p>\n

    Arendaja mugavuse osas tuvastab semantika anal\u00fc\u00fcsietapp n\u00fc\u00fcd m\u00e4\u00e4ratlemata viidatud, t\u00fc\u00fcbi mittevastavuse ja arusaamatuse vead kompileerimise etapis \u2013 koos asukoha n\u00e4itamistega allika koodis \u2013 mitte jooksutushetkel ning on v\u00e4lja antud VS Code laiendus .sddl failide s\u00fcntaksi esilet\u00f5stmiseks.<\/p>\n

    Uus sisseehitatud LZ koodek<\/strong><\/p>\n

    OpenZL sisaldab n\u00fc\u00fcd oma LZ-koodekit, mis on esitatud ZL_GRAPH_LZ kujul, samuti j\u00e4rjestikuse kompressiooniprofiili utiliidis zli. T\u00f6\u00f6d koodeki kallal j\u00e4tkuvad: t\u00f6\u00f6riista funktsioonide komplekti laienemine ja j\u00f5udluse t\u00f5stmine v\u00e4ikeste sisendandmete t\u00f6\u00f6tlemisel. Praegu toetab see funktsionaalsust, mis vastab zstd tasemele 1, kompressiooniruuduga 64 KB.<\/p>\n

    <\/p>\n

    OpenZL v\u00f5imaldab \u00fcmber kujundada iga LZ konveieri etapi kiirema t\u00f6\u00f6 tempos. Selle graafiline arhitektuur v\u00f5imaldab ka \u00fchte etappi entropiakoodimist kombineerida, selle asemel et kasutada \u00fchtset konveierit, mis sobib igasuguste kasutusstsenaariumide jaoks. Seej\u00e4rel saab mitu etappi \u00fchendada \u00fcheks operatsiooniks, et t\u00f5sta t\u00f6\u00f6tlemise kiirus. See v\u00f5imaldab OpenZL-l saavutada 10% kiirema kompressioonikiiruse ja 70% kiirema dekompressioonikiiruse v\u00f5rreldes Zstandard tasemega 1 Silesia korpusel. meie testides<\/a>:<\/p>\n

    <\/noindex> <\/p>\n\n\n\n\n\n\n\n
    Kompressor<\/strong><\/th>\nKompressioonisuhe<\/strong><\/th>\nKompressioonikiirus<\/strong><\/th>\nDekompresseerimise kiirus<\/strong><\/th>\n<\/tr>\n<\/thead>\n
    OpenZL LZ tase 1<\/td>\n2.74<\/td>\n466 MB\/s<\/td>\n2288 MB\/s<\/td>\n<\/tr>\n
    Zstd tase 1 64K akna suurusega<\/td>\n2.74<\/td>\n419 MB\/s<\/td>\n1254 MB\/s<\/td>\n<\/tr>\n
    Zstd tase 1<\/td>\n2.89<\/td>\n424 MB\/s<\/td>\n1345 MB\/s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

    Toetamine v\u00e4ga suurte sisendandmete jaoks<\/strong><\/p>\n

    zli toetab n\u00fc\u00fcd tohutute sisendandmete t\u00f6\u00f6tlemist (mitme gigabaidi suuruses). Enne tihendamist jagatakse need andmed automaatselt kontrollitud suurusega fragmentideks (vaikimisi umbes 16MB), mis aitab piirata kasutatava m\u00e4lu mahtu, t\u00f5sta andmete lokaalsust ja avab v\u00f5imalusi paralleelseks t\u00f6\u00f6tlemiseks. SDDL2-s on rakendatud sarnane automaatne fragmentimine t\u00f6\u00f6tamisel skeemi alusel. Protsessi k\u00e4igus on loodud v\u00f5i ajakohastatud uusi segmentaatoreid \u2013 CSV, Parquet ja standardsete numbriliste andmete jaoks \u2013 ja k\u00f5ik segmentaatorid on n\u00fc\u00fcd serialiseeritavad ja konfigureeritavad, nii et valitud paigutus saab salvestada kompressorisse ja kasutada hiljem uuesti.<\/p>\n

    See rakendatakse kompressiooni k\u00e4igus transparantselt. Pange t\u00e4hele, et koolituskonveier on erinev ning j\u00e4\u00e4b muutumatuks, seega ei ole see m\u00f5eldud hiiglaslike sisendandmete saamiseks koolitusmaterjalidena.<\/p>\n

    Parandused veebivisualiseerija graafikusproovi<\/a>)<\/strong>
    N\u00fc\u00fcd tuvastab visuaaliseerija kompressiooni ja dekompressiooni j\u00e4lgi algusest l\u00f5puni.<\/p>\n

    Voogesituspaneel v\u00f5imaldab vaadata byte'e, mis tegelikult l\u00e4bivad iga serva, ja l\u00f5ikamise juhtnupud hoiavad isegi suured vood t\u00f6\u00f6tlemisv\u00f5imelisena.<\/p>\n

    Seadete paneel koondab k\u00f5ik kuvamisparameetrid \u00fchte kohta, samas kui t\u00e4iskomplekt otsetee klahvidest \u2013 navigeerimine suundade kaudu, j\u00e4rjestatud l\u00e4bivaatamine, avamine ja sulgemine, s\u00f5lmede valimine \u2013 v\u00f5imaldab mugavalt t\u00f6\u00f6riistaga t\u00f6\u00f6tada ilma hiireta.<\/p>\n

    N\u00fc\u00fcd on j\u00e4lgimised versiooniga, plokkide eraldamisega tihendamine kuvatakse \u00f5igesti, ja zli suudab l\u00f5puks genereerida oma j\u00e4lgimisi uute lipudega --trace ja --trace-streams-dir.<\/p>\n

    Muud<\/strong><\/p>\n