{"id":170618,"date":"2026-05-11T18:24:52","date_gmt":"2026-05-11T16:24:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/openzl-0-2-0"},"modified":"2026-05-11T18:24:52","modified_gmt":"2026-05-11T16:24:53","slug":"openzl-0-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/news\/openzl-0-2-0","title":{"rendered":"OpenZL 0.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"OpenZL <\/a> \"OpenZL <\/a> <\/a><\/noindex> <\/a> <\/p>\n

H\u00e9t h\u00f3napnyi fejleszt\u00e9s ut\u00e1n megjelent a 0.2.0 verzi\u00f3 az OpenZL keretrendszerb\u0151l OpenZL<\/a>, amely adatvesztes\u00e9g n\u00e9lk\u00fcli adatkompresszorok k\u00e9sz\u00edt\u00e9s\u00e9re szolg\u00e1l.<\/p>\n

<\/noindex> <\/p>\n

A keretrendszer egy alapk\u00f6nyvt\u00e1rb\u00f3l \u00e9s eszk\u00f6z\u00f6kb\u0151l \u00e1ll, amelyek speci\u00e1lis t\u00f6m\u00f6r\u00edt\u0151k l\u00e9trehoz\u00e1s\u00e1ra szolg\u00e1lnak, az SDDL<\/a>.
nyelven le\u00edrtak szerint. A j\u00f3 speci\u00e1lis t\u00f6m\u00f6r\u00edt\u0151 l\u00e9trehoz\u00e1s\u00e1nak k\u00e9t l\u00e9p\u00e9se van:<\/p>\n

    \n
  1. Az adatok elemz\u00e9se a strukt\u00fara kinyer\u00e9s\u00e9re.<\/li>\n
  2. J\u00f3 h\u00e1tt\u00e9rkompresszorok haszn\u00e1lata, amelyek az el\u0151\u00e1ll\u00edtott strukt\u00far\u00e1t haszn\u00e1lj\u00e1k a j\u00f3 t\u00f6m\u00f6r\u00edt\u00e9s el\u00e9r\u00e9s\u00e9hez.<\/li>\n<\/ol>\n

    Az OpenZL eszk\u00f6z\u00f6ket biztos\u00edt mindk\u00e9t l\u00e9p\u00e9shez.<\/p>\n

    A projekt C \u00e9s C++ nyelveken k\u00e9sz\u00fclt, \u00e9s BSD licenc alatt terjesztik.<\/p>\n

    F\u0151bb v\u00e1ltoz\u00e1sok<\/h5>\n

    SDDL2<\/strong><\/p>\n

    Az SDDL teljesen \u00fajra lett tervezve a kit\u0171z\u00f6tt tervez\u00e9si c\u00e9lok el\u00e9r\u00e9se \u00e9rdek\u00e9ben. M\u00edg a kezdeti dem\u00f3verzi\u00f3 egy egyszer\u0171s\u00edtett v\u00e9grehajt\u00e1si k\u00f6rnyezetet k\u00e9pviselt, addig a SDDL2 egy teljes \u00e9rt\u00e9k\u0171 ford\u00edt\u00f3: a szintaktikai elemz\u0151 az adatokat a szemantikai elemz\u0151nek adja \u00e1t, amely azt\u00e1n a tipiz\u00e1lt absztrakt szintaxisf\u00e1t (AST) az optimaliz\u00e1l\u00f3hoz juttatja, \u00e9s az optimaliz\u00e1l\u00f3 ir\u00e1ny\u00edtja a k\u00f3dgener\u00e1l\u00f3t, amely a virtu\u00e1lis g\u00e9p b\u00e1jtjait gener\u00e1lja.<\/p>\n

    A kulcsfontoss\u00e1g\u00fa eredm\u00e9ny az azonnali szintaktikai elemz\u00e9s. Amikor a rekesz elhelyez\u00e9se teljes m\u00e9rt\u00e9kben meghat\u00e1rozhat\u00f3 csak a param\u00e9terek \u00e9s konstansok \u00e1ltal, a motor k\u00f6zvetlen\u00fcl hozz\u00e1f\u00e9r b\u00e1rmely mez\u0151h\u00f6z an\u00e9lk\u00fcl, hogy \u00e1tvizsg\u00e1ln\u00e1 az el\u0151z\u0151 b\u00e1jtokat, ami lehet\u0151v\u00e9 teszi a m\u00e1sol\u00e1s n\u00e9lk\u00fcli hozz\u00e1f\u00e9r\u00e9st \u00e9s t\u00f6bb GB\/s s\u00e1vsz\u00e9less\u00e9get biztos\u00edt.<\/p>\n

    Mag\u00e1nak a nyelvnek is fejl\u0151dnie kellett az eszk\u00f6zk\u00e9szlettel egy\u00fctt. Most m\u00e1r t\u00e1mogatja a when blokkokat a felt\u00e9teles elhelyez\u00e9sekhez, a param\u00e9terezett \u00e9s n\u00e9vtelen rekordokat, a rekord mez\u0151ihez val\u00f3 hozz\u00e1f\u00e9r\u00e9st, valamint a bit- \u00e9s logikai oper\u00e1torokat.<\/p>\n

    A fejleszt\u0151i k\u00e9nyelem \u00e9rdek\u00e9ben a szemantikai elemz\u00e9s szakasza most m\u00e1r a ford\u00edt\u00e1si szakaszban felder\u00edti a bizonytalan hivatkoz\u00e1sokat, a t\u00edpuselt\u00e9r\u00e9seket \u00e9s az arit\u00e1s hib\u00e1kat \u2013 a k\u00f3d forr\u00e1ssorainak megjel\u00f6l\u00e9s\u00e9vel \u2013 nem pedig a v\u00e9grehajt\u00e1s sor\u00e1n, \u00e9s megjelent egy VS Code kiterjeszt\u00e9s .sddl f\u00e1jlok szintaxis\u00e1nak kiemel\u00e9s\u00e9re.<\/p>\n

    Az \u00faj be\u00e9p\u00edtett LZ kodek<\/strong><\/p>\n

    Az OpenZL mostant\u00f3l saj\u00e1t LZ-k\u00f3dexet tartalmaz, amely ZL_GRAPH_LZ n\u00e9ven ismert, valamint egy sorozatos t\u00f6m\u00f6r\u00edt\u00e9si profilt a zli seg\u00e9dprogramban. A k\u00f3dexen folytat\u00f3dik a munka: a funkci\u00f3k\u00e9szlet b\u0151v\u00edt\u00e9se \u00e9s a kis bemeneti adatok feldolgoz\u00e1s\u00e1nak teljes\u00edtm\u00e9ny\u00e9nek jav\u00edt\u00e1sa zajlik. Jelenleg a t\u00f6m\u00f6r\u00edt\u00e9si funkci\u00f3 zstd szintnek 1 felel meg, 64 KB-os ablakm\u00e9rettel.<\/p>\n

    <\/p>\n

    Az OpenZL lehet\u0151v\u00e9 teszi az LZ-conveyer minden szakasz\u00e1nak \u00fajratervez\u00e9s\u00e9t a sebess\u00e9g n\u00f6vel\u00e9se \u00e9rdek\u00e9ben. Grafikus architekt\u00far\u00e1ja szint\u00e9n lehet\u0151v\u00e9 teszi az entropikus k\u00f3dol\u00e1si szakaszok kombin\u00e1l\u00e1s\u00e1t, ahelyett, hogy egy olyan egys\u00e9ges konveiert haszn\u00e1ln\u00e1nk, amely minden haszn\u00e1lati forgat\u00f3k\u00f6nyv sz\u00e1m\u00e1ra egyform\u00e1n megfelel\u0151. Ezut\u00e1n t\u00f6bb szakasz egyetlen m\u0171veletbe vonhat\u00f3 \u00f6ssze a feldolgoz\u00e1si sebess\u00e9g n\u00f6vel\u00e9se \u00e9rdek\u00e9ben. Ez lehet\u0151v\u00e9 teszi az OpenZL sz\u00e1m\u00e1ra, hogy 10%-kal magasabb t\u00f6m\u00f6r\u00edt\u00e9si sebess\u00e9get \u00e9s 70%-kal gyorsabb k\u00e9sleltet\u00e9st biztos\u00edtson a 1-es szint\u0171 Zstandardhoz k\u00e9pest a Silesia burkolaton. tesztjeinkben<\/a>:<\/p>\n

    <\/noindex> <\/p>\n\n\n\n\n\n\n\n
    T\u00f6m\u00f6r\u00edt\u0151<\/strong><\/th>\nT\u00f6m\u00f6r\u00edt\u00e9si ar\u00e1ny<\/strong><\/th>\nT\u00f6m\u00f6r\u00edt\u00e9si sebess\u00e9g<\/strong><\/th>\nKicsomagol\u00e1si sebess\u00e9g<\/strong><\/th>\n<\/tr>\n<\/thead>\n
    OpenZL LZ szint 1<\/td>\n2.74<\/td>\n466 MB\/s<\/td>\n2288 MB\/s<\/td>\n<\/tr>\n
    Zstd 1-es szint 64K ablakm\u00e9rettel<\/td>\n2.74<\/td>\n419 MB\/s<\/td>\n1254 MB\/s<\/td>\n<\/tr>\n
    Zstd 1-es szint<\/td>\n2.89<\/td>\n424 MB\/s<\/td>\n1345 MB\/s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

    Nagyon nagy bemeneti adatok t\u00e1mogat\u00e1sa<\/strong><\/p>\n

    A zli mostant\u00f3l k\u00e9pes hatalmas adatbeviteli adatok feldolgoz\u00e1s\u00e1ra (t\u00f6bb gigabyte-ot is el\u00e9r\u0151 m\u00e9retben). Az adatok t\u00f6m\u00f6r\u00edt\u00e9se el\u0151tt ezek automatikusan kezelhet\u0151 m\u00e9ret\u0171 darabokra (alap\u00e9rtelmez\u00e9s szerint k\u00f6r\u00fclbel\u00fcl 16MB) vannak felosztva, ami lehet\u0151v\u00e9 teszi a haszn\u00e1lt mem\u00f3ria mennyis\u00e9g\u00e9nek korl\u00e1toz\u00e1s\u00e1t, jav\u00edtja az adatok helyi el\u00e9rhet\u0151s\u00e9g\u00e9t, \u00e9s lehet\u0151s\u00e9get biztos\u00edt a p\u00e1rhuzamos feldolgoz\u00e1sra. Az SDDL2 hasonl\u00f3 automatikus darabol\u00e1si funkci\u00f3t val\u00f3s\u00edt meg s\u00e9m\u00e1k feldolgoz\u00e1sa sor\u00e1n. \u00daj vagy friss\u00edtett szegment\u00e1l\u00f3k k\u00e9sz\u00fcltek \u2013 CSV, Parquet \u00e9s standard numerikus adatok sz\u00e1m\u00e1ra \u2013 \u00e9s minden szegment\u00e1l\u00f3 most m\u00e1r sorozatos\u00edthat\u00f3 \u00e9s konfigur\u00e1lhat\u00f3, \u00edgy a v\u00e1lasztott elrendez\u00e9s a t\u00f6m\u00f6r\u00edt\u0151ben menthet\u0151 \u00e9s k\u00e9s\u0151bb \u00fajra haszn\u00e1lhat\u00f3.<\/p>\n

    Ez t\u00f6m\u00f6r\u00edt\u00e9s k\u00f6zben \u00e1tl\u00e1that\u00f3an alkalmaz\u00e1sra ker\u00fcl. Vegye figyelembe, hogy a tanul\u00e1si f\u00e1zis elt\u00e9r\u0151 \u00e9s \u00e9rintetlen marad, ez\u00e9rt nem alkalmas \u00f3ri\u00e1si bemeneti adatok fogad\u00e1s\u00e1ra tananyagg\u00e9nt.<\/p>\n

    Fejleszt\u00e9sek az online gr\u00e1f vizualiz\u00e1torban (pr\u00f3b\u00e1lkozzanak.<\/a>)<\/strong>
    Most a vizualiz\u00e1tor k\u00e9pes \u00e9szlelni a t\u00f6m\u00f6r\u00edt\u00e9si \u00e9s kicsomagol\u00e1si nyomvonalakat az elej\u00e9t\u0151l a v\u00e9g\u00e9ig.<\/p>\n

    A stream preview panel allows you to view the bytes actually passing through each edge, and with the trimming controls, even large streams remain easy to work with.<\/p>\n

    A be\u00e1ll\u00edt\u00e1si panel egyes\u00edti a megjelen\u00edt\u00e9si param\u00e9tereket egy helyen, m\u00edg a teljes billenty\u0171parancs-k\u00e9szlet \u2013 a navig\u00e1l\u00e1s ir\u00e1nyai, a rendezett \u00e1tkel\u00e9s, a kib\u0151v\u00edt\u00e9s \u00e9s \u00f6sszecsuk\u00e1s, a csom\u00f3pontok v\u00e1laszt\u00e1sa \u2013 lehet\u0151v\u00e9 teszi az eszk\u00f6zzel val\u00f3 k\u00e9nyelmes munk\u00e1t eg\u00e9r n\u00e9lk\u00fcl.<\/p>\n

    Most m\u00e1r a nyomk\u00f6vet\u00e9sek verzi\u00f3kkal rendelkeznek, a blokkal t\u00f6rt\u00e9nt t\u00f6m\u00f6r\u00edt\u00e9s helyesen jelenik meg, \u00e9s a zli v\u00e9gre k\u00e9pes saj\u00e1t nyomk\u00f6vet\u00e9seket gener\u00e1lni az \u00faj \u2013trace \u00e9s \u2013trace-streams-dir z\u00e1szl\u00f3k seg\u00edts\u00e9g\u00e9vel.<\/p>\n

    Vegyes<\/strong><\/p>\n