{"id":170618,"date":"2026-05-11T18:24:52","date_gmt":"2026-05-11T16:24:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/openzl-0-2-0"},"modified":"2026-05-11T18:24:52","modified_gmt":"2026-05-11T16:24:53","slug":"openzl-0-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/ro\/blog\/news\/openzl-0-2-0","title":{"rendered":"OpenZL 0.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"OpenZL <\/a> \"OpenZL <\/a> <\/a><\/noindex> <\/a> <\/p>\n

Dup\u0103 \u0219apte luni de dezvoltare, a fost lansat\u0103 versiunea 0.2.0 a framework-ului OpenZL<\/a>, destinat cre\u0103rii de compresoare de date f\u0103r\u0103 pierderi.<\/p>\n

<\/noindex> <\/p>\n

Framework-ul este compus dintr-o bibliotec\u0103 de baz\u0103 \u0219i instrumente pentru crearea de compresoare specializate, descrise \u00een limbajul SDDL<\/a>.
Pentru a crea un bun compresor specializat, sunt dou\u0103 etape:<\/p>\n

    \n
  1. Analiza datelor pentru extragerea structurii.<\/li>\n
  2. Utilizarea unor compresoare de backend eficiente, care utilizeaz\u0103 structura ob\u021binut\u0103 pentru a atinge o compresie bun\u0103.<\/li>\n<\/ol>\n

    OpenZL ofer\u0103 instrumente pentru ambele etape.<\/p>\n

    Proiectul este scris \u00een limbajele C \u0219i C++ \u0219i este distribuit sub licen\u021ba BSD.<\/p>\n

    Principalele modific\u0103ri<\/h5>\n

    SDDL2<\/strong><\/p>\n

    SDDL a fost complet reproiectat de la zero pentru a atinge obiectivele de proiectare stabilite. Dac\u0103 versiunea demo ini\u021bial\u0103 a fost un mediu de execu\u021bie simplificat, SDDL2 este un compilator complet: parserul trimite datele c\u0103tre analiza semantic\u0103, care la r\u00e2ndul s\u0103u transmite un arbore de sintax\u0103 abstract tipizat (AST) c\u0103tre optimizator, iar optimizatorul controleaz\u0103 generatorul de cod, care genereaz\u0103 bytecode pentru ma\u0219ina virtual\u0103.<\/p>\n

    Rezultatul cheie este analiza sintactic\u0103 instantanee. C\u00e2nd pozi\u021bia \u00eenregistr\u0103rii poate fi determinat\u0103 complet doar din parametri \u0219i constante, motorul acceseaz\u0103 direct orice c\u00e2mp, f\u0103r\u0103 a scana byte-urile anterioare, asigur\u00e2nd acces f\u0103r\u0103 copiere \u0219i o l\u0103\u021bime de band\u0103 de c\u00e2teva GB\/s.<\/p>\n

    \u00centregul limbaj a evoluat \u00eempreun\u0103 cu setul de instrumente. Acum, acesta suport\u0103 blocuri when pentru pozi\u021bii condi\u021bionale, \u00eenregistr\u0103ri parametrizate \u0219i anonime, acces la membri ai c\u00e2mpurilor \u00eenregistr\u0103rilor, precum \u0219i operatori pe bi\u021bi \u0219i logici.<\/p>\n

    \u00cen ceea ce prive\u0219te confortul dezvoltatorului, etapa de analiz\u0103 semantic\u0103 identific\u0103 acum referin\u021bele indeterminate, necoresponden\u021bele de tip \u0219i erorile de aritate \u00een timpul compil\u0103rii \u2013 cu men\u021bionarea loca\u021biei \u00een codul surs\u0103 \u2013 \u0219i nu \u00een timpul execu\u021biei, iar o extensie pentru VS Code pentru eviden\u021bierea sintaxei fi\u0219ierelor .sddl a fost lansat\u0103.<\/p>\n

    Noul codec \u00eencorporat LZ<\/strong><\/p>\n

    \u00cen OpenZL este acum inclus un codec LZ propriu, prezentat sub forma ZL_GRAPH_LZ, precum \u0219i un profil de compresie secven\u021bial\u0103 \u00een utilitarul zli. Lucr\u0103rile la codec continu\u0103: se extinde setul de func\u021bii \u0219i se \u00eembun\u0103t\u0103\u021be\u0219te performan\u021ba la procesarea datelor de intrare mici. \u00cen acest moment, acesta suport\u0103 func\u021bionalit\u0103\u021bi echivalente cu zstd nivelul 1, cu dimensiunea feronatului de compresie de 64 KB.<\/p>\n

    <\/p>\n

    OpenZL ofer\u0103 posibilitatea de a reproiecta fiecare etap\u0103 a conveiorului LZ pentru a cre\u0219te viteza. Arhitectura sa grafic\u0103 permite, de asemenea, combinarea etapelor de codificare a entropiei, \u00een loc de a utiliza un singur conveior, care se potrive\u0219te la fel de bine pentru toate scenariile de utilizare. Apoi, mai multe etape pot fi combinate \u00eentr-o singur\u0103 opera\u021biune pentru a spori viteza de procesare. Acest lucru permite OpenZL s\u0103 ofere o vitez\u0103 de compresie cu 10% mai mare \u0219i o vitez\u0103 de decompresie cu 70% mai mare \u00een compara\u021bie cu Zstandard nivelul 1 pe corpul Silesia \u00een teste noastre<\/a>:<\/p>\n

    <\/noindex> <\/p>\n\n\n\n\n\n\n\n
    Compresor<\/strong><\/th>\nRaport de compresie<\/strong><\/th>\nVitez\u0103 de compresie<\/strong><\/th>\nVitez\u0103 de decompresie<\/strong><\/th>\n<\/tr>\n<\/thead>\n
    OpenZL LZ nivel 1<\/td>\n2.74<\/td>\n466 MB\/s<\/td>\n2288 MB\/s<\/td>\n<\/tr>\n
    Zstd nivel 1 cu dimensiunea feronatului 64K<\/td>\n2.74<\/td>\n419 MB\/s<\/td>\n1254 MB\/s<\/td>\n<\/tr>\n
    Zstd nivel 1<\/td>\n2.89<\/td>\n424 MB\/s<\/td>\n1345 MB\/s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

    Suport pentru date de intrare foarte mari<\/strong><\/p>\n

    zli suport\u0103 acum procesarea unor volume uriase de date de intrare (de c\u00e2\u021biva gigabytes). \u00cenainte de comprimare, aceste date sunt acum \u00eemp\u0103r\u021bite automat \u00een fragmente de dimensiuni gestionabile (de obicei, aproximativ 16MB), ceea ce permite limitarea consumului de memorie, \u00eembun\u0103t\u0103\u021birea localit\u0103\u021bii datelor \u0219i deschide posibilit\u0103\u021bi pentru procesarea paralel\u0103. SDDL2 a implementat o func\u021bie similar\u0103 de fragmentare automat\u0103 \u00een timpul lucrului cu schema. \u00cen acest proces, au fost create sau actualizate noi segmentatoare \u2013 pentru CSV, Parquet \u0219i date numerice standard \u2013 \u0219i toate segmentatoarele sunt acum serializabile \u0219i configurabile, astfel \u00eenc\u00e2t aranjamentul ales poate fi salvat \u00een compresor \u0219i reutilizat ulterior.<\/p>\n

    Aceasta se aplic\u0103 transparent \u00een timpul compresiei. Re\u021bine\u021bi c\u0103 conveiorul de \u00eenv\u0103\u021bare este diferit \u0219i r\u0103m\u00e2ne neatins, prin urmare nu este destinat primirii de date de intrare uria\u0219e ca material de \u00eenv\u0103\u021bare.<\/p>\n

    \u00cembun\u0103t\u0103\u021biri \u00een vizualizatorul grafic online (testeaz\u0103<\/a>)<\/strong>
    Acum vizualizatorul recunoa\u0219te tras\u0103rile de compresie \u0219i decompresie de la \u00eenceput p\u00e2n\u0103 la sf\u00e2r\u0219it.<\/p>\n

    Panoul de previzualizare a fluxului permite vizualizarea octe\u021bilor care trec efectiv prin fiecare arce, iar datorit\u0103 elementelor de control de t\u0103iere, fluxurile mari r\u0103m\u00e2n u\u0219or de gestionat.<\/p>\n

    Panoul de set\u0103ri combin\u0103 toate op\u021biunile de vizualizare \u00eentr-un singur loc, iar setul complet de taste rapide - navigare direc\u021bional\u0103, parcurgere ordonat\u0103, desf\u0103\u0219urare \u0219i pliere, selectarea nodurilor - permite o utilizare convenabil\u0103 a instrumentului f\u0103r\u0103 mouse.<\/p>\n

    Acum, tras\u0103rile au versiuni, comprimarea cu segmentare pe blocuri este afi\u0219at\u0103 corect, iar zli poate \u00een sf\u00e2r\u0219it s\u0103 genereze propriile tras\u0103ri cu ajutorul noilor steaguri --trace \u0219i --trace-streams-dir.<\/p>\n

    Diverse<\/strong><\/p>\n