{"id":170618,"date":"2026-05-11T18:24:52","date_gmt":"2026-05-11T16:24:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/openzl-0-2-0"},"modified":"2026-05-11T18:24:52","modified_gmt":"2026-05-11T16:24:53","slug":"openzl-0-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/news\/openzl-0-2-0","title":{"rendered":"OpenZL 0.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"OpenZL <\/a> \"OpenZL <\/a> <\/a><\/noindex> <\/a> <\/p>\n

Po siedmiu miesi\u0105cach prac nad rozwojem, wydano wersj\u0119 0.2.0 frameworka OpenZL<\/a>, przeznaczonego do tworzenia kompresor\u00f3w danych bez strat.<\/p>\n

<\/noindex> <\/p>\n

Framework sk\u0142ada si\u0119 z podstawowej biblioteki oraz narz\u0119dzi do tworzenia wyspecjalizowanych kompresor\u00f3w opisanych w j\u0119zyku SDDL<\/a>.
Aby stworzy\u0107 dobry wyspecjalizowany kompresor, nale\u017cy przej\u015b\u0107 przez dwa etapy:<\/p>\n

    \n
  1. Analiz\u0119 danych, aby wydoby\u0107 struktur\u0119.<\/li>\n
  2. Zastosowanie dobrych kompresor\u00f3w zaplecza, kt\u00f3re wykorzystuj\u0105 uzyskan\u0105 struktur\u0119 w celu osi\u0105gni\u0119cia dobrej kompresji.<\/li>\n<\/ol>\n

    OpenZL zapewnia narz\u0119dzia do obu etap\u00f3w.<\/p>\n

    Projekt napisano w j\u0119zykach C i C++ i jest dystrybuowany na licencji BSD.<\/p>\n

    G\u0142\u00f3wne zmiany<\/h5>\n

    SDDL2<\/strong><\/p>\n

    SDDL zosta\u0142 ca\u0142kowicie przebudowany od podstaw w celu osi\u0105gni\u0119cia za\u0142o\u017conych cel\u00f3w projektowych. Je\u015bli pocz\u0105tkowa wersja demonstracyjna by\u0142a uproszczonym \u015brodowiskiem wykonawczym, to SDDL2 \u2013 to pe\u0142noprawny kompilator: parser przekazuje dane do analizy semantycznej, ta z kolei przekazuje typizowane drzewo sk\u0142adniowe (AST) do optymalizatora, a optymalizator zarz\u0105dza generatorem kodu, kt\u00f3ry generuje bajtowy kod maszyny wirtualnej.<\/p>\n

    Kluczowym rezultatem jest natychmiastowa analiza sk\u0142adniowa. Gdy miejsce zapisu mo\u017ce by\u0107 w pe\u0142ni okre\u015blone tylko przez parametry i sta\u0142e, silnik przechodzi bezpo\u015brednio do dowolnego pola, nie skanuj\u0105c poprzednich bajt\u00f3w, co zapewnia dost\u0119p bez kopiowania i przepustowo\u015b\u0107 na poziomie kilku GB\/s.<\/p>\n

    Sam j\u0119zyk rozwija\u0142 si\u0119 razem z zestawem narz\u0119dzi. Teraz obs\u0142uguje bloki when dla warunkowych lokalizacji, parametryzowane i anonimowe zapisy, dost\u0119p do cz\u0142onk\u00f3w p\u00f3l zapisu, a tak\u017ce operatory bitowe i logiczne.<\/p>\n

    Je\u015bli chodzi o wygod\u0119 programisty, etap analizy semantycznej teraz identyfikuje nieokre\u015blone odniesienia, niesp\u00f3jno\u015bci typ\u00f3w i b\u0142\u0119dy arno\u015bci na etapie kompilacji \u2013 z wskazaniem miejsca w kodzie \u017ar\u00f3d\u0142owym \u2013 a nie w trakcie wykonania, a tak\u017ce wydano rozszerzenie VS Code do pod\u015bwietlania sk\u0142adni plik\u00f3w .sddl.<\/p>\n

    Nowy wbudowany kodek LZ<\/strong><\/p>\n

    W OpenZL teraz wbudowany jest w\u0142asny kodek LZ, przedstawiony jako ZL_GRAPH_LZ, oraz profil sekwencyjnej kompresji w narz\u0119dziu zli. Prace nad kodekiem trwaj\u0105: wci\u0105\u017c trwa rozszerzanie zestawu funkcji i zwi\u0119kszanie wydajno\u015bci przy przetwarzaniu ma\u0142ych danych wej\u015bciowych. Obecnie obs\u0142uguje funkcjonalno\u015b\u0107 r\u00f3wnowa\u017cn\u0105 z zstd na poziomie 1, z rozmiarem okna kompresji wynosz\u0105cym 64 KB.<\/p>\n

    <\/p>\n

    OpenZL umo\u017cliwia przekszta\u0142cenie ka\u017cdego etapu potoku LZ w celu zwi\u0119kszenia pr\u0119dko\u015bci. Jego architektura oparta na grafach pozwala r\u00f3wnie\u017c na \u0142\u0105czenie etap\u00f3w kodowania entropijnego, zamiast korzysta\u0107 z jednego potoku, kt\u00f3ry sprawdza si\u0119 w r\u00f3\u017cnych scenariuszach zastosowania. Nast\u0119pnie kilka etap\u00f3w mo\u017cna po\u0142\u0105czy\u0107 w jedn\u0105 operacj\u0119, aby poprawi\u0107 pr\u0119dko\u015b\u0107 przetwarzania. Pozwala to OpenZL osi\u0105gn\u0105\u0107 o 10% wy\u017csz\u0105 pr\u0119dko\u015b\u0107 kompresji i o 70% wy\u017csz\u0105 pr\u0119dko\u015b\u0107 dekompresji w por\u00f3wnaniu do Zstandard na poziomie 1 w case Silesia w naszych testach<\/a>:<\/p>\n

    <\/noindex> <\/p>\n\n\n\n\n\n\n\n
    Kompresor<\/strong><\/th>\nWsp\u00f3\u0142czynnik kompresji<\/strong><\/th>\nPr\u0119dko\u015b\u0107 kompresji<\/strong><\/th>\nPr\u0119dko\u015b\u0107 dekompresji<\/strong><\/th>\n<\/tr>\n<\/thead>\n
    OpenZL LZ poziom 1<\/td>\n2.74<\/td>\n466 MB\/s<\/td>\n2288 MB\/s<\/td>\n<\/tr>\n
    Zstd poziom 1 z rozmiarem okna 64K<\/td>\n2.74<\/td>\n419 MB\/s<\/td>\n1254 MB\/s<\/td>\n<\/tr>\n
    Zstd poziom 1<\/td>\n2.89<\/td>\n424 MB\/s<\/td>\n1345 MB\/s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

    Wsparcie dla bardzo du\u017cych danych wej\u015bciowych<\/strong><\/p>\n

    zli teraz obs\u0142uguje przetwarzanie ogromnych zbior\u00f3w danych wej\u015bciowych (o wielko\u015bci kilku gigabajt\u00f3w). Przed kompresj\u0105 takie dane s\u0105 teraz automatycznie dzielone na fragmenty o kontrolowanym rozmiarze (domy\u015blnie \u2013 oko\u0142o 16MB), co pozwala ograniczy\u0107 zu\u017cycie pami\u0119ci, zwi\u0119ksza lokalno\u015b\u0107 danych i otwiera mo\u017cliwo\u015bci do przetwarzania r\u00f3wnoleg\u0142ego. W SDDL2 wprowadzono podobn\u0105 funkcj\u0119 automatycznego fragmentowania podczas pracy w schemacie. W trakcie tego procesu stworzono lub zaktualizowano nowe segmentatory \u2013 dla CSV, Parquet i standardowych danych numerycznych \u2013 i wszystkie segmentatory s\u0105 teraz serializowalne i konfigurowalne, wi\u0119c wybrany uk\u0142ad mo\u017ce by\u0107 zapisany w kompresorze i u\u017cyty ponownie p\u00f3\u017aniej.<\/p>\n

    Dzia\u0142a to przejrzysto podczas kompresji. Nale\u017cy pami\u0119ta\u0107, \u017ce potok uczenia si\u0119 jest inny i pozostaje nienaruszony, wi\u0119c nie jest przeznaczony do przyjmowania gigantycznych danych wej\u015bciowych jako materia\u0142u szkoleniowego.<\/p>\n

    Ulepszenia w internetowym wizualizatorze grafu (spr\u00f3buj<\/a>)<\/strong>
    Teraz wizualizator rozpoznaje \u015blady kompresji i dekompresji od pocz\u0105tku do ko\u0144ca.<\/p>\n

    Panel podgl\u0105du strumienia pozwala na przegl\u0105danie bajt\u00f3w rzeczywi\u015bcie przechodz\u0105cych przez ka\u017cde \u0142\u0105cze, a dzi\u0119ki elementom steruj\u0105cym przycinaniem nawet du\u017ce strumienie pozostaj\u0105 \u0142atwe do obs\u0142ugi.<\/p>\n

    Panel ustawie\u0144 \u0142\u0105czy wszystkie opcje wy\u015bwietlania w jednym miejscu, a pe\u0142ny zestaw skr\u00f3t\u00f3w \u2013 nawigacja kierunkowa, uporz\u0105dkowane przeszukiwanie, rozwijanie i zwi\u0144anie, wyb\u00f3r w\u0119z\u0142\u00f3w \u2013 pozwala wygodnie pracowa\u0107 z narz\u0119dziem bez u\u017cycia myszy.<\/p>\n

    Teraz \u015bledzenia maj\u0105 wersje, kompresja z rozbiciem na bloki jest wy\u015bwietlana poprawnie, a zli w ko\u0144cu mo\u017ce generowa\u0107 w\u0142asne \u015bledzenia za pomoc\u0105 nowych flag \u2013trace i \u2013trace-streams-dir.<\/p>\n

    R\u00f3\u017cne<\/strong><\/p>\n