OpenZL 0.2.0

След седем месеца разработка, беше освободена версия 0.2.0 на фреймворка OpenZL, предназначен за създаване на беззагубни компресори за данни.

Фреймворкът се състои от основна библиотека и инструменти за създаване на специализирани компресори, описани на езика SDDL.
За създаването на добър специализиран компресор има два етапа:

1. Анализ на данните за извличане на структурата.
2. Използване на добри бекенд компресори, които използват получената структура за постигане на добро компресиране.

OpenZL предоставя инструменти за двата етапа.

Проектът е написан на C и C++ и се разпространява под лиценз BSD.

Основни промени

SDDL2

SDDL беше напълно преработен от нулата за постигане на заложените цели на дизайна. Ако оригиналната демо версия представляваше опростена среда на изпълнение, то SDDL2 е пълноценен компилатор: парсерът предава данните на семантичния анализатор, който от своя страна предава типизираното абстрактно синтаксично дърво (AST) на оптимизатора, а оптимизаторът управлява генератора на код, който генерира байт-кода на виртуалната машина.

Ключовият резултат е мигновен синтактичен анализ. Когато местоположението на записа може да бъде напълно определено само по параметри и константи, механизмът преминава директно към всяко поле, без да сканира предшестващите байтове, което осигурява достъп без копиране и пропускна способност от няколко ГБ/с.

Самият език се развиваше заедно с набора от инструменти. Сега той поддържа when блокове за условни местоположения, параметризирани и анонимни записи, достъп до полетата на записите, както и побитови и логически оператори.

Относно удобството за разработчика, етапът на семантичен анализ сега открива неясни референции, несъответствия в типовете и арностни грешки на етапа на компилация – с указание на местоположението в изходния код – а не по време на изпълнение. Също така беше пуснато разширение за VS Code за синтактична подсветка на файловете .sddl.

Новият вграденият кодек LZ

В OpenZL сега е включен собствен LZ кодек, представен под формата ZL_GRAPH_LZ, както и профил на последователна компресия в зала zli. Работата по кодека продължава: върви разширяване на функционалността и оптимизация на производителността при обработка на малки входни данни. В момента той поддържа функционалност, еквивалентна на zstd ниво 1, с размер на компресионния прозорец 64 КБ.

OpenZL предлага възможност за преработка на всеки етап от LZ конвейера с цел повишаване на скоростта. Неговата графова архитектура също така позволява комбиниране на етапите на ентропийно кодиране, вместо да се използва единен конвейер, който да работи еднакво добре за всички сценарии на използване. След това няколко етапа могат да бъдат обединени в една операция за увеличаване на скоростта на обработка. Това позволява на OpenZL да осигури с 10% по-висока скорост на компресия и с 70% по-висока скорост на декомпресия в сравнение със Zstandard ниво 1 на корпуса Silesia в нашите тестове:

Поддръжка на много големи входни данни

zli сега поддържа обработка на огромни входни данни (с обем от няколко гигабайта). Преди компресията, тези данни автоматично се разделят на контролирани фрагменти (по подразбиране – около 16MB), което позволява да се ограничи обемът на използваната памет, да се повиши локалността на данните и отваря възможности за паралелна обработка. В SDDL2 е реализирана аналогична функция за автоматично фрагментиране при работа по схема. В процеса бяха създадени или обновени нови сегменатори – за CSV, Parquet и стандартни числови данни – и всички сегментатори сега са сериализируеми и настраивани, така че избраната компоновка може да бъде запазена в компресора и повторно използвана по-късно.

Това се прилага прозрачно по време на компресията. Обърнете внимание, че обучителният конвейер е различен и остава незасегнат, така че не е предназначен да приема гигантски входни данни като обучителен материал.

Подобрения в онлайн визуализатора на графа (да опитат)
Сега визуализаторът разпознава трасировки на компресия и декомпресия от начало до край.

Панелата за преглед на потока позволява виждане на байтовете, които всъщност преминават през всеки ръб, а благодарение на елементите за управление на нарязването, дори големите потоци остават удобни за работа.

Настройките обединяват всички параметри за показване на едно място, а пълният набор от клавишни комбинации - навигация по направления, организирано преминаване, разширяване и свиване, избор на възли - позволява удобно работа с инструмента без мишка.

Сега трасетата имат версии, компресията с разбиване на блокове се показва правилно, а zli накрая може да генерира собствени трасета с новите флагове —trace и —trace-streams-dir.

Разнообразно

• В каталога са добавени няколко кодека. Кодеците Partition и bitpack сега използват обединен декодер. Кодекът Floating-point bitsplit е получил специални кодери и декодери за формати fp16, fp32, fp64 и bf16 със специализирани ускорения. Добавени са разбиване според обхвата (split_byrange), мультиплексор за дължина, кодек sentinel, граф lz4 и малки помощни функции, като tryParseInt и splitByParam.
• API-то е упорядочено.
• Фузинг тестовете са подобрени.
• Процесът на изграждане и пакетиране е подобрен за все повече платформи.

Източник: linux.org.ru