ZXC 0.9.0

Издадено е издание 0.9.0 на библиотеката и кросплатформената конзолна утилита ZXC (github.com), реализиращи високопроизводително многопоточно асиметрично компресиране без загуби и оптимизирано за игрови ресурси, фърмуеъри и приложения. Форматът е разработен по принципа „записваш веднъж, четеш многократно“ (WORM).

В отличие от кодеци като LZ4, ZXC жертва скоростта на компресиране за сметка на максималната пропускна способност при декомпресиране.

Декларирана е скорост на разархивиране, което е с 40%+ по-високо в сравнение с LZ4 на Apple Silicon, с 25%+ по-високо на Google Axion (ARM64) и с 5%+ по-високо на x86_64, като във всички случаи е осигурен по-висок коефициент на компресия.

В това издание е представен API за многократно използваем контекст, възможност за настройка на размера на блоковете, пълно ръководство за API и ABI, както и няколко корекции, свързани с безопасността, включително отстраняване на уязвимостта от преливане на буфера в купчината, открита по време на фазинг на модула за компресия.

Това издание съдържа промени, нарушаващи ABI, така че SOVERSION е увеличена на 2.

Проектът е написан на език C и се разпространява под лиценз BSD 3.

Подробности

• Промени, водещи до несъвместимост:
  • SOVERSION 2: Версията на ABI на библиотеката е увеличена. Бинарните файлове, компилирани под SOVERSION 1, трябва да бъдат прекомпилирани.
  • Структури на опции: функциите zxc_compress() и zxc_decompress() вече приемат zxc_compress_opts_t* и zxc_decompress_opts_t* вместо позиционни параметри. За поведение по подразбиране предавайте NULL.
  • Кодиране на размер на блока: Заглавието на файла вече съхранява размера на блока в експоненция log2 [12..21] вместо предишното кодиране с две скали. Старата стойност 64 все още се приема за обратно съвместимост.
• Нови възможности:
  • Непрозрачни контексти за компресия и декомпресия, разпределяеми в купчината, които елиминират разходите за разпределение на памет при всяко извикване; идеално за плъгини на файловата система (squashfs, dwarfs) и партидна обработка:
    • zxc_create_cctx(), zxc_free_cctx() и zxc_compress_cctx() за компресия;
    • zxc_create_dctx(), zxc_free_dctx() и zxc_decompress_dctx() за декомпресия;
    • вътрешните буфери се преразпределят само ако стойността на block_size или level се променя между извикванията.
• Конфигурируеми размери на блокове:
  • размерът на блока вече може да се конфигурира чрез полето block_size в структурата zxc_compress_opts_t;
  • разрешен диапазон: от 4 КБ до 2 МБ (степен на двойка);
  • по подразбиране стойността остава 256 КБ;
  • към конзолния инструмент zxc е добавен нов параметър —block-size (или -B) с поддръжка за суфикси на единици мярка (4K, 1M или 4KB, 1MB и т.н.).
• Бърза директна декомпресия:
  • когато буферът за дестинация е достатъчно запълнен, при разопаковане се пропуска междинното копиране в работния буфер, което позволява намаляване на натоварването на паметта и съкращаване на закъснението.
• Сигурност и стабилност:
  • отстранена е уязвимостта при преливане на буфера в zxc_bitpack_stream_32: цикълът за опаковане можеше да записва до 4 байта извън изходния буфер, ако последната опакована стойност премине границата на байта;
  • отстранена е проверката на потока при разопаковане (в zxc_decompress.c): добавена е проверка, която гарантира, че размерът на потока на последователностите е достатъчен за посочения брой последователности, което предотвратява четене извън допустимия диапазон.
  • проверка на размера на блока: сега в функциите zxc_cctx_init() и zxc_read_file_header() се извършва проверка, че размерите на блоковете са в диапазона [ZXC_BLOCK_SIZE_MIN, ZXC_BLOCK_SIZE_MAX] и са степени на две;
  • съвместимост с C++: всички публични заглавни файлове сега съдържат защитни конструкции extern "C" за безпроблемно използване в C++;
  • съхранение на корпус на тестове за фаззинг-тестиране: конфигурирано е постоянно хранилище на корпуса за ClusterFuzzLite CI.
• Документация:
  • docs/API.md: нов завършен справочник за API и ABI, в който са описани всичките 21 експортирани символа, определения на типове, стратегия на видимост, версиониране на ABI, гаранции за потокобезопасност и шаблони за обработка на грешки;
  • обновени man и файл README с инструкции за инсталиране и информация за статуса на пакетите (vcpkg, Conan, Homebrew);
  • обновен файл docs/FORMAT.md с описание на кодирането на размера на блока въз основа на експонента.
• Обновени врапери за Python, Rust и Node.js.

Източник: linux.org.ru