Системата за компресия OpenZL, предхождаща Zstd и XZ по скорост и ниво на компресия на структурирани данни

Компания Meta* представи инструментариум за компресиране и разопаковане на данни OpenZL, който демонстрира по-високо ниво на компресия и скорости на работа в сравнение с форматите Zstd и XZ. OpenZL е разработен за ефективно компресиране на структурирани набори от данни, например, използвани в машинното обучение, а също и на хранилища, съдържащи полета с различни повтарящи се типове информация. Кодът на OpenZL е написан на C/C++ и е с отворен код под лицензия BSD.

При компресиране на база данни с астрономическия каталог на звезди SAO, инструментариумът OpenZL успя да намали размера на данните 2.06 пъти, докато алгоритъмът zstd компресира информацията 1.31 пъти, а XZ 1.64 пъти. В същото време, по отношение на скоростта на компресиране, OpenZL изпревари zstd два пъти (203 MB/s срещу 115 MB/s) и XZ 65 пъти (203 MB/s срещу 3.1 MB/s). Разпаковането в OpenZL се оказа незначително по-бавно от zstd (822 MB/s срещу 890 MB/s) и 27 пъти по-бързо от XZ.

OpenZL не е алгоритъм с общо предназначение и показва добри резултати само за данни с предварително известна структура. Работата на OpenZL се състои в адаптивна генерация на опаковчик на базата на предаденото описание на данните. В резултат се формира код за компресиране, оптимизиран за конкретния формат на данните. За разпаковане се прилага универсален разпаковчик, съвместим с всички генерирани опаковчици.

Опаковането и разопаковането се осъществява с помощта на единна утилита „zli“ или библиотека libopenzl. Структурата на данните се описва във вид на профили. В състава вече е включен набор от предварително дефинирани профили, описващи типични формати за съхранение. Например, профил за формат CSV или данни, съхранявани под формата на масив от 64-битови числа. Компресирането се свежда до избор на профил с командата „zli list-profiles“ и стартиране на процеса по опаковане с командата „zli compress —profile име_профила“. За разопаковане е достатъчно да стартирате „zli decompress“.

За специфични формати е необходимо да се създаде собствен профил, използвайки командата «zli train», която открива закономерности в данните и оформя профил с оптимално ниво на компресия. Чрез опцията «—pareto-frontier» създаденият профил може да бъде усъвършенстван в посока на ускорение на опаковането или разопаковането, цената за което е намаляване на нивото на компресия. За описание на сложни формати с вложени структури и определяне на разположението на формати данни в структурите може да се използва езикът SDDL (Simple Data Description Language).

Методът за създаване на оптимални опаковачи е основан на употребата на набор от примитивни кодировачи, всеки от които е най-ефективен за отделни типове и последователности данни. За компресията се формира насочен ацикличен граф на обработката на данни, чийто възли са кодеците, а ръбовете — вариантите на данни в обработвания формат. В зависимост от типа данни, който постъпва на вход, се избира верига от кодеци, оптимално компресиращи постъпилия елемент данни. При такава организация заглавието на файла се компресира от един кодек, полето с цели числа — от втори, полето с нарастващ брояч — от трети, а полето с текстови данни — от четвърти.

Източник: opennet.ru