Системата за компресия OpenZL, която изпреварва Zstd и XZ по скорост и ниво на компресия на структурирани данни

Компания Meta* представи инструменти за компресия и декомпресия на данни OpenZL, който в сравнение с форматите Zstd и XZ демонстрира по-висок процент на компресия и скорост на работа. OpenZL е проектиран за ефективна компресия на структурирани набори от данни, като например използвани при машинно обучение, както и хранилища, съдържащи полета с различни повтарящи се типове информация. Кодът на OpenZL е написан на C/C++ и е с отворен код под лицензия BSD.

При компресиране на база данни с астрономическия каталог на звезди SAO, инструментът OpenZL позволи да се намали размерът на данните с 2.06 пъти, докато алгоритъмът zstd компресира информацията с 1.31 пъти, а XZ с 1.64 пъти. При това OpenZL надмина zstd по скорост на компресия два пъти (203 MB/s срещу 115 MB/s), а XZ - 65 пъти (203 MB/s срещу 3.1 MB/s). Разпаковането в OpenZL се оказа лъч непредизвикателно по-бавно от zstd (822 MB/s срещу 890 MB/s) и 27 пъти по-бързо от XZ.

OpenZL не е алгоритъм с обща цел и показва добри резултати само за данни с предварително известна структура. Работата на OpenZL се свежда до адаптивна генерация на компресор на базата на предаденото описание на данните. В резултат се формира код за компресия, оптимизиран за конкретния формат на данни. За разпаковане се използва универсален декомпресор, съвместим с всички генерирани компресори.

Компресията и разпаковането се осъществяват с помощта на една утилита «zli» или библиотеката libopenzl. Структурата на данните се описва под формата на профили. Включва се вече набор от предварително зададени профили, описващи типови формати на съхранение. Например, профил за формат CSV или данни, съхранявани под формата на масив от 64-битови числа. Компресията е сведена до избор на профил с командата «zli list-profiles» и стартиране на процеса на компресия с командата «zli compress —profile име_профила». За разпаковане е достатъчно да се стартира «zli decompress».

За специфичните формати е необходимо да се създаде собствен профил, като се използва командата «zli train», която разкрива закономерности в данните и формира профил с оптимално ниво на компресия. С помощта на опцията «—pareto-frontier» създаденият профил може да бъде модернизиран с цел ускоряване на опаковането или разопаковането, цената на което е намаляване на нивото на компресия. За описание на сложни формати с вложени структури и определяне на подредбата на форматите на данните в структурите може да се прилага езикът SDDL (Simple Data Description Language).

Методът за създаване на оптимални опаковчици се основава на прилагането на набор от примитивни кодировчици, всеки от които е най-ефективен за отделни типове и последователности от данни. За компресия се формира ориентиран ацикличен граф на обработка на данни, чиито възли са кодеците, а ръбовете — вариантите на данните в обработвания формат. В зависимост от типа на постъпващите данни се избира верига от кодеци, която оптимално компресира постъпилия елемент данни. При такава организация заглавието на файла се компресира с един кодек, полето с цели числа — с втори, полето с увеличаващ се брояч — с трети, а полето с текстови данни — с четвърти.

Източник: opennet.ru