OpenZL система за компресия, която превъзхожда Zstd и XZ по отношение на скоростта и нивото на компресия на структурирани данни

Meta* представи OpenZL, инструментариум за компресиране и декомпресиране на данни, който предлага по-високи нива на компресия и скорост от форматите Zstd и XZ. OpenZL е проектиран за ефективно компресиране на структурирани набори от данни, като тези, използвани в машинното обучение, както и хранилища за данни, съдържащи полета с различни повтарящи се типове информация. OpenZL е написан на C/C++ и е с отворен код под BSD лиценз.

При компресиране на база данни, съдържаща астрономическия звезден каталог на SAO, OpenZL намали размера на данните с коефициент 2.06, докато алгоритъмът zstd компресира данните с коефициент 1.31, а XZ с коефициент 1.64. Освен това, OpenZL превъзхожда zstd по скорост на компресия с коефициент 2 (203 MB/s срещу 115 MB/s) и XZ с коефициент 65 (203 MB/s срещу 3.1 MB/s). Декомпресията в OpenZL беше малко по-бавна от zstd (822 MB/s срещу 890 MB/s) и 27 пъти по-бърза от XZ.

OpenZL не е алгоритъм с общо предназначение и показва добри резултати само за данни с известна структура. Работата на OpenZL се състои в адаптивно генериране на пакетиращ файл въз основа на предоставеното описание на данните. Това генерира код за компресия, оптимизиран за специфичен формат на данните. За декомпресия се използва универсален разпакиращ файл, съвместим с всички генерирани пакетиращи файлове.

Опаковането и разопаковането се извършват с помощта на една единствена помощна програма, „zli“, или библиотеката libopenzl. Структурата на данните е описана под формата на профили. Това включва набор от предварително дефинирани профили, описващи типични формати за съхранение. Например, профил за CSV формат или данни, съхранявани като 64-битов масив. Компресирането е толкова просто, колкото избирането на профил с командата „zli list-profiles“ и стартирането на процеса на компресиране с командата „zli compress --profile profile_name“. За да разопаковате, просто изпълнете „zli decompress“.

За специфични формати трябва да се създаде персонализиран профил с помощта на командата "zli train", която идентифицира модели в данните и генерира профил с оптимално ниво на компресия. С помощта на опцията "--pareto-frontier" създаденият профил може да бъде оптимизиран за ускоряване на компресията или декомпресията, за сметка на компресията. Simple Data Description Language (SDDL) може да се използва за описание на сложни формати с вложени структури и за дефиниране на оформлението на форматите на данни в рамките на структурите.

Методът за създаване на оптимални пакетиращи устройства се основава на набор от примитивни енкодери, всеки от които е най-ефективен за специфични типове данни и последователности. За компресия се формира насочен ацикличен граф за обработка на данни, с кодеци като възли и варианти на данните в обработвания формат като ребра. В зависимост от типа на входните данни се избира верига от кодеци, която оптимално компресира входящия елемент от данни. При тази подредба, заглавната част на файла се компресира с помощта на един кодек, целочисленото поле с данни - с помощта на втори кодек, инкрементиращото поле на брояча - с помощта на трети кодек, а полето за низови данни - с помощта на четвърти кодек.

Източник: opennet.ru