OpenZL 0.2.0

По седум месеци развој, беше објавена верзијата 0.2.0 од рамката. OpenZL, дизајниран да создаде компресори за податоци без загуби.

Рамката се состои од основна библиотека и алатки за креирање специјализирани компресори опишани на јазикот SDDL.
Постојат два чекори за создавање добар наменски компресор:

1. Анализа на податоци за извлекување на структурата.
2. Користење на добри backend компресори кои ја искористуваат добиената структура за да постигнат добра компресија.

OpenZL обезбедува алатки за обете фази.

Проектот е напишан во C и C++ и се дистрибуира под BSD лиценцата.

Големи промени

SDDL2

SDDL беше целосно препишан од темел за да се постигнат своите оригинални дизајнерски цели. Додека оригиналната демо верзија беше поедноставена работна околина, SDDL2 е целосен компајлер: парсерот пренесува податоци до семантичкиот анализатор, кој пак пренесува типизирано апстрактно синтаксичко дрво (AST) до оптимизаторот, а оптимизаторот го контролира генераторот на код, кој генерира бајткод на виртуелната машина.

Клучниот резултат е моментално парсирање. Кога локацијата на записот може целосно да се одреди само со параметри и константи, моторот скока директно на кое било поле без скенирање на претходните бајти, овозможувајќи пристап без копирање и пропусен опсег од неколку GB/s.

Самиот јазик еволуираше заедно со својот сет алатки. Сега поддржува клаузули „when“ за условни искази, параметризирани и анонимни записи, пристап до членовите на полето за записи и битни и логички оператори.

Од страна на развивачот, чекорот на семантичка анализа сега идентификува недефинирани референци, несовпаѓања на типови и грешки во арноста во времето на компајлирање - со локацијата на изворниот код - наместо за време на извршување, а објавена е и екстензија VS Code за означување на синтаксата на .sddl датотеките.

Нов вграден LZ кодек

OpenZL сега вклучува свој LZ кодек, претставен како ZL_GRAPH_LZ, како и профил на секвенцијална компресија во алатката zli. Работата на кодекот е во тек, проширувајќи го неговиот сет на функции и подобрувајќи ги перформансите при обработка на мали влезни податоци. Моментално, поддржува функционалност еквивалентна на zstd ниво 1, со прозорец за компресија од 64 KB.

OpenZL овозможува секоја фаза од LZ цевководот да биде редизајнирана за брзина. Неговата графичка архитектура исто така овозможува комбинирање на фазите на кодирање на ентропија, наместо користење на еден цевковод кој е подеднакво погоден за сите случаи на употреба. Потоа, повеќе фази можат да се комбинираат во една операција за да се подобри брзината на обработка. Ова му овозможува на OpenZL да постигне 10% побрза компресија и 70% побрза декомпресија во споредба со Zstandard ниво 1 на корпусот Silesia. нашите тестови:

Поддршка за многу големи влезни податоци

zli сега поддржува обработка на огромни влезни податоци (со големина од неколку гигабајти). Пред компресијата, таквите податоци сега автоматски се делат на делови со управлива големина (приближно 16 MB по дифолт), ограничувајќи ја употребата на меморијата, подобрувајќи ја локалноста на податоците и овозможувајќи паралелна обработка. SDDL2 имплементира слична функција за автоматско групирање при работа со шема. Во процесот беа креирани или ажурирани нови сегментатори - за CSV, Parquet и стандардни нумерички податоци - и сите сегментатори сега се серијализирани и конфигурабилни, така што избраниот распоред може да се зачува во компресорот и повторно да се користи подоцна.

Ова се применува транспарентно за време на компресијата. Забележете дека цевководот за обука е различен и останува непроменет, па затоа не е дизајниран да прифаќа гигантски влезни податоци како материјал за обука.

Подобрувања во онлајн визуализаторот на графикони (пробај)
Визуализаторот сега ги препознава трагите од компресија и декомпресија од почеток до крај.

Панелот за преглед на потокот ви овозможува да ги видите бајтите што всушност течат по секој раб, а контролите за скратување овозможуваат лесна работа дури и со големите потоци.

Панелот со поставки ги спојува сите опции за приказ на едно место, а целосен сет на кратенки - насочна навигација, подредено движење, проширување и собирање и избор на јазли - ви овозможува удобно да работите со алатката без глушец.

Трагите сега се версионирани, компресијата базирана на блокови се прикажува правилно и zli конечно може да генерира свои траги користејќи ги новите знамиња --trace и --trace-streams-dir.

Итн

• Во каталогот се додадени неколку кодеци. Кодеците за партиции и битпак сега користат унифициран декодер. Кодекот за битови со подвижна запирка сега вклучува наменски енкодери и декодери за форматите fp16, fp32, fp64 и bf16 со специјализирано забрзување. Додадени се разделување свесно за опсегот (split_byrange), мултиплексер за должина, кодекот сентинел, графиконот lz4 и помали помошни функции како што се tryParseInt и splitByParam.
• API-то е поедноставено.
• Подобрено тестирање на меурчиња.
• Подобрен процес на градење и пакување за повеќе платформи.

Извор: linux.org.ru