Nakon sedam meseci razvoja, objavljena je verzija 0.2.0 okvira OpenZL, koja je namenjena razvoju besplatnih kompresora podataka.
Okvir se sastoji od osnovne biblioteke i alata za izradu specijalizovanih kompresora, opisanih na jeziku SDDL.
Za izradu dobrog specijalizovanog kompresora postoje dva koraka:
- Analiza podataka radi otkrivanja strukture.
- KoriÅ”Äenje dobrih backend kompresora koji koriste dobijenu strukturu za postizanje dobrog stepena kompresije.
OpenZL pruža alate za oba koraka.
Projekat je napisan na jezicima C i C++ i distribuira se pod BSD licencom.
Glavne promene
SDDL2
SDDL je potpuno redizajniran od osnova kako bi postigao postavljene dizajnerske ciljeve. Dok je prvobitna demo verzija predstavljala pojednostavljeno okruženje za izvrÅ”avanje, SDDL2 je punopravni kompajler: parser prenosi podatke semantiÄkom analizeru, koji zatim prosleÄuje tipizovano apstraktno sintaktiÄko stablo (AST) optimizatoru, a optimizator upravlja generatorom koda koji generiÅ”e bajt kod za virtuelnu maÅ”inu.
KljuÄni rezultat je trenutna sintaktiÄka analiza. Kada se položaj zapisa može potpuno odrediti samo na osnovu parametara i konstanti, maÅ”ina prelazi direktno na bilo koje polje, ne skenirajuÄi prethodne bajtove, Å”to obezbeÄuje pristup bez kopiranja i propusnost od nekoliko GB/s.
Sam jezik se razvijao uz set alata. Sada podržava 'when' blokove za uslovna mesta, parametrizovane i anonimne zapise, pristup Älanovima polja zapisa, kao i bitovne i logiÄke operatore.
Å to se tiÄe pogodnosti za programere, faza semantiÄke analize sada otkriva neodreÄene reference, neslaganja tipova i greÅ”ke arnosti tokom kompajlacije ā sa navoÄenjem mesta u izvoru ā a ne tokom izvrÅ”avanja, kao i dostupnu VS Code ekstenziju za isticanje sintakse .sddl datoteka.
Novi ugraÄeni kodek LZ
U OpenZL sada je ukljuÄen vlastiti LZ kodek, predstavljen kao ZL_GRAPH_LZ, kao i profil sekvencijalne kompresije u alatu zli. Rad na kodeku se nastavlja: vrÅ”i se proÅ”irenje skupa funkcija i poveÄanje performansi prilikom obrade malih ulaznih podataka. Trenutno podržava funkcionalnost ekvivalentnu zstd nivou 1, sa veliÄinom kompresionog prozora od 64 KB.
OpenZL omoguÄava ponovni dizajn svakog koraka LZ lanca radi poveÄanja brzine. Njegova grafiÄka arhitektura takoÄer omoguÄava kombinovanje koraka entropijskog kodiranja umesto koriÅ”Äenja jedinstvenog lanca koji se jednako dobro prilagoÄava svim scenarijima koriÅ”Äenja. Potom se nekoliko koraka može spojiti u jednu operaciju radi poveÄanja brzine obrade. To omoguÄava OpenZL da obezbedi 10% veÄu brzinu kompresije i 70% veÄu brzinu dekompresije u poreÄenju sa Zstandardom nivoa 1 na telu Silesia u naÅ”im testovima:
| Kompresor | Odnos kompresije | Brzina kompresije | Brzina dekompresije |
|---|---|---|---|
| OpenZL LZ nivo 1 | 2.74 | 466 MB/s | 2288 MB/s |
| Zstd nivo 1 sa veliÄinom prozora 64K | 2.74 | 419 MB/s | 1254 MB/s |
| Zstd nivo 1 | 2.89 | 424 MB/s | 1345 MB/s |
PodrŔka za veoma velike ulazne podatke
Zli sada podržava obradu ogromnih ulaznih podataka (kapaciteta nekoliko gigabajta). Pre kompresije, takvi podaci se sada automatski dele na fragmente upravljive veliÄine (podrazumevano ā oko 16MB), Å”to omoguÄava ograniÄavanje koriÅ”Äenja memorije, poveÄanje lokalnosti podataka i otvara moguÄnosti za paralelnu obradu. U SDDL2 je implementirana sliÄna funkcija automatskog fragmentiranja prilikom rada po Å”emi. Tokom procesa su kreirani ili ažurirani novi segmentatori ā za CSV, Parquet i standardne numeriÄke podatke ā i svi segmentatori su sada serijalizovani i konfiguriÅ”uÄi, tako da odabrani raspored može biti saÄuvan u kompresoru i ponovo koriÅ”Äen kasnije.
Ovo se transparentno primenjuje tokom kompresije. Imajte na umu da se lanac obuke razlikuje i ostaje nepromenjen, te nije namenjen za primanje gigantskih ulaznih podataka kao obuÄavajuÄi materijal.
PoboljŔanja u onlajn vizualizatoru grafa (pokuŔaju)
Sada vizualizator prepoznaje tragove kompresije i dekompresije od poÄetka do kraja.
Panel za pregled struje omoguÄava pregled bajtova koji zapravo prolaze kroz svaki rub, a zahvaljujuÄi kontrolama za obrezivanje, Äak i veliki tokovi ostaju upravljivi.
Panel sa podeÅ”avanjima spaja sve opcije prikaza na jednom mestu, a potpuni set preÄica za tastaturu ā navigacija po pravcima, ureÄeni obilazak, rasporeÄivanje i svlaÄenje, izbor Ävorova ā omoguÄava jednostavno koriÅ”Äenje alata bez miÅ”a.
Sada trake imaju verzije, kompresija sa deljenjem na blokove se ispravno prikazuje, a zli konaÄno može generisati vlastite trake pomoÄu novih flagova ātrace i ātrace-streams-dir.
Razno
- U katalog su dodani neki kodeci. Kodeci Partition i bitpack sada koriste kombinovani dekoder. Kodek Floating-point bitsplit dobio je specijalne enkodere i dekodere za formate fp16, fp32, fp64 i bf16 sa specijalizovanim ubrzanjima. Dodato je deljenje po opsegu (split_byrange), multiplexer dužine, kodek sentinel, graf lz4 i male pomoÄne funkcije kao Å”to su tryParseInt i splitByParam.
- API je organizovan.
- UnapreÄeno je fuzzing testiranje.
- UnapreÄen je proces izgradnje i pakovanja za veÄi broj platformi.
Izvor: linux.org.ru
