OpenZL 0.2.0

OpenZL 0.2.0 OpenZL 0.2.0

Nakon sedam meseci razvoja, objavljena je verzija 0.2.0 okvira OpenZL, koja je namenjena razvoju besplatnih kompresora podataka.

Okvir se sastoji od osnovne biblioteke i alata za izradu specijalizovanih kompresora, opisanih na jeziku SDDL.
Za izradu dobrog specijalizovanog kompresora postoje dva koraka:

  1. Analiza podataka radi otkrivanja strukture.
  2. KoriŔćenje dobrih backend kompresora koji koriste dobijenu strukturu za postizanje dobrog stepena kompresije.

OpenZL pruža alate za oba koraka.

Projekat je napisan na jezicima C i C++ i distribuira se pod BSD licencom.

Glavne promene

SDDL2

SDDL je potpuno redizajniran od osnova kako bi postigao postavljene dizajnerske ciljeve. Dok je prvobitna demo verzija predstavljala pojednostavljeno okruženje za izvrÅ”avanje, SDDL2 je punopravni kompajler: parser prenosi podatke semantičkom analizeru, koji zatim prosleđuje tipizovano apstraktno sintaktičko stablo (AST) optimizatoru, a optimizator upravlja generatorom koda koji generiÅ”e bajt kod za virtuelnu maÅ”inu.

Ključni rezultat je trenutna sintaktička analiza. Kada se položaj zapisa može potpuno odrediti samo na osnovu parametara i konstanti, maÅ”ina prelazi direktno na bilo koje polje, ne skenirajući prethodne bajtove, Å”to obezbeđuje pristup bez kopiranja i propusnost od nekoliko GB/s.

Sam jezik se razvijao uz set alata. Sada podržava 'when' blokove za uslovna mesta, parametrizovane i anonimne zapise, pristup članovima polja zapisa, kao i bitovne i logičke operatore.

Å to se tiče pogodnosti za programere, faza semantičke analize sada otkriva neodređene reference, neslaganja tipova i greÅ”ke arnosti tokom kompajlacije – sa navođenjem mesta u izvoru – a ne tokom izvrÅ”avanja, kao i dostupnu VS Code ekstenziju za isticanje sintakse .sddl datoteka.

Novi ugrađeni kodek LZ

U OpenZL sada je uključen vlastiti LZ kodek, predstavljen kao ZL_GRAPH_LZ, kao i profil sekvencijalne kompresije u alatu zli. Rad na kodeku se nastavlja: vrÅ”i se proÅ”irenje skupa funkcija i povećanje performansi prilikom obrade malih ulaznih podataka. Trenutno podržava funkcionalnost ekvivalentnu zstd nivou 1, sa veličinom kompresionog prozora od 64 KB.

OpenZL omogućava ponovni dizajn svakog koraka LZ lanca radi povećanja brzine. Njegova grafička arhitektura također omogućava kombinovanje koraka entropijskog kodiranja umesto koriŔćenja jedinstvenog lanca koji se jednako dobro prilagođava svim scenarijima koriŔćenja. Potom se nekoliko koraka može spojiti u jednu operaciju radi povećanja brzine obrade. To omogućava OpenZL da obezbedi 10% veću brzinu kompresije i 70% veću brzinu dekompresije u poređenju sa Zstandardom nivoa 1 na telu Silesia u naÅ”im testovima:

KompresorOdnos kompresijeBrzina kompresijeBrzina dekompresije
OpenZL LZ nivo 12.74466 MB/s2288 MB/s
Zstd nivo 1 sa veličinom prozora 64K2.74419 MB/s1254 MB/s
Zstd nivo 12.89424 MB/s1345 MB/s

PodrŔka za veoma velike ulazne podatke

Zli sada podržava obradu ogromnih ulaznih podataka (kapaciteta nekoliko gigabajta). Pre kompresije, takvi podaci se sada automatski dele na fragmente upravljive veličine (podrazumevano – oko 16MB), Å”to omogućava ograničavanje koriŔćenja memorije, povećanje lokalnosti podataka i otvara mogućnosti za paralelnu obradu. U SDDL2 je implementirana slična funkcija automatskog fragmentiranja prilikom rada po Å”emi. Tokom procesa su kreirani ili ažurirani novi segmentatori – za CSV, Parquet i standardne numeričke podatke – i svi segmentatori su sada serijalizovani i konfiguriÅ”ući, tako da odabrani raspored može biti sačuvan u kompresoru i ponovo koriŔćen kasnije.

Ovo se transparentno primenjuje tokom kompresije. Imajte na umu da se lanac obuke razlikuje i ostaje nepromenjen, te nije namenjen za primanje gigantskih ulaznih podataka kao obučavajući materijal.

PoboljŔanja u onlajn vizualizatoru grafa (pokuŔaju)
Sada vizualizator prepoznaje tragove kompresije i dekompresije od početka do kraja.

Panel za pregled struje omogućava pregled bajtova koji zapravo prolaze kroz svaki rub, a zahvaljujući kontrolama za obrezivanje, čak i veliki tokovi ostaju upravljivi.

Panel sa podeÅ”avanjima spaja sve opcije prikaza na jednom mestu, a potpuni set prečica za tastaturu – navigacija po pravcima, uređeni obilazak, raspoređivanje i svlačenje, izbor čvorova – omogućava jednostavno koriŔćenje alata bez miÅ”a.

Sada trake imaju verzije, kompresija sa deljenjem na blokove se ispravno prikazuje, a zli konačno može generisati vlastite trake pomoću novih flagova —trace i —trace-streams-dir.

Razno

  • U katalog su dodani neki kodeci. Kodeci Partition i bitpack sada koriste kombinovani dekoder. Kodek Floating-point bitsplit dobio je specijalne enkodere i dekodere za formate fp16, fp32, fp64 i bf16 sa specijalizovanim ubrzanjima. Dodato je deljenje po opsegu (split_byrange), multiplexer dužine, kodek sentinel, graf lz4 i male pomoćne funkcije kao Å”to su tryParseInt i splitByParam.
  • API je organizovan.
  • Unapređeno je fuzzing testiranje.
  • Unapređen je proces izgradnje i pakovanja za veći broj platformi.

Izvor: linux.org.ru

Kupite pouzdan hosting za sajtove uz zaÅ”titu od DDoS, VPS VDS servere šŸ”„ Kupite pouzdan hosting za sajtove uz zaÅ”titu od DDoS, VPS VDS servere | ProHoster