OpenZL 0.2.0

Efter sju månaders utveckling lanserades 0.2.0 av ramverket OpenZL, avsett för att skapa förlustfria datakompressorer.

Ramverket består av ett grundläggande bibliotek och verktyg för att skapa specialiserade kompressorer, beskrivna på språket SDDL.
För att skapa en bra specialiserad kompressor finns det två steg:

1. Analys av data för att extrahera strukturen.
2. Användning av bra backend-kompressorer som använder den erhållna strukturen för att uppnå bra kompression.

OpenZL tillhandahåller verktyg för båda stegen.

Projektet är skrivet i C och C++ och distribueras under BSD-licens.

Viktiga ändringar

SDDL2

SDDL har helt omarbetats från grunden för att uppnå de designmål som satts. Medan den ursprungliga demo-versionen var en förenklad körexekveringsmiljö, är SDDL2 en fullständig kompilator: syntaktisk analys skickar data till den semantiska analysatorn, som i sin tur skickar ett typat abstrakt syntaxträd (AST) till optimizern, och optimizern hanterar kodgeneratorn som genererar bytekod för den virtuella maskinen.

Den viktigaste resultaten är omedelbar syntaktisk analys. När positionen för en post helt kan fastställas endast utifrån parametrar och konstanter, går motorn direkt till vilket fält som helst utan att skanna de föregående byteenheterna, vilket möjliggör direkt åtkomst utan kopiering och en bandbredd på flera GB/s.

Själva språket har utvecklats tillsammans med verktygen. Det stöder nu when-block för villkorsbundna placeringar, parameteriserade och anonyma poster, åtkomst till medlemsfält i poster samt bit- och logiska operatorer.

När det gäller utvecklarvänlighet upptäcker det semantiska analyssteget nu odefinierade referenser, typmismatchar och arity-fel vid kompilering – med angivelse av plats i källkoden – istället för vid körning, och ett VS Code-tillägg för syntaxmarkering av .sddl-filer har släppts.

Den nya inbyggda codec LZ

I OpenZL har nu en egen LZ-kodare, presenterad som ZL_GRAPH_LZ, samt en profil för sekventiell kompression i verktyget zli. Arbetet med kodaren fortsätter: funktioner utökas och prestandan vid bearbetning av små ingångar förbättras. För närvarande stöder den funktionalitet som motsvarar zstd nivå 1, med en kompressionsfönsterstorlek på 64 KB.

OpenZL ger möjlighet att omdesigna varje steg i LZ-pipelinen för att öka hastigheten. Dess grafarkitektur gör det också möjligt att kombinera steg i entropikodning istället för att använda en enda pipeline som passar alla användningsscenarier lika bra. Flera steg kan sedan kombineras till en operation för att öka bearbetningshastigheten. Detta gör att OpenZL kan erbjuda 10% högre kompressionshastighet och 70% högre dekompressionshastighet jämfört med Zstandard nivå 1 på Silesia-datat. våra tester:

Stöd för mycket stora ingångsdata

zli stöder nu bearbetning av enorma ingångsdata (flera gigabyte stora). Innan kompressionen delas sådana data nu automatiskt upp i hanterbara storleksfragment (standard är cirka 16 MB), vilket begränsar minnesanvändningen, ökar datalokaliseringen och möjliggör parallell bearbetning. I SDDL2 har en liknande automatisk fragmenteringsfunktion implementerats vid arbetet enligt schemat. Under processen har nya eller uppdaterade segmenterare skapats – för CSV, Parquet och standardnumeriska data – och alla segmenterare är nu serialiserbara och konfigurerbara, så den valda layouten kan sparas i kompressorn och användas igen senare.

Detta tillämpas transparent under kompressionen. Observera att utbildningspiplinanen är oförändrad och förblir intakt, så den är inte avsedd att ta emot gigantiska ingångar som utbildningsmaterial.

Förbättringar i den online grafvisualizeraren (prova)
Nu känner visualizeraren igen kompressionens och dekompressionens spår från början till slut.

Strömförhandsgranskningspanelen gör det möjligt att se de byte som faktiskt passerar genom varje kant, och tack vare trimningskontrollerna förblir även stora strömmar hanterbara.

Inställningspanelen samlar alla visningsalternativ på ett ställe, och det kompletta snabbkommando-setet – navigering, ordnad traversal, expandering och kollapsning, nodval – gör det enkelt att arbeta med verktyget utan mus.

Nu har spårningarna versioner, blockkomprimering visas korrekt, och zli kan äntligen generera egna spårningar med de nya flaggorna —trace och —trace-streams-dir.

Olika

• Flera codecs har lagts till i katalogen. Codecs Partition och bitpack använder nu en sammanslagen dekoder. Codec Floating-point bitsplit har fått speciella kodare och dekodare för formaten fp16, fp32, fp64 och bf16 med specialiserade accelereringar. Splittrande efter intervall (split_byrange), längdmultiplexer, codec sentinel, graf lz4 och små hjälpfunktioner som tryParseInt och splitByParam har också lagts till.
• API:t har ordnats.
• Fuzzningstesterna har förbättrats.
• Bygg- och paketprocessen har förbättrats för fler plattformar.

Källa: linux.org.ru