ZXC 0.9.0

Version 0.9.0 av biblioteket och plattformsoberoende konsolverktyg har släppts ZXC (github.com), som implementerar högpresterande flermodulär asymmetrisk komprimering utan förlust och optimerad för spelresurser, firmware och programpaket. Formatet har utvecklats enligt principen "skriv en gång, läs flera gånger" (WORM).

Till skillnad från codecs som LZ4 prioriterar ZXC högsta nedladdningshastighet framför komprimeringshastighet.

Det deklareras att uppackningshastigheten är över 40% högre än LZ4 på Apple Silicon, över 25% högre på Google Axion (ARM64) och över 5% högre på x86_64, med en högre komprimeringsgrad i alla fall.

Denna version innehåller ett API för återanvändbara sammanhang, möjlighet att konfigurera blockstorlekar, en fullständig referenshandbok för API och ABI, samt flera säkerhetsfixar, inklusive åtgärdande av en buffertöverskridningssårbarhet som upptäckts i samband med fuzzing av komprimeringsmodulen.

Denna release innehåller förändringar som bryter ABI, så SOVERSION har ökat till 2.

Projektet är skrivet i C och distribueras under BSD 3-licensen.

Detaljer

• Ändringar som leder till inkompatibilitet:
  • SOVERSION 2: ABI-versionen av biblioteket har ökat. Binärfiler som kompilerats för SOVERSION 1 måste kompileras om.
  • Alternativs strukturer: funktionerna zxc_compress() och zxc_decompress() accepterar nu zxc_compress_opts_t* och zxc_decompress_opts_t* istället för positionsparametrar. För standardbeteende, skicka NULL.
  • Blockstorlekskodning: Filhuvudet lagrar nu blockstorleken som en exponent log2 [12..21] istället för den tidigare kodningen med två skalor. Det gamla värdet 64 accepteras fortfarande för bakåtkompatibilitet.
• Nya funktioner:
  • Ogenomskinliga komprimerings- och dekomprimeringskontexter som allokeras på heapen, vilket eliminerar overhead av minnesallokering vid varje anrop; idealiska för filsystemplugin (squashfs, dwarfs) och batchbehandling:
    • zxc_create_cctx(), zxc_free_cctx() och zxc_compress_cctx() för komprimering;
    • zxc_create_dctx(), zxc_free_dctx() och zxc_decompress_dctx() för dekomprimering;
    • interna buffertar omfördelas endast om block_size eller level förändras mellan anrop.
• Anpassningsbara blockstorlekar:
  • Blockstorleken kan nu justeras med hjälp av block_size-fältet i strukturen zxc_compress_opts_t;
  • tillåtet intervall: från 4 KB till 2 MB (potens av två);
  • standardeinställningen förblir 256 KB;
  • ett nytt parameter har lagts till konsolverktyget zxc —block-size (eller -B) med stöd för enhetssuffix (4K, 1M eller 4KB, 1MB och så vidare).
• Snabb direkt dekomprimering:
  • när destinationsbufferten är tillräckligt fylld, hoppar man över mellanlagring i arbetsbufferten under dekomprimering, vilket minskar minnesbelastningen och förkortar latensen.
• Säkerhet och stabilitet:
  • Åtgärdat överflödet i zxc_bitpack_stream_32: packningsloopen kunde skriva upp till 4 byte utanför utdata-bufferten om det sista packade värdet översteg bytegränsen;
  • Åtgärdad strömkontroll vid dekomprimering (i zxc_decompress.c): en kontroll har lagts till för att säkerställa att storleken på sekvensströmmen är tillräcklig för det angivna antalet sekvenser, vilket förhindrar läsning utanför det tillåtna intervallet.
  • Blockstorlekskontroll: nu utförs en kontroll i funktionerna zxc_cctx_init() och zxc_read_file_header() för att säkerställa att blockstorlekarna ligger inom intervallet [ZXC_BLOCK_SIZE_MIN, ZXC_BLOCK_SIZE_MAX] och att de är tvåpotenser;
  • Kompatibilitet med C++: alla offentliga header-filer innehåller nu extern "C" skyddskommandon för smidig användning i C++;
  • Lagring av testfall för fuzzing-testning: en permanent lagring av testfall har ställts in för ClusterFuzzLite CI.
• Dokumentation:
  • docs/API.md: en ny utförlig API- och ABI-guide som beskriver alla 21 exporterade symboler, typdefinitioner, synlighetsstrategi, ABI-versionering, tråd-säkerhetsgarantier och felhanteringsmönster;
  • Man-sidan och README-filen har uppdaterats med installationsinstruktioner och information om paketens status (vcpkg, Conan, Homebrew);
  • Filen har uppdaterats docs/FORMAT.md med en beskrivning av blockstorlekens kodning baserat på exponent.
• Wrapper-filerna för Python, Rust och Node.js har uppdaterats.

Källa: linux.org.ru