Kompania Meta* ka prezantuar një mjet për kompresimin dhe dekompresimin e të dhënave OpenZL, që, krahasuar me formatet Zstd dhe XZ, demonstron një nivel më të lartë kompresimi dhe shpejtësi pune. OpenZL është dizajnuar për kompresimin efikas të grupeve të strukturuara të të dhënave, të tilla si ato që përdoren në mësimin e makinerive, si dhe depozita që përmbajnë fusha me lloje të ndryshme informacioni të përsëritur. Kodi OpenZL është shkruar në C/C++ dhe është në dispozicion me licencë BSD.
Duke me kompaktimin e DB-së me katalogun astronomik të yjeve SAO, mjeti OpenZL arriti të zvogëlojë madhësinë e të dhënave me 2.06 herë, ndërsa algoritmi zstd e kompresoi informacionin me 1.31 herë, dhe XZ me 1.64 herë. Në të njëjtën kohë, për shpejtësinë e kompresimit, OpenZL e kaloi zstd dy herë (203 MB/s kundrejt 115 MB/s), dhe XZ 65 herë (203 MB/s kundrejt 3.1 MB/s). Zbardhja në OpenZL doli të jetë disi më e ngadalshme se zstd (822 MB/s kundrejt 890 MB/s) dhe 27 herë më e shpejtë se XZ.
OpenZL nuk është një algoritëm i cilësisë së përgjithshme dhe tregon rezultate të mira vetëm për të dhëna me strukturë të njohur paraprakisht. Funksionimi i OpenZL përfshin gjenerimin adaptiv të paketuesve mbi bazën e përshkrimit të dhënave të dorëzuara. Si rezultat, formohet kodi për kompresimin të optimizuar për formatin e caktuar të të dhënave. Për dekomprimimin përdoret një paketues universal, i cili është i përshtatshëm për të gjithë paketuesit e gjeneruar.
Paketimi dhe zbardhja kryhet nĂ«pĂ«rmjet njĂ« utilitari "zli" ose bibliotekĂ«s libopenzl. Struktura e tĂ« dhĂ«nave pĂ«rshkruhet nĂ« formĂ«n e profileve. NĂ« tĂ« pĂ«rfshihet njĂ« grup profileve tĂ« paracaktuar, qĂ« pĂ«rshkruajnĂ« formate standarde tĂ« ruajtjes. PĂ«r shembull, njĂ« profil pĂ«r formatin CSV ose tĂ« dhĂ«nat e ruajtur nĂ« formĂ« tĂ« njĂ« vargu tĂ« numrave 64-bitĂ«. Kompresimi reduktohet nĂ« zgjedhjen e profilit me komandĂ«n "zli list-profiles" dhe fillimin e procesit tĂ« paketimit me komandĂ«n "zli compress âprofile emri_profilit". PĂ«r zbardhjen mjafton tĂ« ekzekutohet "zli decompress."
PĂ«r formate specifike, kĂ«rkohet tĂ« krijohet njĂ« profil i vetĂ«, duke pĂ«rdorur komandĂ«n "zli train", e cila identifikon ligjshmĂ«ritĂ« nĂ« tĂ« dhĂ«na dhe krijon njĂ« profil me nivelin optimal tĂ« kompresimit. Duke pĂ«rdorur opsionin "âpareto-frontier", profili i krijuar mund tĂ« modernizohet nĂ« drejtim tĂ« pĂ«rshpejtimit tĂ« paketimit ose zbardhjes, me kosto tĂ« uljes sĂ« nivelit tĂ« kompresimit. PĂ«r tĂ« pĂ«rshkruar formate komplekse me struktura tĂ« thelluara dhe pĂ«r tĂ« pĂ«rcaktuar shpĂ«rndarjen e formateve tĂ« tĂ« dhĂ«nave nĂ« struktura mund tĂ« pĂ«rdoret gjuha SDDL (Simple Data Description Language).
Metoda e krijimit të paketuesve optimalë bazohet në përdorimin e një grupi koduesish primitivë, çdo njëri prej të cilëve është më efikas për lloje dhe sekuenca të veçanta të të dhënave. Për kompresimin formohet një grafik i orientuar aciklik i përpunimit të të dhënave, ku nodet janë kodekët, dhe anët janë variacionet e të dhënave në formatin e përpunuar. Në varësi të llojit të të dhënave që hyjnë, zgjidhet një zinxhir kodekësh që kompresojnë optimalisht elementin e dhënë. Me këtë organizim, titulli i skedarit kompresohet me një kodek, fusha me të dhëna të plota me të dytin, fusha me një numër në rritje me të tretin, dhe fusha me të dhëna stringu me të katërtin.
Burimi: opennet.ru
