Eksperiment SQLite kasutamisega failide arhiveerimise konteinerina.

Pack projekt alustas faili arhiveerimise formaadi loomist, mis põhineb SQLite raamatukogu ja ZSTD (Zstandard) kompressioonialgoritmil. Valmistatud prototüüp, kirjutatud Pascalis ja levitatav Apache 2.0 litsentsi all, ületas arhiveerijate loomise kiiruselt kõige levinumaid arhiveerimisi, samas kui selle töö hõlmas andmete lugemist, kompressimist libzstd raamatukogu abil ja SQL-operatsioone kompressitud andmete lisamiseks SQLite andmebaasifaili.

81 000 faili sisaldava katalooge, mille üldsuurus on 1,25 GB, arhiveerimisel osutus pack 112 korda kiiremaks kui ZIP utiliit, tehes operatsiooni 1,3 sekundi jooksul võrreldes 146 sekundiga ZIP-i puhul. Samuti oli packi arhiivi suurus 23% väiksem (194 MB Packis ja 253 MB ZIP-is). Võrdluseks, tar utiliit tegi pakkimise 4,7 sekundiga ilma kompressioonita ja 28,5 sekundiga gzip meetodiga, arhiveerija RAR täitis testi 27,5 sekundiga ja 7z 54,2 sekundiga. Arhivide suurused olid: tar.gz — 214 MB, RAR — 235 MB, 7z — 135 MB. Tõdetakse, et Pack ületab ka teisi arhiveerijaid kiiruselt, pakkudes samal ajal vähem süsteemimälu.

Failide vahemälu mõju testitulemuste kohta ei mainita. Tõenäoliselt on ZIP-i madal kiirus tingitud testide käivitamise järjestusest, ilma et arvestataks andmete vahemällu salvestamist — zip test käidi külma vahemäluga, samas kui teised testid soojendatud vahemäluga. Tavalistes tingimustes näitab Zstandard 3-5 korda kõrgemat kompressioonikiirust võrreldes zlibiga ning kaks korda kiiremat dekompressiooni, saavutades samas 10-15% kõrgema kompressioonitaseme.

Täiendav: Sarnane idee kompressitud failide salvestamiseks blobidena SQLite andmebaasi realiseeriti 2014. aastal arhiveerijas sqlar, mille lõid SQLite arendajad katsetamiseks, et hinnata blobide salvestamise efektiivsust SQLite-s. Sqlar kasutab kompressiooniks zlib-i ja failide suurus on umbes 2% suurem kui ZIP utiliidi puhul.

Allikas: opennet.ru