{"id":114563,"date":"2024-03-25T18:26:02","date_gmt":"2024-03-25T16:26:02","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/eksperiment-s-ispolzovaniem-sqlite-v-kachestve-kontejnera-dlya-arhivirovaniya-fajlov"},"modified":"2024-03-25T18:26:02","modified_gmt":"2024-03-25T16:26:02","slug":"eksperiment-s-ispolzovaniem-sqlite-v-kachestve-kontejnera-dlya-arhivirovaniya-fajlov","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/news\/eksperiment-s-ispolzovaniem-sqlite-v-kachestve-kontejnera-dlya-arhivirovaniya-fajlov","title":{"rendered":"Experiment met het gebruik van SQLite als container voor het archiveren van bestanden.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Het Pack-project heeft gepoogd een formaat voor het archiveren van bestanden te cre\u00ebren, gebaseerd op de SQLite-bibliotheek en het ZSTD (Zstandard) compressie-algoritme. Het voorbereide prototype, geschreven in Pascal en verspreid onder de Apache 2.0-licentie, overtrof in snelheid bij het maken van archieven de meest populaire archiveringsprogramma's, terwijl het slechts gegevens las, met behulp van de libzstd-bibliotheek comprimeerde en SQL-operaties uitvoerde om de gecomprimeerde gegevens in het SQLite-databasebestand toe te voegen. <\/p>\n
Bij het comprimeren van een directory met 81.000 bestanden, met een totale grootte van 1,25 GB, was pack 112 keer sneller dan de ZIP-tool, met een uitvoeringstijd van 1,3 seconden tegenover 146 seconden voor ZIP. De archiefgrootte was bij pack 23% kleiner (194 MB voor Pack en 253 MB voor ZIP). Ter vergelijking, de tar-tool voltooide de compressie in 4,7 seconden zonder compressie en in 28,5 seconden met gzip-compressie; de RAR-archiver deed dit in 27,5 seconden, en 7z in 54,2 seconden. De groottes van de archieven waren: tar.gz \u2014 214 MB, RAR \u2014 235 MB, 7z \u2014 135 MB. Het wordt opgemerkt dat Pack ook sneller is in het uitpakken en bij toegang tot bestanden, terwijl het ook minder werkgeheugen verbruikt. ZIP: 253 MB, 146 s 7z: 135 MB, 54,2 s 2,7 keer sneller dan ZIP tar.gz: 214 MB, 28,5 s x 5,1 RAR: 235 MB, 27,5 s x 5,3 tar: 1345 MB, 4,7 s x 31 Pack: 194 MB, 1,3 s x 112 <\/p>\n
Er wordt niets vermeld over de invloed van de bestandscache op de testresultaten. Waarschijnlijk wordt de lage snelheid van ZIP veroorzaakt door de volgorde van het uitvoeren van tests zonder rekening te houden met het cachen van gegevens in het geheugen \u2014 de test met zip werd uitgevoerd met een koude cache, terwijl de andere tests met een warme cache werden uitgevoerd. Onder normale omstandigheden toont Zstandard een 3-5 keer hogere compressiesnelheid in vergelijking met zlib en een twee keer snellere decompressie, met een compressieniveau dat 10-15% hoger is. <\/p>\n
Aanvulling: Een soortgelijk idee voor het opslaan van gecomprimeerde bestanden als blobs in een SQLite-database werd in 2014 ge\u00efmplementeerd in het archiveringsprogramma sqlar, dat door de ontwikkelaars van SQLite is gemaakt als experiment om de effici\u00ebntie van het opslaan van blobs in SQLite te beoordelen. In sqlar wordt zlib gebruikt voor compressie en is de bestandsgrootte ongeveer 2% groter dan bij de ZIP-tool. \n Bron: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"