{"id":114563,"date":"2024-03-25T18:26:02","date_gmt":"2024-03-25T16:26:02","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/eksperiment-s-ispolzovaniem-sqlite-v-kachestve-kontejnera-dlya-arhivirovaniya-fajlov"},"modified":"2024-03-25T18:26:02","modified_gmt":"2024-03-25T16:26:02","slug":"eksperiment-s-ispolzovaniem-sqlite-v-kachestve-kontejnera-dlya-arhivirovaniya-fajlov","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/eksperiment-s-ispolzovaniem-sqlite-v-kachestve-kontejnera-dlya-arhivirovaniya-fajlov","title":{"rendered":"Experiment mit SQLite als Container zum Archivieren von Dateien","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Das Pack-Projekt hat versucht, ein Format zum Archivieren von Dateien zu schaffen, das auf der SQLite-Bibliothek und dem ZSTD (Zstandard) Kompressionsalgorithmus basiert. Der vorbereitete Prototyp, der in Pascal geschrieben und unter der Apache 2.0-Lizenz verbreitet wird, \u00fcbertrifft in der Geschwindigkeit der Archivierung die g\u00e4ngigsten Archivierungsprogramme, wobei seine Funktion darauf beschr\u00e4nkt war, Daten zu lesen, mit der libzstd-Bibliothek zu komprimieren und SQL-Operationen zum Hinzuf\u00fcgen komprimierter Daten in die SQLite-Datenbankdatei auszuf\u00fchren. <\/p>\n
Beim Komprimieren eines Verzeichnisses mit 81 Tausend Dateien und einer Gesamtgr\u00f6\u00dfe von 1,25 GB war Pack 112 Mal schneller als das ZIP-Programm, da es die Operation in 1,3 Sekunden im Vergleich zu 146 Sekunden bei ZIP ausf\u00fchrte. Die Archivgr\u00f6\u00dfe von Pack war dabei um 23 % kleiner (194 MB bei Pack und 253 MB bei ZIP). Zum Vergleich ben\u00f6tigte das Programm tar 4,7 Sekunden f\u00fcr die Verpackung ohne KomPrimierung und 28,5 Sekunden mit der gzip-Methode, der Komprimierer RAR schloss den Test in 27,5 Sekunden ab, und 7z ben\u00f6tigte 54,2 Sekunden. Die Archivgr\u00f6\u00dfen waren: tar.gz \u2014 214 MB, RAR \u2014 235 MB, 7z \u2014 135 MB. Es wird festgestellt, dass Pack auch bei der Entpackgeschwindigkeit und beim zuf\u00e4lligen Zugriff auf Dateien anderen Archivatoren \u00fcberlegen ist und dabei weniger Arbeitsspeicher verbraucht. ZIP: 253 MB, 146 s 7z: 135 MB, 54.2 s schneller als ZIP um das 2,7-fache tar.gz: 214 MB, 28.5 s x 5.1 RAR: 235 MB, 27.5 s x 5.3 tar: 1345 MB, 4.7 s x 31 Pack: 194 MB, 1.3 s x 112 <\/p>\n
Es wird nicht auf den Einfluss des Dateicaches auf die Testergebnisse hingewiesen. Wahrscheinlich ist die niedrige Geschwindigkeit von ZIP auf die Reihenfolge der Testdurchf\u00fchrungen ohne Ber\u00fccksichtigung des Caching von Daten im Speicher zur\u00fcckzuf\u00fchren \u2013 der Test mit zip wurde bei kaltem Cache durchgef\u00fchrt, w\u00e4hrend die anderen Tests bei warmem Cache stattfanden. Unter normalen Bedingungen zeigt Zstandard eine 3- bis 5-mal h\u00f6here Komprimierungsgeschwindigkeit im Vergleich zu zlib und eine doppelt so schnelle Entpackung, bei einem Komprimierungsgrad, der um 10-15 % h\u00f6her ist. <\/p>\n
Zusatz: Eine \u00e4hnliche Idee, komprimierte Dateien als BLOBs in einer SQLite-Datenbank zu speichern, wurde 2014 im Archivierungsprogramm sqlar umgesetzt, das von den Entwicklern von SQLite als Experiment zur Bewertung der Effizienz der Speicherung von BLOBs in SQLite erstellt wurde. In sqlar wird zlib zur Kompression verwendet, und die Dateigr\u00f6\u00dfe liegt etwa 2 % \u00fcber der von ZIP. \n Quelle: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"