{"id":114563,"date":"2024-03-25T18:26:02","date_gmt":"2024-03-25T16:26:02","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/eksperiment-s-ispolzovaniem-sqlite-v-kachestve-kontejnera-dlya-arhivirovaniya-fajlov"},"modified":"2024-03-25T18:26:02","modified_gmt":"2024-03-25T16:26:02","slug":"eksperiment-s-ispolzovaniem-sqlite-v-kachestve-kontejnera-dlya-arhivirovaniya-fajlov","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/news\/eksperiment-s-ispolzovaniem-sqlite-v-kachestve-kontejnera-dlya-arhivirovaniya-fajlov","title":{"rendered":"Experiment mit der Verwendung von SQLite als Container f\u00fcr die Archivierung von Dateien","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Das Pack-Projekt unternahm den Versuch, ein Format zur Archivierung von Dateien zu schaffen, das auf der SQLite-Bibliothek und dem ZSTD (Zstandard)-Kompressionsalgorithmus basiert. Der vorbereitete Prototyp, geschrieben in Pascal und unter der Lizenz Apache 2.0 verbreitet, \u00fcbertraf in der Geschwindigkeit der Archivierung die g\u00e4ngigsten Archive mit der Arbeit, die sich auf das Lesen von Daten, das Komprimieren mit der libzstd-Bibliothek und die Ausf\u00fchrung von SQL-Operationen zur Hinzuf\u00fcgung komprimierter Daten in eine Datei mit einer SQLite-Datenbank beschr\u00e4nkte. <\/p>\n
Beim Komprimieren eines Verzeichnisses mit 81.000 Dateien und einer Gesamtgr\u00f6\u00dfe von 1,25 GB war Pack 112 Mal schneller als das ZIP-Tool und f\u00fchrte die Operation in 1,3 Sekunden aus, gegen\u00fcber 146 Sekunden bei ZIP. Dabei war die Archive-Gr\u00f6\u00dfe mit Pack um 23 % kleiner (194 MB bei Pack und 253 MB bei ZIP). Zum Vergleich: Das Tool tar ben\u00f6tigte 4,7 Sekunden f\u00fcr die Verpackung ohne Komprimierung und 28,5 Sekunden mit gzip-Komprimierung, der Archivator RAR bew\u00e4ltigte den Test in 27,5 Sekunden und 7z in 54,2 Sekunden. Die Archive hatten folgende Gr\u00f6\u00dfen: tar.gz \u2014 214 MB, RAR \u2014 235 MB, 7z \u2014 135 MB. Es wird festgestellt, dass Pack auch bei der Geschwindigkeit der Dekomprimierung und beim zuf\u00e4lligen Zugriff auf Dateien anderen Archivatoren \u00fcberlegen ist und dabei weniger Arbeitsspeicher verbraucht. ZIP: 253 MB, 146 s 7z: 135 MB, 54,2 s schneller als ZIP um 2,7 Mal tar.gz: 214 MB, 28,5 s x 5,1 RAR: 235 MB, 27,5 s x 5,3 tar: 1345 MB, 4,7 s x 31 Pack: 194 MB, 1,3 s x 112 <\/p>\n
\u00dcber den Einfluss des Dateicaches auf die Testergebnisse wird nicht gesprochen. Wahrscheinlich ist die niedrige Geschwindigkeit von ZIP auf die Reihenfolge der Testdurchf\u00fchrungen ohne Ber\u00fccksichtigung der Daten im Cache zur\u00fcckzuf\u00fchren \u2014 der Test mit ZIP wurde bei kaltem Cache gestartet, w\u00e4hrend die anderen Tests bei warmem Cache durchgef\u00fchrt wurden. Unter normalen Bedingungen zeigt Zstandard eine um das 3- bis 5-fache h\u00f6here Komprimierungsgeschwindigkeit im Vergleich zu zlib und eine zwei Mal schnellere Dekomprimierung, bei einem Komprimierungsniveau, das um 10-15 % h\u00f6her ist. <\/p>\n
Erg\u00e4nzung: Eine \u00e4hnliche Idee zur Speicherung komprimierter Dateien in Form von Blobs in SQLite wurde 2014 im Archivator sqlar umgesetzt, der von den Entwicklern von SQLite als Experiment zur Bewertung der Effektivit\u00e4t der Speicherung von Blobs in SQLite geschaffen wurde. In sqlar wird zur Komprimierung zlib verwendet, und die Dateigr\u00f6\u00dfen sind etwa 2 % gr\u00f6\u00dfer als bei dem ZIP-Tool. \n Quelle: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"