Expérience utilisant SQLite comme conteneur pour l'archivage de fichiers

Le projet Pack a tenté de créer un format d'archivage de fichiers basé sur la bibliothèque SQLite et l'algorithme de compression ZSTD (Zstandard). Le prototype développé, écrit en Pascal et diffusé sous la licence Apache 2.0, a surpassé en vitesse les archiveurs les plus courants, tandis que son fonctionnement se résumait à lire les données, compresser avec la bibliothèque libzstd et effectuer des opérations SQL pour ajouter les données compressées dans un fichier avec une base de données SQLite.

Lors de la compression d'un répertoire de 81 000 fichiers, d'une taille totale de 1,25 Go, pack s'est avéré 112 fois plus rapide que l'utilitaire ZIP, réalisant l'opération en 1,3 seconde contre 146 secondes pour ZIP. La taille de l'archive obtenue avec pack était 23 % plus petite (194 Mo pour Pack et 253 Mo pour ZIP). À titre de comparaison, l'outil tar a réalisé l'archivage en 4,7 secondes sans compression et en 28,5 secondes avec compression par la méthode gzip, l'archiveur RAR a terminé le test en 27,5 secondes, tandis que 7z a pris 54,2 secondes. Les tailles des archives étaient : tar.gz — 214 Mo, RAR — 235 Mo, 7z — 135 Mo. Il est à noter qu'en termes de vitesse de décompression et d'accès aléatoire aux fichiers, Pack dépasse également les autres archiveurs, tout en consommant moins de mémoire vive. ZIP : 253 Mo, 146 s 7z : 135 Mo, 54,2 s plus rapide que ZIP de 2,7 fois tar.gz : 214 Mo, 28,5 s x 5,1 RAR : 235 Mo, 27,5 s x 5,3 tar : 1345 Mo, 4,7 s x 31 Pack : 194 Mo, 1,3 s x 112

L'influence du cache de fichiers sur les résultats du test n'est pas mentionnée. Il est probable que la faible vitesse de ZIP soit due à l'ordre d'exécution des tests sans tenir compte de la mise en cache des données en mémoire — le test avec zip a été exécuté avec un cache froid, tandis que les autres tests ont été réalisés avec un cache chaud. Dans des conditions normales, Zstandard présente une vitesse de compression 3 à 5 fois plus élevée que zlib et un décompression deux fois plus rapide, avec un niveau de compression supérieur de 10 à 15 %.

Complément : Une idée similaire de stockage de fichiers compressés sous forme de blobs dans une base de données SQLite a été mise en œuvre en 2014 dans l'archiveur sqlar, créé par les développeurs de SQLite dans le cadre d'une expérience pour évaluer l'efficacité du stockage de blobs dans SQLite. Dans sqlar, la compression utilise zlib et la taille des fichiers est environ 2 % plus grande que celle de l'utilitaire ZIP.

Source : opennet.ru