Publication de la base de données DuckDB 1.4.0 avec support du chiffrement de la base de données

La version 1.4.0 de la base de données DuckDB, conçue pour exécuter des requêtes analytiques et conceptuellement similaire à SQLite, a été publiée. DuckDB combine des propriétés de SQLite telles que compacité, intégration en tant que bibliothèque embarquée, stockage de la base de données dans un seul fichier, et interface en ligne de commande, avec des fonctionnalités et des optimisations pour exécuter des requêtes analytiques couvrant une partie significative des données stockées, comme effectuer des agrégations sur l'ensemble du contenu des tables ou fusionner plusieurs grandes tables. Le code du projet est écrit en C++ et est distribué sous licence MIT.

DuckDB fournit un dialecte SQL étendu, incluant des fonctionnalités supplémentaires pour traiter des requêtes très complexes et de longue durée. Il est possible d'utiliser des types complexes (tableaux, structures, unions), ainsi que d'exécuter des sous-requêtes corrélées arbitraires et imbriquées. L'exécution simultanée de plusieurs requêtes est supportée, ainsi que l'exécution de requêtes directement à partir de fichiers au format CSV et Parquet. Un support pour l'importation à partir de bases de données PostgreSQL est également disponible.

Le projet utilise un shell basé sur SQLite, un analyseur provenant de PostgreSQL, un composant Date Math de MonetDB, sa propre implémentation de fonctions de fenêtres (basée sur l'algorithme Segment Tree Aggregation), un gestionnaire d'expressions régulières sur la base de la bibliothèque RE2, son propre optimiseur de requêtes, un mécanisme de contrôle de la concurrence multi-version (Multi-Version Concurrency Control), ainsi qu'un moteur d'exécution de requêtes vectorisé basé sur l'algorithme Hyper-Pipelining Query Execution, permettant de traiter de grands ensembles de valeurs en une seule opération.

Dans la nouvelle version :

• La prise en charge du stockage de fichiers de base de données de manière chiffrée a été ajoutée. L'algorithme AES-256 en mode GCM est utilisé pour le chiffrement. Non seulement le fichier principal avec les données est chiffré, mais aussi les journaux WAL et les fichiers temporaires. Les clés pour le chiffrement de la base de données sont spécifiées par la commande ATTACH via le paramètre ENCRYPTION_KEY. ATTACH 'encrypted.db' AS enc_db (ENCRYPTION_KEY 'quack_quack');
• La prise en charge de la commande « MERGE INTO » a été ajoutée, qui peut être utilisée comme alternative à l'expression « INSERT … ON CONFLICT », ne nécessitant pas de clé primaire et fonctionnant avec des conditions de fusion arbitraires. La commande « MERGE INTO » permet de créer des expressions SQL conditionnelles combinant dans une seule expression les opérations INSERT, UPDATE et DELETE. Par exemple, avec MERGE, on peut organiser la fusion de deux tables en insérant les enregistrements manquants et en mettant à jour les existants. WITH deletes(item_id, delete_threshold) AS (VALUES (10, 3000)) MERGE INTO Stock USING deletes USING (item_id) WHEN MATCHED AND balance < delete_threshold THEN DELETE RETURNING merge_action, *;
• De plus, la prise en charge des opérations d'écriture pour travailler avec des tables au format Apache Iceberg a été ajoutée (auparavant, seule la lecture était supportée), ce qui permet de transférer des données d'Iceberg vers DuckDB et vice versa.
• Un indicateur de progression a été ajouté au client de ligne de commande pour suivre le temps restant avant l'achèvement de l'opération.
• Une fonction de fenêtre «FILL» a été ajoutée, pouvant être utilisée pour interpoler les valeurs manquantes dans des fenêtres ordonnées. FROM (VALUES (1, 1), (2, NULL), (3, 42)) t(c1, c2) SELECT fill(c2) OVER (ORDER BY c1) f; 1 21 42
• Un connecteur Teradata a été implémenté pour se connecter aux bases de données Teradata. Ce connecteur permet de manipuler des tables, d'exécuter des requêtes et de lancer des commandes SQL directement dans Teradata à l'aide de DuckDB.
• La prise en charge du checkpoint pour les tables stockées en mémoire a été ajoutée, permettant ainsi de mettre en œuvre la compression. De plus, lors du checkpoint, les lignes supprimées sont nettoyées et de l'espace est libéré après des opérations de suppression. ATTACH ':memory:' AS memory_compressed (COMPRESS);
• Plusieurs optimisations de performance ont été proposées : La mise en œuvre du tri a été convertie pour utiliser l'algorithme de tri par fusion k-way, réduisant le mouvement des données. Les expressions de table communes (Common Table Expression, CTE) sont désormais matérialisées par défaut.

Source : opennet.ru