Sortie de la base de données DuckDB 1.2.0.

La version 1.2.0 de la base de données DuckDB, destinée à l'exécution de requêtes analytiques et conceptuellement semblable à SQLite, a été publiée. DuckDB combine des propriétés de SQLite, telles que la compacité, l'intégration sous forme de bibliothèque embarquée, le stockage des bases de données dans un seul fichier et une interface CLI, avec des capacités et des optimisations pour exécuter des requêtes analytiques couvrant une part significative des données stockées, par exemple, réalisant l'agrégation de l'ensemble du contenu des tables ou fusionnant plusieurs grandes tables. Le code du projet est écrit en C++ et est distribué sous la licence MIT.

DuckDB fournit un dialecte SQL étendu, incluant des fonctionnalités supplémentaires pour traiter des requêtes très complexes et de longue durée. Il est possible d'utiliser des types complexes (tableaux, structures, unions), ainsi que d'exécuter des sous-requêtes corrélées arbitraires et imbriquées. L'exécution simultanée de plusieurs requêtes est supportée, ainsi que l'exécution de requêtes directement à partir de fichiers au format CSV et Parquet. Un support pour l'importation à partir de bases de données PostgreSQL est également disponible.

Le projet utilise un shell basé sur SQLite, un analyseur provenant de PostgreSQL, un composant Date Math de MonetDB, sa propre implémentation de fonctions de fenêtres (basée sur l'algorithme Segment Tree Aggregation), un gestionnaire d'expressions régulières sur la base de la bibliothèque RE2, son propre optimiseur de requêtes, un mécanisme de contrôle de la concurrence multi-version (Multi-Version Concurrency Control), ainsi qu'un moteur d'exécution de requêtes vectorisé basé sur l'algorithme Hyper-Pipelining Query Execution, permettant de traiter de grands ensembles de valeurs en une seule opération.

Dans la nouvelle version :

• La prise en charge de nouvelles méthodes de compression a été mise en œuvre, qui ne sont pas incluses par défaut pour conserver la compatibilité des fichiers de base de données avec les versions précédentes de DuckDB. Pour utiliser le format amélioré des fichiers de base de données, une possibilité de lier la base de données à un numéro de version a été proposée — lors de l'ouverture d'un fichier à l'aide du paramètre « STORAGE_VERSION », il est désormais possible de spécifier la version minimale prise en charge de la base de données (« ATTACH ‘file.db’ (STORAGE_VERSION ‘v1.2.0’); »). Pour convertir le nouveau format en ancien, on peut utiliser la commande SQL COPY, par exemple : ATTACH ‘file1.db’; ATTACH ‘converted_file.db’ (STORAGE_VERSION ‘v1.0.0’); COPY FROM DATABASE file1 TO converted_file;
• La prise en charge de la commande SQL « ALTER TABLE … ADD PRIMARY KEY » a été ajoutée pour ajouter une clé primaire à une table existante.
• La restriction qui empêchait de réajouter des identifiants pour lesquels il y a un index de suivi d'unicité, si ces identifiants ont été supprimés dans la transaction actuelle, a été supprimée. Par exemple, le code SQL ci-dessous ne produit plus d'erreur : CREATE TABLE students (id INTEGER PRIMARY KEY, name VARCHAR); INSERT INTO students VALUES (1, ‘John Doe’); BEGIN; DELETE FROM students WHERE id = 1; INSERT INTO students VALUES (1, ‘Jane Doe’);
• La prise en charge du chargement de fichiers CSV dans les encodages Latin-1 et UTF-16 a été ajoutée (auparavant, seul l'encodage UTF-8 était pris en charge). FROM read_csv(‘cities-latin-1.csv’, encoding = ‘latin-1’);
• La prise en charge de l'utilisation de séparateurs multibytes dans les fichiers CSV (jusqu'à 4 octets) a été ajoutée, permettant de spécifier des emojis comme séparateurs de colonnes. a🦆b hello🦆world FROM read_csv(‘example.dsv’, sep = ‘🦆’);
• Par défaut, le mode strict de l'analyse des fichiers CSV («strict_mode = true») est activé, vérifiant la conformité au format de la spécification RFC 4180. En mode strict, un seul caractère est autorisé pour la séparation des lignes, ce qui entraînera une erreur lors de l'analyse de fichiers utilisant non seulement le caractère de nouvelle ligne, mais aussi le retour chariot («\r\n»).
• Un nouvel algorithme de détection de nouvelle ligne a été implémenté dans le parseur CSV, prenant en charge le parallélisme des opérations. L'utilisation de ce nouvel algorithme a accéléré l'analyse des CSV d'environ 15%.
• La limitation de taille de ligne dans les fichiers CSV a été supprimée (auparavant, une ligne ne devait pas dépasser 8 Mo).
• Lors de l'exportation de données au format Parquet, le support des hachages (dictionnaires) et des index basés sur le filtre de Bloom a été réalisé. Une méthode de compression DELTA_BINARY_PACKED a été mise en œuvre, permettant de réduire considérablement la taille des fichiers Parquet.
• Un mode sécurisé a été ajouté à l'interface de ligne de commande, activé par l'option «-safe» ou la commande «.safe_mode». En mode sécurisé, seul l'accès au fichier de base de données initialement spécifié est autorisé, et toute tentative d'ouverture d'autres fichiers entraînera une erreur.
• L'interface en ligne de commande a amélioré l'autocomplétion des entrées. Le code d'autocomplétion a été mis à jour pour utiliser la PEG (Grammaire d'Expression de Parsing).
• En exécutant des commandes dans l'interface en ligne de commande, un affichage visuel des grands nombres a été implémenté, par exemple, pour afficher le nombre 100000000, il sera également indiqué «(100 millions)».
• En SQL, le support de la syntaxe a été ajouté, permettant d'indiquer des noms abrégés de tables et d'expressions avant les valeurs auxquelles elles se réfèrent (au lieu d'utiliser la syntaxe «expression AS nom»): SELECT e1: une_expression_longue_et_complexe, e2: t2.nom_de_colonne FROM t1: long_schema.nom_de_table_longue, t2: short_s.tbl;
• Dans la commande «SELECT», le support de l'opération «RENAME» a été ajouté pour renommer les champs affichés lors de l'utilisation de l'expression «*»: SELECT * RENAME (col1 AS new_col1) FROM integers;
• Dans la commande «SELECT», l'utilisation des opérations «LIKE» et «SIMILAR TO» a été autorisée lors de l'affichage par «*»: SELECT * LIKE ‘val%’ FROM key_val;
• La qualité de la génération des nombres aléatoires a été améliorée.
• L'optimiseur de requêtes a été modernisé. Les performances lors du test TPC-H SF100 ont augmenté de 13%.
• Une nouvelle API similaire à C a été proposée pour le développement d'extensions, qui peut être utilisée par exemple pour créer de nouvelles fonctions agrégées ou de tableau.
• Ajout de la prise en charge des systèmes avec la bibliothèque standard C Musl.

Source : opennet.ru