Sortie de DuckDB 0.10.0, une variante de SQLite pour les requêtes analytiques

La version 0.10.0 de la base de données DuckDB a été présentée, combinant des propriétés de SQLite, telles que la compacité, la possibilité de connexion sous forme de bibliothèque intégrée, le stockage de la base de données dans un seul fichier et une interface CLI conviviale, avec des outils et des optimisations pour exécuter des requêtes analytiques couvrant une grande partie des données stockées, par exemple, en effectuant l'agrégation de tout le contenu des tables ou la fusion de plusieurs grandes tables. Le code du projet est distribué sous la licence MIT. Le développement est encore en phase de création de versions expérimentales, car le format de stockage n'est pas encore stabilisé et varie d'une version à l'autre.

DuckDB propose un dialecte SQL étendu, incluant des fonctionnalités supplémentaires pour traiter des requêtes très complexes et de longue durée. L'utilisation de types complexes (tableaux, structures, unions) est supportée, ainsi que la possibilité d'exécuter des sous-requêtes corrélées arbitraires et imbriquées. L'exécution simultanée de plusieurs requêtes est prise en charge, ainsi que l'exécution de requêtes directement à partir de fichiers au format CSV et Parquet. Il est possible d'importer des données depuis la base de données PostgreSQL.

En plus du code Shell provenant de SQLite, le projet utilise un parseur extrait de PostgreSQL, le composant Date Math de MonetDB, sa propre implémentation de fonctions de fenêtre (basée sur l'algorithme Segment Tree Aggregation), un gestionnaire d'expressions régulières basé sur la bibliothèque RE2, son propre optimiseur de requêtes, un mécanisme de contrôle de concurrence multi-version (Multi-Version Concurrency Control), ainsi qu'un moteur d'exécution de requêtes vectorisé basé sur l'algorithme Hyper-Pipelining Query Execution, permettant de traiter de grands ensembles de valeurs en une seule opération.

Parmi les changements de la nouvelle version :

• La performance du parsing des données au format CSV a considérablement augmenté. Par exemple, la lecture d'un fichier CSV de 11 millions de lignes dans la nouvelle version a été réduite de 2,6 secondes à 1,15 secondes, et l'exécution de l'opération « SELECT COUNT(*) » sur le fichier CSV est passée de 1,8 seconde à 0,3 seconde.
• Le support des tableaux de taille fixe a été ajouté, qui ressemblent à des listes contenant un nombre fixe d'éléments (« CREATE TABLE vectors(v DOUBLE[3]); »).
• Ajout de la prise en charge de la connexion aux SGBD MySQL, PostgreSQL et SQLite, permettant de charger des données dans DuckDB à partir de SGBD externes et de les déplacer entre différents systèmes. L'accès aux bases de données externes se fait à l'aide de tables typiques. ATTACH ‘postgres:dbname=postgresscanner’ AS postgres; SELECT title, release_year, length FROM postgres.film LIMIT 5;
• Ajout de la prise en charge de l'expression « COMMENT ON » pour enregistrer un commentaire sur un objet dans la base de données.
• Ajout de la prise en charge de l'expression « COPY FROM DATABASE » pour copier tout le contenu d'une base de données à une autre.
• Ajout de la prise en charge du modificateur « ALL » dans les expressions EXCEPT et INTERSECT.
• Type implémenté »
  
  Source : opennet.ru